II. 말하기 평가 채점 변인 연구를 위한 이론적 토대 · 30
1) 말하기 평가 채점 과정의 가설적 모형
말하기 평가의 채점 과정은 채점자가 평가 결과를 도출하기 위하여 수행하 는 일련의 활동으로 이루어진다. 이와 관련하여 본 연구에서는 말하기 평가 채 점 과정에 대한 실증적인 접근을 위하여 말하기 평가 채점 과정을 구성하는 이론적 가설을 설정하고, 각각의 과정 구성 요소의 관계를 나타내기 위하여 순 서도를 사용하여 모형으로 제시하였다([그림 Ⅱ-6] 참조).
[그림 Ⅱ-6] 말하기 평가 채점자의 인지적 채점 과정 모형
[그림 Ⅱ-6]은 채점자의 인지적인 채점 과정을 직관적으로 나타낸 것이다. 제 시한 모형은 채점 과정에서 이루어지는 인지적인 처리에 따라 세 개의 세부적 인 과정으로 구성된다. 첫 번째인 ‘정보 수집 과정’은 수험자의 말하기 평가 응답에 대한 지각이 이루어진 것에서부터 단기 기억에 선택된 정보를 저장하 기까지의 과정에 해당한다. 두 번째는 수집한 정보가 평가와 관련하여 어떠한
의미를 갖고 있는 것인지를 판단하여 상위 인지 체계로 전이시키기까지의 ‘정 보 판단 과정’이다. 세 번째 과정은 채점 척도를 바탕으로 점수를 부여하는
‘점수 결정 과정’이다.16)
(1) 지각 체계를 통한 채점 정보의 수집 과정
말하기 평가의 채점 과정에 관한 첫 번째 가설은 채점자가 청각적 지각 활 동을 통하여 채점 실행에 필요한 정보들을 수집한다는 것이다([그림 8] 참조).
[그림 Ⅱ-7] 말하기 평가 채점자의 정보 수집 과정
[그림 Ⅱ-7]은 채점자가 응답 청취를 통해 채점 정보를 수집하는 과정을 제 시한 것이다. 채점자는 채점을 시작한 후에 발화에 대한 지각을 통해 음성 자 료의 상태를 점검하고, 채점이 가능한 지를 확인한다. 다음으로 지각한 발화 중에 감각 완충 장치를 통해 저장할 정보에 대한 선택적 집중이 이루어지며, 이 때 인식한 정보는 단기 기억으로 저장하여 판단 과정을 거치도록 한다.
말하기 평가에서 채점자는 수험자의 발화를 청취 활동을 통해 채점의 근거
16) 각각의 과정은 채점자의 머릿속에서 이루어지는 것이기 때문에 단계적이기 보다는 연 쇄적으로 일어난다고 볼 수 있으며, 채점자의 특성에 따라서 특정 과정을 축소 또는 확 장하여 진행될 수 있을 것이다.
를 확보해야 한다. 채점자의 청각 기관을 통하여 수집된 정보는 청각적 지각 체계의 구동 방식에 따라 자동적으로 들리는 상향식 음성 정보와 의도적으로 들은 하향식 음성 정보로 나눌 수 있다. 수험자의 응답은 채점자의 청각 체계 를 거치면서 선택적인 지각과 인식의 영향을 받기 때문에 감각의 완충 과정을 거치면서 정보의 소실이 일어날 수 있다. 채점자가 응답에서 기대하는 바가 있 거나, 수험자가 반복해서 나타내는 특징들은 그렇지 않은 정보에 비해 상대적 으로 기억 체계에 잘 저장될 수 있으며, 이는 채점 과정에서 수험자의 말하기 능력에 대한 전반적인 인상으로 작용할 수 있다.
(2) 인지 체계를 통한 정보의 판단 과정
말하기 평가의 채점 과정에 관한 두 번째 가설은 채점자가 청취한 정보를 자신의 인지 체계와 연계하여 판단한다는 것이다([그림 Ⅱ-8] 참조).
[그림 Ⅱ-8] 말하기 평가 채점자의 정보 판단 과정
[그림 Ⅱ-8]에서 제시한 정보 판단 과정은 먼저 단기 기억에 저장된 응답 정 보에서 주목해야 할 정보를 탐색하고, 남은 채점 과정에서 사용할 수 있도록 장기 기억 체계에 저장하는 것으로 이루어진다. 다음으로는 해당 정보가 무엇 인지를 판단한 후에 그러한 특징을 나타내는 것의 의미를 구체화하여 점수 결 정을 위한 정보로 전이하는 과정이 이루어진다.
채점 과정에서 작동하는 채점자의 인지 체계는 채점 수행과 관련이 있는 말 하기 교육 및 평가의 경험, 이론적 지식, 평가 훈련 및 교육의 경험 등으로부 터 형성한 기억 체계를 바탕으로 정보를 판단한다. 이 과정에서 의미가 없거나 중요하지 않다고 인식한 정보는 단기 기억에 저장한 것이었기 때문에 수 초에 서 수 분 안에 사라질 수 있다. 인지 체계를 바탕으로 의미가 있는 정보로 인 식한 응답 정보는 점수 결정 과정에서 활용하기 위하여 특성을 규정하고, 관련 된 정보를 바탕으로 의미를 구체화하게 된다. 구체화된 정보는 점수 결정을 위 한 메타인지 체계로 ‘전이(transfer)’시키게 되는데, 같은 정보의 반복적인 처리 에 의해 전이가 강화될 수 있으며, 반대로 특정 정보에 대한 전이가 강화 (lateral transfer)되거나 약화(negative transfer)되어 나타날 수 있다.
(3) 상위 인지 체계를 통한 점수 결정 과정
채점 과정에 관한 세 번째 가설은 채점자가 인식한 정보에 대한 반성적 처 리를 통해 점수를 결정한다는 것이다. 상위 인지는 이전에 수행한 인지적 활동 에 대한 성찰과 평가를 위한 것으로서 인지에 관한 지식과 조절로 이루어져
있으며(Schraw, 1998), 이는 인지적으로 처리한 정보에 대한 재인식과 해석, 평
가 등을 통해 채점자가 점수를 확정해 가는 사고 과정과 관련된다([그림 Ⅱ-9]
참조).
[그림 Ⅱ-9] 말하기 평가 채점자의 점수 결정 과정
[그림 Ⅱ-9]는 채점자가 점수 결정을 위하여 정보 판단 과정에서 전이된 내 용을 바탕으로 채점 기준과 척도를 적용하여 점수를 결정하는 형식적인 과정 을 나타낸 것이다. 채점자는 점수 결정을 위하여 인지적으로 처리한 정보가 채 점 척도의 여러 정보 가운데 어떤 정보와 어떻게 연관되는지를 파악하여 점수 를 부여한다. 공식적으로 제공하는 채점 척도의 내용 이외에 채점자는 선택하 지 않은 점수가 수험자의 말하기 능력을 설명할 수 있는 근거가 될 가능성은 어떠한지를 검토할 수 있다. 또한 채점을 수행하면서 형성한 평가 문항에 대한 전반적인 수험자의 응답 수준이나 특성에 대한 주관적인 참조틀을 지침으로 적용하여 점수를 결정할 수도 있다. 끝으로 채점자는 채점 과정에서 인식한 정 보에 대한 메타 인지 활동을 통해 내린 결론을 재검토할 수 있으며, 이 과정에 서 고려하지 않았던 점수 결정의 근거를 표상할 경우 수집한 정보의 타당성을 재검토한 후에 점수 결정 과정을 반복할 수 있다.
이상에서 살펴본 말하기 평가의 채점 과정 가설과 그에 따른 모형은 이론적 인 검토를 바탕으로 기본적인 모형으로서 구안한 것이며, 따라서 실제 평가 상 황에서는 예상하지 못한 여러 평가적인 변수의 개입으로 인하여 채점 과정의 전개가 달라질 수 있을 것으로 예상된다. 이와 관련하여 다음 항에서는 말하기 평가의 채점 방식에 따라 채점 과정이 어떻게 달라질 수 있는지를 살펴보고, 각각에 해당하는 유형을 살펴본다.