II. 말하기 평가 채점 변인 연구를 위한 이론적 토대 · 30
1) 채점 과정에 대한 관점
1) 채점 과정에 대한 관점
채점 과정은 평가 결과를 얻기 위하여 평가자 또는 채점자가 평가 관련 요 소들과 연속적으로 상호작용하는 것으로 이루어진다. 채점 과정을 파악하기 위 해서는 먼저 채점이 무엇인지를 이해해야 한다. 채점의 사전적 정의는 ‘시험 답안의 맞고 틀림을 살피어 점수를 매김’이다. 이는 채점을 평가 맥락에서 정 오나 수준에 관한 판정 결과를 추상화한 점수를 결정하는 행위라고 보는 것이 다. 이러한 정의에 비추어 볼 때, 채점은 평가 결과 산출 행위라고 볼 수 있는 데, 이 때 채점자가 어떻게 채점을 수행하며 인지적 처리 과정을 거치느냐에 따라 점수의 변이가 나타난다(Purpura, 2013).
한국어교육에서 이루어지는 말하기 평가 중에 대표적인 것은 교실에서 이루 어지는 성취도 평가가 있다. 성취도 평가(achievement test)는 학습자가 교육을 통해 해당 영역에 대한 지식이나 기능의 습득 정도를 파악하여 교육 목표의 달성 여부를 확인하기 위하여 실시한다. 성취도 평가 중에 가장 대표적인 것은 일련의 교육 과정을 마친 후에 실시하는 중간·기말 고사와 같은 총괄 평가이 다. 수업 중에 이루어지는 평가는 즉각적으로 평가 결과와 피드백을 제공할 수 있는 간단하면서 명료한 과제로 이루어지기 때문에 직관적이고 간명한 채점 수행이 가능하다. 하지만 총괄 평가는 교육과정에서 다루고 있는 주요 내용들
에 관한 과제를 구성하고, 학습자의 수행을 바탕으로 교육 목표 달성 여부를 추리해야 하기 때문에 평가 결과의 타당성을 보장할 수 있는 채점에 대한 체 계적인 계획을 필요로 한다. 즉 말하기 평가의 타당성은 평가 결과 산출을 위 한 평가자의 판단과 점수 결정의 타당성을 의미하며, 이 때 채점 과정을 통하 여 평가자가 어떤 평가 요소와 어떻게 상호작용하여 어떤 평가 결과를 어떤 의미로 결정하는지를 파악할 수 있으므로 채점 타당성의 입증을 위해서는 이 를 직접적으로 살펴볼 필요가 있다.
언어 평가에서 채점은 평가의 계획과 개발, 실행, 결과 해석 및 활용의 순환 에서 실제적으로는 평가 실행 단계에서 수행이 이루어지지만 결과적으로는 평 가 전반에 영향을 미친다는 점에서 평가의 영향력을 결정하는 핵심적인 활동 이라고 볼 수 있다. 평가의 계획 단계에서 마련하는 측정 구인과 평가 준거는 채점 과정에서 평가 결과를 정하는 참조틀로서 활용되며, 평가 개발 단계에서 과제를 구성할 때는 채점 가능한 형태의 응답을 도출할 수 있도록 과제 수행 요건을 구성해야 한다. 평가 결과의 해석 및 활용 단계에서는 채점을 통하여 결정한 평가 결과를 평가 목적을 따라 해석하고 활용하는데, 이 때 채점의 타 당성은 평가 결과의 타당도로서 결과 활용을 정당화한다. 평가 결과의 타당화 증거로서 기존의 연구에서 주목하였던 평가 결과는 채점에 영향을 미치는 여 러 요인에 대한 고려가 필요하다는 유용한 정보를 제공해 왔다. 이는 산술적으 로 계산된 결과인 평가 결과를 통해 특정 요소로 인한 영향을 확률적으로 예 측할 수 있도록 한다는 점에서 의미가 있지만, 그 영향이 어떤 경로를 거쳐서 나타난 것인지 알 수 없다는 점에서 기계적인 해석과 형식적인 처방을 낳을 수 있다는 한계가 있다. 따라서 채점의 타당성을 본질적으로 규명하기 위해서 는 평가 결과뿐만 아니라 연속적인 채점의 과정이 어떻게 이루어졌는가에 대 한 접근이 함께 이루어져야 하며, 이는 채점 수행과 평가 결과의 타당성을 확 보할 수 있는 방법이다.
채점 과정이 어떻게 이루어지는가에 대한 질문에 대해 언어 평가 연구에서 는 수험자의 언어 능력에 대한 평가자의 연속적인 추론을 주목한다면, 인지심 리학 연구에서는 불확실한 상황에서 판단을 내리기 위한 ‘추단’의 개념에 주목 한다. 이러한 두 접근은 채점자의 머릿속에서 이루어지는 채점 과정에 관심을 갖고 있다는 공통점을 갖고 있지만, 채점이 합리성에 기초한 평가자의 행위인
가에 대해서는 입장의 차이가 있다. 채점 과정이 ‘추론’으로 이루어진다는 것 은 채점자가 평가 구성 요소를 바탕으로 합리적인 의사 결정을 할 것이라는 점을 가정하고 있다면, 추단으로서의 채점 과정은 채점자의 합리성이란 이상적 인 것이며, 오히려 채점 과정에서 나타나는 여러 불확실한 요인들로 인해 일정 한 정도의 편향성을 띤 결정을 내린다는 것이다. 이와 관련하여 본 연구에서는 말하기 평가의 채점 과정에 대한 이론적 관점을 정립하기 위하여 추론과 추단 으로서의 채점 과정이란 무엇이며, 각각 어떠한 특징을 나타내는 지에 관하여 언어평가학과 인지심리학 연구를 바탕으로 각각의 관점을 살펴보고자 한다.
(1) 추론으로서의 채점 과정
‘추론(推論, inference)’의 사전적 정의는 “미루어 생각하여 논함”이며, 채점
과정과 관련하여 이를 적용하면, 채점자가 평가 결과를 도출하기 위하여 여러 평가 요소를 바탕으로 수험자의 과제 수행 및 능력 특성에 대해 특정한 해석 에 도달하는 논리적인 사고 과정으로 볼 수 있다(Chapelle et al., 2008). 언어 평가에서 채점자는 평가해야 하는 항목이 무엇인지를 해석하고, 구체적으로 그 것이 의미하는 바가 무엇인지를 인지적으로 추론하여 점수를 결정한다(Wolfe,
1997). 이와 같이 평가 결과의 타당성 확보를 목적으로 하는 채점 과정은 연속
적인 추론 행위로 이루어진다. 평가에서 추론은 어떤 평가적 판단을 도출하는 일이며, 그 과정에서 타당한 근거를 바탕으로 확실한 답을 내리는 것을 의미한 다. 채점 과정을 추론으로 보는 것은 교육 평가의 일반적인 관점으로 평가의 정확성과 타당도 요구를 가능하게 한다. 언어 평가의 타당성에 관한 구체화가 필요하다는 인식을 나타낸 연구(Cronbach, 1971; Messick, 1989; Kane, 1992)에 서는 평가 타당성의 핵심으로 평가 결과의 해석과 사용의 타당성에 주목한다. 평가 결과의 해석과 사용의 타당성은 결과로 도출한 점수나 수준을 정당화할 수 있는 기제를 요구하는데, 이와 관련하여 케인(1992: 8)에서 제시한 평가 타 당화에 대한 세 가지 접근은 추론으로서 이루어지는 채점 과정의 목표에 해당 한다. 첫째, ‘시험 점수에 기반한 결론의 정확성’은 시험 점수가 산출하는 방법 과 산출 과정으로부터 직접적으로 영향을 받는다는 점을 고려할 때 영향의 유 무와 정도를 파악하기 위한 추론을 가리킨다. 둘째, ‘평가 결과 점수 사용의
적절성’은 평가에서의 추론이 시험 점수를 평가 목적에 맞게 사용할 수 있도 록 적절한 해석을 유도하는 가와 관련이 있다. 셋째로 ‘평가 결과를 지지할 수 있는 자료 수집 절차 설계의 품질 확보’는 평가 결과를 산출하기까지의 과정 이 타당하게 이루어졌는가에 대한 절차적 증거를 주목하는 것이다. 이러한 추 론 중심의 평가 접근은 평가 타당도 증거의 속성으로 정확성과 적절성, 체계성 을 주목한 것이며, 이는 평가 결과를 도출하는 채점 과정에서의 추론이 지향해 야 하는 목표라고 볼 수 있다.
① 정확성 추론으로 이루어지는 채점 과정
언어 평가 연구에서 정확성을 중심으로 채점 과정을 보는 관점에서는 채점 자의 신뢰도를 주목해 왔다. 이는 쓰기 평가 연구에서 채점 과정을 다루면서 평가 결과의 신뢰도에 대한 채점자의 영향을 주목하는 것으로 나타난 바 있다. 초기 연구들을 살펴보면, 쓰기 평가에서 채점자들의 일치도가 낮게 나타나는 현상과 채점자의 성격의 관계를 살펴보는 연구(Branthwaite et al., 1981)나 답안 의 수준과 채점자 배경의 영향을 알아본 연구(Milaanovic et al., 1996), 과목별 쓰기 채점 신뢰도의 차이와 점수 조정(adjustment)에 관한 연구(Newton, 1996) 는 채점 과정을 거치면서 채점자가 평가 맥락과 상호작용한 것이 평가 결과를 어떻게 변화시키는 가에 관한 증거로 채점자 신뢰도를 주목하였다.
채점자 신뢰도 중 채점자 간 신뢰도(inter-rater reliability)는 채점자 개인별 또 는 채점자 집단별로 평가 결과인 점수의 일관성이 있는지에 관한 분석을 통해 확인할 수 있다. 채점자 간 신뢰도 분석을 통하여 특정 채점자나 특정 채점자 집단의 신뢰도가 낮은 수준으로 나타났을 경우에는 채점자 간의 일관성이 부 족한 것으로 볼 수 있는데, 신뢰도 수준 저하에 기여하였을 것으로 예상한 채 점자 배경 변수나 평가 맥락 변수가 평가 결과 산출에 체계적으로 관여하였음 을 가정하고 있다는 점을 유념해야 한다. 일반적으로 신뢰도를 추정하는 내적 일관성 지수들은 진점수와 오차의 합으로 보는 CTT를 바탕으로 접근이 이루 어지는데, 이는 수험자나 문항, 채점자 특성 등의 오차 요인을 고려하지 않는 점을 고려하여 해석이 이루어져야 한다. 본래 신뢰도(reliability)는 측정의 정확 성에 관한 정보로서 평가 결과의 안정성을 가정하며, 평가 도구 품질을 나타낸
다(강승호·김양분, 2004). 신뢰도는 응답한 여러 문항의 답안에 대하여 채점자 가 부여한 점수들의 분포에 나타나는 일관성 경향에 대한 분석을 통해 파악한 다. 신뢰도 산출에 이용하는 평가 결과는 관찰 점수(observed score)이며, 관찰 점수를 구성하는 진점수는 같은 검사에 대한 반복 측정에서 변하지 않는다고 본다. 이는 관찰 점수의 평균값을 수험자의 능력치로 수용할 수 있는 근거가 되는데 이러한 가정은 반복 측정의 영향을 고려하지 못할 뿐만 아니라 오차 변량에 대한 고려가 획일적이라는 문제가 있다(Haertel, 2006).
② 적절성 추론으로 이루어지는 채점 과정
적절성을 중심으로 채점 과정을 바라보는 관점은 채점자가 채점 과정에서 고려한 요소들이 평가 목적에 부합하는 것들이라는 점을 가정하며, 그에 따른 점수 사용의 타당성을 나타낸다. 이와 관련하여 교육 평가 연구에서 주목하였 던 구인 타당도(construct validity)는 평가를 통해 측정하고자 하는 대상인 심리 적인 구인(construct)을 적절하게 측정하는 가를 확인하기 위하여 이론적·실증적 접근을 통해 수집한 증거를 통해 파악한다. 수험자의 평가 수행과 밀접한 관련 이 있는 구인으로 이루어진 평가는 구인의 타당도가 높다고 할 수 있는데, 구 인이 여러 개로 이루어진 평가에서는 구인들 간의 관계 설정의 어려움이 있으 며, 평가 결과 해석과는 직접적인 연관을 설명할 수 없다는 한계가 있다. 채점 과정에서 채점자는 구인을 평가 과제를 통해 유도한 수험자 응답을 평가하는 핵심 요인인 동시에 측정의 대상이다. 구인은 채점 척도에서 평가 범주를 구성 하기 때문에 평가 결과 산출에 대한 절대적인 영향을 주는데, 채점 방법 가운 데 여러 구인을 바탕으로 이루어지는 분석적 채점에서는 채점자의 구인 이해 정도와 구인 구별 가능성이 채점 과정을 통해 체계적으로 평가 결과에 영향을 미칠 수 있다.
③ 체계성 추론으로 이루어지는 채점 과정
채점 과정의 타당성은 평가 결과를 산출하기까지의 절차가 일정한 체계를 갖추고 있음으로 인하여 판단과 점수 결정을 방해하는 무관 요소의 개입을 최