I. 서론
4) 말하기 평가의 채점자 훈련 연구
으나, 신뢰도를 기준으로 채점자 집단을 구분하는 근거가 부족하고, 하위 집단 으로 분류한 채점자들에게만 채점 교육을 실시하였기 때문에 자료 수집 조건 의 차이가 있었으며, 사고 구술 과정이 연구자를 마주 보고 있는 상황에서 이 루어져 그로 인한 영향을 고려하지 않았다는 한계가 있다.
김지영(2018)은 한국어 말하기 평가에서 채점자의 채점 경향을 양적·질적 방
법을 병렬적으로 연계하는 통합방법연구를 수행하였는데, 질적 연구 수행 결과 에서 채점자별 심층 면접을 통해 채점자들이 양적 연구에서 나타낸 채점 경향 의 원인을 확인하였다. 이 연구는 말하기 평가 채점 수행에 관한 통합방법연구 접근을 통하여 풍부한 자료 수집과 분석 결과를 제시하였다는 점에서 의의를 갖고 있으나, 수집한 질적 자료가 회상적 사고 구술 및 문제 원인에 대한 반성 적 면담을 토대로 하고 있어 자료의 타당성 확보가 필요하고, 연구 결과를 논 증하지 않고 있다는 한계가 있다.
어떻게 나타나는지를 MFRM 분석을 통해 알아보았는데, 엄격성의 영향이 점 수 척도 전체적으로 발생한다는 점을 발견하였다. 이는 채점자가 엄격하다는 의미를 평가 전반에 대한 의미로 해석할 수 있는 근거를 제시한 것으로 볼 수 있으나, ‘훈련받은 채점자’라는 점에서 훈련을 통해 일시적으로 특정 수행 특 성에 인지가 강화되어 나타난 현상일 수 있기 때문에, 훈련의 시기에 따라 채 점 과정에서 과제와 구인의 상호작용으로 인한 영향의 정도를 확인할 필요가 있다.
오어(Orr, 2002)는 UCLES의 FCE 말하기 시험에서 채점자들이 채점 과정에
서 수행한 언어 보고를 분석하였는데, 훈련을 받은 채점자들은 채점 과정에서 채점 기준을 주목하는 부분에 차이가 있었으며, 평가 준거와 무관한 정보에 주 목하는 모습도 나타났다. 또한 같은 점수를 부여하면서도 전혀 다른 인식을 바 탕으로 이루어진 채점 사례가 나타났음을 확인하였다. 이러한 채점 과정과 평 가 결과의 불일치 현상은 평가 결과 해석의 타당성을 저해하며, 말하기 평가의 목적을 기계적으로 실현한다는 비판을 받는 원인이 된다.
파파존(Papajohn, 2002)은 학문 목적 영어 말하기 평가(SPEAK) 채점자들의
‘개념 지도 산출’에 관한 연구에서 채점자들마다 중요하게 생각하는 원칙과 수 준의 차이가 있음을 채점 과정에 나타난 개념 지도 분석을 통하여 확인하였다. 이 연구에서는 채점자들의 채점 과정에 관한 언어 보고의 관계를 구조화하여 제시하는 접근을 하였다는 점과 그것의 교육적 효과를 알아보았다는 점에서 의미가 있다.
데이비스(Davis, 2012)는 영어 숙련 교사들이 채점자 훈련 전후에 TOEFL 말
하기 시험 응답을 채점하고, 자극 회상법(stimulated recall)을 활용하여 채점 과 정에 대한 회상적 보고를 수집하여 채점 훈련의 영향에 관한 연구를 진행하였 다. 먼저 통계 분석 결과에서는 채점자 훈련 후에 채점자 간 신뢰도와 일치도 가 상승하는 효과를 확인하였다. 이 연구에서는 능숙한 채점자의 특징으로 기
준 응답(benchmark response) 사례를 더 자주 검토하며, 점수 결정의 시간이 더
길다는 것을 확인하였으며, 이러한 채점 행위가 채점 정확성과 신뢰도에 영향 을 준 것으로 추론하였다. 또한 자극 회상 보고 내용에 대한 분석에서는 채점 패턴과 채점자가 언급한 언어적 요소들과는 특별한 관계가 나타나지 않았다.
데이비스(Davis, 2016)는 채점 능력의 차이로 일관성과 내용적인 변화에 주
목하여 연구를 하였다. 채점 훈련이 채점자 간 일관성을 향상시킬 수 있다는 점을 확인하였는데, 가장 정확성이 뛰어난 채점자의 사례에서 나타난 특징으로 응답에 나타난 내용에 대한 언급이 더 자주 나타나며, 점수 결정 시간도 최소 수준의 정확성을 나타낸 채점자에 비하여 더 길었다는 점을 확인하였다.
박현정 외(2017)는 문항반응이론을 바탕으로 학문 목적 한국어 말하기 평가
(KoSTAP)의 채점자 특성을 분석하였는데, 가교 수험자(anchor-examinee) 설계
로 이루어진 채점에 대한 분석 결과에서 전체 채점자의 채점자 모수가 ±2 표 준편차 안으로 나타나 채점자 협의 중심의 워크숍형 채점자 교육을 실시한 것 이 효과적이었다고 하였다. 이 연구에서는 채점자 영향으로 인한 부정적인 영 향을 통제하는 방안을 제시하였는데, 채점자의 배경 정보를 고려하여 채점자 집단을 구성하면 채점 편향성이 상쇄되어 결과적으로 안정된 채점 결과를 가 져올 수 있다고 보았다.
말하기 평가 연구사에서 채점에 관한 연구 검토를 통해 얻을 수 있는 시사 점은 다음과 같다. 첫째, 말하기 평가에서의 채점자 영향에 관한 접근에서 상 관을 통한 접근은 채점에 영향을 미치는 여러 변인이 평가 결과에 미치는 영 향에 주목한 것이었다. 특히 채점자의 전공이나 경력과 같은 변인은 말하기 평 가와 관련성이 높아 보이지만, 채점 수행에 대한 간접적이고 잠재적인 영향 요 인이며, 따라서 개별 평가 사례와 맥락에 따라 다양한 결과가 나타날 수 있다 는 점에서 기본적으로 무선적인 요인으로 보아야 한다. 둘째, 채점자 영향 중 채점자의 채점 행위에 나타난 엄격성이나 관대성, 적합도와 같은 특성에 주목
한 MFRM 분석 연구에서 나타난 결과를 바탕으로 해당하는 채점자 영향의 의
미를 파악할 수는 있으나, 이를 간접 변인인 채점자 배경 정보 등을 바탕으로 해석할 경우 일반화가 어렵고, 반대로 채점 수행 전에 이를 고려하여 채점자를 선발하거나 채점자 집단 구성을 하면 조절할 수 있는 변수로 간주하였을 때는 평가 윤리에 어긋나는 연구 수행이라고 보아야 할 것이다. 셋째, 발음과 같이 말하기 수행 전반에 영향을 미치는 준거에 한정하여 연구가 이루어질 경우, 채 점 과정에서 그 영향이 지속된다는 점을 고려하여 결과를 해석해야 한다. 넷 째, 말하기 평가의 채점 과정에 관한 연구는 언어 보고 분석을 중심으로 이루 어져 왔으며, 각 연구에서 적용한 담화 분석 및 코딩 기준이 내용 중심적으로 상이하여 결과 해석에 한계가 있다. 다섯째, 말하기 평가의 채점자 훈련은 매
평가 시행을 통하여 자격 여부를 확인 받을 필요가 있으며, 스스로 채점자 영 향을 성찰하고, 목표를 재설정하는 과정을 중심으로 접근이 이루어져야 한다.