말하기 평가의 채점 과정 연구

I. 서론

3) 말하기 평가의 채점 과정 연구

말하기 평가의 채점 과정에 관한 연구는 채점자가 수험자의 과제 수행에 대 해 최종 점수를 결정하기까지의 과정을 심층면담이나 사고 구술법, 또는 언어 프로토콜을 활용하여 접근이 이루어져 왔다(김지영, 2018; 김평원, 2010; 송민

영 · 이용상, 2015; Brown, 2000, 2006; Brown, Iwashita & McNamara, 2005;

Kim, 2015; Wei & Llosa, 2015). 채점자들은 채점을 할 때 수험자의 과제 수 행에 대한 인식과 해석, 판단에 관여하는 채점자의 이전 교육 및 평가 경험의 영향을 받으며, 이러한 경험을 통해 구성한 내재적인 평가 참조틀(frame of

reference)은 채점자의 채점 과정을 변화시킨다.

브라운(Brown, 2000)은 자극 회상법(stimulated verbal recall)을 통해 IELTS의 말하기 시험에서 채점자의 채점 수행 과정에 대한 질적 연구를 수행하였다. 이 연구에서는 종합적인 채점 척도 사용의 문제로 언어 수행 수준에 따른 응답 특성에 대한 인식에 차이가 있음을 확인하였다. 예를 들어 낮은 수준의 화자에 게서는 이해가능도나 언어 산출에 관심을 기울이며, 문제가 있을 때에만 인지 적인 주목을 한다는 것이다. 또한 채점자에 따라 우선시 여기는 특성의 차이가 있으며, 이는 과제 수행만을 기반으로 하는 채점과 이를 맥락화하여 추론 기반 으로 접근하는 양상이 있음을 확인하였다. 흥미로운 점은 최근에 채점 훈련을 받은 채점자의 경우 수험자에 대한 추론이 적고, 채점 척도에 나타난 응답 특 성을 구별하여 개별적으로 초점을 두는 모습을 확인하였다. 브라운(2006)에서 도 자극 회상법을 사용하여 IELTS 말하기 시험의 분석적 채점 척도 사용의 타 당도를 조사하는 연구를 수행하였다. 말하기 시험 채점 과정에서 분석적 채점 척도를 사용한 것과 관련하여 채점자들은 종합적 척도에 비해 채점 기준표에 근접한 채점을 하려는 경향이 나타났으며, 더 쉽게 해석하고 적용했다고 하였 다. 또한 분석적 척도 사용에 따른 각 채점 기준별 수준 구별의 어려움과 기준 별 특성 사이의 효과로 인한 어려움이 있으며, 특히 유창성과 응집성 척도에 대한 판정이 가장 어려운 것으로 나타났다고 보고하였다.

브라운, 이와시타, 맥나마라(Brown, Iwashita & McNamara, 2005)는 TOEFL의 말하기 시험의 과제가 수험자 응답과 채점자에게 미치는 영향을 알아보는 연 구를 수행하였다. 이 연구에서는 채점 과정에서 채점자가 과제를 어떻게 고려 하는지를 알아보기 위하여 언어 보고 프로토콜(verbal report protocol)을 적용하 여 채점 과정을 보고한 자료를 분석한 결과, 채점자들은 과제의 유형에 따라 채점의 내용과 활용 자원의 범주가 다른 것을 확인하였다.

김평원(2010)은 전문가와 일반인의 말하기 평가 과정에 대한 프로토콜 분석

을 바탕으로 채점자의 평가 과정 모형을 제시하고 있는데, 전문가의 경우에는

총체적 판단과 분석적 판단을 조화롭게 사용하는 경향이 나타난 반면에 일반 인의 경우에는 총체적 판단과 분석적 판단이 순차적으로 이루어졌다. 또한 전 문가들은 감성적 판단과 이성적 판단을 복합적으로 사용한다면, 일반인은 감성 적 판단만을 내리고 있었고, 객관적 판단과 주관적 판단을 동시에 고려하면서 상호주관성을 나타내는 전문가와 달리 일반인은 주관적 판단만을 고려한다는 점을 확인하였다. 이 연구는 전문가 집단과 비전문가 집단의 채점 과정에서 수 준 판정을 위한 인지적 활동의 구조를 모형으로 제시하였으며, 또한 채점 전문 성에 따라 채점 경향의 차이가 있음을 보여주었다는 의의가 있다.

킴(Kim, 2015)은 ESL 학습자들의 말하기 평가에서 채점자들을 채점 관련 경

력에 따라 초보, 개발 중, 전문으로 나누고, 집단별 채점 척도 사용 경향을 조 사하였다. 그 결과 각각의 집단에서 채점자들의 채점 능력이 구별되며, 서로 다른 채점 수행의 진보를 확인하였는데, 그 원인으로 채점에 대한 경험의 양과 그에 따른 루브릭 내재화의 차이에 주목하였다.

웨이와 로사(Wei & Llosa, 2015)는 TOEFL 말하기 시험에서 인도인 수험자 에 대한 미국인 채점자와 인도인 채점자의 차이를 조사하기 위하여 다국면 라

쉬 분석(MFRM)과 언어 보고 분석(VPA)을 실시하였다. 연구 결과 채점자들은

신뢰도 측면에서 통계적으로 유의한 차이가 없었으나, 채점 과정에서 인도인 채점자들은 인도인 응시자들의 반응을 여러 평가 준거와 관련하여 잘 파악하 는 경향이 나타났다. 또한 채점자의 목표 언어에 관한 정체성이 채점에 영향 미친다는 것을 확인하였다.

송민영·이용상(2015)은 한국 고등학생을 대상으로 실시한 대규모 영어 말하

기 평가에서 채점자의 채점 행동 특성에 관한 연구를 수행하였는데, 채점 신뢰 도를 기준으로 상·하위 집단을 구분하고, 각 채점자들에게 채점 수행 후에 점 수 결정의 이유에 대해 사후 보고식 사고 구술을 요청하였다. 연구 결과에서 상위 수준 채점자의 특징으로 노트하기, 과제 완성도 기준의 점수 조정, 명확 한 판정 기준 적용을 확인하였으며, 하위 수준의 특징으로는 과제 완성도를 기 준으로 나머지 점수를 조정하는 전략이 없었다는 점과 평가 준거별 점수가 상 호 간섭하는 현상, 그리고 모호한 채점 기준 및 척도 적용이 나타나는 것을 확 인하였다. 이 연구는 점수 결정에 대한 근거로 채점 척도 사용 외에도 채점 과 정 중 행동 및 인지적 정보 처리 양상에 대한 접근을 시도하였다는 의의가 있

으나, 신뢰도를 기준으로 채점자 집단을 구분하는 근거가 부족하고, 하위 집단 으로 분류한 채점자들에게만 채점 교육을 실시하였기 때문에 자료 수집 조건 의 차이가 있었으며, 사고 구술 과정이 연구자를 마주 보고 있는 상황에서 이 루어져 그로 인한 영향을 고려하지 않았다는 한계가 있다.

김지영(2018)은 한국어 말하기 평가에서 채점자의 채점 경향을 양적·질적 방

법을 병렬적으로 연계하는 통합방법연구를 수행하였는데, 질적 연구 수행 결과 에서 채점자별 심층 면접을 통해 채점자들이 양적 연구에서 나타낸 채점 경향 의 원인을 확인하였다. 이 연구는 말하기 평가 채점 수행에 관한 통합방법연구 접근을 통하여 풍부한 자료 수집과 분석 결과를 제시하였다는 점에서 의의를 갖고 있으나, 수집한 질적 자료가 회상적 사고 구술 및 문제 원인에 대한 반성 적 면담을 토대로 하고 있어 자료의 타당성 확보가 필요하고, 연구 결과를 논 증하지 않고 있다는 한계가 있다.