II. 말하기 평가 채점 변인 연구를 위한 이론적 토대 · 30
2) 채점자 내적 요인
부합하도록 기술하는 것이 중요하다. 채점 기준은 평가하는 말하기 능력을 구 성하는 잠재적인 특성과 변별적인 수준을 구성하는 척도를 바탕으로 그에 부 합하는 내용에 관한 기술로 이루어진다.
채점 방법에 따라서 총체적 채점의 채점 기준은 통합된 말하기 능력을 대상 으로 하기 때문에 단일 척도와 단일 특성으로 구성하며, 분석적 채점 기준은 말하기 능력 구성 개념을 분리하고, 각 척도 및 특성을 구별하여 기술한다. 분 석적 채점 기준은 총체적 채점 기준에 비하여 작업량이 많다는 부담이 있지만, 인상 중심의 비체계적 평가를 방지할 수 있고, 수험자에게 유용한 여러 능력 특성 정보를 제공할 수 있어서 전반적인 효과를 알아보기 위해서는 총체적 채 점 기준을 사용하고(Brown, 2000; Brown, 2006), 평가 준거별 정보를 얻기 위 해서는 분석적 채점 기준을 사용해야 한다. 수험자의 수행을 채점 기준과 관련 지어 해석하는 과정에서 채점자는 문서화된 채점 기준을 바탕으로 채점자 내 에서 정신적으로 재구성한 기준을 적용한다(Bejar, 2006). 이상주의적 관점에서 는 채점자는 채점 척도와 수험자 발화의 인접쌍 찾기 활동을 수행하여 채점을 하는 것으로 보고 있으나(Pollitt, 2004), 실제로는 채점자들은 자신만의 채점자 영향을 갖고 있으며, 평가 과제와 특성 등에 따라 다양하게 나타난다 (Lazaraton, 1996; Brown & Hill, 1998).
(1) 청취 정보 판별의 정확성
말하기 평가 채점 과정에서 채점자는 수험자의 과제 수행 응답에 대한 청취 를 통하여 수험자의 과제 수행 수준 판정과 점수 결정을 위한 직접적인 증거 들을 수집한다. 채점자가 수험자의 응답의 특성을 적절하게 채점하기 위해서는 청취한 응답의 각 요소가 무엇이며, 어떤 상태인지에 관한 청취 정보를 정확하 게 판별할 수 있는 능력이 요구된다.
말하기 평가의 수험자는 음성으로 응답을 산출하며, 채점자는 청각 기관을 이용하여 응답을 청취한다. 인간이 소리를 듣는 과정은 일종의 신경 전달 과정 이라고 볼 수 있는데, 이 때 작동 기억의 영향으로 청취한 정보가 축소 또는 확장, 지속, 변형되는 일이 일어난다(Baars & Gage, 2007). 채점자가 수험자 발 화 판별은 물리적인 파형인 소리가 청각 기관을 통하여 전기적인 신호로 변환 되고, 뇌에서 청각 신경을 관장하는 부위를 통하여 입력된 신호를 처리하는 것 으로 이루어진다. 이 때 수험자 발화의 특성과 이를 처리하는 채점자의 인지적 특성이 상호작용하는 수준에 따라 청취 정보 판별 결과가 달라진다.
말하기 평가에서 채점자는 수험자의 응답을 듣고 이해할 수 있어야 하며, 이 는 청취의 책임이 청자에게 있다는 브라우넬(2007)의 관점과 통한다. 말하기 평가 상황에서 수험자는 평가 맥락을 고려하여 발화를 한 것이며, 채점자는 수 험자가 평가 받는 상황에서 발화했다는 것을 고려하여 평가의 목표에 부합하 는 가를 기준으로 이를 판별하여야 한다.
채점 과정에서 채점자가 수용한 수험자 응답의 음성 정보는 음성적 지각과 선택적 인식, 발화의 이해·해석·평가, 기억 체계로 처리가 이루어지는데, 채점 자는 인지 활동을 통해 청취를 통해 발견한 신정보와 기존에 갖고 있던 구정 보를 연계하여 어떤 의미를 구성하거나 모형화하여 점수 결정 활동으로 연계
시킨다(Mislevy, 2006). 채점자가 청취한 정보를 기존의 체계와 연계시킨다는
것은 해당 정보를 장기기억 체계로 통합한다는 것을 의미하며, 채점 과정에서 이를 유효한 점수 결정의 단서로 인출하여 사용할 수 있다. 그러나 청취한 정 보 가운데 주목하지 않았거나, 잘못 판별한 경우에는 채점의 정확성을 위협하 는 원인으로 작용할 수 있다. 연속적으로 주목해야 하는 정보가 발생하여 단기
기억 체계의 용량을 초과하는 경우도 판별을 어렵게 하는 원인이 되는데, 이러 한 인지적 한계를 보완하기 위하여 필요한 경우에는 채점 과정에서 발화 정보 를 기록하는 활동을 병행할 수 있다.
(2) 채점 척도의 이해와 적용 능력
채점 척도14)는 채점 과정에서 점수를 결정하는 절대적인 기준으로서 존재하 며, 채점자는 평가의 목적과 과제의 요구를 바탕으로 채점 척도의 내용을 파악 하고, 수준 판정과 점수 결정의 근거를 확보해야 한다. 채점 척도에 대한 채점 자의 이해는 채점자의 특성에 따라 다양할 수 있으며, 일반적으로는 전문적인 교육을 받은 채점자의 경우에는 채점 척도에 대한 공통의 이론적 기초를 갖고 있는 것으로 본다. 그러나 채점 척도의 형식적인 면의 기저에 있는 평가 결과 도출의 원리를 채점자가 이해하지 못하고 있다면 결과적으로는 같은 점수라도 그 의미는 다른 것이다. 채점자는 채점 과정에서 사용하는 채점 척도의 유형이 무엇이며, 그에 따라 평가 결과 산출 과정에 영향이 있음을 고려하여 채점을 하여야 한다.
채점자가 갖고 있는 채점 척도에 대한 지식은 채점 척도 상의 정보를 쉽게 해석하고 적용하는데 기여한다. 채점 과정에서 사용하는 채점 척도는 채점 방 법을 결정하는데 ‘총체적 채점 척도(holistic rating scale)’와 ‘분석적 채점 척도
(analytic rating scale)’가 대표적이다. 총체적 채점 척도는 수험자의 과제 수행
에 대한 종합적인 판정 결과를 제공하기 위한 것이며, 포괄적인 접근을 취한다 는 점에서 전체적 척도(global scale)라고도 한다. 종합적 척도는 하나의 점수나 등급을 선택하도록 구성하기 때문에 직관적인 접근이 가능하며, 채점의 효율적 이며 결론이 명료하다는 장점이 있다. 그러나 복합적인 요소로 이루어진 측정
14) ‘채점 척도(rating scale)’는 평가 결과 산출을 위한 평가 기준으로 평가 척도와 평가 준 거에 따라 해당하는 수준에 대한 기술로 구성한다. 채점 척도는 평가하는 언어 능력에 대한 이론적 구성 개념인 구인을 기초로 하며, 각각의 구인들은 평가하는 언어 능력을 구성하는 것으로 본다. 예를 들어 한국어 말하기 능력을 평가한다고 하였을 때, 평가하 는 구인으로 ‘발음’, ‘문법’, ‘담화 구성’을 정하였다면, 채점 척도는 각각의 구인에 대한 수준별 특성을 기술한 채점 기준으로 구성한다. 기존의 연구에서 채점 척도는 채점 기 준, 채점 기준표, 루브릭으로 명명되기도 하는데, 본 연구에서는 수준 판정의 기준과 점 수 결정을 위한 척도로 이루어졌다는 점을 강조하기 위하여 ‘채점 척도’라고 부른다.
대상을 지나치게 단순화하여 접근하면서 평가 결과의 의미를 훼손시킬 수 있 고, 과제 수행의 여러 결과들을 종합하였을 때는 일반화 가능성이 낮다는 한계 가 있다(Bachman & Palmer, 2010: 340). 분석적 채점 척도는 수험자의 응답을 여러 요소로 분리하여 측정하기 위하여 사용한다. 이러한 분석적 접근은 수험 자 수행에 대한 상세한 정보를 제공한다는 장점이 있는데, 상대적으로 종합적 접근에 비하여 효율이 낮고, 채점자 신뢰도 확보를 위한 물리적·경제적 투입이 이루어져야 한다는 약점이 있다(Lane & Stone, 2006).
총체적 채점 척도를 사용하는 경우 채점자는 점수 결정 과정에서 여러 가지 응답의 특징들을 바탕으로 하나의 점수 또는 등급을 부여하기 위하여 다양한 요소들을 합성(合成)하는데, 이 과정에서 어떤 부족한 수행 특징을 다른 영역 에서 보상하는 접근이 이루어진다. 일반적으로 총점 개념을 사용하는 평가에서 보상적인 접근이 나타나며, 말하기 평가에서는 ‘말하기 능력’이나 ‘의사소통 능 력’과 같이 종합적인 개념의 구인을 평가할 때 이러한 접근이 나타난다. 분석 적 채점 척도는 어떤 능력 개념으로부터 이론적으로 구성한 여러 평가 구인들 이 서로 독립적인 성격을 갖고 있음을 가정한다. 그래서 채점을 수행할 때 각 채점 영역들이 결합 관계라는 점을 고려하여 구인을 중복 평가하거나 임의적 인 심리적 가중치를 고려하는 현상이 일어나지 않도록 주의해야 한다.
(3) 점수 결정의 일관성
말하기 평가의 채점자는 채점 과정에서 여러 가지 복합적인 평가 요소들을 고려하면서 최종적인 수행 점수나 등급을 결정해야 한다. 이와 관련하여 채점 자는 복합적인 채점 관련 요소를 고려하면서 점수를 결정해야 하기 때문에 평 가 요소들을 중재하고, 채점이 일관되게 이루어지도록 하여 타당한 결론을 도 출할 수 있도록 전략적인 접근을 취해야 한다.15) 이는 복잡한 채점의 과정에서 채점자가 자신의 인지적인 부담을 조절하고, 결론으로 나아가기 위한 방책으로
15) 채점 과정에서 채점자가 문제를 해결하기 위하여 사용하는 전략(strategy)은 다양한 상 황에서 나타날 수 있다. 채점 전략과 관련하여 럼리(2001)의 관점은 점수 결정을 위한 것이 중심이라면, 커밍 외(Cumming et al., 2001)에서는 채점 척도 이해를 위한 해석 전 략(interpretation strategies)과 등급이나 점수 형성을 위한 판단 전략(judgement strategies)이 채점자가 문제 해결에 사용된다고 보았다.
서 개별 채점자의 채점 특성으로도 볼 수 있다. 채점 전략과 관련하여 럼리
(2001: 240)의 연구에서는 채점자가 갈등 상황에서 사용하는 전략으로 ‘쥐어짜
기(squeezing), 다듬기(shaping), 규정하기(defining), 중재하기(arbitrating), 비교하
기(comparing), 거절하기(rejecting)’의 사용을 확인하였다. 그런데 이러한 채점에
관한 전략적인 접근은 해당 채점자가 어떤 조건과 어떤 맥락을 어떻게 고려하 느냐에 따라서 사용 유무에 차이가 있을 수 있으며, 어떤 전략이 자신에게 더 효과적인지를 가늠하기 어렵다. 전략적 접근의 차이를 비교하기 위해서는 이를 사용함으로서 얻은 채점자의 효용이 무엇인지를 평가 결과와의 관계 속에서 해석하는 것이 필요하다. 평가 결과와 무관한 점수 결정 전략의 사용은 채점자 편의에 기반한 것일 수 있으며, 이는 편향된 평가 결과로 나타날 수 있다.
말하기 평가의 채점 과정은 평가 결과를 도출하는 직접적인 원인을 제공한 다. 기존의 수행 평가에서의 채점 과정 연구에서 통합 방법 연구로 접근한 사 례들에서는 채점 과정을 영향 요인으로 보면서 채점 과정을 분석하면서 보고 내용의 빈도로 경향을 파악하거나, 양적 분석과 연계하지 않거나 보충적인 차 원에서 채점 과정에 대한 사후 면담 내용을 제시하였다. 이러한 접근은 채점 과정과 평가 결과에 나타난 채점자 영향과 양상을 파악하는데 도움이 되지만, 인과적 관계를 가정하지 않기 때문에 무엇으로부터 나타난 결과인지를 설명하 는데 한계가 있다.
본 연구에서는 채점 과정이 평가 결과의 원인으로서 어떻게 작용하였는가를 파악하기 위하여 두 가지 조건을 고려하여 연구 자료를 수집하였다. 첫째, 말 하기 평가 채점 과정의 특성을 파악하기 위하여 채점자의 채점 특성을 비교· 대조할 수 있는 척도화된 정보가 수집되어야 한다. 말하기 평가의 점수는 특정 채점자가 특정 수험자의 응답에 대하여 특정 평가 맥락을 고려하여 특정 상황 에서 부여한 것이다. 이러한 점수를 비교하기 위해서는 같은 척도 상에 위치할 수 있도록 점수를 조정해야 하며, 문항반응이론 가운데 MFRM은 평가 결과를 문항 곤란도를 바탕으로 척도화(logit 분포)하여 여러 평가 국면들을 비교 가능 하게 하는 방법이다. 이와 관련하여 본 연구의 Ⅲ장에서는 MFRM 분석을 통 해 한국어 말하기 평가의 평가 결과에 나타난 채점자 영향을 확인할 것이다.
둘째, 말하기 평가 과정의 자료 수집 및 분석의 타당성이 보장되어야 한다. 자료 수집 및 분석의 타당성은 과정 타당도(process validity)를 나타내며, 본 연