II. 말하기 평가 채점 변인 연구를 위한 이론적 토대 · 30
1) 채점자 외적 요인
수험자의 사전적인 의미는 ‘시험을 치르는 사람’이며, 이는 시험을 경험하면 서 필요한 정보나 자격을 얻기 위한 목적을 갖고 있는 학습자를 가리킨다. 말 하기 평가에서 수험자는 평가의 목적과 실행에 있어서 최우선적으로 고려해야 하는 대상이며, 평가 결과에 영향을 미치는 가장 큰 변인으로 여겨진다
(Matsugu, 2013). 전통적인 평가에서 수험자 변인을 통제하기 위하여 직관적으
로 평가 가능한 능력만을 대상으로 하는 접근을 취하였으나(Spolsky, 1978), 심 리측정학의 발달과 평가 타당도의 중요성이 강조되면서 평가 목적 세밀화 및 체계화 토대 위에 수험자 수준과 필요를 반영(통제)하여 평가하는 접근이 이루 어졌다. 이러한 접근은 “수험자에게 너무 많은 자유를 주지 말라”는 휴즈
(2003: 54)의 언급처럼 평가자인 교사 또는 평가 개발자 중심의 평가관을 바탕
으로 한다. 수험자의 수준과 필요를 반영한 평가는 수험자가 역량을 충분히 발 휘할 수 있는 평가 환경이 조성되지 못하였을 때는 능력을 과소평가하거나 구
인과 무관한 평가가 이루어질 수 있다는 문제가 있다. 수험자 영향을 고려하기 위해서는 평가 과정에서 수험자의 수준과 평가 목적을 바탕으로 체계적 접근 을 위한 형식화를 통해 채점 기준이나 과제 특성, 평가 방법 등에 관한 지침을 따라 개별적으로 판정하는 접근이 필요하다. 채점자는 점수 결정 과정에서 수 험자의 개인적인 수준이나 특성을 주목할 수도 있는데, 개인적 특성이 최종 수 행 수준 결정에 대한 가정으로 관여할 수 있으나, 관찰한 수행이 아니라 선험 적 신념을 바탕으로 한다는 점에서 유의해야 한다.
(2) 말하기 과제의 형식과 내용
말하기 평가의 과제는 수험자와 채점자의 수행을 연결하는 매개이며, 평가를 통해 판정하여 점수를 부여할 수 있는 언어 사례를 도출하는 도구이다(Fulcher,
2003). 과제는 평가 문항으로 구성하여 수험자에게 제시되는데, 채점자는 각
문항의 과제에서 다루는 내용이 무엇이며, 어떤 형식으로 제시되었는지를 파악 하여 수험자 응답의 특성을 이해할 수 있도록 해야 한다.
말하기 평가 과제의 형식은 수험자가 말해야 하는 담화 상황에 따라서 유형 을 구분할 수 있다. 이는 말하기 평가에서 과제의 역할이 특정한 상황과 목적, 성취 목표와 관련하여 목적 지향성을 갖고 있어 수험자가 무엇을 말해야 하는 지를 안내하는 것(Pica et al., 1993; Bachman & Palmer, 1996)이라는 점과 관련 이 있다. 가장 대표적인 말하기 과제의 형식은 대면 상황의 여부에 따라 독화 와 대화로 구분할 수 있다. 독화(monologue)형 과제는 수험자가 주어진 화제에 대하여 주어진 시간 동안 답을 하는 것을 가리키는데, 간단한 문장을 읽는 것 에서부터 복잡한 문제에 대한 의견을 말하는 발표의 형식까지 다양한 수준에 서 이루어질 수 있다. 독화형 말하기 과제는 참고 자료의 사용 여부에 따라서 독립적 과제(integrated task)와 통합형 과제(integrated task)로 나누기도 하며, 독 립적 과제는 주로 수험자의 경험이나 생각을 말하는 형식이라면 통합적 과제 는 읽기·듣기 자료를 활용하여 주어진 과제에 답을 하는 형식으로 평가가 이 루어진다. 독화형 과제는 과제 수행을 위해 면담자가 필요하지 않기 때문에 준 직접식 말하기 평가에서 사용하기에 적합하다. 독화형 과제에 대한 채점은 과 제를 통해 측정하고자 하는 것이 무엇이냐에 따라서 차이가 있을 수 있다. 독
립적 과제에서는 언어적인 측면에 초점을 둔다면, 통합적 과제에서는 복잡한 담화를 구성하는 것과 관련된 복합적인 능력을 측정하기 때문에 채점의 복잡 성이 높다고 볼 수 있다. 다음으로 대화형(interview) 말하기 과제는 수험자가 면담자와 이야기를 주고받는 형식으로 이루어지는 것을 가리키는데, 실제적인 상호작용을 통해 평가가 이루어진다는 점에서 평가의 진정성을 확보할 수 있 다는 장점이 있다. 대화형 과제는 면담자가 있어야 하기 때문에 직접식 평가로 이루어지는데, 면담자로 인한 영향이 개입할 수 있고, 면접관이 채점자의 역할 을 동시에 해야 하는 경우에는 인상 중심의 평가에 그칠 수밖에 없다는 어려 움이 있다. 따라서 기초적인 의사소통 능력을 평가하는 경우에는 상호작용 중 심의 대화형 과제를 선택할 수 있으나, 수험자가 준비한 응답을 보고 또는 발 표의 형식으로 말하는 상황에서는 준직접식 평가로 구성한 독화형 과제를 사 용하는 것이 복합적이고 잠재적인 능력을 측정하는 데에 더 적합하다고 볼 수 있다.
한편, 말하기 평가 과제는 과제의 지향성, 상호작용성, 목적지향성, 관계성과 이를 수반하는 주제 및 상황을 고려하여 작성하는데, 상대적으로 수험자에게 부담이 적은 과제는 요구하는 응답이 간단하고 단순한 것이라면, 복잡하고 구 성적인 응답을 요구하는 과제는 인지적인 부담이 크기 때문에 문항의 곤란도 가 높아진다는 점을 유념해야 한다(Brown & Yule, 1983). 이와 같이 과제의 형식과 내용에 따른 곤란도의 차이는 채점자의 채점 과정에도 영향을 미치며, 단순한 구성의 과제에서는 직관적인 접근이 가능하다면, 복잡한 구성의 과제에 서는 여러 과제 구성 요소에 대한 고려가 복합적으로 이루어져야 하므로 반성 적인 접근이 필요하다. 따라서 채점자는 과제에 따라서 측정하는 준거를 어떻 게 판단해야 할지 생각하고, 수험자의 응답이 과제의 특성과 관련하여 나타난 것이라는 점을 유념해야 한다.
(3) 채점 기준의 구성
채점 기준은 말하기 과제 수행을 측정 및 평가하기 위하여 기술하며, 이론적 인 바탕에서 경험적인 요소와 실행적인 측면을 고려하여 구성한다. 채점 기준 에 따라 측정하는 말하기 능력에 관한 설명이 달라지기 때문에 평가의 목적에
부합하도록 기술하는 것이 중요하다. 채점 기준은 평가하는 말하기 능력을 구 성하는 잠재적인 특성과 변별적인 수준을 구성하는 척도를 바탕으로 그에 부 합하는 내용에 관한 기술로 이루어진다.
채점 방법에 따라서 총체적 채점의 채점 기준은 통합된 말하기 능력을 대상 으로 하기 때문에 단일 척도와 단일 특성으로 구성하며, 분석적 채점 기준은 말하기 능력 구성 개념을 분리하고, 각 척도 및 특성을 구별하여 기술한다. 분 석적 채점 기준은 총체적 채점 기준에 비하여 작업량이 많다는 부담이 있지만, 인상 중심의 비체계적 평가를 방지할 수 있고, 수험자에게 유용한 여러 능력 특성 정보를 제공할 수 있어서 전반적인 효과를 알아보기 위해서는 총체적 채 점 기준을 사용하고(Brown, 2000; Brown, 2006), 평가 준거별 정보를 얻기 위 해서는 분석적 채점 기준을 사용해야 한다. 수험자의 수행을 채점 기준과 관련 지어 해석하는 과정에서 채점자는 문서화된 채점 기준을 바탕으로 채점자 내 에서 정신적으로 재구성한 기준을 적용한다(Bejar, 2006). 이상주의적 관점에서 는 채점자는 채점 척도와 수험자 발화의 인접쌍 찾기 활동을 수행하여 채점을 하는 것으로 보고 있으나(Pollitt, 2004), 실제로는 채점자들은 자신만의 채점자 영향을 갖고 있으며, 평가 과제와 특성 등에 따라 다양하게 나타난다 (Lazaraton, 1996; Brown & Hill, 1998).