III. 말하기 평가의 채점자 영향 분석
2) 채점 척도의 구성과 채점 방법의 선정
본 연구에서 실시한 말하기 평가의 평가 결과 확보를 위하여 이론적 검토를 바탕으로 채점 척도를 구성하고, 이를 활용하기 위한 채점 방법을 선정하였다. 채점 척도의 구성은 먼저 평가 준거를 선정하고, 평가 준거별로 척도에 따라 평가 기준을 기술하는 일로 이루어졌다. 그리고 채점의 방법은 구안한 말하기 평가 도구의 특성을 중심으로 채점자의 채점 수행 양상을 심층적으로 파악할 수 있어야 한다는 점을 고려하여 선정하였다.
(1) 채점 척도의 구성
본 연구에서는 한국어 말하기 평가 연구에서 제시한 한국어 말하기 능력의 평가 구인에 대한 검토를 바탕으로 평가 준거를 선정하였다. 또한 수험자의 능 력 수준을 의미하는 척도는 상대적인 평가 척도로서 보편화된 총화평점 척도
(summated rating scale)인 리커트 척도 방식을 선택하였다. 각 준거별 척도에
따라 기술한 채점 기준은 국내외 말하기 평가 연구에서 제시한 기술문의 내용 을 바탕으로 작성하였다.
① 평가 준거의 선정
본 연구에서는 한국어 말하기 평가 선행 연구에서 제시한 한국어 말하기 능력 구인을 바탕으로 ‘한국어 말하기 능력 시험’의 채점을 위한 4개의 평가 준거를 선정하였다. 여기서 ‘평가 준거(criterion)’는 평가하는 구체적인 특성을 가리키며, 본 연구에서는 구안한 평가의 특성을 고려하여 중·고급 한국어 학습 자의 독화형 말하기 능력을 측정할 수 있는 구성 요인(구인, construct)을 중심 으로 선정하고자 하였다.23)
평가 준거 선정을 위하여 먼저 지금까지 한국어 말하기 평가 연구에서 제시 한 말하기 능력의 구인을 살펴보았다. 검토 결과, 선행 연구에서 제시하고 있 는 말하기 능력의 구인은 어떤 상황에서의 말하기 능력을 측정하고자 하느냐 에 따라서 설정한 구인의 항목과 범주에 차이가 있었다(<표 Ⅲ-5> 참조).
연구자들이 반복해서 언급한 말하기 능력의 구인은 과제 수행에 관한 능력 (전은주, 1997; 이영식, 2004; 지현숙, 2006; 김정숙, 2014; 원미진·김지영, 2018) 과 담화를 구성하는 내용 및 조직에 관한 능력(김정숙·원진숙, 1993; 전은주,
1997; 이영식, 2004; 김정숙, 2014), 그리고 면대면 상호작용 상황에서의 의사
소통 전략과 상호작용 능력(전은주, 1997; 전나영 외, 2006; 지현숙, 2006)이었 다. 여기서 연구자 간 구인 설정의 차이는 주로 언어적인 영역을 넘어서는 구 인인 ‘과제 수행 능력’과 ‘상호작용 능력’을 포함시키느냐에 관한 것으로 나타 났다. 이와 관련하여 본 연구에서는 준직접식 말하기 평가를 실시하였다는 점 과 수험자의 응답이 과제를 수행하는 것으로 구성된다는 점을 고려하여 말하 기 능력 구인 가운데 평가 준거로 ‘과제 수행 능력’을 포함시키고, ‘상호작용 능력’은 제외하였다. 또한 언어적인 측면과 관련하여 선행 연구에서 반복적으 로 나타났으며, 구인 간의 변별이 이루어지고 있는 최소한의 항목24)을 포함하 여 최종적으로 ‘전반적 수행 능력’, ‘발음 구사 능력’, ‘어휘와 문법 사용 능력’,
‘담화 구성 능력’을 평가 준거로 선정하였다.
23) 구인은 평가를 통해 수험자에 대해 측정하는 핵심적인 능력 요소 또는 개념을 의미한 다. 구인의 설정은 능력의 개념을 구체화하고, 이론적인 정의를 바탕으로 이루어진다.
24) 평가 구인의 수는 채점의 효율성과 경제성에 직접적인 영향이 있는데, 5개 이하에서 경 제적인 접근이 가능한 것으로 알려져 있다(Matsugu, 2013). 본고에서는 선행 연구의 차 별적인 구인 설정 결과를 종합하고, 채점 효율성 확보를 위하여 4개로 하였다.
연도 2019 1983 1993 1997 2004 2006 2006 2014 2017 2018 연구
자 본 연구 노대규 김정숙
원진숙 전은주 이영식 지현숙 전나영 외 김정숙 민병곤 외 김지영
원미진
평가구인
전반적
수행 능력 - - 과제
수행력 과제
실현성 - - 과제 수행
능력 - 과제수행
적절성
발음 구사
능력 자연성
유창성 문법적
사회언어능력·
학적 능력
발음능력 유창성,
정확성, 발음 언어적
능력
발음능력
발음과유창성 유창성 및 발음
어휘·문법
사용 능력 정확성 다양성
어휘·사회문법·
언어학적 능력
언어의 풍부함
문장 구조어휘, 규칙
언어적 · 사회언어 적 능력
어휘와
문법 정확성 및 범위
담화 구성
능력 - 담화구성
능력 구성력 대화의
적절성 내용 조직,
담화 운용 화용적 능력
구성·담화내용
능력 내용, 조직 -
- - - 의사소통
상호작용전략과
의사소통능력 상호작용
태도, 전략 - 상호작용
능력 - -
<표 Ⅲ-5> 한국어 말하기 평가 구인의 선정
② 채점 기준의 기술
채점 기준은 채점 척도에서 각 수준별 특성을 어떻게 측정할 것인가에 관한 내용을 기술한 것이다. 본고에서는 채점 기준의 기술을 위하여 선행 연구에서 제시한 말하기 평가 채점 척도 및 루브릭의 기술문을 검토하였으며, 이를 바탕 으로 ‘한국어 말하기 능력 시험’의 채점 기준을 기술하였다(김정숙 외, 2006;
민병곤 외, 2017; Xi & Mollaun, 2006; Matsugu, 2013, IELTS, 2019).
먼저 ‘전반적 수행 능력’에 관한 채점은 과제 수행을 중심으로 총체적으로 응답을 평가하는 준거라는 점을 고려하여 채점 기준을 작성하였다. 여기서 가 장 핵심인 과제 수행에 관해서는 문항별로 과제를 어느 정도 수준으로 수행하 였으며, 응답 내용에 과제의 핵심적인 내용이 잘 나타나는 가를 기준으로 평가 하도록 하였다. 다음으로 ‘발음 구사 능력’은 외국어 발음 평가의 핵심인 발음 의 오류가 없음의 나타내는 정확성과 언어적인 전달력을 나타내는 유창성을 중심으로 기술하였다. ‘어휘·문법 사용 능력’은 응답에서 사용한 어휘와 문법이 정확하고, 또한 적절하게 이루어졌는가를 기준으로 기술하였고, 끝으로 ‘담화 구성 능력’은 응답 내용이 논리적으로 매끄럽게 연결되며, 문장과 담화가 긴밀 하게 연결되어 있는지를 중심으로 기술하였다(<표 Ⅲ-6> 참조).25)
채점 기준 기술 과정에서 각 평가 준거별 척도에 따른 세부 기술어는 선행 연구에서 사용한 어휘와 수준별 배치를 참고하였으며, 기술어들이 서로 상충되 거나 수준 배열의 오류가 없도록 구성하였다. 척도별 채점 기준은 리커트 척도 를 따라 1~5점마다 기술하였으며, 0점은 응답 내용이 과제와 무관하거나 제시 한 문제나 자료를 따라서 읽기만 한 경우에 부여할 수 있는 것으로 하였다.
25) 본 연구에서 사용한 전체 채점 척도는 <부록 2>에 제시하였다.
점수
(수준) 전반적 수행
5
탁월 •응답에 사소한 실수가 있지만 과제를 충족하며, 적절한 세부 설명을 포함함.
•표현의 실수가 거의 없고, 잘 이해할 수 있으며, 담화의 응집성이 있음.
4
우수 •응답이 완벽하지는 않지만 과제를 상당히 적절하게 다루고 있음.
•표현의 몇 가지 실수가 있지만 명료하고 유창하게 응집성 있는 담화를 구성함.
3
보통 •응답에서 과제와 관련하여 어느 정도 적절한 내용을 다루고 있음.
•표현에 실수가 지속적으로 나타나고, 유창성이 다소 부족하지만 이해가능한 편임.
2
미흡 •응답에서 과제를 다루고 있지만, 제한적으로 주제를 다루고 있음.
•표현을 이해할 수는 있으나, 전반적으로 발화 전달과 담화 응집성에 문제가 있음.
부족1 •응답이 과제와 거의 관련이 없음.
•표현을 대체로 이해하기 어렵고, 응집성이 매우 부족함.
채점0 불가
• 응답한 내용이 과제와 전혀 관련이 없음.
• 다른 응답 내용이 없이 문제나 자료의 내용을 그대로 읽기만 하였음.
<표 Ⅲ-6> ‘전반적 수행 능력’에 대한 채점 기준
작성한 채점 기준의 유용성을 확보하기 위하여 실사용자로부터 피드백을 받 을 필요가 있다고 판단하여 채점자들에게 연습 채점 과정에서 피드백을 요청 하였다(Wolfe et al., 1998; Joe, Harmes, & Hickerson, 2011). 채점자들은 제공한 채점 기준을 사용할 때에 수험자 응답에 대한 수준별 채점에 문제가 없고, 이 해 가능하다고 하였으며, 이에 구성한 채점 기준을 본 채점에도 사용하였다.
(2) 채점 방법의 선정
본 연구에서는 연구의 목적과 앞서 선정한 평가 준거를 고려하여 채점 방법 으로 총체적 채점과 분석적 채점을 결합한 ‘혼합형 채점’을 선정하였다. 말하 기 평가의 채점 방법은 평가 문항과 구인의 특성을 고려하여 선정하는 것이 일반적인데, 평가하는 능력을 하나로 볼 것인지, 아니면 여러 개로 나누어서 볼 것인지에 따라서 총체적 채점과 분석적 채점으로 나누기도 하고26), 과제 특
26) 총체적 채점은 학습자의 수행으로부터 학습자 능력을 종합적으로 추론하여 하나의 점 수 또는 등급을 부여하는 것을 가리킨다. 총체적 채점은 채점 효율성과 결론의 명료성
성을 기준으로 나눌 때는 주 특성 채점과 복합 특성 채점으로 구분하기도 한 다(Hamp-Lyons, 1991; Fulcher, 2003). 이 중에서 ‘분석적 채점(analytic scoring)’
은 수험자의 응답을 여러 개의 준거로 분리하여 채점하는 방법을 가리키는데, 구성형 응답 문항에서 수험자의 말하기 능력을 구성하는 여러 특성에 관한 개 별적인 정보를 얻을 수 있다는 장점이 있다는 점에서 성취도 평가에 적합한 채점 방법이라고 판단된다. 그런데 분석적 채점은 채점자가 평가하는 각 특성 을 완벽하게 분리하여 평가하기가 어렵고, 평가 결과에서 종합적으로 수험자 수준의 변별이 모호하다는 한계가 있다(이영식, 2006). 이러한 점을 보완하여 본 연구에서는 전반적 수행 능력을 중심으로 하는 총체적 채점과 그 밖의 언 어적인 능력에 관한 분석적 채점을 병행하는 혼합형 채점 방법을 선택하였다.
연구에 참여한 모든 채점자들은 혼합형 채점 방법을 적용하여 본 채점 대상 인 12명의 수험자의 응답을 모두 채점하는 ‘완전 교차형’ 채점을 실시하였다. 이는 채점자 영향과 채점 과정 분석을 위한 전체 채점자의 비교 가능한 자료 확보와, 교실에서 이루어지는 말하기 성취도 평가의 형식적인 유사성을 고려하 한 것이었다([그림 Ⅲ-2] 참조)27). 채점자의 수험자 응답 청취는 말하기 성취도 평가로서의 실제성을 고려하여 1회로 제한하였고, 불가피한 문제가 발생한 경 우를 제외하고는 재청취를 불허하였다.28)
등의 장점을 갖고 있지만, 평가 결과에 대한 의미를 정확히 파악하기가 어렵고, 인상에 의한 평가라는 비판을 받기도 한다. 분석적 채점은 학습자 수행으로부터 학습자의 능력 을 세분하여 영역별로 점수를 부여하는 방법이며, 채점자 수행과 잠재된 능력에 관한 상 세한 정보를 제공할 수 있다는 장점이 있다. 하지만 분석적 채점은 효율이 낮고, 경제적 으로 부담이 큰 평가 방식이며, 채점자가 평가 준거를 구별하지 못할 수 있다는 약점을 갖고 있다.
27) 완전 교차형 설계는 신뢰도 확보가 용이하다는 장점이 있지만, 경제성과 효율성이 어 져 ‘고급 채점 체재’로 여겨진다(Myford & Wolfe, 2004: 198). 본 연구에서는 채점자 영 향에 대한 양적 분석 결과의 비교 가능성 확보를 위하여 완전 교차형으로 채점을 설계 28) 채점자들은 수험자 응답을 녹음한 음성 자료를 재청취한 경우 점수 기록표에 재청취하였다.
횟수를 기록하였다. 전체 13명의 채점자 가운데 재청취를 한 경우는 R02 1회(E12), R04 1회(E02), R07 1회(E10), R08 1회(E05)였으며, 청취를 중단했던 해당 문항에 대해서 재 청취가 이루어졌음을 보고하였다.