IV. 말하기 평가의 채점 과정 분석
1) 분석 대상 자료의 특성과 분석 과정
(1) 분석 대상 자료의 특성
채점 과정 보고를 분석하기 위하여 먼저 분석 대상 자료의 기본적인 특성을 확인하였다. 본 연구의 분석 대상 자료는 채점자 13인의 말하기 평가 채점 과 정 보고 담화를 녹음한 자료이다. 전체 자료에서 채점자들은 평균 188.92분 동 안 12명의 수험자가 4개의 구성형 문항에 응답한 발화를 채점하였다. 채점 과
정의 분석을 위해 녹음한 자료를 전사한 결과, 발화를 의미 단위로 분절하였을 때 채점자별 평균 보고량은 A4용지를 기준으로 평균 49.69매였다. 그리고 채 점자별로 채점 과정 보고에 사용한 단어의 수는 평균 7,704.54개였다.47)
채점자ID 시간
(분) 분절자료
(쪽) 총 단어 (개)
R01 137 26 4071
R02 150 28 3908
R03 127 35 4919
R04 243 66 12916
R05 240 62 11919
R06 213 64 8652
R07 137 18 3090
R08 199 36 8363
R09 215 52 6077
R10 260 93 12209
R11 172 76 9231
R12 197 50 8269
R13 166 40 6535
평균 188.92 49.69 7,704.54
<표 Ⅳ-2> 채점자별 채점 과정 보고 자료의 특성
<표 Ⅳ-2>은 전체 채점자의 채점 과정 보고 자료의 특성을 정리한 표이다.
자료를 살펴보면, 채점자 중에 R01과 R02, R07은 보고의 양이 평균에 비해 상 대적으로 적은 편(총 단어 수 평균=3689.67개)으로 나타났으며, 특히 R07의 경 우에는 발화 중에 긴 휴지가 많이 나타나, 채점 과정 보고 방식에 잘 적응하지 못한 것으로 나타났다. 채점자 R04, R05, R10은 채점 과정 보고의 양이 평균 에 비하여 매우 많은 것(총 단어 수 평균 12,348개)으로 나타났으며, 보고 형식 에 잘 적응하였으나 경제성이 다소 부족한 채점자들인 것으로 나타났다.
(2) 코딩의 절차와 방법
채점 과정 보고의 분석은 형식화한 보고 자료를 논증 요소에 따라 코딩하는
47) 단어 수에는 채점자 구분 기호, 수험자별 구분 기호, 문항별 구분 기호, 청취 중 보고와 청취 후 보고의 구분 기호로 사용한 384개 표시가 포함되어 있다.
것으로 이루어졌다. 코딩은 Excel 시트에 채점 과정 보고별로 주장, 근거, 가정 의 종류에 따라 코드를 부여하는 것으로 이루어졌다(<표 28>참조). 코딩은 채 점자가 채점 과정에서 수험자의 응답 특성이나 채점자 판단을 근거로 삼아 채 점 척도와 과제, 평가 관련 이전 신념, 그리고 채점을 수행하면서 갖게 된 새 로운 신념 등의 가정을 바탕으로 0~5점의 준거별 점수 결정을 주장하는 과정 을 확인하기 위한 목적으로 이루어졌다. 채점 과정 보고 자료의 코딩에는 3명 의 한국어 교사48)가 참여하였으며, 코드 목록 점검 및 코딩 일치도 확인을 위 한 3차에 걸친 코딩 연습 및 회의를 한 후에 코더들의 코드에 대한 이해와 코 딩의 일관성을 확인한 후에 본 코딩을 수행하였다.
순
서 논증
요소 채점 과정 보고
1 #R05121
2 #R051211
3 DP1 유창하다
4 DL1 사용하는 어휘는... 약간 중급스럽다, 중급 이하의 표현을 쓰고…있다
5 #R051212
6 DD1 이 학생은 전반적으로 들었을 때는, 과제와, 과제와 관련해서 적절하게 과 제를 어 수행하고 있어 보입니다
7 DL2 그런데 전반적인 표현 자체가 그렇게 고급 표현을 사용하는 게 아니라 중 급 이하의 표현을 사용해서 유창하게 이야기를 하고 있는 것으로 봐서 8 4점까지 주기에는 조금 어려움이 있을 것 같고
9 DL3 어, 그 다음에 끝나는 부분도 갑자기 완결되는 느낌이 조금 있어서 10 S1:3 음 전반적 수행은 3점 정도를 주는 것이 적절해 보입니다.
11 DP2 발음은 상당히 자연스럽고 어 매끄럽습니다 12 DP3 반복도 별로 없었고 주저하는 일도 없고
13 S2:4 그래서 사실 발음 같은 경우에는 4점 정도를 줘도 큰 문제가 없을 것 같 습니다
14 AT1 다음 어휘와 문법은 어 내용을 잘 들어보면 사실 주제와 관련한 이야기를 하고 있기는 하지만
15 DL4 그 주제와 관련된 이야기를 할 때 사용하는 어휘 수준이 그렇게 높지 않고 16 DL5 어 중급 이하의 표현들을 주로 사용하고 있습니다.
17 DL6 그렇지만 어떤 복잡한 문형 자체를 사용하고 있기 때문에 18 4급을 주는 것은 어려울 것 같고
19 이 정도 수준이면 3급을 주는 것이 주는 것이 적절하, 아니 20 S3:3 3점을 주는 것이 적절해 보입니다.
<표 Ⅳ-3> 채점 과정 보고의 코딩 사례(R05-E12, 문항1)
48) 코딩에 참여한 3명은 모두 한국어 교사로서 한국어교육학 전공 석사학위 소지자였다.
<표 Ⅳ-3>에서 가장 좌측에 있는 ‘순서’열은 분절된 채점 과정 보고의 순서 를 나타낸다. ‘순서’열에서 1, 2, 5에는 채점 과정 보고를 형식적으로 구분하기 위한 기호가 들어가 있다. 다음으로 ‘논증 요소’열은 채점 과정 보고의 내용에 따라 어떤 논증 요소인지를 나타낸다. ‘논증 요소’열에서 순서열 18, 19는 해당 하는 발화의 내용이 점수 결정을 고민하는 내용이기 때문에 채점의 근거로 보 기에 어려움이 있으므로 논증 요소를 부여하지 않았다. 코더들은 각 수험자의 문항별 채점 과정 보고에 대해 논증 요소로 코딩하면서 한 문제에서 나타난 같은 종류의 논증 요소에 숫자를 붙여 논증 요소 고려의 양상을 파악할 수 있 도록 하였다. 가장 우측에 있는 ‘채점 과정 보고’열은 분절된 채점 과정 보고 발화의 내용을 확인할 수 있다.
제시한 채점 과정 보고를 간단하게 나타낼 수 있는 방법은 아래와 같이 채 점 과정을 나타내는 논증 요소 코드를 연결하여 채점 과정을 나타내는 것이다. 예를 들어 채점자 R05의 채점 과정 보고를 논증 요소에 따라 코딩하였을 때
DP1-DL1-DD1-DL2-DL3-S1:3-DP2-DP3-S2:4-AT1-DL4-DL5-S3:3의 순서로 이루
어졌다면 채점 과정은 수험자의 응답에서 발음에 관한 어떤 특징 또는 판단에 관한 보고로 시작(DP1)하여 어휘·문법(DL1), 담화(DD1), 다시 어휘·문법(DL2, DL3)에 관하여 보고한 후에 ‘전반적 수행’(S1)에 관하여 3점으로 점수를 결정 하였으며, 다시 발음에 관하여 두 가지 측면을 보고(DP2, DP3)한 후에 ‘발음’ 에(S2)에 관해 채점하고, 평가 과제에 대한 고려(AT1)와 어휘 문법에 대한 고
려(DL4~6)를 한 후에 어휘·문법(S3)에 점수를 결정하였다는 의미인 것이다.
논증 요소 코드로서 채점 과정을 나타내는 것의 장점은 채점 과정을 비교할 때 직관적으로 그 차이를 알아 볼 수 있도록 한다는 점이다. 본 연구에서 수집 한 전체 채점 사례는 총 624개(수험자 12명×4개 문항×채점자 13명)이며, 이 중 에서 채점 과정 보고 분석의 대상으로 평가 문항 유형별 응답 수준에 따른 대 표 사례와 채점자 영향이 나타난 사례를 중심으로 채점 과정 보고 발화에 대 한 논증 요소 코딩을 실시하였다. 이러한 접근은 직관적으로 채점 과정을 파악 하는 데 도움이 될 수 있을 것으로 판단하였다. 이후의 채점 과정 보고의 분석 결과는 채점 과정에 관한 직관적 이해와 상세한 이해를 도모하기 위하여 논증 요소로 코딩한 것과 실제 담화 자료를 함께 제시하였다.
(3) 자료 분석의 방법과 절차
논증 요소에 따라 코딩한 채점 과정 보고 자료의 분석은 평가의 4개 문항 유형별 채점 과정 양상을 확인하는 접근과 채점자 영향의 원인을 확인하기 위 한 접근으로 이루어졌다. 먼저 평가 문항 유형별 채점 과정 보고의 분석은 채 점자가 평가의 조건에 따라서 채점 과정에서 어떠한 인지적인 차이를 나타내 었는지를 알아보기 위한 것이며, 평균 점수를 기준으로 4개 문항별로 최상위- 중위-최하위 수준에 해당하는 수험자에 대한 전체 채점자의 채점 과정 보고 양상을 논증 요소를 바탕으로 확인하고, 채점 척도 사용을 기준으로 유형을 구 분하여 채점 과정의 특징을 비교하는 것으로 이루어졌다(<표 Ⅳ-4> 참조).
문항 유형
수준 경험 말하기 조언하는 말하
기 도표 보고 설명
하기
기사 읽고 문제 와 해결 방안 이야기하기
최상위 E03 E03 E04 E03
중위 E10 E02 E12 E01
최하위 E09 E05 E05 E09
<표 Ⅳ-4> 문항 유형별 채점 과정 보고의 분석 대상
<표 Ⅳ-4>에서 제시한 문항 유형별 채점 과정 보고 분석의 대상은 각 문항
별로 평균 점수에 가장 가까운 점수를 받은 수험자를 중위, 가장 높은 평균 점 수를 받은 수험자를 최상위, 반대로 가장 낮은 평균 점수를 받은 수험자를 최 하위로 선정한 결과를 정리한 것이다.
다음으로 평가 결과의 오차를 발생시키는 원인인 채점자 영향이 각 유형에 어떠한 채점 과정의 양상으로 나타나는지를 알아보기 위하여 채점자 영향에 따른 채점 과정 분석을 실시한다. 채점 과정의 분석은 연구에 참여한 채점자로 부터 나타난 채점자 영향 가운데 주관적인 채점 경향성(엄격성/관대성)과 특정 척도에 관한 집중 경향성, 채점 척도나 준거를 구별하지 않거나 영향 관계를 고려하지 않는 경향성(무작위성 및 후광성)을 기준으로 이루어졌다(<표 Ⅳ-5>
참조).
채점자 영향
주관적 채점 경향 특정 점수 선택
경향
평가 준거의 주관적 사용 더 엄격한 경향 더 관대한 경향 경향
R05(1번 문항)
R08(1번 문항) R11(1번 문항)
R13(1번 문항) R05(3점) R06(제한적 사 용)
- R11(2번 문항) R13(5점) R02(무선적 사 용)
R13(3번 문항) R07(3번 문항) R01(척도별 간
격 넓음) R08(어휘·문법 의 편향 채점) R07(4번 문항)
R11(4번 문항) - R13(척도별 간
격 좁음) R04(담화의 편 향 채점 )
<표 Ⅳ-5> 채점자 영향별 채점 과정 보고의 분석 대상
<표 Ⅳ-5>에서 제시한 채점자 영향에 따른 분석 대상 사례들은 MFRM 분석
을 통하여 평가 결과에서 채점자의 개입으로 인한 특정한 채점 경향이 나타난 경우에 해당한다. 이들에 대한 채점 과정 보고 자료의 분석은 채점자 영향이 나타난 채점 사례에서 다른 채점자가 채점한 평균적인 채점 사례와의 비교를 바탕으로 이루어졌다.