2.1 연구 참여자
서울과 경기 지역의 중․고등학교 과학교사 92명이 연구에 참여하였다. 교직 경력 5년 이하의 초임교사가 34명(37.0%)이었고, 교원 임용 후 각종 연수, 컨설팅, 대학 원 수업 등에서 평가 관련 교육을 받은 경험이 있는 교사는 51명(55.4%)이었다. 연 구 참여자의 구체적인 배경 변인은 <표 I-1>과 같다.
배경 빈도 (%)
성별 남성 20 (21.7)
여성 72 (78.3)
학교급 중학교 43 (46.7)
고등학교 49 (53.3)
교직 경력 5년 이하 34 (37.0)
5년 초과 58 (63.0)
최종 학위 학사 47 (51.1)
석사 이상 45 (48.9) 평가 관련
교육 경험
있음 51 (55.4)
없음 41 (44.6)
<표 I-1> 연구에 참여한 교사의 배경
2.2 연구 절차
중등 과학교사의 과학 평가 실태와 지향을 조사하기 위하여 설문지를 개발하였 다. 선택형 문항을 사용할 경우 선택지가 교사들의 응답에 영향을 미칠 수 있으므 로, 자신의 생각을 자유롭게 기술하는 서술형 문항을 사용하였다. 먼저, 학교에서 현재 실시하는 과학 평가의 실태를 조사하기 위하여 교사가 지금까지 실시했던 가 능한 모든 평가 사례를 목적과 방법에 초점을 두어서 자세히 기술하도록 하였다.
예비 검사 결과, 교사들이 평가의 목적과 방법을 기술하는 방법에 어려움을 겪는 것으로 나타났다. 이에 평가의 목적과 방법을 기술하는 방식에 대한 이해를 돕기 위해 ‘영재교육원에 추천할 학생을 선발하기 위한 목적으로 지필평가를 활용하여 학생들의 과학 탐구력을 평가하였다.’라는 문구를 예로 제시하였다. 다음으로, 과 학 평가에 대한 교사들의 지향을 조사하기 위하여 결정적 사건 기법(critical incident technique; Shapira-Lishchinsky, 2011)을 활용하여 가상의 전형적인 수행평 가 상황에 대하여 교사들이 활용할 것이라고 응답한 평가 사례를 대상으로 평가의 목적과 방법을 분석하였다. 결정적 사건 기법은 참여자의 관점에서 활동을 기술하 므로 연구 대상의 생각을 구체적으로 밝힐 수 있는 질적 연구의 장점과 많은 대상
을 연구할 수 있는 양적 연구의 장점을 동시에 지니고 있기 때문에(Gremler, 2004), 구성주의적 평가에 대한 교사들의 평소 선호나 지향을 조사하려는 이 연구에 적합 하다. 이 연구에서는 구성주의적 평가의 실시가 가능한 전형적인 수행평가 상황 세 가지를 결정적 사건으로 제시하였는데, 과학실에서의 실험 상황, 사회적 이슈에 대 한 토의 상황, 자유탐구 상황이었다. 교사들에게 각 상황을 묘사하는 간단한 제시 문을 읽은 뒤, 그 상황에서 자신이 실시할 평가의 목적과 방법을 자세히 기술하도 록 하였다.
교사들의 구성주의적 과학 평가관을 조사하기 위하여 James와 Pedder(2006)의 과학 평가관 검사 30문항을 번역한 후 요인 분석을 통하여 우리나라의 상황에 맞 도록 타당화 과정을 거친 노태희와 윤지현, 강석진(2009)의 과학 평가관 검사 문항 을 사용하였다. 구성주의적 과학 평가관 검사 문항이 과학 평가의 실태와 지향에 대한 교사들의 응답에 영향을 미칠 가능성이 있으므로, 다른 검사를 실시한 후 마 지막으로 이 검사를 실시하였다.
연구 대상이 아닌 과학교사 3인을 대상으로 예비 검사를 실시하고, 문항에 대한 이해도를 점검한 후 설문지를 수정하였다. 또한, 과학교육 전문가 3인으로부터 문 항에 대한 안면타당도를 점검받았다. 완성된 설문지(부록 I-1)는 온라인 설문의 형 태로 제작한 후, 연구 대상 교사들에게 전자 우편과 전화를 통하여 설문 참여를 요 청하고 온라인으로 응답을 수집하였다.
2.3 분석 방법
교사들의 응답 중 불성실하거나 부적절한 응답을 제외한 후, 과학 평가의 실태 에 대해서는 245개(1인당 평균 2.7개), 과학 평가의 지향에 대해서는 세 가지 상황 별로 최대 126개(1인당 평균 1.4개)의 사례를 분석 대상으로 하였다. 교사들이 응답 한 과학 평가 사례에 나타난 목적은 크게 총괄평가와 형성평가로 구분한 후, Davis 와 Neitzel(2011)의 연구를 바탕으로 세분하였다. 교사들이 응답한 과학 평가 사례 의 방법은 크게 측정 방식(measurement mode), 수행 방식(performance mode), 비 형식 방식(informal mode)의 3가지 유형으로 구분하였다(Wang, Kao, & Lin, 2010).
측정은 전통적인 지필평가 방법이고, 수행은 관측 가능한 행동이나 사고 과정을 활
용한 평가 방법이며, 비형식은 관찰, 면담 등을 사용하는 평가 방법이다. 평가 방법 은 백순근(2000) 및 Hanna와 Dettmer(2004)의 연구를 바탕으로 세분하였는데, 이 연구에서는 동료 평가나 자기 평가와 같이 교사가 직접 정보를 수집하지 않는 평 가 방법도 비형식 유형으로 분류하였다.
교사들의 응답을 분석하여 귀납적으로 분류 기준을 설정하였고, 2인의 분석자가 교사들의 응답 중 일부를 이 기준에 따라 각자 분석한 뒤 일치도를 확인하였다. 분 석자 간의 의견이 일치하지 않는 응답은 논의를 통하여 분류 기준을 수정하였다.
수정한 기준을 바탕으로 다시 분석자 간 일치도를 확인하여 일치도가 .96에 도달한 뒤, 연구자 중 1인이 모든 응답을 다시 분류하였다.
교사의 배경 변인에 따른 형성평가의 사용 정도의 비교에서는 중복 응답에 의 한 효과를 통제하기 위하여 총괄평가는 0점, 형성평가는 1점을 부여하였고, 여러 가지 사례를 중복으로 응답한 경우에는 평균 점수를 부여하였다. 예를 들어, 한 명 의 교사가 총괄평가 사례 두 가지와 형성평가 사례 한 가지를 기록한 경우, 각각 0 점, 0점, 1점을 부여하여 해당 교사에게 0.33점을 부여하였다. 이후 성별(남성/여성), 학교급(중학교/고등학교), 교직 경력(초임교사/경력교사), 최종 학위(학사/석사 이상), 평가 관련 교육 경험(유/무), 구성주의적 과학 평가관 수준(상위/하위)을 독립변인으 로 사용하여 독립표본 t 검정을 실시하였다. 교직 경력은 5년을 기준으로 초임교사 와 경력교사로 구분하였고(Stansbury & Zimmerman, 2000), 구성주의적 과학 평가 관 수준은 과학 평가관 검사 점수의 중앙값(3.36)을 기준으로 구분하였다(상위 48 명, 하위 44명). 모수 통계를 위한 정규성 가정의 경우 집단의 크기가 30 이상인 경 우에는 중심극한정리에 의하여 정규성 가정을 만족하며, 12 이상인 경우에는 유의 수준을 .01로 더 엄격하게 적용함으로써 이에 대한 보정이 가능하다(Clinch &
Keselman, 1982; Tan, 1982). 이 연구에서는 모든 경우에 대하여 집단의 크기가 12 이상이었으므로 t 검정 결과를 먼저 제시하고, Levene의 등분산 검정을 통하여 등 분산성 가정을 만족하지 못하는 경우에는 Welch-Aspin 검정을 실시하였다. 이때 집단의 크기가 30 미만인 경우에는 Kolmogorov-Smirnov 검정을 통해 정규성 검정 을 실시한 뒤 이를 만족하지 못한 경우에는 Mann-Whitney U 검정을 실시하여 결 과를 본문에 제시하였다.