여야 한다. 셋째, 메타평가를 통해 장래에 적합한 평가자를 선정하기 위해서는 평가자의 평가능력과 교육배경, 관련 평가업무의 수행 경험, 평가자의 인품, 평 가자의 대외지명도 등을 검토 하여야 한다.
국내외 연구자들이 제시한 여러 목적들을 종합하면 메타평가의 기본적인 목 적은 ‘평가대상의 개선을 통한 평가결과 활용성 제고’에 있다고 요약할 수 있다. 따라서 본 연구에서의 해상교통안전진단제도에 대한 메타평가의 목적은 진단시스템 전반에 대한 평가를 수행함으로써 진단의 질을 확인하며 진단의 질 적 개선을 기하고자 함이다.
평가유형 모델 1, 2, 3, 4는 최초평가 후의 메타평가로서 무엇보다 그 결과의 활용시기를 염두에 두어야 하며, 최초평가와 동시에 이루어지는 메타평가 모델 5, 6, 7는 평가를 동시에 시도하기 때문에 평가과정에서의 평가집단의 협력과 갈등의 조화가 중요함을 알 수 있다.
Stufflebeam(1981)은 Table 3.7과 같이 메타평가의 유형으로 평가에 대한 가이 드로서 형성적 메타평가(formative meta-evaluation)와 강ㆍ약점을 공개적으로 보고하는 것으로서 총괄적 메타평가(summative meta-evaluation)로 구분하였다.
형성적 메타평가 총괄적 메타평가
y 평가계획과 평가수행이 평가 절차상의 가
이드라인에 얼마나 충실한지 점검 y 특정 평가활동의 전반적 가치를 요약 y 최초 평가자들의 평가활동에 관한 의사결
정을 지원
y 최초평가의 이용자들이 어떻게 결론과 권 고를 받아들일 것인가에 대한 결정을 지원 y 평가활동을 점검하여 이를 평가과정에 환
류시킴으로써 평가의 질을 확보
y 평가보고서가 적정한 평가수행의 표준에 충 족된다는 것에 대해 공개적으로 보고함으로 써 평가자들이 필요한 책임을 지도록 유도 y 평가 계획을 평가하고 평가 과정에서 평
가를 평가 y 최초평가가 종료된 후에 평가를 평가
y 평가가 진행 중에 평가를 개선할 수 있음 y 최종 결과에 신뢰성을 더할 수 있음 Table 3.7 Type of Metaevaluation by Stufflebeam
형성적 메타평가는 총괄적 메타평가의 기초가 되는 평가표준(evaluation standards)과 연계될 수 있는 것으로 평가계획과 평가수행이 평가 절차상의 가 이드라인에 얼마나 충실한지 점검하는 것이다. 즉, 평가가 진행 중에 평가하여 평가 중 개선이 가능하므로 최초 평가자들의 평가활동에 관한 의사결정을 도와 주고 평가활동을 점검하여 이를 평가과정에 환류시킴으로써 평가의 질을 확보 할 수 있다.
총괄적 메타평가는 최초평가 후에 평가를 수행하여 특정 평가활동의 전반적 가치를 요약할 수 있고, 최종 결과에 신뢰성을 더할 수 있다. 따라서 최초평가 의 이용자들이 어떻게 결론과 권고를 받아들일 것인가에 대한 결정을 지원한
다. 또한, 평가보고서가 적정한 평가수행의 표준에 충족된다는 것에 대해 공개 적으로 보고함으로써 평가자들이 필요한 책임을 지도록 유도한다.
Cook & Gruder(1978)와 Stufflebeam(1981)의 견해를 살펴보면, 메타평가의 시 기를 기준으로 Cook & Gruder의 모델 1-4는 평가 종료 후의 유형으로서 Stufflebeam의 총괄적 평가에, 그리고 모델 5-7은 평가진행중의 유형으로서 형 성적 평가에 각각 해당되는 연관성을 찾을 수 있다.
메타평가의 목적을 평가의 질적 개선을 통한 평가결과의 활용에 그 가치를 둔다면, 평가 종료 후의 유형인 총괄적 평가로 인식하는 것이 보다 적절할 것 이다. 그 이유는 최초 평가 진행 중에 메타평가를 실시하는 것은 자칫 소모적 인 중복평가로 인식될 가능성이 있는 상황에서 최초평가와 메타평가 수행자간 의 협력관계라는 또 다른 변수가 평가의 질에 영향을 미칠 수 있기 때문이다.
따라서 해상교통안전진단제도를 메타평가 하고자 하는 본 연구에서는 평가가 실시되는 과정에서 해상교통안전진단 시스템 전반을 평가하는 것은 무리가 뒤 따르므로 평가가 종료된 후에 이루어지는 총괄적 메타평가를 메타평가의 주된 유형으로 분류하여 연구를 수행하고자 한다.
3.2.2 메타평가의 접근방법
메타평가에 적용할 수 있는 접근 방법은 다양하며, 이는 Table 3.8과 같이 평 가적 성취, 프로그램에 대한 감사, 평가 준거 설정, 개념지도, 메타분석방법과 제2차적 분석, 실험설계방안, 평가전반 비평 등 일곱 가지로 분류할 수 있다(임 옥진, 2007).
메타평가 방법 연구자
ⓛ 평가적 성취 평가
(evaluative performance) Scriven, 1969
② 프로그램에 대한 감사
(program auditing) Lessinger, 1970; Provus, 1971; Seligman, 1973
③ 평가 준거 설정 Campbell & Stanley, 1966; Bracht & Glass, 1968;
Stufflebeam et al., 1971; Krathwohl, 1972; Shepard, 1977
④ 개념지도
(concept mapping) Gowin, 1978; Gowin & Green, 1980
⑤ 메타분석방법(meta-analysis)
& 제2차적 분석(secondary analysis)
Glass, 1976; Cook, 1974; Strube & Hartman, 1984; McGaw, 1988
⑥ 실험설계방안(experimental
& quasi-experimental designs) Campbell & Stanley, 1966; Cook & Campbell, 1979
⑦ 평가 전반 비평 Guba, 1969; Glass, 1974
Table 3.8 Methods of Approach Metaevaluation
[자료] 임옥진(2007: 54)
ⓛ ‘평가적 성취 평가’는 평가활동과 평가방법을 포함한 평가적 성취가 평 가적 관점에서 제대로 이루어졌는지를 평가한다는 개념을 중시한 형성평가적 평가 기능을 강조한 것으로 볼 수 있고, ②‘프로그램에 대한 감사’는 프로그 램의 질을 확인하는 절차와 프로그램의 결론과 권고의 타당성을 사정하는 절차 를 메타평가에서 포괄하는 것이며, ③‘평가 준거 설정’은 평가 준거를 제시 하여 평가활동 자체를 평가하는 것으로 평가기준을 설정하고 그에 따라 평가활 동의 유용성, 실행가능성, 정당성, 정확성 등을 평가하는 데 중점을 두는 개념 이다. ④ ‘개념지도’는 평가를 평가하기 위해 고안된 QUEMAC체제로 Question(평가문제), Unquestioned Assumption(기본 전제), Event(평가 대상 및 상황), Method(평가 방법), Answer(결론), Conceptual structure(개념적 구조) 등 6개의 내용 요소로 구성되며, 이 체제에서 한 가지 질문을 빌어 평가할 문제를 중심으로 전개하고 평가 문제를 적절한 방법과 절차로 평가하여 그 결과를 개 념화하고 있느냐를 중요시한다. ⑤ ‘메타분석방법과 제2차적 분석’은 평가 결과를 종합하려는 시도로 메타분석 방법은 이미 실시된 평가들을 특정 관점을
중심으로 분석하고 종합하며 비교할 수 있는 기법으로서 비교적 용이하게 평가 결과를 분석하고 평가할 수 있고, 평가를 다시 분석하는 제2차적 분석법은 평 가결과 관점을 중심으로 재분석하여 적절성, 정확성, 신뢰성 등을 확인함으로써 메타평가적 기능을 달성하는 접근방법으로 사용된다. ⑥ ‘실험설계방안’은 평가계획의 적합성에 초점을 두고 평가대상 프로그램의 효과를 실험 연구적 인 과론적 추론방식을 활용하여 보다 타당하고 정확하게 측정 및 평가 했는가를 중시하는 것을 의미하는 것이다. ⑦ ‘평가 전반에 관한 비평’은 평가전반에 관한 견해를 피력함으로써 일련의 평가들에 관하여 약점이나 문제점을 지적하 고 바람직한 방법을 제시하는 접근방법이다.
해상교통안전진단제도를 메타평가하기 위하여 본 연구에서는 메타평가를 위 한 준거를 설정하여 그것에 근거하여 평가하는 ③ ‘평가준거 설정’방법을 사 용하고자 한다. 이러한, ‘평가준거 설정’ 방법은 객관적인 준거 설정을 통해 평가활동의 유용성, 실행가능성, 정당성, 정확성 등을 평가하는 것으로서 해상 교통안전진단제도는 체제적 접근으로 메타평가 구성요소를 설정하여 평점법으 로 메타평가를 수행할 수 있다.