제 3 장 메타평가의 이론적 고찰
본 장에서는 해상교통안전진단의 분석틀의 적용 이론인 메타평가에 대한 문 헌고찰과 함께 기존문헌에서 제시하는 메타평가의 개념, 목적, 유형, 방법 등의 논의를 통해 메타평가 모형을 종합적으로 검토․분석한다.
평가(evaluation of the evaluation system)로 정의하여 그 개념을 확정하였고, Stufflebeam, Daniel L.(1981)은 메타평가의 범위를 좀 더 넓게 파악하여 경험적 평가는 물론 형성평가와 비경험적 평가도 포함하였으며, 메타평가 개념을 체계 화하여 메타평가(metaevaluation)를 평가활동의 길잡이로서의 역할을 하는 형성 적 메타평가(formative metaevaluation와 메타평가의 강점과 약점을 공개적으로 보고하는 총괄적 메타평가(summative metaevaluation)로 구분하였다. 즉, 메타평 가는 평가활동의 길잡이가 되고 평가 자체의 강점과 약점을 공개적으로 보고하 기 위해 의사결정 가이드의 효용성, 자원이용의 실제성, 사람과 조직의 윤리성, 기술적 적정성 등을 평가하는 것으로 정의하였다.
Cook & Gruder(1978)는 메타평가(Metaevaluation)를 경험적 총괄평가에 대한 평가로 파악하여 체계적인 조사 설계를 통해 직접 자료를 수집한 경험적 총괄 평가에 대한 평가만을 메타평가로 정의하여 협의 개념으로 해석하였다. 그들은 체계적 접근의 메타평가를 처음으로 시도하였다.
Nilson & Hogban(1983)은 메타평가를 연구평가와 기능 평가 및 평가자체의 실천에 대해서도 평가하는 광범위한 평가로 이해하였고, Larson &
Berliner(1983)은 메타평가를 평가시스템 전반에 대한 평가, 즉 투입(input), 과정 (process), 결과(output)로 광의의 개념으로 해석하였다. 반면, Chelimsky(1985)는 메타평가를 평가결과의 종합(evaluation synthesis)으로 정의하여 하나 혹은 다 수의 평가 결과를 재분석(re-analyzing)하는 것으로 그 개념을 최협의로 해석하 였다. 메타평가에 대한 주요 개념은 Table 3.1과 같이 요약할 수 있다.
구분 연구자 (발표시기) 연구영역 개념 정의
개념 도입
Orata(1940) 개념 도입 평가에 대한 평가(Evaluation of Evaluation) Scriven(1969) 용어 창안 메타평가(Metaevaluation)
개념 발전
Dror(1971) 개념 확장 평가시스템에 대한 평가 Stufflebeam(1981) 개념 체계화 평가 자체의 가치와 장점 검토 Cook & Gruder(1978) 협의 개념 경험적 총괄평가에 대한 평가
Nilsson & Hogban(1983) 개념 정립 특별한 연구와 평가자체의 기능 및 실천에 대한 평가 Larson & Berliner(1983) 광의 개념 평가시스템 및 절차에 대한 평가
Chelimsky(1985) 최협의 개념 평가결과의 종합(Evaluation Synthesis) Table 3.1 Concept of Metaevaluation in general
[자료] 류영수(2007:31) 참고
지금까지 살펴본 국외 연구자들의 메타평가 정의에 따른 평가 범위와 대상은 학자마다 다양하게 제시하고 있지만, 개념 정의에 근거하여 메타평가 범주를 Table 3.2와 같이 최협의, 협의, 광의로 구분할 수 있다(김병철, 2009).
구분 대표 연구자 개념 정의 메타평가 대상
최협의 Chelimsky(1985)) 평가결과의 종합에 대한 평가 평가결과 협 의 Cook & Gruder(1978) 경험적 총괄평가에 대한 평가 경험적 총괄평가
광 의
Stufflebeam(1981)
Larson & Berliner((1983) 평가시스템에 대한 평가 평가시스템 전반 Nilson & Hogban(1983) 특별한 연구와 평가자체의
기능 및 실전에 대한 평가 평가시스템 전반 Table 3.2 Category of Metaevaluation in general
[자료] 김병철(2009: 23) 참조
한편, 국내 연구자들도 Table 3.3과 같이 메타평가 개념을 도입, 응용하여 다 양하게 개념 정의를 하고 있다.
구분 연구자(발표시기) 연구영역 개념 정의
개념도입 오무근(1986) 개념 국내 소개 평가 전반에 대한 평가
개념발전
김명수(1993) 개념 체계적 정리 상위 평가자에 의한 평가 배호순(1994) 개념 구체적 정리 평가체계, 평가연구결과 및 평가결과의
효과평가
노화준(2006) 환류기능 강조 평가자체와 피드백기능 평가 사례연구 이찬구(1997) 국내 최초
사례연구 평가 과정과 내용 및 결과에 대한 평가 Table 3.3 Concept of Metaevaluation in domestic research
오무근(1986)은 국내에 메타평가 이론을 처음 소개한 연구자로 메타평가를 평 가 전반에 대한 평가로, 김명수(1993)는 메타평가를 완료된 평가 등에 대해 상 위 평가자가 평가하는 것으로써 평가체계에 대한 평가로, 배호순(1994)은 메타 평가를 평가 전반에 걸쳐 평가체계를 평가하는 활동과 그 효과를 평가하는 활 동으로, 노화준(2006)은 메타평가는 평가 자체와 피드백 기능을 평가하는 것으 로 평가에 대한 평가로 정의하였다. 이찬구(1997)는 연구개발사업에 대한 사례
연구를 국내 최초로 시도하였으며, 국내외 선행연구를 바탕으로 정책평가의 질 을 제고하여 평가결과 활용을 증진시키려는 활동으로 정의하였다.
국내외 연구자들의 견해를 종합해 볼 때 본 연구에서의 메타평가는 평가시스 템 전반을 대상으로 한 광의의 개념으로 분류하고, 평가의 질 제고를 위하여 평가시스템 전반에 걸쳐 수행하는 평가로 정의한다.
따라서 해상교통안전진단제도에 대한 메타평가는 평가의 기능 및 활용을 제 고하기 위하여 평가시스템 전반을 대상으로 그 가치와 장단점을 분석할 수 있 는 체계적인 모형에 의해 수행하는 평가로 본다.
3.1.2 메타평가의 목적
메타평가의 목적은 다각적인 관점에서 유추할 수 있으나 무엇보다 메타평가 의 배경이 된 평가활동의 질적 관리의 필요성을 인식하는데 있는데 본질적 목 적은 환류기능의 강화 또는 평가결과의 활용을 증진시키려는 것이다. 즉, 메타 평가를 하게 되면 메타평가의 대상이 되었던 평가시스템 전반에 대한 전반적인 점검을 통하여 문제점을 도출하고 판단을 내릴 수 있게 되어 이를 개선함으로 써 환류 기능을 강화할 수 있고 이를 통하여 평가결과의 활용을 제고할 수 있 다는 것이다.
연구자(발표시기) 목적 분류
Stufflebeam(1981) ⓛ 평가활동에 대한 가이드 역할
② 평가활동의 강점과 약점의 보고 Cook &
Gruder(1978)
① 무엇을 해야 하는지에 관한 진단적 환류와 조언
② 평가자들의 평가목표 달성 협력
Larson &
Berliner(1983)
① 의사결정자에게 평가에 내표된 정보의 질에 대한 독립적인 판단 자료의 제공
② 적합한 평가자 선정을 위한 자료 제공
③ 다수의 독립적이며 유사한 사업들로부터의 연구지식의 확보
④ 평가작업 자체의 검토 수단 제공 등 Chelimsky(1985) ① 평가결과에 대한 재분석
② 평가대상 프로그램의 효과에 대한 정확한 정보 제공 Table 3.4 Purpose of Metaevaluation in general
메타평가의 목적에 관한 주요 국외 연구자들의 견해는 Table 3.4와 같이 Stufflebeam(1981)은 평가활동에 대한 가이드 역할과 평가활동의 강점과 약점의 보고를, Cook & Gruder(1978)는 무엇을 해야 하는지에 관한 진단적 환류와 조 언을 통한 평가자들의 평가목표 달성 협력을, Larson & Berliner(1983)은 의사 결정자에게 평가에 내표된 정보의 질에 대한 독립적인 판단자료의 제공과 적합 한 평가자 선정을 위한 자료 제공 등을, Chelimsky(1985)는 평가결과에 대한 재 분석과 평가대상 프로그램의 효과에 대한 정확한 정보 제공을 목적으로 이해하 였다.
또한, 대부분의 국내 연구자들의 견해는 Table 3.5에서와 같이 메타평가의 목 적이 평가의 질 향상과 평가정보의 활용 제고라는 데 인식을 같이 하고 있다.
연구자
(발표시기) 목적 분류
김명수(1993) 평가의 실제 이해 및 향상
배호순(1994) 평가의 질을 확인하거나 점검하여 평가의 질적 개선 및 평가결과의 유용성 제고
노화준(2006) 평가에 사용된 방법의 적정성, 사용된 자료의 오류 여부, 도출된 결과에 대 한 해석의 타당성 검토
이찬구(1997) 평가활동 등 내용과 결과 및 절차에 대한 객관적․합리적 정보 제공을 통한 차후의 평가활동 개선 및 이를 통한 평가결과의 활용 증진
Table 3.5 Purpose of Metaevaluation in Domestic Research
특히, 김명수(1993)는 메타평가의 목적을 달성하기 위한 검토사항을 다음과 같이 제시하고 있다.
첫째, 메타평가를 통해 평가와 관련된 정보의 질에 관해 의사결정자에게 독 립적인 판단자료를 제공하기 위해서는 평가과정(평가척도, 표본추출 절차 등)의 적절성, 평가설계의 적절성, 자료수집 및 적용 분석방법의 적절성, 평가에의 편 견개입 여부 등을 검토하여야 한다. 둘째, 메타평가를 통해 평가 작업의 영향 또는 평가결과의 활용도를 측정하기 위해서는 평가결과의 이용자, 평가보고서 제출의 시간적인 적절성, 평가보고서의 연구결과 제시의 명백성, 평가보고서의 관련인들에게의 배포 여부, 평가결과에 따른 결정의 정당성 여부 등을 검토하
여야 한다. 셋째, 메타평가를 통해 장래에 적합한 평가자를 선정하기 위해서는 평가자의 평가능력과 교육배경, 관련 평가업무의 수행 경험, 평가자의 인품, 평 가자의 대외지명도 등을 검토 하여야 한다.
국내외 연구자들이 제시한 여러 목적들을 종합하면 메타평가의 기본적인 목 적은 ‘평가대상의 개선을 통한 평가결과 활용성 제고’에 있다고 요약할 수 있다. 따라서 본 연구에서의 해상교통안전진단제도에 대한 메타평가의 목적은 진단시스템 전반에 대한 평가를 수행함으로써 진단의 질을 확인하며 진단의 질 적 개선을 기하고자 함이다.