중심으로 분석하고 종합하며 비교할 수 있는 기법으로서 비교적 용이하게 평가 결과를 분석하고 평가할 수 있고, 평가를 다시 분석하는 제2차적 분석법은 평 가결과 관점을 중심으로 재분석하여 적절성, 정확성, 신뢰성 등을 확인함으로써 메타평가적 기능을 달성하는 접근방법으로 사용된다. ⑥ ‘실험설계방안’은 평가계획의 적합성에 초점을 두고 평가대상 프로그램의 효과를 실험 연구적 인 과론적 추론방식을 활용하여 보다 타당하고 정확하게 측정 및 평가 했는가를 중시하는 것을 의미하는 것이다. ⑦ ‘평가 전반에 관한 비평’은 평가전반에 관한 견해를 피력함으로써 일련의 평가들에 관하여 약점이나 문제점을 지적하 고 바람직한 방법을 제시하는 접근방법이다.
해상교통안전진단제도를 메타평가하기 위하여 본 연구에서는 메타평가를 위 한 준거를 설정하여 그것에 근거하여 평가하는 ③ ‘평가준거 설정’방법을 사 용하고자 한다. 이러한, ‘평가준거 설정’ 방법은 객관적인 준거 설정을 통해 평가활동의 유용성, 실행가능성, 정당성, 정확성 등을 평가하는 것으로서 해상 교통안전진단제도는 체제적 접근으로 메타평가 구성요소를 설정하여 평점법으 로 메타평가를 수행할 수 있다.
구분 평가방법 평가설계
(Evaluating evaluation design)
y 체크리스트 이용 y 컨설팅 전문가 검토 y 프로그램 실시자 검토 y 현장시험, 시험연구
y 회의, 공청회, 패널 y 전문가회의 발표 y 타 평가와 비교 평가과정
(Evaluating evaluation in progress)
y 자료수집과정 검토
y 검증연구
y 재분석
y 모니터 과정
y 인터뷰
y 프로그램 실시자 검토
y 도구시험
y 서류분석
평가결과 및 활용 (Evaluating evaluation results,
uses and products)
y 체크리스트 이용 y 공식적 문서비평 y 컨설팅 전문가 검토 y 프로그램 실시자 검토
y 현장조사 및 시험 y 회의, 공정회, 패널 y 저널 발표
y 전문가 회의 발표 Table 3.9 Method of Metaevaluation
[자료] 류영수(2007: 84)에서 재인용 ; Brinkerhoff, R..O., D. M. Brehower, T. Hluchyi and J. R. Nowakowski(1983: 221)
메타평가의 모형설계는 문헌연구에 기초한 평가지표를 개발하는 것을 핵심으 로 하는 중요한 연구영역 중 하나이므로 메타평가의 모형에 대한 타당성과 신 뢰성을 높이기 위해 문헌연구에 기초한 평가지표에 대한 검증이 필요하다.
모형설계에 대한 논의와 달리 메타평가의 분석에 있어서는 그 방법론에 대한 구체적인 검토가 요구된다. 메타평가를 분석하는 방법으로는 최초 평가자료와 관련된 자료의 분석(2차 자료분석)에 중점을 두는 방법, 면접에 기반을 두고 평 가하는 방법, 평가지표에 대하여 전문가 등을 대상으로 설문조사를 실시하는 방법, 그리고 체크리스트를 활용하는 방법 등이 대표적이다. 여기서 면접, 설문 조사 등은 정확하게는 1차 자료분석의 한 유형으로 설명될 수 있으나 이러한 방법들은 메타평가 연구에 있어서 주요하게 활용된 방법들이며 활용정도에 따 라 평가결과가 달라질 수 있다는 점에서 구분하여 검토할 필요가 있다. 각 분 석방법들이 지니는 특성들을 비교하면 Table 3.10과 같이 설명할 수 있다.
구분 2차 자료분석 면접(비구조화) 설문조사(폐쇄형) 체크리스트
평가초점 질 질 양(척도화) 질․양(점수화)
평가주체 연구자 판단 응답자 의견 응답자 의견 연구자 판단
적용형태 주요․·보조수단 보조수단 주요․보조수단 주요․보조수단
고려사항 주관개입 가능성 응답자와 연구자간
견해 불일치 모집단․표본 선정 주관개입 가능성 및 지표간 중복문제 Table 3.10 Comparison of Metaevaluation Analytical Methods
[자료] 류영수(2007: 89)
최초 평가자료에 대한 자료 분석(2차 자료분석)에 중점을 두는 방법은 질적 평가에 초점을 두는 것으로, 관련자료 및 데이터의 확보가 용이하고 비용이 저 렴하며 정확성을 전제로 하여 효과적인 평가방법이 될 수 있다. 그러나 자료수 집 목적, 측정단위, 조작적 정의 등이 현재 행하는 조사와 일치하지 않을 경우 그 이용이 어려울 수 있으며, 이러한 방법에 지나치게 의존할 경우 연구자의 주관이 개입될 여지가 크다. 따라서 면접, 설문조사, 현장조사 등 다른 방법들 과 병행하여 이루어지는 것이 일반적이다.
면접을 활용한 방법은 무엇보다 연구자와 응답자(전문가)간의 면대면(face to face)의 상호작용을 기반으로 심층적인 분석이 가능하다는 점에서 유리하다. 또 한, 개별적 상황에 따라 높은 신축성과 적응성을 기대할 수 있다. 그러나 다수 의 응답자를 대상으로 하기에는 많은 시간과 비용이 소비되며, 연구자와 응답 자간의 의견이 일치하지 않는 경우 이에 대한 분석과 처리에 많은 주의를 요한 다. 일반적으로 이러한 방법은 다른 자료수집방법의 보조수단으로 사용되는 경 우가 많다.
설문조사를 활용한 방법은 개방형질문과 폐쇄형질문의 설문구성에 따라 해당 프로그램의 전문가, 이해관계자 등 다양한 계층으로부터 의견을 수렴할 수 있 으며, 일정한 척도에 의한 양적평가가 가능하다. 다만, 모집단 및 표본 선정에 서 보다 주의가 요구되며, 평가방법 설계에 있어서의 준비뿐만 아니라 이를 시 행하는 과정에서도 많은 시간이 소요될 수 있다는 점을 고려해야 한다. 설문조 사방법을 활용한 메타평가 연구에서는 다수의 평가항목들로 인해 폐쇄형질문을
그 기반으로 하게 되는데, 이러한 방법은 집계분석이 용이한 반면, 응답자의 의 견, 태도 등을 충분히 반영하지 못해 새로운 정보를 얻어내기 힘든 부분이 있다.
체크리스트에 의한 방법은 무엇보다 점수화를 시도함으로써 양적평가에 접근 할 수 있다는 점을 장점으로 들 수 있다. 또한 많은 평가항목 및 지표들을 제 시하여 점검하게 되므로 자칫 자료 분석 등에서 배제될 수 있는 사항들까지 충 분히 반영할 수 있게 된다. 그러나 일반적으로 연구자 자신이 체크리스트의 주 체가 되기 때문에 연구자의 주관적인 판단에 대한 신뢰성 문제는 여전히 존재 하며, 특히 이러한 체크리스트를 사용하기 위해 무리하게 체크리스트 목록들을 도출함으로써 평가지표 간 중복문제를 야기할 수 있다. 다수의 평가관계자를 통한 체크리스트 방법을 고려할 수 있는데, 이 경우 그 대상자들로 하여금 함 축되어 있는 체크리스트 항목에 대한 충분한 설명과 이해가 요구되며 또 다른 점수화방법을 고안해야 한다.
실제로 메타평가를 적용함에 있어 여러 기법과 기술들이 동원되고 있다. 기 언급한 학자들의 사례연구를 살펴보면, 크게 평가모형설계와 메타평가 분석 등 두 영역으로 연구체제를 구분할 수 있는데, 이들이 채택한 메타평가의 방법은 각 영역별로 조금씩 차이가 나고 있으나, 이들 평가방법은 각기 하나에만 독립 적으로 의존하는 것이 아니라 상호 혼합하여 사용되고 있다.
3.3.2 해상교통안전진단의 메타평가 방법
1) 해상교통안전진단의 메타평가 모형설계
평가모형의 설계는 문헌연구를 중심으로 평가지표를 개발한 이전 연구들과 마찬가지로 문헌연구를 실시를 통해 일반적인 평가지표를 구성하고, 평가모형 및 지표의 타당성 확보를 위해 Fig. 3.1과 같이 2회에 걸친 전문가검토를 실시 하여 아이디어를 공유하여 해상교통안전진단제도의 특성이 잘 반영될 수 있도 록 하였다. 아울러 평가지표들에 대해 사전적으로 구성요소의 타당성 및 신뢰 성을 확보하기 위해 조사 대상을 확대하여 추가 설문조사를 실시하였다.
메타평가 문헌연구 안전진단 특성파악
연구방법
전문가 면접 및
설문조사(2회), 관찰 진단 관련자 설문조사(1회) 메타평가 구성요소 개발
초안 수정, 구성안 마련
메타평가 구성요소 적합성 메타평가 기본모형 마련 검증
메타평가 모형설계
Fig. 3.1 Methods of Metaevaluation Model Design
2) 해상교통안전진단의 메타평가 분석방법
메타평가 분석방법에 있어서 핵심이 되는 것은 메타평가 결과를 어떠한 방식 으로 도출할 것인가 하는 문제이다. 이는 양적인 평가와 질적인 평가의 선택과 관련되는 것으로 본 연구에서는 양적인 평가(설문조사) 결과를 바탕으로 질적 인 평가(자료분석, 면접, 관찰 등)를 시도하였으며, 양적인 평가결과의 도출방법 으로서 김병철(2007)이 사용한 평가방법을 일부 활용하여 Fig. 3.2와 같이 메타 평가 분석방법을 채택하였다.
연구방법
설문조사(1회) 2차 자료분석, 면접, 관찰
메타평가실시 및 개선방안 도출 메타평가
분석
Fig. 3.2 Methods of Metaevaluation Model Analysis
즉, 메타평가의 분석에 있어서는 메타평가의 특성을 고려한 양적평가를 위하 여 설문조사방법을 주요수단으로 파악하였다. 설문조사는 폐쇄형의 질문서로 구성하고, 설문조사 결과를 중심으로 2차 자료분석, 면접, 관찰 등을 통해 수집 된 자료들을 보충한다. 또한, 체크리스트에 의한 방법은 평가 관계자의 의견개 입이 배제될 수 있어 양적평가로서의 역할을 기대할 수 없기 때문에 본 연구에 서는 체크리스트에 의한 메타평가 분석은 시도하지 않기로 하였다.