4.1.1 메타평가 기본모형의 도출
앞서 메타평가의 개념에서 설명한 바와 같이 국내 연구에서의 메타평가는 평 가시스템 전반에 대해 실시하는 평가로 보는 시각이 대부분임을 알 수 있었다.
평가시스템 전반에 대한 평가를 위해 본 연구에서는 해상교통안전진단제도에 부합하는 메타평가 선행연구 분석을 위해 체제론적 접근유형을 따르고자 한다.
체제(system)에 대한 개념은 어떤 정해진 목적, 또는 목표를 달성하기 위하여 각 구성요소, 혹은 부분이 전체와 유기적으로 관련되어 조화롭게 기능하는 관 계의 집합 내지 단위, 다시 말하면 투입(input)-전환(process)-산출(output) 과정 에서의 사물과 이들 사이의 관계라 할 수 있으며, 조직의 업무수행과 그 성취 를 이해하기 위한 분석적인 틀로서 부분과 부분, 또는 부분과 전체의 상호 관 련성을 가지고 전체로서 기능을 발휘하는 것(서울대학교 교육연구소, 1995)이 며, 모든 조직된 실체를 위한 일단의 목표를 달성하기 위하여 상호작용을 하면 서도 상호독립적인 구성요소들의 집합체(Knezevich, 1975)라고 할 수 있다.
이러한 체제의 개념은 해상교통안전진단제도의 메타평가에 적용될 수 있다.
그 이유는 해상교통안전진단제도에 대한 메타평가의 개념을 ‘평가의 기능 및 활용을 제고하기 위하여 평가시스템 전반을 대상으로 그 가치와 장단점을 분석 할 수 있는 체계적인 모형에 의해 수행하는 평가, 즉 평가의 질적 개선을 통한 진단결과의 활용 제고 수단’으로 규정하고 있어 체제적 접근이 유용하다. 즉, 체제론적 시각은 환경, 투입, 전환, 산출 및 환류의 제요소가 상호작용함으로써 전체적인 흐름을 보다 용이하게 파악할 수 있기 때문이다(국회예산정책처, 2012).
체제적 접근은 체제의 일반적 속성에 근거하여 해상교통안전진단제도 전반을 평가, 즉 해상교통안전진단 시스템의 구성요소를 분석하여 그 기능의 효율성을 평가하려는 관점을 가지는 것(임옥진, 2007)으로서, 해상교통안전진단제도에 대 한 메타평가는 Larson & Berliner(1983)의 체제적 접근 유형, 즉 평가시스템 전반에 대한 평가를 위한 체제론적 접근방식을 따르고자 한다.
이러한 관점에서 본 연구의 메타평가 기본모형은 선행 연구결과들을 종합적 으로 고려한 결과, 정책 및 프로그램을 대상으로 사례 연구를 실시한 류영수 (2007)가 제시한 메타평가의 기본모형에서 착안하여 Fig. 4.1과 같이 메타평가의 기본모형을 제시한다. 그 이유는 본 연구 또한 해상교통안전진단제도를 대상으 로 하는 사례연구이므로 평가관점이 유사하여 보다 유리한 관점에서 접근할 수 있기 때문이다.
정책 및
프로그램 평가활용
평가투입 평가
평가계획 평가수행 평가결과
Fig. 4.1 The Basic Metaevaluation Model based on Advanced Research
이 모형은 평가기획을 평가를 수행하기에 앞서 취해지는 모든 활동들로 해석 하고, 평가투입은 평가를 위해 동원되는 유무형의 인적․물적 자원들로 수행과 결과에 영향을 미치는 중요한 평가영역으로 파악하였다. 이는 체계론적 관점에
서 메타평가를 파악하고 있는 대부분의 학자들이 진단투입 또는 자원요소를 평 가의 주요 영역으로 설정하고 있는 것과 같은 맥락이라고 볼 수 있다(이찬구, 1997; 문영세, 2001; 박종수, 2003). 평가수행은 평가활동 그 자체를 의미하여 결과를 산출하기 위한 과정으로 보고, 평가결과는 평가를 통해 획득된 정보로 파악하고, 평가활용은 평가의 수행결과가 정책 활동 전반에 미치는 영향 전체 로 평가활동에 대한 환류(feedback)를 포함하는 개념으로 해석하였다(류영수, 2007).
4.1.2 해상교통안전진단의 메타평가 모형설정
지금까지 살펴본 선행 연구결과를 토대로 해상교통안전진단제도를 진단계획 (plan), 진단투입(input), 진단수행(process), 진단결과(output), 진단활용(utilization) 등 5단계의 순환과정으로 파악하고 Fig. 4.2와 같이 메타평가 모형을 설정하였 다.
진단투입 해상교통안전
진단프로그램
진단수행 진단결과
진단활용 진단계획
Fig. 4.2 The Basic Metaevaluation Model of MTSA
메타평가의 기본모형과 해상교통안전진단의 특성을 반영하여 설정한 이 모형 은 메타평가의 기본모형의 접근방식, 즉 평가체제 및 관리에 중점을 두고 평가 요소들을 구별하였다. 메타평가 모형에 대해 Plan, Input, Process, Output, Utilization 등 5개 평가요소의 앞 글자를 정리하여 편의상 PIP'OU 메타평가 모 형이라고 한다.