3.4 메타평가의 구성요소
3.4.3. 메타평가의 선행연구 종합
기존 연구들을 살펴보면 메타평가의 목적은 평가의 질적 개선을 통한 평가결 과의 활용가치 제고에 초점을 두고 있다. 이러한 목적 달성을 위한 메타평가의 모형 설정은 기존 학자들과 평가기관에서 제시하고 있는 평가 틀을 그 준거로 활용할 수 있는데, 이들이 제시하고 있는 메타평가의 평가요소 형태는 Joint committee(1994), AEA(1995), OECD(1998) 등 주요 평가기관들이 제시하는 평가 가이드라인들의 평가요소와 같이 평가 수행의 원칙과 규범을 중시하는 유형과 Larson과 Berliner(1983), Scriven(1991)을 비롯한 국내 학자들 대부분의 평가요 소와 같이 체제적 접근 유형으로 나뉠 수 있다(Worthen, & Jody, 1997; Rossi
& Howard, 1989; 임옥진, 2007).
앞에서 살펴본 국내외 주요 선행연구메타평가 사례의 상위구성요소인 평가영 역을 종합하면 Table 3.25와 같다.
연구자 1영역 2영역 3영역 4영역 5영역
Stufflebeam
(1974) 적절성, 유용성
Larson and
Berliner(1983) - 평가투입 평가과정 평가결과 -
Scriven(1991) 기반, 하위평가, 결론
JC(1994) 유용성, 실현가능성, 타당성, 정확성
AEA(1995) 체계적 조사, 능력, 통합성·정직, 인격존중, 공공책임 UNEG(2005) 제도적 틀 및
평가기능관리 역량 및 윤리 평가수행 평가보고서 -
OECD/DAC (2006)
목적 및 목포, 평가범위, 상황
평가방법론, 정보원
독립성, 평가윤리, 품질보증
완결 평가결과의
적절성
류영수(2007) 평가기획 평가투입 평가수행 평가결과 평가활용
임옥진(2007) - 투입 과정 결과 -
신 열(2011) - 평가투입 평가실행 평가결과 평가활용
국회예산정책처
(2012) 평가계획 평가투입 평가수행 평가결과 평가활용
이찬구(1997) 평가기조 평가자원 평가수행 - 평가활용
김병철(2009) 평가환경 평가투입 평가수행 평가활용
Table 3.25 Classification of Advanced Research for Metaevaluation
이를 종합해보면, 상위구성요소인 메타평가 평가영역의 유형을 계획(기획․환 경)-투입(자원)-수행(과정)-결과(산출)-활용(환류)으로 요약하여 분류할 수 있으 며, 그 유형은 Fig. 3.7과 같다.
평가계획 평가투입 평가수행 평가결과 평가활용
평가환경 평가투입 평가수행 평가결과 및 평가활용
평가기획 평가투입 평가수행 평가결과 평가활용
평가과정 평가결과
평가투입
평가기조 평가자원 평가수행 평가결과 및 평가활용
Fig. 3.7 The Classification of Metaevaluation Domain based on Advanced Research 주요 선행연구의 메타평가 구성요소가 어떻게 설정되어 있는지를 각 평가영 역별로 종합하여 살펴보면 Table 3.26~3.30과 같다.
평가항목 평가지표
평가근거 평가법적 근거의 명료성, 평가 관련 법규내용의 합리성
평가목표 평가목표의 명확한 제시 여부, 평가목적의 타당성 및 적정성, 평가목표의 설정시 평가의 가치 고려의 적정성, 평가목표 설정시 사회적 형평성, 지속가능성 고려의 적정성
평가목적 평가목적의 명료성, 평가목적의 합리성
평가설계 평가제도의 완비 정도, 적합한 평가모형 선택 여부, 실천전략의 구체화 정도, 이해관계자 및 수요 파악 정도, 평가주체들간 역할분담의 명확 여부
평가항목․
범위․내용 설정․절차
이해관계자 의견수렴계획의 적정성, 평가의 시․공간적 범위 설정의 적정성, 평가 내용 공개 범위 설정의 적정성, 평가 항목 설정의 적정성(중점평가항목/조사항목/제외항목), 협의내용 반영 여부 의 충실성, 위원회 구성방법의 적정성, 영향요소 추출의 적정성, 대상 선정의 적정성 평가유형 평가유형의 타당성
평가대상 평가대상의 수준 및 범위의 적정성, 대상대상 선정기준의 적용 여부, 평가대상 선정집단의 다양성 정도
평가주기 평가주기의 합리성, 평가지표별 평가주기의 신축성
Table 3.26 Detailed Summary of Advanced Research(Plan)
평가항목 평가지표 평가인력
평가자의 수, 평가인력 규모의 적정성, 평가인력의 양적 충분성, 평가자의 전문성확보 정도, 평가인력의 질적 우수성, 평가자 선정에 대한 별도의 기준 정립 여부. 평가자의 평가객관성 유지정도, 평가자와 피평가자간 불화 정도, 평가대행기관의 독립성
평가조직 평가조직(기관)의 평가기능 부합 여부, 평가조직(기관)의 제도적 독립 여부, 평가 전담조직의 중립성과 객관성 보장 정도, 평가 전담조직의 규모 적정성, 평가조직의 구조․기능적 적정성 평가역량 평가추진체계의 기능적 적정성, 평가단 구성의 적절성, 평가 이해관계자 파악의 적절성 평가자원 평가조직․기구의 적절성, 평가위원의 양적 적절성, 평가위원의 전문성, 평가위원의 선정 및 구성
의 적절성
평가예산 평가예산의 규모, 평가예산의 안정적 지원 여부, 평가예산의 적정성 평가비용 평가서 작성 비용의 적정성, 평가서 작성 비용의 안정적 집행 여부 평가자료
평가자료의 양적․질적 적절성(충분성), 평가자료의 양적 확보, 평가자료의 핵심내용 포함 여부, 평가자료의 객관성․균형성 유지, 평가자료의 적기 제공 여부, 자료 DB 구축의 충실성, 자료의 정밀도․신뢰성
평가도구
평가영역 및 항목의 타당성, 평가지표 및 기준의 타당성, 평가지표의 적절성, 평가도구와 평가목 적의 부합성 정도, 평가도구의 피평가대상 특성 반영 정도, 평가도구에 대한 피평가대상의 공유 정도, 평가에 활용한 자료의 적절성, 평가점수 배분의 적절성
평가시간 평가서 작성기간의 적정성, 평가 협의(검토)기간의 적정성, 서면평가 및 실사평가 시간의 충분성
Table 3.27 Detailed Summary of Advanced Research(Input)
평가항목 평가지표
평가(수행) 준비
평가주기의 적절성, 평가시기의 적절성, 평가방법의 적절성, 평가절차의 합리성, 평가 배포의 적절 성, 자체보고의 정확성, 평가대상기관 오리엔테이션의 적절성, 평가위원 사전평가교육의 적절성 평가(수행)
내용
평가형태의 적절성, 평가기준의 합리성, 평가항목 및 지표 구성의 적절성, 평가지표 채택의 타당성, 평가 항목의 연차별 일관성 유지 정도, 특성에 따른 평가배점 선택의 신축성, 평가주체 선정 및 구성의 합리성 평가(수행)
방법
평가기준 판단근거의 명료성, 평가기준의 평가목표 달성 가능도, 평가방법의 적합성 및 타당성, 양적․질적 평가방법 활용 정도, 평가형태(외부평가)의 적정 여부, 평가자(팀) 구성의 균형 여부
평가(수행) 과정
평가기간의 부여 정도, 평가절차의 일관성 유지 정도, 이해관계자간 의사소통 정도, 평가자들의 균형 유지 정도, 평가교육의 실시 정도, 서면평가의 충실성, 현장방문평가의 충실성, 현황조사의 적정성(관련 자료 조사 및 분석의 적정성, 현지조사 및 분석의 적정성), 영향 예측의 적정성(예측방 법의 적정성, 예측결과 분석의 적정성), 저감방안 수립의 적정성(저감방안 비교․분석의 적정성, 저감 방안의 실효성), 의견 수렴의 적정성(지역주민․전문가(관계기관)․이해관계자), 종합평가의 적정성, 평가보고서 구성 및 내용의 합리성, 평가보고서 결론 및 제언의 적정성, 평가의 객관성․ 공정성 평가(수행)
절차
평가절차의 구비 정도, 평가절차의 준수 정도, 평가기간의 준수 정도, 평가기간의 적정성, 자료분석 시간의 충분성, 평가자와 피평가자간 불화 정도, 평가자와 평가대상자 간 의사소통의 충분성, 평가자 및 평가대상자에 대한 평가기준 설명의 적절성, 평가절차의 합리성, 평가과정의 독립성 및 공정성
Table 3.28 Detailed Summary of Advanced Research(Process)
평가항목 평가지표
평가결과보고 평가보고서의 수요자 제공 정도, 평가보고서의 적기 제공 여부 평가결과 보고․
배포
평가결과 보고체계의 보유 정도, 평가보고서 제출시기의 적정성, 최총보고서 배포기준 의 보유 정도
평가결과(보고서)의 신뢰성
평가결과의 균형 정도, 평가결과의 합의 정도, 평가결과 도출시 피평가자의 의견수렴 정도, 피평가자의 평가결과에 대한 수용정도, 대안의 실현 가능도
평가결과(보고서)의 유용성
평가보고서 정보의 수요자요구 부합 정도, 평가서의 이해관계자(주민, 전문가 등) 요구 반영 정도, 평가서 내용에 대한 이해의 용이성, 평가보고서의 이해 가능도, 평가보고서 체계 정도, 평가결과보고서의 충실성, 이의제기 기회의 적절성
평가서 내용의
충실성 평가서 내용 및 기술의 정확성(논리성), 평가서 내용 및 기술의 합리성(공정성) 평가서 검토․협의 평가서 검토의 충실성, 평가서 보완의 충실성, 평가서 협의의 충실성
평가결과 활용 평가결과의 공개성, 평가결과의 활용성, 평가결과의 영향성 메타평가 메타 평가 메타평가의 적절성
평가보고서 작성 평가보고서의 충실성 및 체계성
Table 3.29 Detailed Summary of Advanced Research)Output)
평가항목 평가지표
평가결과 보고 평가결과 보고체계의 명료성, 평가보고서 배포의 적절성, 평가결과 공개 범위 및 수준의 적절성
평가결과 확정 평가결과 확정 절차의 적절성 평가결과
공개․배포
평가결과 공개에 대한 제도적 장치의 보유 정도, 평가결과의 피평가자(기관) 공개 정도, 이해관계자의 요구시 평가결과 공개 정도, 일반인들에게 평가결과의 공개 정도, 평가결 과 공개시기의 적절성, 평가보고서 배포의 적절성
평가결과의 확산 일반대중의 평가결과 관심도, 일반대중의 평가결과 이해도, 일반대중 접근매체 구비 정도
평가결과 활용
프로그램의 중단․보완 반영 정도, 프로그램 관련자의 인식 정도, 평가정보의 평가시스템 개선 활용 정도, 평가결과 활용에 대한 별도 계획의 마련 정도, 평가결과에 대한 차기 사업 반영 정도, 평가결과 지적사항에 대한 조치의 적절성, 우수사례에 대한 인센티브의 적정성, 평가결과의 활용형태, 평가결과의 활용정도, 평가활용에 대한 법․제도적 근거의 명료성, 정책반영장치 구비 정도, 평가자(대상자) 측면에서 평가결과 활용의 충분성 평가의 효과성 인․허가 승인시 평가결과의 반영 여부
평가의 투명성 평가과정 및 결과의 공개 정도, 일반 국민의 평가에 대한 이해도
사후관리의 적절성 협의내용 이행 모니터링 체계의 적절성(이행 주체, 벌칙 등), 저감방안 및 협의내용의 이행 정도
평가시스템 개선 평가시스템에 대한 평가 및 개선활동의 적절성
Table 3.30 Detailed Summary of Advanced Research(Utilization)