3.4 메타평가의 구성요소
3.4.1 국외 선행연구 분석
Stufflebeam(1974)는 메타평가의 구성요소를 Table 3.11과 같이 적절성, 유용 성, 효율성 등 3개의 영역, 11개 평가항목으로 구분하였다.
Larson & Berliner(1983)는 메타평가의 구성요소로서 Table 3.12와 같이 평가 투입, 평가과정, 평가결과 등 3개 영역, 24개 평가항목으로 구분하였다. 이들은 메타평가의 구성요소를 체계적으로 제시하였다는 평가를 받고 있을 뿐만 아니 라 지금까지 많은 학자들이 메타평가 연구에 적용하는 틀로서 인용되고 있다.
평가영역 평가항목 비고
평가투입 (Inputs)
① 예산 및 그 외의 물질적 지원
② 평가기간
③ 평가시기(Timing)
④ 평가자의 특성(훈련, 경험, 세계관 등)
⑤ 사업실시자의 특성(교육, 경험, 사업집행의지 등)
⑥ 사업의 특성(목표, 관심영역, 수혜자집단 등)
⑦ 평가방법론 및 평가 설계
⑧ 평가결과 이용자의 평가의 목적
⑨ 기존자료와 자료의 제약
⑩ 평가대상사업의 기본적인 이론모형
⑪ 기대되는 정책 향상 가능성
평가에 수반되 는 자원, 방법 론과 평가의 설정을 위한 기본 요소들을 포함
평가과정 (Process)
① 평가자와 사업실시자 간 상호관계의 유형․강도․빈도
② 평가자에 대한 사업실시자와 평가결과 이용자의 반응
③ 평가과정에서 얻은 정보가 사업실시자에게 환류 되는 정도
④ 평가과정에서 얻은 정보가 평가자원의 할당을 변경시키는 데 이용되는 정도 ⑤ 평가 설계의 적응성(사업계획 상의 변 화에 대한 반응력 등)
⑥ 인적 변화 정도(사업 및 평가에서의 평가자, 사업실시자, 평가결과 이용자) ⑦ 평가방법론(정보가 평가결과에 이르는 공식적․비공식적 처리과정)
⑧ 결과에 대한 의사소통(평가보고서의 검토)
평가 설계에 따라 계획된 것들과 구별되 는 실질적 행 위를 포함
평가결과 (Outcomes)
① 자금제공자의 사업에 대한 지원․재지원․수정․취소 결정
② 사업실시자의 사업과정에 대한 수정 결정
③ 수혜자집단(사업대상집단)의 사업에 대한 참여 형태 변화 에 대한 결정
④ 평가로 인해 제기된 문제 및 이슈에 대한 연구자집단의 후속연구 결정
⑤ 자금 제공자와 사업실시자의 유사 사업의 제한(개시)․수정․
종료 결정
평가결과는 평 가에 의해 영 향을 받는 결 정들로 구성 Table 3.12 Metaevaluation Components of Larson & Berliner
[자료] Larson & Berliner(1983: 155-160)
Scriven(1991)은 메타평가의 구성요소로서 Table 3.13과 같이 3개 영역, 13개 평가항목으로 구분하였다.
구분 평가항목
Part A: 기반 (foundations)
① 기술(descriptions)
② 배경과 상황(background and context)
③ 소비자(consumers)
④ 자원(resources)
⑤ 가치(values)
Part B: 하위평가 (sub-evaluations)
① 과정(process)
② 결과(outcomes)
③ 비용(costs)
④ 비교(comparisons)
⑤ 일반화가능성(generalizability) Part C: 결론
(conclusions)
① 중요성(significance)
② 권고(recommendations)
③ 메타평가보고서(reports of the meta-evaluation) Table 3.13 Metaevaluation Components of Scriven
[자료] Scriven(1991: 230-231); Part의 구별은 수정된 Scriven(2006)의 분류를 기준으로 함.
2) 평가 가이드라인
평가와 관련된 주요기관이나 조직들, 즉 Joint Committee(1994), 미국평가협회 (American Evaluation Association, 1995), OECD(1998) 등이 제시하는 평가 가이 드라인은 각자 소관 부문의 평가에 있어서 하나의 지침 역할을 하고 있으므로 메타평가의 대상으로서 평가를 어떻게 하여야 바람직한가 하는 모델을 제시하 고 있다. 그 대표적인 평가 가이드라인은 Joint Committee의 평가표준, AEA의 평가가이드라인, UNEG의 평가표준, OECD의 평가표준 등이 있다.
Joint Committee(1994)에서 제시한 평가표준(The Program Evaluation Standards)은 미국의 프로그램평가 대부분의 준거로 이용되고 있는데, Table 3.14와 같이 유용성, 실현가능성, 타당성, 정확성 등 4개 영역으로 구분, 총 30 개의 평가항목의 평가표준을 제시하였다.
구분 평가표준 비고
유용성 (Utility)
U1: 이해관계자의 확인(Stakeholder Identification) U2: 평가자의 신뢰성(Evaluator Credibility)
U3: 정보의 범위 및 선택(Information Scope and Selection) U4: 가치의 확인(Values Identification)
U5: 보고의 명료성(Report Clarity)
U6: 보고의 적시성 및 보급(Report Timeliness and Dissemination) U7: 평가영향(Evaluation Impact)
평가가 사용자들 에 대한 정보수요 를 제공하는 지를 검토
실현가능성 (Feasibility)
F1: 실질적 절차(Practical Procedures) F2: 정치적 실행가능성(Political Viability) F3: 비용효과성(Cost Effectiveness)
평가가 사실적이 고, 분별력 있고, 외교적이며, 저비 용적 인지를 검토
타당성 (Propriety)
P1: 서비스 지향성(Service Orientation) P2: 공식적 협정(Formal Agreements) P3: 인간의 권리(Rights of Human Subjects) P4: 인간적 상호작용(Human Interactions)
P5: 완전하고 공정한 평가(Complete and Fair Assessment) P6: 결과의 공개(Disclosure of Findings)
P7: 이해 충돌(Conflict of Interest) P8: 재정적 책임(Fiscal Responsibility)
평가가 합법적이 고, 윤리적이며, 평가결과의 영향 등을 고려하는지 를 검토
정확성 (Accuracy)
A1: 사업 문서(Program Documentation) A2: 상황분석(Context Analysis)
A3: 기술된 목적 및 절차(Described Purposes and Procedures) A4: 정확한 정보자료(Defensible Information Sources) A5: 타당한 정보(Valid Information)
A6: 신뢰할 수 있는 정보(Reliable Information) A7: 체계적 정보(Systematic Information)
A8: 양적 정보의 분석(Analysis of Quantitative Information) A9: 질적 정보의 분석(Analysis of Qualitative Information) A10: 정당한 결론(Justified Conclusions)
A11: 공정한 보고(Impartial Reporting) A12: 메타평가(Metaevaluation)
평가가 평가대상 의 가치를 판단할 특징에 대해 기술 적인 정보를 정확 하게 공개하고 배 포하는지를 검토 Table 3.14 Evaluation Standards of Joint Committee
[자료] Joint Committee on Standards for Educational Evaluation(1994: 14-17, 23-190)
미국평가협회(American Evaluation Association, 1995)는 평가를 수행하는 평가 자의 차원에서 평가 가이드라인을 제시하였다. 이 평가 가이드라인은 Table 3.15와 같이 체계적 조사, 능력, 통합성․정직, 인격존중, 공공책임 등 5개의 영 역, 23개 평가항목으로 구분된다.
구분 평가표준 비고 A. 체계적
조사 (Systematic
Inquiry)
① 평가정보의 정확성과 신뢰성을 강화할 수 있는 최적의 표준 사용
② 고객과 함께 다양한 평가문제 접근방법에 대한 강․약점 조사
③ 평가방법 및 접근방법에 대한 정확한 의사소통과 평가의 한계 및 결과에 대한 상세한 토의. 평가결과의 설명력에 영 향을 미치는 가치, 가정, 이론, 방법, 결과, 분석에 대한 토의
평 가 대 상 에 대한 체계적 인 조사와 데 이터 기반의 조사
B. 능력 (Competence)
① 적절한 교육, 능력, 기술, 경험 보유
② 전문적인 교육과 능력범위 내에서의 수행
③ 지속적인 능력유지 및 향상 노력
고객들의 요 구를 충족시 키는 수행을 제공
C.
통합성·정직 (Integrity
·Honesty)
① 비용, 업무, 방법론의 한계, 결과의 범위, 자료 활용 등 에 대한 고객 및 이해관계자와 진지한 협의
② 당초 협의한 계획과의 변화 및 이유에 대한 기록과 고 객 및 주요 이해관계자에 대한 적시의 정보 제공
③ 재정, 정치, 경력을 포함하는 평가의 수행 및 결과와 관련된 평가자, 고객, 다른 이해관계자의 이익 파악 노력
④ 중대한 이익충돌을 야기할 수 있는 사항과 관련한 역 할과 관계 공개
⑤ 평가과정, 자료 및 결과에 대한 정확한 제시
⑥ 잘못된 것 같은 평가정보에 대한 고객과의 논의
⑦ 평가의 신청과 재정에 대한 모든 자료 공개
전 평가과정 에서 정직과 통합을 확보
D. 인격존중 (Respect for
People)
① 평가의 참여, 동의, 비밀의 범위 및 한계 등의 위험, 손 해, 부담 등과 관련한 전문윤리, 표준의 준수
② 평가를 해(害)함 없이 이익 최대화 및 불필요한 손해 경감
③ 이해관계자의 위엄과 존엄성 존중
④ 평가의 사회적 형평성 강화, 서비스를 받을 수 있는지, 어떻게 받는지 정보제공
⑤ 문화, 종교, 성별, 장애, 연령, 성향, 민족 등 차이 인정
평가자와 상 호 작용하는 응답자, 프로 그램 참여자, 고객 등의 안 전, 위엄, 자 존심을 존중 E. 공공책임
(Responsibiliti es for General and
Public Welfare)
① 모든 이해관계자들의 중요한 관점과 이익 고려
② 직접적인 기능과 결과뿐만 아니라 광범위한 가정, 관 계, 잠재적 부수효과 고려
③ 모든 이해관계자에게 평가정보의 접근 허용과 정보의 적극 보급
④ 고객과 고객이외의 자 수요사이의 균형 유지
⑤ 특정 이해관계자의 이익 해석을 초월
Table 3.15 Evaluation Guidelines of AEA
[자료] Rossi, Peter H., Mark W. Lipsey & Howard E. Freeman(2004: 406~410)에서 재인용 ; American Evaluation Association(1995), Guiding Principles for Evaluators, by W. R. Shadish. D. L. Newman, M. A. Scheirer and C. Wye. San Francisco: Jossey-Bass.
구분 평가표준 제조
적 틀 및 평가 기능 관리
제도적 틀*
(Institutional Framework)
① 평가기능의 효과적 관리를 위한 제도적 틀 구축 ② UN 평가표준 에 근거한 평가정책 개발 및 규칙적 갱신 ③ 평가계획의 제출 및 승 인 ④ 적절한 평가환류체계 및 명시적 공개정책 운영
평가기능 관리**
⑤ 전문적 표준에 따른 평가수행의 보증 ⑥ 평가 가이드라인 준비의 보증 ⑦ 조직 내외부의 수요 변화 및 신규 개발에 적응하는 역동적 평가기능 수행 보증
역량 및 윤리
***
역량 (Competencies)
① 평가 설계, 수행, 관리 관계자의 핵심 평가역량 보유 ② 평가 관 련 교육적 배경 및 자격
③ 평가 관련 전문적 실무경험 ④ 평가 관련 방법론과 접근법 및 관 리기술에 관한 전문 지식
윤리 (Ethics)
⑤ 이해관계자들과 관계에 있어서의 성실성과 정직성 ⑥ 존경심에 근거한 개인 접촉 ⑦ 개인 정보제공자에 대한 익명성 및 보안성 유 지 ⑧ 성과와 결과물에 대한 책임
평가 수행
설계 (Design)
① 시의적절하고 타당하며 믿을 수 있는 정보에 근거한 설계 ② 목 적(Purpose)과 과정 및 결과를 제공하는 용어 정의 ③ 평가의 목적 및 상황에 대한 명확한 공표 ④ 평가대상의 명확한 기술
⑤ 현실적이고 달성 가능한 평가목표(Objectives) 및 범위의 정의 ⑥ 평가기준의 명확한 제시
⑦ 논리적으로 옳은(Rigorous) 평가방법론 ⑧ 비용효과성 평가 ⑨ UN인권기반(Human Rights-Based) 접근법을 고려한 평가설계
과정 (Process)
⑩ 상호존경과 신뢰에 근거한 평가자와 위원 간 관계 ⑪ 평가의 기 획, 설계, 수행, 환류 시 이해관계자의 고려 ⑫ 외부전문가로 구성된 동료평가(Peer Revise) 또는 준거집단(Reference Group) 활용
평가팀 구성 (Selection of
Team)
⑬ 충분한 자격을 가준 평가팀에 의한 평가수행 ⑭ 성(Gender)적 균 형 및 지리적 다양성이 유지되고 지역전문가가 포함된 평가팀 구성 Table 3.16 Evaluation Standards of UNEG
UNEG(2005)의 평가표준(Standards for Evaluation in the UN System)은 UN 산 하 조직들의 평가에 관한 제도적 틀 및 평가기능 관리, 평가수행자들의 역량 및 직업윤리, 평가의 수행 및 활용에 관한 기준을 제시하기 위하여 제정되었으 며, 이 평가표준은 UN 산하 조직들의 평가 정책 및 가이드라인뿐만 아니라 OECD 회원국들의 국가표준, 국제적 기관들의 평가정책 등을 참조하여 작성된 것으로 Table 3.16과 같다.