프로그램 평가는 프로그램 설계와 전달이 효과적인지, 목표한 결과 가 도출되었는지를 확인하는 절차이다.
6프로그램 평가를 통해 프로그 램과 관련된 제반 요소 중에서 프로그램의 의도, 프로그램의 내용, 프 로그램 참여자, 프로그램 운영을 평가자의 주 대상으로 삼아 프로그램
6_기영화, 평생교육 프로그램개발, p. 210.
의 가치 및 성과를 판단하고, 그 프로그램의 목표, 내용, 활동, 산출물, 비용(투입) 등에 대한 정보를 제공할 수 있다.
7가. 프로그램 평가의 개념
프로그램 평가의 목적을 요약하면 다음과 같이 네 가지이다. 첫째, 프로그램의 가치나 장점을 판단 및 결정한다. 둘째, 프로그램의 효과 및 영향을 파악 및 판단한다. 셋째, 프로그램의 목적 달성 정도를 확인 한다. 넷째, 프로그램에 대한 의사결정의 근간을 마련한다.
커크패트릭(Donald Kirkpatrick)은 교육 프로그램의 4대 영역을 다 음과 같이 제시한 바 있다. 첫째, 학습자들의 반응을 통해 그들이 프로 그램에 대해 느낀 호의와 정도를 평가하는 것으로, 이는 학습자 ‘만족 도 평가’ 또는
‘매력성 평가’라고도 불린다.둘째, 프로그램을 통해 학습자가 어떤 지식·태도·기능을 습득했는가 를 평가하는 것으로, 이는 실제로 일어난 학습정도 혹은 학습 목표 도 달에 대한 성취도 평가 내지
‘효과성 평가’라고 할 수 있다.셋째, 교육 프로그램 이수 후 학습자의 실제 생활에서 어떤 변화가 후속되었는지를 평가하는 것으로, 이를 ‘실생활 적용도 평가’ 또는 ‘실 제행동 평가’라고 한다.
넷째, 평생교육 기관의 프로그램 개발·운영의 경영 효율성 측면과 관련하여 프로그램 운영에 투자한 시간과 노력, 비용 등에 대비한 교 육 성과를 측정하는 것으로, 이를 프로그램의 ‘효율성 평가’라고 할 수 있다.
7_김진화, 평생교육 프로그램개발론, p. 418.
Ⅰ
Ⅱ
Ⅲ
Ⅳ
Ⅴ
그림 Ⅰ-12
교육 프로그램 평가의 핵심 대상과 영역
출처: 이미나 외, 평생교육방법론 (서울: 한국방송통신대학교출판부, 2014)을 참조 하여 재구성.
나. 평생교육 프로그램 평가의 준거
사회통일교육 프로그램의 운영 성과 및 질적 수월성을 평가하기 위 해서는 그에 적합한 척도가 개발되어야 한다. 국내의 평생교육 프로그 램 평가모형에 대한 선행 연구들은 통상적으로 프로그램 평가의 기준 으로 효과성, 효율성, 적정성, 형평성, 대응성, 적절성을 들고 있다.
8각 기준별 평가의 핵심적인 질문을 제시하면 아래의
<표 Ⅰ-3>과 같다.표 Ⅰ-3
프로그램 평가의 준거와 질문
평가준거 질문 예시적 준거
효과성
(Effectiveness) 가치로운 산출이 성취되었는가? 교육 효과 평가
8_이미나 외, 평생교육방법론, p. 351.
평가준거 질문 예시적 준거 효율성
(Efficiency)
교육을 위해 어느 정도의 노력이 투
입되었는가? 교육 비용/수익률
적정성 (Adequacy)
교육 결과에 의해 문제해결이 어느
정도 이루어졌는가? 문제해결 능력 평가 형평성
(Equity)
비용과 효율이 개인 혹은 집단 간에 공평하게 배분되었는가?
교육 기회 및 자원 배분 근거 평가 대응성
(Responsiveness)
조직의 목표, 집단의 필요 등을 프로 그램을 통해 만족할 수준으로 달성 했는가?
조직체의 교육 목표 달성여부 적절성
(Appropriateness)
기대된 산출이 실제로 가치가 있는 가?
충족성을 제외한 모든 준거 검증 출처: 이미나 외, 평생교육방법론, p. 351.
다. 프로그램 평가의 이론모델
프로그램 평가는 평가의 주된 초점 및 방식과 관련하여 다음과 같이 네 가지 이론적 모형이 활용되거나 혼용되기도 한다.
(1) 목표도달 평가모델(Attainment of Objective Approach)
목표도달 평가모델은 프로그램 계획 단계에서 애초에 추구한 학습
자 변화의 기대된 학습 결과, 즉 계획된 프로그램 목표를 준거로 하여
이후 프로그램 실행을 통해 발생된 실제 결과를 측정하는 것이다. 이
평가모델은 학습 결과를 평가의 기준으로 되는 목표와 비교하여 해당
프로그램의 가치와 성과를 계량화하여 판단하는 데 주요하게 활용되
고, 이러한 평가 결과의 신뢰도가 높다는 장점을 갖고 있다.
Ⅰ
Ⅱ
Ⅲ
Ⅳ
Ⅴ
그림 Ⅰ-13
목표도달 평가의 개념도
출처: 이미나 외, 평생교육방법론, p. 352.
(2) 의사결정 평가모델
목표도달 평가모델이 프로그램의 효능성에 대한 가치판단을 내리는 데 주안을 둔 것이라면, 의사결정 평가모델은 프로그램 지속 여부 및 개선에 대한 의사결정의 근거를 제공하는 데 주안을 둔 것이다. 의사 결정 모델은 프로그램 기획·개발·실행·평가 등에 대한 제 측면을 평가 함으로써, 기관 및 의사결정자에게 프로그램 시행에 관련된 제반의 의 사결정 과정에서 고려할 유용한 정보를 산출한다. 이러한 평가모델의 가장 대표적인 사례는 스터플빔(Stufflebeam)의 소위 ‘CIPP 모형’이 다. CIPP에서
‘C’는 상황평가(Context Evaluation), ‘I’는 투입평가(Input Evaluation),
첫 번째 ‘P’는 과정평가(Process Evaluation), 두
번째
‘P’는 산출평가(Product Evaluation)의 약자이다.9의사결정 평가모델에 따르면, 프로그램을 계획하고 실행하는 것은 하나의 연속적이고 긴밀하게 연계된 일련의 활동이다. 상황-투입-과 정-산출 평가 등 각 단계는 순환적인 관계이며, 산출 평가의 결과는 다시 상황의 요소로 환류된다.
9_위의 책, p. 354.
◦투입평가:
프로그램 목적 달성을 위해 어떤 자료와 전략이 사용되 어야 하는가에 대한 초점(시설, 장소, 매체 등)
◦과정평가:
프로그램이 학습자 혹은 참여자에게 어떤 결과를 가져 다 줄 것인가에 대한 초점(프로그램 지침에 따른 학습자의 수행 정도, 학습과정 및 내용에 대한 만족도, 학습 목표 도달 정도 등)
◦산출평가/활용평가:
프로그램 종료 후에 학습자에게 즉자적으로 나타난 변화(Output)와 더불어 시간이 경과된 후에도 지속된 변 화(Outcome), 즉 활용 정도를 평가하는 데 초점(프로그램 참여자 가 획득한 지식·기능·태도, 그 변화의 수준, 현장 및 실생활 적용 정도 등)
그림 Ⅰ-14
의사결정 평가모델의 개념도
출처: 김진화, 평생교육방법 및 실천론, p. 341.
(3) 탈목적 평가모델(Goal-Free Approach)
탈목적 평가모델은 프로그램에서 자체적으로 계획하여 설정해 놓은
목표 달성의 여부를 판단하는 종래의 준거지향적인 평가 방식을 지양
Ⅰ
Ⅱ
Ⅲ
Ⅳ
Ⅴ
한다. 프로그램의 실행 단계에서 교수자-학습자 간의 상호작용을 통해 프로그램의 실제적인 가치와 내용이 구현되고 구성된다. 따라서 애초 에 의도되지 않은 학습 결과 및 부수 효과 등이 발생하는 경우는 다반 사이다. 이 점에 착안하여, 탈목적 평가모델은 현재의 프로그램 운영을 통해 실제로 발생된 결과가 구체적으로 무엇인지를 규명함으로써, 프 로그램의 가치 및 효과성을 평가하는 데 주안을 둔다. 이러한 취지에서 탈목적 평가모델은 미리 준비한 평가도구를 사용하기보다는 교육현장 에서 전개된 학습 과정 및 프로그램 참여자의 반응, 만족도 등을 관찰 하고 이에 기초하여 프로그램의 가치를 판단하는 방식을 추구한다.
(4) 참여자 평가모델(Participation Evaluation Model)
참여자 평가모델 역시 탈목적 평가모델과 동일하게 사전에 준비된
평가도구를 토대로 한 준거지향적 평가를 지양한다. 한편 탈목적 평가
모델의 주체가 교육 프로그램 제공자로 한정된 것이라면, 참여자 평가
모델에서는 평가의 대상과 주체가 따로 구별되지 않고 프로그램 운영
에 참여했던 모든 사람들이 평가주체가 된다. 프로그램 참여자들은 프
로그램이 종료된 이후 함께 비판적 성찰과 숙고를 통해 프로그램의 가
치, 산출결과 등을 평가한다. 이를 위해 자기반성, 집단 회합, 집단 평
가회, 역할 연기 등 다양한 평가 방식이 활용된다. 본 평가모형에서 평
가란 평가활동 그 자체에 한정된 의미를 넘어서 또 하나의 경험학습의
과정이다. 교육활동에 대한 반성적 성찰과 공유, 비판적 숙고 과정을
통해, 평가의 참여자는 프로그램 참여 경험이 자신의 삶 속에 내면화
되는 의미를 재음미하는 계기를 가질 수 있다.
라. 프로그램 평가의 절차
교육 프로그램 평가를 효과적으로 수행하기 위해서는 다음과 같은 일련의 절차에 기반하여 평가 과정을 계획하여 진행할 필요가 있다.
프로그램 성격에 따라 평가의 목적이 달라지며, 이에 따라 평가 내용 및 평가 방법 등이 결정되어야 한다. 본 연구에서 개발된 4개의 프로그 램들은 그 성격이 서로 상이하기 때문에, 각 프로그램별로 아래와 같 은 평가 절차를 기본으로 하여 평가의 목적 및 방식을 결정하는 것이 타당하다. 각 프로그램 별로 평가도구를 만들기 위해 참고했던 선행 검사도구 예시는
<부록>자료를 참고하기 바란다.
그림 Ⅰ-15
프로그램 평가 절차
1단계 평가 실시 목적 결정
2단계 평가 내용 선정
3단계 평가 자원의 획득과 분배
4단계 평가 분위기 조성
5단계 평가 방법 선정
6단계 평가 실시
7단계 평가 결과 반영
출처: 김진화, 평생교육방법 및 실천론, p. 341.
Ⅰ
Ⅱ
Ⅲ
Ⅳ
Ⅴ
상기의 7단계 평가 결과 반영과 관련하여, ‘교육 프로그램 평가에 대 한 평가’
10를 의미하는 메타평가도 매우 중요한 평가 활동이다. 교육 프로그램의 메타평가는 프로그램 평가 단계의 활동들이 그 목적을 달 성하고 궁극적으로 교육 프로그램의 질을 담보하기 위한 절차라고 할 수 있다. 이러한 메타평가의 대상은 애초 설계된 교육 평가의 목적·내 용·방법·분석 결과 등의 타당성·적절성 외에, 교육 평가의 활용도 내지 환류 과정이 실천적으로 후속되었는지를 모니터링하는 일련의 활동 절차를 포괄한다.
10_김성훈 외, “교육 프로그램 메타평가 기준 개발,” 교육평가연구, 제22권 3호 (2009), p. 558.