I. 서론
4. 고등교육 성과측정 도구
1) AHELO(Assessment of Higher Education Learning Outcomes)
AHELO는 OECD(Organization for Economic Cooperation and Development)에서 주관하는 고등교육 학습성과를 평가하는 프로젝트로, 고등교육을 받은 학생들의 질을 평가할 수 있는 국제적인 표준 기준을 제안하고자 한다. AHELO 프로젝트의 주요 목표는 국제 표준기준에 따른 고등교육을 받은 인재를 관리하는 것이다. 개 인적 차원에서는 고등교육을 받은 학생들이 졸업 후 그들이 할 수 있는 일에 대한 데이터를 받을 수 있으며, 관련 기관 및 정부에서는 국제결과와 비교하여, 현재 제공되고 있는 학습 및 교수 질이 어디에 위치해있는 지를 확인하여 교육정책 및 지원방안을 모색할 수 있다(OECD, 2015a).
2010년~2012년에 걸쳐, 고등교육기관 및 전공영역의 다양성을 고려한 평가도구 를 개발하기 위해, 실행가능성 평가를 시행하였다. 이후, 2015년부터 6단계에 걸친 AHELO 프로젝트를 본격적으로 운영하고 있으며, AHELO 프로젝트에서 제안한 모 델은 [그림Ⅱ-2]와 같다.
[그림 Ⅱ-2] AHELO 프로젝트의 대학성과 측정모델
※ 출처: OECD (2015a). Getting the right data: the assessment instruments for the AHELO feasibility study. Retrieved from
http://www.oecd.org/education/skills-beyond-school/ahelo-main-study.htm
우리나라는 초기부터 AHELO 프로젝트에 참여하고 있다. 해당 연구는 총 3가지 요소인 일반 핵심능력(generic skills), 공학(engineering)과 경제(economics)가 선택 형 문항(MCQs: multiple choice questions)과 서술형 과제(CRTs: contructed response tasks)로 구성되어 있다(최정윤, 채재은, 2013; OECD, 2015a; OECD, 2015b).
상세하게 살펴보면, 일반 핵심능력은 광범위한 사고능력(broad abilities)에 해당 하는 사고능력이다(OECD, 2015a; 2015b). 여기에서 말하는 사고능력은 [그림 Ⅱ-3]
에서 볼 수 있듯이, 사고능력 모델의 중심원(core)에 해당하는 부분으로, 일반적인 영역(generally across domains)에서 이루어지는 사고이자, 다른 전공영역에도 전이 가 될 수 있는 사고능력을 의미한다. 이 때문에, 특정 전공에서 습득되는 전공지 식이나 지식과는 구별된다. 예를 들면, 일반 핵심능력에 언어･수적･공간 추리 능 력, 이해력, 문제해결력, 의사결정력 등의 복잡한 특정 사고가 포함된다(OECD, 2013; OECD, 2015a; Shavelson & Huang, 2003).
[그림 Ⅱ-3] AHELO 사업에서 정의한 일반 핵심능력
※ 출처: OECD(2011). p.6
선택형 문항은 ACER(Australian Council for Educational Research)에 의해 개발 된 평가도구의 문항을 사용하였으며, 총 25개 문항으로 구성되었다. 총 평가시간 은 30분이 소요되며, 비판적 사고능력과 문제해결능력에 관해 묻고 있다. 비판적 사고력은 논쟁의 이해와 해석 및 판단, 결론과 관련된 논쟁과 증거인식, 논쟁 전 개방식의 분석과 평가, 논쟁의 강점과 약점을 평가하며, 문제해결능력은 문제의 연관성, 제한점, 규칙 및 결과를 파악하는 데 필요한 데이터 활용, 추론, 정보 구 분, 일반화 및 가설화, 일상적인 상황에서의 결정능력을 평가한다(최정윤 외, 2011;
OECD, 2015b).
서술형 과제는 미국 CAE(Council for Aid to Education)에 의해 개발된 평가도구 인 CLA(Collegiate Learning Assessment)의 문항을 활용하였으며, 2종의 수행과제 (Performance Task)로 구성되었다. 총 평가시간은 90분이 소요되며, 학생들은 가상 시나리오 형식에 기반한 실생활 문제상황에 대한 해결방안을 찾는 방식이다. 메 모, 통계자료, 표, 그림, 데이터, 뉴스, 실증 연구결과 등 다양한 자료가 함께 제시 된다. 서술형 문항에 대한 예시는 [그림 Ⅱ-4]와 같다.
▮ 서술형 과제의 문항 예시
Ÿ 자신이 서울시의 시장이라고 가정하고 시의 범죄율 저하를 위한 정책 전략을 제시하라.
1) 약물치료 프로그램에 대한 투자 증대,
2) 보안을 위한 강력 정책 실시 등 두 개의 정책 대안을 평가하고 평가 결과를 토대로 정책 전략을 제시하라
▮ 서술형 과제에서 함께 제공되는 자료의 목록 예시
Ÿ 메모 형식의 자료: 특정한 약물치료 프로그램보다는 거리의 보안을 강화하기 위해 보다 많은 정책이 실행되어야 한다는 비판적인 의견
Ÿ 뉴스형식의 자료: 지역에서 발생하는 약물 관련 범죄에 관한 내용
Ÿ 연구 요약 형식의 자료: 약물치료의 효과성을 검증한 과학적인 실증연구 결과 Ÿ 웹문서 형식의 자료: 약물치료 프로그램의 효과성을 검증한 다양한 연구결과들의
검색
Ÿ 데이터 형식의 자료: 정책부서에서 제공한 범죄와 커뮤니티에 관한 자료 Ÿ 통계자료: 약물중독자들의 비율과 범죄 발생률 관계를 비교한 통계자료
[그림 Ⅱ-4] 서술형 과제의 문항 및 제시자료 예시
※ 출처: 최정윤, 채재은(2013). p. 41.
다음으로 AHELO 전공영역인 경제학 및 공학의 평가에 대한 부분이다. 경제학의 경우, ‘Tuning-AHELO 경제학 학습성과 개념 틀’, ‘QAA Subject benchmark Statement for Economics 2007’, 다수의 경제학 전문가들의 의견을 바탕으로 개 발되었다. 개발된 도구는 개념의 응용에 초점을 두고 있으며, 적절한 통계적･비통 계적 도구의 사용, 결론의 도출, 정책제안, 경제학 용어에 대한 능통성을 측정한다 (최정윤, 채재은, 2013). 총 45개의 선택형 문항과 1종의 서술평 평가 문항으로 구 성되어 있으며, 총 90분(선택형 60분, 서술형 30분)의 시간이 소요된다(최정윤, 채 재은, 2013; OECD, 2015b). 공학은 ‘Tuning-AHELO 공학 학습성과 개념 틀’ 및
‘AHELO 공학부문 워크숍’ 등 다양한 관련 자료를 참조하였으며, 공학 교육전문 가 자문을 바탕으로 개발되었다. 개발된 도구는 일반 공학기술, 공학 기초능력, 공 정의 분석, 설계, 실행으로 구성되어 있으며, 수학적･과학적 사고, 공학적 분석능 력, 설계능력 및 실질적인 문제해결을 위한 공학적 지식과 해석 활용능력을 평가 한다(OECD, 2013; OECD, 2015b). 총 20개 문항의 선택형 문항과 2종의 서술형 문 항으로 구성되어 있으며, 총 90분의 평가시간이 소요된다(최정윤, 채재은, 2013;
OECD, 2015b). 그 외 대학생의 학습경험과 대학교육 환경에 대한 정보를 파악하 여, 대학생 학습성과 평가결과와 연계하여 활용할 수 있도록 배경요인에 대한 설 문문항이 구성되어 있다(최정윤 외, 2011).
2) 대학생 핵심역량 진단시스템(K-CESA)
교육부와 한국직업능력개발원은 고등교육 성과를 측정하기 위해, 대학생 핵심역 량 진단체계를 구축하였다(손유미, 임언, 민주홍, 윤혜준, 한애리, 2017; K-CESA, 2020). 현재 총 6개의 역량인 의사소통 역량, 자원·정보·기술 활용 역량, 글로벌 역량, 종합적 사고력, 자기관리 역량, 대인관계 역량으로 K-CESA(Korea Collegiate Essential Skills Assessment)가 구성되어 있으며, 2010년부터 한국직업능력개발원이 대학생 핵심역량 진단을 시행하고 있다(손유미 외, 2017). 한국직업능력개발원은 K-CESA 활성화를 위한 10개년 계획을 세우고, K-CESA 고도화를 진행하고 있다 (손유미 외, 2017, <표 Ⅱ-8> 참조).
연구연차 2016년 2017년 2018-2019년 2020-2022년 2023-2025년 사업
목표
독립적 운영기반
마련
진단시스템 안정화
진단시스템 의 확장과
고도화
진단도구와 질 제고와 활용 확대
주요 사업
Ÿ 추가문항 개발 Ÿ 진단도구
개선과 안정화 방안마련 Ÿ DB분석/
활용방안 도출
Ÿ 추가문항 개발 Ÿ 추가핵심
역량도출
Ÿ 대학별
핵심역량 강화 노력지원
Ÿ DB분석
Ÿ 학술대회 개최
Ÿ 추가문항 개발
Ÿ 문항연구
Ÿ 추가핵심 역량도출 Ÿ 핵심역량
강화방안 /강화 프로그램 개발 Ÿ DB분석/
활용확대 Ÿ 학술대회
개최
Ÿ 추가문항 개발
Ÿ 문항연구
Ÿ 핵심역량 강화방안 /강화 프로그램 개발 Ÿ 문제은행식
진단도구 시스템 구축 Ÿ DB분석/
활용확대 Ÿ 학술대회
개최
Ÿ 추가문항 개발
Ÿ 문항연구
Ÿ 문제은행식 진단도구 시스템 구축 Ÿ 진단도구
타당도 분석
Ÿ 축척된
핵심역량 DB분석/
보급 Ÿ 학습대회
개최
<표 Ⅱ-8> K-CESA 사업추진 계획
대학자율역량강화지원사업(ACE+)에 선정된 학교는 참여가 필수적이며, 전국 200 여개의 대학에서 K-CESA에 참여하고 있다(김지원, 2019). 6개 역량 중, 2개 역량인 자기관리 역량과 대인관계 역량만이 자기점검형이고, 나머지 역량인 의사소통 역 량, 자원·정보·기술 활용 역량, 글로벌 역량, 종합적 사고력은 문제풀이형(선다 형)이거나 수행형이다(진미석, 손유미 주휘정, 오석영, 2011; K-CESA, 2020, <표 Ⅱ -9> 참조). K-CESA는 진단시간이 6~7시간 정도로 매우 긴 것이 특징이다(손유미 외, 2017; 홍성연, 2015).
하위
역량 내용 문항
수 문항유형 평가
시간
의사 소통 역량
적극적 경청과 이해능력: 듣기, 읽기(메시지 수신자가
언어적/비언어적 메시지 텍스트를 올바르게 발신자의 의도를 이해하고 메시지를 맥락화 하는 능력
32
선다형 (듣기, 일반),
수행형 (녹음, 일반)
78분 효과적인 의사전달 능력: 쓰기
말하기(메시지 발신자가 언어적, 비언어적 수단을 통하여 자신이 의도하는 의미를 정확하고, 명확하고, 논리적으로, 효과적이고, 효율적으로 전달하는 능력
토론과 조정능력: 사실이나 의견이 상충하는 상황에 이용가능한 정보를 바탕으로 최적의 논리적 주장을 펼쳐 나가면서 상대와 공유하는 부분을 찾아내는 능력
종합적 사고력
분석적 능력: 진술, 자료의 해석 및 관계 파악, 해결해야할 과제의 이해,
과제해결을 위해 필요한 정보파악 8 수행형 90분 추론적 능력: 주어진 진술, 내용에
포함된 정보로부터 타당한 결론
<표 Ⅱ-9> K-CESA 구성
하위
역량 내용 문항
수 문항유형 평가
시간 도출하거나 진술이나 주장이 어떠한
원리를 따르고 있는지 인식
평가적 능력: 과제 해결의 목적에 타당한 최적의 대안 선정, 기준에 근거한 진술, 가설, 대안 등 아이디어 검증, 예상되는 긍정적/부정적 결과 판단 대안적 능력: 과제해결을 위한 가설, 대안 등의 아이디어 생성의 유창성, 융통성, 독창성, 정교성
자원 정보 기술의
활용 역량
자원: 다양한 자원을
수집/조직/분석/활용/평가 하는 능력
30
선다형
45분 정보: 다양한 정보를
수집/조직/분석/활용/평가 하는 능력 기술: 다양한 기술을
수집/조직/분석/활용/평가 하는 능력
글로벌 역량
유연성 및 적극성: 다양한 문화를 받아들이고 적극적으로 새로운 문화나 환경에 도전하고자 하는 성향
48 30분
타문화에 대한 지식 및 이해: 일반적 글로벌 매너에 대한 지식 및
이해뿐아니라 다양한 국가의 정치, 역사, 지리, 문화에 대한 지식 및 이해
글로벌화 및 글로벌 경제에 대한 이해: 세계화 및 글로벌 정치경제에 대한 지식 및 이해
자기 관리 역량
자기주도적 학습능력: 학습자 스스로 학습동기를 고양시키고 학습과정 및 전략을 결정하여 주도적으로
학습하는 능력
60
자기점검 (Liket 5점
척도)
제한 없음