다. 온라인 교육을 위한 학습관리시스템의 방향성
수료하는 미래형 교육의 표본으로 불린다. 전 세계의 학생들이 원격으로 교육을 받고 오프라인에서는 여러 가지 다양한 활동을 하며 학습한다. 이 학교 시스템의 골자는 오프라인의 대학에서 온라인 대학으로의 장소변화의 관점이 아닌 학습 능 력을 최대한 발휘할 수 있는 환경을 제공하는 것이다. 미네르바 대학교의 경우와 같이 LMS는 단순히 수업을 듣는 수단이 아닌 대학에서 일어나는 모든 학습 과정 을 실현할 수 있는 장이 되어야 하며, 이러한 요구를 해결해 주는 LMS의 출현은 불가결조건이며, 기술력은 준비가 된 상태이다. 본 연구에서는 새로운 LMS가 온라 인 교육에 환경을 제공하기 위하여 어떤 조건이 형성되어야 하는지에 관하여 조사 함을 목적으로 한다.
라. 결론
앞서 언급한 예외에도, 인터넷의 발달에 힘입어 Coursera, edX 등의 온라인 교 육시스템은 많은 대학의 훌륭한 강좌를 전세계 어디에서나 들을 수 있는 온라인 교육 플랫폼을 만들어내고 있다. 이러한 온라인 교육 플랫폼 덕분에 한국 대학생 뿐 아니라 다양한 연령층이 다양한 주제의 수업을 들을 수 있는 장점이 있다. 하 지만 교육과정은 지식을 전달하는 행위 뿐만 아니라, 학생들의 학습된 교육과정까 지도 포함하여야 한다. 즉, 학생들의 학습된 교육과정은 학생뿐 아니라 교수자에 게도 피드백을 제공하여, 학습자의 학습역량을 효과적으로 높이는 강의를 할 수 있게끔 하는 기능을 포함하여야 한다. 따라서 언급한 교육시스템이 보다 좋은 온 라인 교육의 학습관리 시스템이 되기 위해서는, 평가를 통한 학습현황에 대한 데 이터 수집과 이를 학습과 패다고지에 적용할 학습분석학의 과정이 반드시 보완되 어야 한다.
온라인 교육 학습관리시스템에서의 평가 방법은 학생들의 부정행위에 대한 염려 를 빼놓을 수 없다. 같은 문제를 동시에 여러 학생들이 시험을 치르게 되면 문제 유출의 우려 또한 간과할 수 없다. 이러한 점들을 보완할수 있는 방법에 자동문항 생성(AIG)을 이용한 시험을 평가에 사용하는 것이다. 자동문항생성의 기능은 같은 유형이면서 같은 난이도를 갖은 문제를 학생수 만큼 생성하는 것이 가능하게 하는 방법이다. 자동문항생성을 이용하면 각 학생들이 같은 유형과 같은 난이도를 갖는 문제지만 모두 다른 문제를 통해 시험을 치를 수 있다.
그리고, 학생들의 능력치를 정확하게 측정해주는 것 또한 현존하는 온라인 교육 학습관리시스템(LMS)이 풀어야 하는 숙제이다. 문제마다 다른 난이도를 갖지만, 단
순히 맞은 개수를 통해 학생의 성적을 내는 것은 학생의 능력치를 정확하게 측정 한다고 보기는 힘들다. 가령 10점 만점에 3점을 맞은 두 학생이 있다고 하자. 어려 운 3문제를 맞추고 쉬운 문제는 모두 실수로 틀린 학생과, 쉬운 문제 3문제를 맞 고 어려운 문제는 못 푼 학생이 있다고 하자. 단순히 맞은 개수로 학생의 능력치 를 평가하면 두 학생은 같은 능력치를 가졌다고 생각되나 전자의 학생 능력치가 현저히 후자의 학생 능력치보다 높다. 학생의 능력치를 평가하기 위한 많은 측정 평가모델이 존재하며 예를 들면 고전문항반응이론 혹은 문항반응이론 등이 있다.
이런 측정평가 모델을 이용하여 학생의 능력을 평가하고 이에 정확한 피드백을 주 는 온라인 학습관리 시스템이 필요할 것이다. 이 부분은 다음 장에서 상세히 다루 도록 하겠다.
따라서, 다음 장에서 설명할 CLASS 시스템은 현재 사용되고 있는 온라인 교육 시스템의 장점과 위에서의 보안점 또한 고려한 온라인 교육학습 관리 시스템이라 할 수 있다. 교수자의 동영상 강의, 강의노트 등을 저장하는 공간인 동시에, 학생 들이 토론할 수 있는 의사소통의 장이며 학생과 교수자 모두에게 피드백이 될 수 있는 평가를 하는 공간이기도 하다. CLASS 시스템 내에서 교수자는 평가를 만들 수 있고, 학생은 시험을 치를 수 있다. 두 번째, 자동문항생성 기능을 이용해 교수 자는 시험을 출제함으로써 학생은 모두 측정하는 요소와 난이도는 같지만, 다른 형태의 문제로 시험을 치른다. 따라서 학생들은 부정행위를 할 수 없으며, 모든 학생은 같은 난이도의 공평한 시험을 치른다. 교수자는 자동문항생성 기능을 이용 해 시험을 출제함으로써 문제유출에 대한 우려도 줄일 수 있다. 마지막으로, CLASS시스템은 학생들의 능력을 현재 고전문항반응이론을 통해서(추후 충분한 데 이터 수집을 바탕으로 문항반응이론을 적용할 계획임) 추정하고 있다. 교육과정평 가원뿐 아니라, 미국의 SAT, ACT 를 관장하는 ETS, College Board 또한 문항반응 이론을 사용하고 있다. 또한 미국의 많은 변호사, 의사, 전문의, 간호사 시험기관 들도 문항반응이론을 통해 피시험자의 능력을 측정하고 있다.
2. 온라인 평가 (Online assessment)
온라인 평가는 온라인 교육의 필수조건으로 학습관리시스템(LMS)에 정착되어야 하며, 그 생성과 시행은 오프라인에서 행하여지는 모는 활동들을 포함하고 있어야 한다. 이를 설명하기 위하여 본 연구에서 활용하고 있는 LMS인 CLASS를 통하여 온라인 평가를 설명하고자 한다. CLASS(https://www.class-analytics.com)는 인지디 자인 시스템과 증거 중심 평가설계를 기반으로 자동문항생성(AIG)을 이용해 만들 어진 문항모델들을 사용하며, 교육학의 측정이론들을 기반으로 적응검사(adaptive testing)를 시행하고자 만들어졌다. 이러한 적응검사의 활용은 온라인 적응학습 (adaptive learning)을 가능하게 한다. AIG는 고정된 하나의 문항을 여러 학생에게 주는 것이 아니라, 한 문항 모델(item model)을 이용하여 다른 동형문항(isomorphic item)을 많이 생성하여 학생들에게 나누어 주게 된다. AIG를 통해 같은 문항을 사 용하지 않게 됨으로써 시험 부정행위를 방지할 수 있고, 문항 노출에 따른 새 문 항 개발에 시간과 자원을 아낄 수 있게 된다(Gierl & Haladyna, 2013). CLASS는 학 업성취도 측정을 위해서 고전검사이론(Classical test theory (CTT))과 문항반응이론 (Item response theory (IRT))을 동시에 사용하고 있다. 고전검사이론은 CLASS 내에 서 채점 과정에서 문항 타당성을 확인하기 위해서 사용하고 있으며 또한 문항에 대한 전반적인 이해를 돕기 위해서 교/강사의 사용자들에게 제공되고 있다. 문항 반응이론은 문항의 특성을 분석하고 그 특성을 이용하여 개인 능력치에 맞는 적응 검사를 제공하기 위해 문항 선정하는 곳에 쓰이게 된다. 아래 소단원에서는 CLASS에서 사용하는 자동문항생성과 두 검사 이론들과 적응검사에 대해 자세히 기술하고 있다.
가. 자동문항생성 (Automatic Item Generation; AIG)
자동문항생성(AIG)은 컴퓨터 프로그램을 활용하여 예시 문항(item instance)을 생 성해 낼 수 있는 문항 모델(item model)을 만드는 방법이다(Gierl & Lai, 2013, 2016, 2018). 즉, AIG의 이름 속에 있는 “자동”이라는 기능을 인지디자인 모델을 기반으로 문항 모델로 전산화하는 작업이라고 할 수 있다. 기존 문항 생성 방법은 각 문항이 개별적으로 생성되고 그 문항이 모든 학생들에게 똑같이 주어지지만, 자동문항생성에 기반한 문항 모델은 학생들 개개인이 같은 특성을 추정하지만 문
항 모델을 통하여 생성된 뒤 주어지는(혹은 보여지는) 문항은 똑같지 않다. 이러한 AIG의 특징은 온라인 시험을 구축하는 데 큰 이점이 된다. 온라인 시험은 빠르고 언제 어디서나 시험을 볼 수 있어야 하며 시험이 종료되면 채점결과도 바로 제공 되어야 하기 때문에 많은 기존의 LMS에서 이용 중이거나 이용하려고 노력하고 있 다. 온라인 시험에서 기존 문항 생성을 통해 만들어진 시험에서 제공되는 문제는 수많은 학생들에게 계속적으로 노출될 것이기에 문항 보안의 문제점이 생길 수 있 다(Gierl & Lai, 2015). 또한, 모든 학생들이 일정한 시간에 시험을 치르는 것이 아 니라 개인의 선호에 맞게 시험을 치르기 때문에 시험 문제 노출에 따른 공정성 (fairness)에 문제가 있을 수 있다. 이에 반해 자동문항생성 방법은 한 문항 모델에 서 많은 동형문항이 파생되기 때문에 같은 문항 유형을 통해 측정하고자 하는 것 을 측정할 수 있는 동시에, 완벽하게 같은 문항이 아니기 때문에 문항 노출 문제 및 부정행위 문제를 줄일 수 있다. 이러한 장점으로 인해 자동문항생성은 과목별 성취도 검사뿐만 아니라 인지 이론, 컴퓨터 기술, 심리 측정 등에 많이 활용되고 있다(Gierl & Haladyna, 2013; Gierl & Lai, 2016; Gierl & Lai, 2018; Irvine &
Kyllonen, 2002).
뿐만 아니라, 자동문항생성은 컴퓨터 코딩기술을 통해 문항 모델을 생성하고 자 동으로 문항을 생성해내는 것이기에, 대량 문항을 생성함으로서 온라인 평가에 효 율성과 비용의 경제성을 가져다준다. 기존의 개별 문항 생성 방식은 모든 문항에 내용 전문가가 관여하여 시험의 문항을 생성한다(Gierl & Lai, 2013; Haladyna &
Rodriguez, 2013). 이렇게 내용 전문가들이 만들어낸 항목들은 수정하고 검토하는 등의 과정을 거쳐야 하는데, 문제를 출제하고 검증하는 기존의 문항 개발 과정은 많은 시간과 비용이 든다는 단점을 가진다(Lane, Raymond, & Haladyna, 2016;
Perie & Huff, 2016). 반면, 자동문항생성은 문항 모델을 통해 컴퓨터 프로그램을 기반으로 하여 자동으로 문항을 생성해내게 되는데, 이때 내용 전문가들이 문항 모델만 개발하면 모델에 따른 다양한 문항은 컴퓨터 프로그램으로 생성되므로 시 간과 비용 문제를 해소할 수 있다.
자동문항생성은 두 가지 단계에 따라 구분하여 살펴볼 수 있다. 먼저 내용 전문 가는 인지디자인 모델에 기반하여 문항 모델을 설계하는데, 이때 평가에 있어 중 요 요인들(features)을 함께 파악한다. 즉, 문항 모델의 설계는 변수나 중요 요인 등을 지정하는 작업이라 할 수 있다. 기존의 문제은행에서의 문항을 활용하는 것 도 가능하며, 이때 문항의 이해에 필요한 주요 변수의 변경으로 새로운 문항을 생 성하게 하여 학생들에게 제공하게 된다.