III. 연구방법
2. 전문가 타당화
가. 1차 전문가 타당화
선행문헌 검토 및 cMOOC 강좌의 경험적 탐색을 통해 개발된 초기 설계원리와 세부전략의 내적 타당화를 위해 전문가 대상의 타당도 검사 를 실시하였다. 원격교육의 전문가 5인이 설계원리 전반과 개별 세부전 략의 타당도를 묻는 4점 척도 문항(1점: 전혀 그렇지 않다, 2점: 그렇지 않다, 3점: 그렇다, 4점: 매우 그렇다)에 응답하고, 자유롭게 의견을 주었 다. 그 결과는 <표 Ⅳ-6>에서 확인할 수 있다.
전문가들은 설계원리 전반의 타당성, 설명력, 유용성, 보편성, 이해도에 대해 평균적으로 2.4에서 2.8점의 평가를 내렸다. 2점이 ‘그렇지 않다’, 3 점이 ‘그렇다’를 의미한다는 것을 고려했을 때, 전문가들은 본 설계원리 에 대해 전반적으로 긍정적이지도 부정적이지도 않은 입장을 가지고 있 다고 볼 수 있다. 특히 타당성을 제외한 설명력, 유용성, 보편성, 이해도 의 CVI가 모두 .8이하인 점과 IRA값 역시 .8에 현저히 미치지 못하는 점을 고려해 보았을 때, 설계원리가 전반적으로 연결주의 학습원리를 적 절히 설명해주지 못하고 있으며, 실제 현장에서 활용할 수 있는 유용성 과 보편성을 갖추지 못하고 있고, 사용된 용어와 표현을 이해하기가 어 렵다고 해석할 수 있다.
영역 전문가
평균 SD CVI IRA
A B C D E
타당성 3 3 2 3 3 2.8 .45 .8
.2 설명력 3 3 2 2 3 2.6 .55 .6
유용성 2 2 2 3 3 2.4 .55 .4 보편성 2 2 2 3 3 2.4 .55 .4 이해도 3 3 3 2 2 2.6 .55 .6
<표 Ⅳ-6> 초기 설계원리 전반에 대한 전문가 타당화 결과
설계원리 세부전략 평균 SD CVI IRA 1.
미디어 및 정보 리터러시
의 원리
1.1. 강좌 초반에 웹 2.0 도구의 선택, 적용,
사용에 대한 가이드라인을 제공하라. 3.4 .55 1.0
.82 1.2. 웹 2.0 도구에 친숙해질 수 있도록 충분
한 시간을 제공하라. 3.2 .45 1.0
1.3. 새로운 정보의 중요성을 판단하고 비판 적으로 분석하는 연습의 기회를 제공하라.
(예: 정보에 대한 비판적 토론 등)
2.6 .55 .6
2.
연결의 원리
2.1. 강좌의 태그를 활용하게 하라. (예: 과제
하단에 강좌 태그 추가하기 등) 3.6 .55 1.0 2.2. 강좌 밖 전문가와의 연결을 지원하라.
(예: 전문가 개인 블로그 목록 제공, 전문가 와 실시간 온라인 웨비나 실시 등)
4.0 .00 1.0
2.3. 강좌 밖 학습자를 개인학습환경에 초대
하도록 격려하라. 3.8 .45 1.0
2.4. 매주 학습자의 주요 활동을 종합하여 소 개하는 데일리 뉴스레터(Daily Newsletter)를 제작하여 제공하라.
3.4 .55 1.0
2.5. 개인학습환경의 링크를 한 곳에 모아둘 수 있는 저장소(repository)를 제공하라. (예:
Google Docs)
4.0 .00 1.0
3.
자율성의 원리
3.1. 관심 주제를 학습자 스스로 선택하여 탐
구하게 하라. 3.4 .55 1.0
3.2. 주제와 관련된 다양한 자료를 제공하라. 3.2 .84 .8 3.3. 제공되는 모든 자원을 읽고, 보는 것은
불가능하다는 것을 학습자가 알게 하라. 2.4 1.14 .4 3.4. 학습의 도구를 학습자 스스로 선택할 수
있게 하라. 3.6 .89 .8
3.5. 학습자의 내·외적인 동기를 지원하라.
(예: 내적-새롭고 흥미로운 내용의 자료 제 공, 외적- 평가 실시)
2.6 .89 .4
3.6. 편안함, 신뢰감, 공동체 의식을 지원하 라. (예: 면대면에서 주제탐구 결과의 주기적 인 공유, 자유롭게 질문할 수 있는 분위기 조성 등)
2.8 1.30 .6
3.7. 학습이 이루어지기 위해 학습자가 따라 3.2 .84 .8
<표 Ⅳ-7> 초기 설계원리의 세부전략에 대한 전문가 타당화 결과
세부전략에 대한 전문가 타당화 검사 결과는 <표 Ⅳ-7>에서 확인할 수 있다. 각 세부전략에 대한 평균은 2.4와 4.0 사이에 분포하였다. CVI 값은 두 개의 문항이 .4, 또 다른 두 개의 문항이 .6인 것을 제외하고는 모두 .8 이상으로 확인되어, 일부 재검토해야 하는 문항을 제외하고는 전 문가들의 긍정적인 응답에 대한 신뢰도가 높다고 판단할 수 있었다.
IRA 값 또한 .8 이상으로, 전문가 간의 긍정적 응답에 대한 일치도도 높 다고 판단되어 전문가 검토 결과를 신뢰할 수 있는 것으로 보인다. 그렇 지만 전체 22문항 중 2점(그렇지 않다) 이하의 응답을 하나라도 받은 문 항이 4개 있었기 때문에 해당 문항을 중심으로 세부전략을 재검토할 필 요가 있었다.
심층 면담을 통해 확인한 설계원리 전반에 대한 전문가 검토 결과는 크게 표현상의 문제와 내용상의 문제로 구분할 수 있다 먼저, 표현상의 문제에 대한 전문가 의견은 다음과 같다. 첫째, 설계원리의 이름에서 방 향성이 드러나지 않는다는 의견이 있었다. 다섯 명의 전문가 모두 설계 원리의 방향성을 담은 용어를 사용해야 함을 지적하였다. 즉, ‘미디어 및 정보 리터러시의 원리’, ‘연결의 원리’, ‘자율성의 원리’, ‘창작물의 원리’와
야 할 최소한의 기대사항을 문서화하여 제공 하라
4.
창작물의 원리
4.1. 정보와 자원을 종합하는 과제를 제시하
라. 3.2 .84 .8
4.2. 학습 과정에 대해 성찰하는 과제를 제시
하라. 3.4 .55 1.0
4.3. 새로운 지식과 이전 지식 및 경험을 관
련짓는 과제를 제시하라. 3.0 .71 .8
4.4. 디지털 창작물을 웹에 공유함으로써 지
식에 기여하게 하라. 3.8 .45 1.0
4.5. 동료 학습자의 창작물에 댓글을 남길 수
있도록 격려하라. 3.2 .84 .8
4.6. 리믹싱, 리퍼포징의 개념을 사례와 함께
가르쳐라. 3.0 1.22 .8
4.7. 학습자의 창작물에 대해 비판적인 피드
백을 제공하라. 3.4 .55 1.0
같은 설계원리의 이름 자체가 연결주의 학습원리에 대한 정의 수준에 그 칠 뿐, 설계자가 참고할 만한 방향(direction)이 없이 진술되어 있다는 것 이다. 따라서 설계자가 연결주의 학습원리가 적용된 개인학습환경을 지 원하기 위해 수업을 어떻게 설계해야 하는지 보다 구체적으로 안내해주 는 용어를 사용해야 한다는 점이 지적되었다.
둘째, 진술방식에 있어 ‘활동’과 ‘지원’의 구분이 명확하지 않다는 지적 이 있었다. 모든 세부전략은 설계자의 입장에서 서술되어 있는데, ‘지원’
의 경우 설계자가 제공하는 것이므로 ‘~를 지원하라’, ‘~를 제공하라’와 같은 방식으로 진술되어야 하는 반면, 활동의 경우는 학습자가 수행하는 것이므로 설계자의 입장에서는 ‘(학습자가) ~하게 하라’와 같은 방식으로 진술되는 것이 올바르다. 그러나 이러한 진술 방식에 있어 현재의 세부 전략은 둘을 명확히 구분하기 어렵다는 것이다. 예컨대, 활동으로 분류되 어 있는 세부전략인 ‘학습 과정에 대해 성찰하는 과제를 제시하라(4.2)’의 경우 ‘학습과정에 대해 성찰하게 하라’로 수정되는 것이 올바르다.
셋째, 세부전략의 의미가 분명하지 않다는 점이 지적되었다. 이는 세부 전략 서술시 의미가 모호한 단어 또는 표현을 사용하였거나 추가적인 서 술을 불필요하게 많이 함으로써 비롯된 문제였다.
넷째, 용어의 일관성 문제가 지적되었다. 세부전략 전반에 걸쳐 유사한 의미를 가진 여러 용어가 사용되고 있으므로 이를 일관성 있게 하나의 용어로 통일하여 사용해야 한다는 것이다.
내용상의 문제에 대한 전문가의 의견은 다음과 같다. 첫째, 연결의 대 상을 구체화할 필요가 있다. 설명력에 대해 2점(그렇지 않다)으로 응답 한 전문가 C와 D는 보다 체계적이고 논리적인 범주를 구성하기 위해 먼 저 개념모형을 개발할 필요가 있다는 점을 지적하였다. 즉, 연결주의 학 습원리에서 말하는 ‘연결’이 무엇과 무엇 사이에서 이루어지는 것인지 연 결의 대상을 나타내거나 연결주의의 구성요소를 구체화한 개념모형을 만 들고, 이를 기반으로 설계원리와 세부전략을 도출할 필요가 있다는 것이 다.
둘째, 설계원리에서 연결주의의 특색이 드러나지 않는다는 점이다. 유
용성과 보편성 문항에서 공통적으로 2점으로 응답한 전문가 A와 B는 연 결주의의 특색을 강조한 설계원리가 도출되어야 함을 지적하였다. 즉, 구 성주의, 인지주의, 또는 그밖에 학습에 있어 일반적으로 강조되는 전략보 다는 연결주의 학습에 특화된 전략을 도출할 필요가 있다는 것이다. 설 계원리가 실제 현장에서 유용하게 활용될 수 있으려면, 일반적인 학습을 촉진하는 전략과 구분되는 연결주의 학습원리만의 특징을 보다 강조할 필요가 있을 것이다.
셋째, 설계원리의 수준 및 위계가 맞지 않는다는 문제가 지적되었다.
특히, 연결주의 학습에서 연결은 기본 전제가 되어야 한다는 점에서, ‘연 결의 원리’가 하나의 독립된 설계원리가 된다면 다른 설계원리와 위계가 맞지 않는다는 점이 지적되었다. 설계원리의 수준 및 위계와 관련하여,
‘창작물의 원리’ 또한 그 안에 포함된 세부전략이 또 다시 두 개의 원리 로 구분될 수 있다는 의견이 있었다. 예컨대, ‘디지털 창작물을 웹에 공 유함으로써 지식에 기여하게 하라(4.4)’, ‘동료 학습자의 창작물에 댓글을 남길 수 있도록 격려하라(4.5)’, ‘학습자의 창작물에 대해 비판적인 피드 백을 제공하라(4.7)’와 같은 세부전략은 창작물의 원리 안에 포함되어 있 지만 타인과의 공유 및 기여를 특징으로 한 내용으로 별도로 구분될 수 있을 것이다.
넷째, 새로운 설계원리 또는 세부전략을 추가해야 한다는 의견이 있었 다. ‘자율성의 원리’의 경우, 학습자의 자율적인 선택 또는 활동을 강조하 는 세부전략 외에도 학습자가 자신의 학습에 대해 메타인지적으로 돌아 볼 수 있게 하는 활동이 요구되지만, 이를 적절히 포함하고 있는 설계원 리 및 세부전략이 부족하다는 것이다.
다섯째, 세부전략의 구체성이 결여되어있다는 의견이 있었다. 세부전략 은 설계를 위한 가이드라인으로서 구체성을 띠고 있어야 하며, 하나의 문장으로 구체성을 드러내기가 어렵다면 예시를 들어 보다 친절하게 설 명해줄 필요가 있다는 것이다.