III. 연구방법
3. 자료수집 및 분석
가. 초기 설계원리 도출
1) 선행문헌 고찰선행문헌은 web of science(http://wevofknowedlge.com/WOS), 구글 스칼라(http://scholar.google.co.kr) 등을 통하여 검색하였다. 본 연구주제 의 핵심어로서 ‘연결주의(connectivism)’, ‘cMOOC’, ‘개인학습환경 (personal learning environment)’, ‘웹 2.0(Web 2.0)’, ‘네트워크학습 (Networked Learning)’을 조합하여 선행문헌을 검색하고, 연구와 관련성 이 높다고 판단되는 자료를 선정하여 분석하였다. 선행문헌으로는 학술 논문, 연구보고서 등을 참고하였으며, 연결주의에 대한 많은 논의가 개인 블로그를 통해 이루어지고 있다는 점을 고려하여 연결주의를 주창한 Siemens와 Downes를 포함해 해당 분야에서 영향력 있게 인용되고 있는 학자들의 개인 블로그 게시글 또한 분석 대상으로 삼았다.
2) cMOOC 운영방식 분석
연결주의가 적용된 cMOOC 강좌의 운영방식을 분석하기 위해, 대표적 인 cMOOC 강좌 세 가지를 선정하였다. 선정된 강좌는 CCK11, DLMOOC, PLEK12로, 강좌를 운영하는 기관 및 촉진자가 상이하여 각 각의 고유한 운영방식을 가지고 있으며, 참여자들의 활발한 활동이 이루 어졌다는 점에서 분석 대상으로 선정하였다. 각 cMOOC의 운영방식을 분석하기 위해 개별 강좌의 웹페이지를 네비게이팅하면서 강좌의 메뉴와 그에 따른 세부 내용을 표로 만들어 정리하였다. 이후 세 가지 cMOOC 강좌에서 공통적으로 발견되는 특징을 도출하였다.
나. 내적 타당화
1) 연구 참여자
전문가 선정 기준은 기존 연구에 따라 관련 분야의 석·박사 학위 소지 자로서 관련된 논문을 게재하거나 발표한 경험이 있는 자(Grant &
Davis, 1997) 또는 관련 분야에서 10년 이상의 경력을 보유한 자 (Ericsson & Charness, 1994)로 한다. 본 연구의 주제는 원격교육의 맥 락과 크게 관련이 있다는 점에서, 원격교육 관련 분야의 석·박사 학위 소지자이면서 관련 주제의 논문을 게재하거나 발표한 경험이 있는 자 또 는 원격교육 관련 분야에서 10년 이상의 경력을 보유한 자를 전문가로 선정하였다. 타당화를 위해 필요한 전문가의 수는 최소 3명에서 10명 정 도가 적절하므로(Rubio et al., 2003) 5명의 전문가 풀을 모집했다. 이들 에게 연구에 대한 간략한 소개와 함께 타당화 참여 의사를 묻는 개별적 인 메일을 보내고, 참여 의사를 밝힌 전문가를 대상으로 타당화를 진행 하였다.
2차 내적 타당화의 경우에는 1차 타당도 검사에 참여한 전문가 중 동 의한 자에 한해 참여자를 선정하였다. 타당화를 받고자 하는 설계원리가 1차 내적 타당화 검사의 결과를 반영하여 수정된 것이므로, 2차 내적 타 당화에 참여하는 전문가는 초기 설계원리와 수정 과정에 대해 이해하고 있어야 할 필요가 있기 때문이다. 1차 내적 타당화에 참여한 전문가 총 5명 중 3명이 2차 내적 타당화에 참여하였다. 1, 2차 내적 타당화에 참여 한 전문가의 프로필은 다음의 <표 Ⅲ-1>과 같다.
전문가 직업 경력 최종학력 1차 2차
A 연구교수 15년 박사
(교육공학) ü
B 조교수 15년 박사
(교육공학) ü ü
C 교사 10년 박사 ü ü
<표 Ⅲ-1> 전문가 프로필
2) 자료 수집
설계원리의 내적 타당성을 확보하기 위해 타당화 도구를 활용하여 검 사를 실시한다. 전문가 타당화 검사 도구는 (1) 연구에 대한 소개 (2) 설 계원리의 타당화를 위한 질문의 두 부분으로 구성한다. 설계원리의 타당 화를 위한 질문은 나일주, 정현미(2001)와 성은모(2009)가 사용한 문항을 맥락에 맞게 수정하여 사용하였다. 문항은 전반적인 설계원리의 타당성, 설명력, 유용성, 보편성, 이해도를 4점 척도(1점: 전혀 그렇지 않다, 2점:
그렇지 않다, 3점: 그렇다, 4점: 매우 그렇다)로 응답하도록 하였으며, 개 선하거나 보완해야 할 점에 대한 의견을 묻는 개방형 문항을 추가하였 다. 개별 설계원리의 타당성에 대해서도 4점 척도(1점: 전혀 타당하지 않 다, 2점: 타당하지 않다, 3점: 타당하다, 4점: 매우 타당하다)로 응답하도 록 하였고, 개선하거나 보완해야 할 점에 대한 추가 의견을 기록할 수 있도록 개방형 문항을 추가하였다. 전문가의 의사에 따라 직접 방문하여 설문지 작성을 요청하고 면담을 진행하거나, 이메일을 통해 의견을 듣는 다. 면담 시에는 녹취에 동의한 전문가에 한해 녹음을 진행하였다.
3) 자료 분석
자료는 특성에 따라 적절한 방법으로 분석하였다. 양적자료인 타당도 검사 결과는 각 영역별·문항별 전문가의 응답을 코딩하고 영역별·문항별 로 평균과 표준편차, 내용 타당도 지수(Content Validity Index: CVI), 평
(교육공학)
D 연구원 15년 박사
(교육공학) ü ü
E 초빙교수 10년 박사
(교육공학) ü
가자간 일치도 지수(Inter-Rater Agreement: IRA)를 구한다. 평균, 표준 편차, CVI, IRA의 값은 엑셀의 계산 기능을 사용하여 구한다.
CVI 값은 각 설문항목에 대해 타당하다고 판단하는 전문가의 비율을 나타내며, 긍정적인 평가를 한 전문가의 수를 전체 전문가의 수로 나누 어 도출한다. 4점 척도로 구성된 타당화 항목에 대해 전문가 평정 값이 3, 4인 경우는 긍정적 평가로 간주하여 1점으로 처리하고, 전문가 평정 값이 1, 2인 경우에는 부정적 평가로 간주하여 0점으로 처리한다. 일반적 으로 CVI 평균이 .80 이상이면 타당도가 높은 것으로 간주한다(Grant &
Davis, 1997; Lynn, 1986).
IRA 값은 여러 전문가들의 평가에 대한 신뢰도를 나타내며, 평가자 간 에 동일하게 평가한 항목의 수를 전체 항목의 수로 나눈 값을 의미한다 (Rubio et al., 2003). IRA 값이 0이면 평가자 간의 의견이 완전히 불일 치 한다는 의미이며 IRA 값이 1이면 평가자 간의 의견이 완전히 일치한 다고 판단할 수 있다. IRA는 그 값이 .80 이상이면 전문가들의 평가를 어느 정도 신뢰할 수 있다고 해석한다(Rubio et al., 2003).
질적자료인 면담 결과는 녹음자료를 전사하고 이를 코딩 템플릿에 따 라 설계원리 전반의 개선사항, 개별 세부전략의 개선사항으로 범주를 구 분하여 코딩한다. 세부전략의 개선사항의 경우 개별 전략에 따라 하위범 주로 다시 한 번 코딩한다.
다. 외적 타당화
1) 연구 참여자설계원리의 외적 타당화를 위해 설계원리를 적용한 수업의 교수자와 학습자를 대상으로 타당화 검사를 실시하였다. 2017년 A대학교에서 운 영된 교직과목 ‘교육방법 및 교육공학’의 교수자 1명과 학습자를 대상으 로 반응검사를 실시하였다. 수업의 수강생은 총 10명이며, 이 중 학습자 반응검사에 참여하겠다고 동의한 수강생 7명을 대상으로 학습자 반응검
사를 실시하였다. 반응검사에 참여한 학습자 프로필은 다음의 <표 Ⅲ -2>와 같다.
성별
남자 4
여자 3
전공
국어교육과 1
불어교육과 2
물리교육과 1
의류학과 2
기악과 1
학년
학부 3학년 3
학부 4학년 3
석사과정 2학기 1
<표 Ⅲ-2> 학습자 프로필
2) 자료 수집
평가에 참여하는 교수자는 1명이므로 별도의 설문조사를 실시하지 않 고 면담을 통해 심층적인 반응을 살펴보고자 하였다. 면담은 반구조화된 면담지를 활용하여 약 1시간 정도 진행하고, 설계원리가 적용된 수업 전 반 및 개별 설계원리의 강점, 약점, 개선점에 대한 의견을 듣는다.
학습자 대상의 반응검사는 크게 설문과 면담으로 실시한다. 설문의 경 우 개인학습환경 활동에 대한 만족도를 수업의 효과성, 효율성, 매력성 차원에서 묻는 5점 척도(1점: 전혀 그렇지 않다, 2점: 약간 그렇지 않다, 3점: 보통이다, 4점: 약간 그렇다, 5점: 매우 그렇다)의 선택형 문항 6개 와 수업 전반의 강점, 약점, 개선점에 대한 개방형 문항 3개로 구성한다.
수업 전반의 강점, 약점, 개선점을 묻는 개방형 문항에 대한 학습자의 응 답에 대해 필요한 경우 추가적으로 질문하였다. 면담의 경우 개별 설계 원리의 강점, 약점, 개선점에 대한 심층적인 의견을 묻는 방식으로 진행
되었으며, 이때 학습자가 참고할 수 있도록 설계원리를 인쇄하여 제공한 다. 설문 및 면담은 각 30분 정도 소요되며 면담 시 연구 참여자의 사전 동의가 이루어진 경우에 한해 녹음을 진행한다.
3) 자료 분석
자료는 자료의 특성에 따라 적절한 방법으로 분석한다. 양적자료인 학 습자 만족도 조사 결과는 기술 통계분석을 실시한다. 6개 각각의 선택형 문항에 대해 전체 참여자의 평균과 표준편차, 최소값과 최대값을 구하고 그 의미를 해석한다. 평균과 표준편차, 최소값과 최대값은 설문 응답 결 과를 엑셀 파일에 코딩 후 엑셀의 계산 기능을 활용하여 계산한다. 개방 형 문항의 응답 결과는 엑셀파일에 그대로 전사하고 질적자료인 면담결 과를 보충하기 위해 활용한다. 질적자료인 면담자료는 녹음 파일을 전사 한 후 코딩 템플릿에 따라 설계원리 전반의 강점, 약점, 개선점, 개별 설 계원리의 강점, 약점, 개선점으로 범주를 구분하여 코딩한다.