IV. 연구 결과
2. 내적 타당화
가. 1차 전문가 타당화 1) 1차 전문가 타당화 결과
1차 전문가 타당화 결과 중 설계원리 도출 과정에 대한 타당화 결과는 다음과 같다.
설계원리 도출과정의 타당화를 묻는 5개의 문항의 평균값은 2.8로 나타났으며, 4점 척 도 (1. 전혀 타당하지 않다, 2. 타당하지 않다. 3. 타당하다. 4. 매우 타당하다) 를 고려
하였을 때 1차 전문가 타당화에서 설계원리의 도출과정이 타당하지 않은 편이라고 평 가되었다. 총 여섯 개의 문항에 대한 표준편차는 0.8로 나타났으며 내용타당도는 0.5로 나타났다. 평가자간 일치도(IRA)는 0.2로 전문가간 응답 일치도는 낮은 편이다. 1차 전 문가 타당화에서 설계원리 도출 과정에 대한 타당화 결과는 아래 표와 같다.
1차 전문가 타당화 검토에서 설계원리 도출과정에 대한 질적 평가 분석 결과는 다 음과 같다. 첫째, 1이나 2로 평가한 항목에는 연구주제의 주요 영역인 기업교육, 창의 적 사고, 실시간 온라인 교육의 맥락에 더욱 초점을 맞춘 선행문헌 탐색이 추가적으로 이루어져야 한다는 교육공학 전문가 간의 일치된 의견이 있었다. 둘째, 세 개의 주요 영역에 더 적합한 설계원리로 개선되어야 한다는 공통되는 의견이 있었다. 예를 들면, 온라인 학습 중에서도 실시간 온라인 학습의 특성에 맞춰 유용하게 적용 가능한 설계 원리로 개선해야 한다는 의견을 제안하였다. 실시간 온라인 학습이 아닌 비실시간 온 라인 학습 그리고 기업교육이 아닌 고등교육에도 적용 가능한 설계원리와 상세지침이 많다고 지적하였다.
1차 전문가 타당화 결과 중 설계원리 전반에 대한 타당화 결과는 다음과 같다. 총 여섯 개의 항목의 평균은 2.8로 나타났으며 이는 설계원리 전반에 대한 타당화가 높지 않은 편으로 평가되었다고 할 수 있다. 표준편차는 0.76로 나타났으며 이는 전문가들의 의견 일치 정도가 높지는 않은 편이라고 볼 수 있다. 내용타당도은 0.57로 나타났으며 평가자 간 일치도는 0.7로 나타났다. 평가자 간 일치도에서 0.8 이상이 확보되면 일치 된 편이라고 할 수 있으며, 설계원리 전반에 대한 타당화 결과에 대한 평가자 간 일치 도는 0.8을 조금 못 미치는 것으로 나타났다. 1차 전문가 타당화에서 설계원리 전반에 대한 평가 결과는 다음과 같다.
영역 전문가
평균 표준 편차
내용 타당도
평가자 간 A B C D E 일치도
관련 문헌 탐색의
포괄성 2 2 2 2 4 2.4 0.9 0.2
0.2 용어의 적절성 3 3 3 3 4 3.2 0.5 1
선행문헌 고찰 결과
설명의 적절성 4 3 3 2 4 3.2 0.8 0.8 조직화의 논리성 2 2 2 2 4 2.4 0.9 0.2 선행문헌 고찰 결과
반영의 적합성 3 2 2 2 4 2.6 0.9 0.4 전체 평균 2.8 2.4 2.4 2.2 4 2.8 0.8 0.5
<표 IV-6> 1차 전문가 타당화: 설계원리 도출과정에 대한 타당화 결과
또한 1차 전문가 타당화 결과 중 개별 설계원리와 상세지침 도출과정에 대한 양적 평가 결과와 질적 평가의 종합적인 평가 결과 내용은 다음과 같다. 대표적으로 낮게 나온 항목은 자기주도적 학습 원리, 학습 내용 관련 자료 제시 원리, 학습 몰입 제고 원리, 적정 학습 규모 설정 원리로 모두 0.2 이하로 평가되었다. 팀 활동의 원리의 상 세지침인 11-3과 11-4는 0.4로 평가 점수가 비교적 낮은데 이는 기업 환경의 맥락과 실시간 온라인 학습에서의 특정 환경이 충분히 반영되지 않거나 일반적인 상세지침의 내용이라는 피드백이 있었다. 또한 학습 내용 관련 자료 제시 원리의 상세지침 모두 0.2로 타당화 점수가 비교적 낮았다. 해당 상세지침의 피드백으로는 상세지침의 내용이 지나치게 일반적이고 설계원리의 주요 영역에 맞게 보다 구체적으로 내용을 기술하라 는 의견이 있었다. 학습몰입 제고의 원리에 해당하는 상세지침 모두 0.2로 평균 점수를 받았다. 전문가 의견 중 상세지침이 학습몰입 제고의 원리의 상세지침으로서 적합한지 에 대한 의문과 앞의 상세지침과 의미가 부분적으로 중복되는 점을 제시하였다. 마지 막으로 적정 학습규모 설정의 원리와 해당 상세지침은 0.4로 낮게 평가되었으며, 전문 가들은 구체적인 학습 규모 설정의 수에 대한 의문을 제시하였다. 개별 설계원리와 상 세지침과 관련된 질적 문항 응답 분석 결과로는 상세지침이 더욱 구체적으로 기술되어 야 하며, 명확한 표현을 사용하도록 제안하는 전문가들의 공통된 의견이 있었다. 1차 전문가 타당화 결과 중 개별 설계원리와 상세지침의 타당화에 대한 평가 결과는 아래 표와 같다.
영역 전문가
평균 표준 편차
내용 타당 도
평가자 간 A B C D E 일치도
1. 학습전이 원리 3 3 3 3 4 3.2 0.45 1 1-1. 상세지침 2 2 3 3 4 2.8 0.84 0.6 0.3
<표 IV-8> 1차 전문가 타당화: 개별 설계원리 및 상세지침에 대한 타당화 결과
영역 전문가
평균 표준 편차
내용타 당도
평가자 간 A B C D E 일치도
타당화 3 2 2 2 4 2.6 0.9 0.4
0.7
설명력 2 2 2 3 4 2.6 0.9 0.4
유용성 3 3 3 2 4 3 0.7 0.8
보편성 3 3 3 2 4 3 0.7 0.4
이해도 2 2 2 3 4 2.6 0.9 0.4
설계원리와 상세지침 연결의 타당화
3 3 3 3 4 3.2 0.5 1
전체 평균 2.7 2.5 2.5 2.5 4 2.8 0.8 0.6
<표 IV-7> 1차 전문가 타당화: 설계원리 전반에 대한 타당화 결과
1-2. 상세지침 3 2 3 3 4 3.0 0.71 0.8 1-3. 상세지침 4 2 3 3 4 3.2 0.84 0.8 2. 학습동기 유지의 원리 3 3 3 3 4 3.2 0.45 1
2-1. 상세지침 4 2 3 3 2 2.8 0.45 1 2-2. 상세지침 4 3 2 2 2 2.6 0.89 0.4 3. 자기주도적 학습의 원리 2 2 2 4 2 2.4 0.89 0.2 3-1. 상세지침 2 3 2 4 2 2.6 0.89 0.2 3-2. 상세지침 3 2 2 4 2 2.6 0.89 0.4 4. 학습자 친화적 사례 제시의
원리 2 2 3 3 3 2.6 0.55 0.6 4-1. 상세지침 3 4 3 4 3 3.4 0.55 1 4-2. 상세지침 3 1 2 2 3 2.2 0.84 0.4 5. 문제 제기 및 재정의를 위한
질문의 원리 3 4 2 4 4 3.4 0.89 0.8 5-1. 상세지침 3 4 3 4 4 3.6 0.55 1 5-2. 상세지침 3 3 2 4 4 3.2 0.84 0.8 6. 메타인지 활용의 원리 4 1 2 4 4 3.0 1.41 0.6 6-1. 상세지침 3 1 2 4 3 2.6 1.14 0.6 7. 발산적 사고와 수렴적 사고의
원리 2 3 3 3 4 3.0 0.71 0.8 7-1. 상세지침 3 3 3 2 4 3.0 0.71 0.8 7-2. 상세지침 3 3 3 3 4 3.2 0.45 1 8. 학습 내용 관련 자료 제시의
원리 2 2 2 2 4 2.4 0.89 0.2 8-1. 상세지침 2 2 2 2 4 2.4 0.89 0.2 8-2. 상세지침 2 2 2 2 4 2.4 0.89 0.2 9. 생각 연결 및 기록의 원리 2 4 3 4 4 3.4 0.89 0.8 9-1. 상세지침 2 4 2 4 4 3.2 1.10 0.6 9-2. 상세지침 3 4 2 4 4 3.4 0.89 0.8 9-3. 상세지침 3 4 3 4 4 3.6 0.55 1 10. 팀 구성의 원리 3 2 3 2 3 2.6 0.55 0.6
10-1. 상세지침 3 2 2 2 3 2.4 0.55 0.4 10-2. 상세지침 3 2 3 2 3 2.6 0.55 0.6 11. 팀 활동의 원리 2 3 3 3 4 3.0 0.71 0.8 11-1. 상세지침 2 3 3 3 3 2.8 0.45 0.8 11-2. 상세지침 2 2 3 3 3 2.6 0.55 0.6 11-3. 상세지침 2 2 2 3 3 2.4 0.55 0.4 11-4. 상세지침 2 2 2 3 3 2.4 0.55 0.4 12. 피드백 공유의 원리 2 2 3 3 3 2.6 0.55 0.6 12-1. 상세지침 2 2 2 3 3 2.4 0.55 0.4 12-2. 상세지침 3 2 2 3 3 2.6 0.55 0.6 13. 학습 분위기 형성의 원리 4 2 3 3 4 3.2 0.84 0.8
2) 1차 전문가 타당화를 통한 수정사항
본 연구에서는 1차 전문가 타당화 검토 결과에서 객관식 문항과 주관식 문항에 대한 응답을 분석하고, 설계원리와 상세지침을 개선하였다. 설계원리 도출 과정에 대한 피드 백으로 추가적인 선행문헌 고찰 필요, 추상적인 표현을 구체적으로 수정, 연구 주제의 주요 영역인 창의적 사고, 기업 교육, 실시간 온라인 학습의 맥락에 차별화된 내용으로 개선되어야 한다는 점, 설계원리와 상세지침의 분량을 압축하여 정리하여야 한다는 점 으로 구분하였다. 첫째, 본 연구의 특성인 실시간 온라인 학습, 기업교육, 창의적 사고 기법에 대한 설계원리로서의 차별화될 수 있도록 개선하였다. 연구자는 이를 위하여 추가적으로 선행문헌을 고찰하였다. 추가적으로 분석한 참고문헌은 총 13개이며 아래 표와 같다.
13-1. 상세지침 4 2 3 3 4 3.2 0.84 0.8 13-2. 상세지침 4 2 3 3 4 3.2 0.84 0.8 13-3. 상세지침 3 2 3 3 4 3.0 0.71 0.8 14. 교수자의 실재감의 원리 3 3 3 3 4 3.2 0.45 1
14-1. 상세지침 3 2 3 3 3 2.8 0.45 0.8 15. 온라인 도구 활용의 원리 4 3 3 2 4 3.2 0.84 0.4 15-1. 상세지침 3 3 3 2 3 2.8 0.45 0.8 15-2. 상세지침 3 3 3 2 3 2.8 0.45 0.8 16. 온라인 성찰 제공의 원리 4 3 3 3 4 3.4 0.55 1
16-1. 상세지침 4 3 3 3 4 3.4 0.55 1 16-2. 상세지침 3 4 3 4 4 3.6 0.55 1 17. 학습 몰입 제고의 원리 2 1 2 2 2 1.8 0.45 0 17-1. 상세지침 2 1 2 2 3 2.0 0.71 0.2 17-2. 상세지침 2 1 2 2 3 2.0 0.71 0.2 18. 시청각 자료 활용의 원리 2 3 3 3 3 2.8 0.45 0.8 18-1. 상세지침 3 4 2 3 3 3.0 0.71 0.8 18-2. 상세지침 4 3 3 2 3 3.0 0.71 0.8 19. 적정 학습규모 설정의 원리 3 1 2 2 4 2.4 1.14 0.4 19-1. 상세지침 3 1 2 2 3 2.2 0.84 0.4 평균 2.8 2.5 2.6 2.9 3.4 2.8 0.7 0.6
주요 영역 참고문헌
<표 IV-9> 1차 전문가 타당화 이후 추가된 참고문헌
둘째, 초기 설계원리 도출 시 실시간 온라인 학습, 창의적 사고, 기업 형식 교육 맥락에 대한 설계원리와 상세지침이 개별적으로 도출된 반면, 수정 과정에서 주요 영역의 연계성 을 강화하여 설계원리와 상세지침이 도출될 수 있도록 창의적 사고와 기업교육에 해당하는 설계원리, 창의적 사고와 실시간 온라인 학습에 해당하는 설계원리, 기업교육과 실시간 온 라인 학습에 해당하는 설계원리로서 구분하였다.
셋째, 설계원리는 총 19개에서 13개로 줄어졌다. 유사한 내용을 통합하였고, 설계원리나 상세지침이 도출된 근거가 부족한 경우 삭제하였다. 넷째, 설계원리와 상세지침의 위계구조 를 통일될 수 있도록 수정하였다. 예를 들면 설계원리는 상세지침보다 추상적인 개념으로 서 도출되어야 하고, 상세지침은 구체적인 실천 사항, 행동 중심, 예시를 포함하도록 수정 하였다. 1차 수정된 설계원리 3-1에 친근한 도구 제시의 원리가 도출되었는데, 해당 상세지 침을 삭제하게 된 이유는 실제 학습 활동에 반영할 수 있는 내용이라기 보다는 사전 준비 사항으로 더 적합하였기 때문이다.
설계원리 도출과정에 대한 전문가 의견에 따라 설계원리가 개선된 사항을 다음과 같 이 범주화하였다. 논문 주제 및 맥락에 맞는 추가적인 문헌 탐색이 이루어져야 함, 논 문 주제 및 맥락에 맞는 원리를 추가 필요, 설계원리와 상세지침의 수가 너무 많음, 논 문 주제의 주요 영역의 핵심적인 특징을 중심으로 설계원리와 상세지침에는 반드시 필 요한 내용이 들어가도록 간소화 필요, 상세지침이 교육 프로그램에 적용되는 순서를 고려하여 배치의 필요성을 중심으로 설계원리와 상세지침이 개선되었다. 설계원리 도 출과정에 대한 피드백과 이에 대한 개선 사항을 범주화한 사항은 아래 표와 같다.
전문가 피드백 설계원리와 상세지침의 개선
논문 주제 및 맥락에 맞는 추가적인 문헌 탐색
(전문가 K, H, J, L)
Ÿ 기업교육와 창의성 교육, 기업교육과 실시간 온라인 교육, 창의성 교육과 실 시간 온라인 교육에 대한 선행 문헌를 14개 추가하여 반영
<표 IV-10> 1차 전문가 타당화: 설계원리 도출과정에 대한 수정 사항 창의적 사고 Csikszentmihalyi(1989), 이경화, 김은경, 유경훈(2013);
하주현(2005)
기업 형식 교육 조성문, 송해덕(2012); 이정민, 정혜원(2019)
실시간 온라인 학습
Cesari, Galgani, Gemignani, & Menicucci(2021); 서진숙, 방성원(2018); 김현주(2020), 이동주, 김미숙(2020); 김승옥, 유병민, 김은하(2019); 박귀찬(2020); 롯데인재개발원(2020);
한형종(2021)