II. 연구 방법
3) 결과 분석 방법
연구자는 전문가 타당화 설문지 자료를 엑셀시트에 옮겨 양적 자료와 질적 자료를 분석 하였다. 양적 분석 방법은 다음과 같다. 연구자는 전문가가 4점 척도로 평가한 설계원리와 상세지침 도출과정에 대한 타당화, 설계원리 전반에 대한 타당화, 개별 설계원리와 상세지 침에 대한 타당화의 각 하위 설문 문항마다 5명의 전문가의 응답 결과의 평균, 표준편차, 내용타당도, 평가자간 일치도를 산출하였다.
내용타당도(CVI) 값은 각 설문항목에 대해 타당하다고 판단한 전문가의 비율을 의미하 며, 해당 항목은 비교적 높은 점수로 평가를 한 전문가의 인원수를 전체 전문가의 인원수 로 나누어 산출하였다. Lynn(1986)의 연구에서는 내용타당도는 각 항목 별 타당도 정도로 최소 5명의 전문가가 각 타당화 항목에 대해 내용타당도가 1 이상이 되어야 한다고 보고하 였다. 전문가 타당화에 5명 이상의 전문가가 참여하는 경우에 내용타당도 값이 0.80이상이 면 타당화를 충분히 확보했다고 볼 수 있다고 하였다(이선희, 2019; Grant & Davis, 1997).
또한 평가자간 일치도(IRA)를 측정하여 평가자간의 의견이 일관되어 서로 호환가능한지 확
문항 구분 문항 내용
선택형 문항 (4점 척도)
Ÿ 설계원리와 상세지침 도출과정에 대한
타당화
Ÿ 관련 문헌 탐색의 포괄성 Ÿ 용어의 적절성
Ÿ 선행문헌 고찰 결과 설명의 적절성 Ÿ 조직화의 논리성
Ÿ 선행문헌 고찰 결과 반영의 적합성
Ÿ 설계원리 전반에 대한 타당화
Ÿ 타당화
Ÿ 설명력
Ÿ 유용성
Ÿ 보편성
Ÿ 이해도
Ÿ 설계원리와 상세지침의 연결 Ÿ 개별 설계원리와
상세지침에 대한 타당화
Ÿ 1이나 2로 평가한 항목에 대해서는 이유를 작성
주관식 문항 Ÿ 설계원리에 대한 개선 사항
<표 III-3> 교육공학 대상 전문가 타당화 설문지 문항
인하였다. 평가자간 일치도는 여러 전문가들의 평가에 대한 신뢰도를 나타내는 지수이며 평가자 간에 동일하게 평가한 항목의 수를 전체 항목의 수로 나눈 값을 의미한다(김성욱, 2016; Rubio, Berg-Weger, Tebb, Lee, & Rauch, 2003).
전문가 타당화 설문지의 질적 분석 방법으로는 설계원리에 대한 개선 사항에 작성된 내 용을 분석하여 5명의 의견 중 일치되거나 흡사한 의미를 도출하여 설계원리를 개선하는 데 반영하였다. 또한 1이나 2로 평가된 설문 문항에 대한 이유가 작성된 경우 5명의 전문가의 일치되거나 흡사한 내용을 종합적으로 취합한 후에 이를 반영하여 설계원리를 개선하였다.
다. 사용성 평가
사용성은 사용 편의성(usability)를 의미하며, 본 연구에서 사용성이란 교수자가 설계 원리를 바탕으로 자신의 수업을 얼마나 편리하고 유용하게 설계할 수 있는가에 대한 정도를 측정하기 위함이다(Richey & Klein, 2007). 사용성 평가는 설계원리를 사용할 수 있도록 개선하기 위한 목적으로 시행된다(이선희, 2019). Bevana, Kirakowski, &
Maissel(1991)의 연구에서는 사용성 검사 도구를 산출물 중심의 관점, 사용자 중심의 관점, 수행 중심의 관점으로 나누어 살펴보고, 이를 토대로 맥락 중심의 사용성 검사를 제안하였다. 맥락 중심 관점이란 사용자들이 주어진 환경에서 특정 과제를 수행할 때, 산출물을 얼마나 쉽고 편리하게 사용하며, 실제 상황에서 사용할 것인가의 여부를 측 정하는 항목이다. 기업교육 전문가는 2차 수정된 설계원리와 상세지침을 적용하여 교육 프로그램 교안을 작성한 후에 사용성 평가 설문지에 응답하였다.
1) 연구 참여자
사용성 평가에 참여한 전문가는 기업교육 현장에서의 경력 기간이 5년 이상인 전문 가 두 명이다. 본 연구에서 참여한 사용성 평가 대상자는 연구자가 A기업을 통하여 외부 강사를 섭외하였다. 기업교육 전문가 A는 국내 대학 교육학 박사 학위 소지자로 서 15년간 대기업 워크샵 및 교육 프로그램을 운영하여 외부 강사로서 활동하고 있는 전문가이다. 기업교육 전문가 B는 경영학 석사학위 소지자로 현재 국내 헬스케어 기업 에서 HRD 담당자로 활동 중이며 약 8년동안 기업교육 프로그램을 기획하고 운영해온 경험이 있다. 전문가 타당화를 위한 대상 선정은 연구결과의 질적 향상에 영향을 미칠 수 있는 중요한 측면이다(한형종, 2019). 이에 대한 전문성은 연구 실적 혹은 현장에서의 경험 을 통해 확인 가능하다(Davis, 1992; Ericsson & Charness, 1994). 본 연구에서 사용성 평 가의 목적은 국내 기업 교육 프로그램을 설계하거나 운영해온 경험에 기반하여 설계원리의
현장 적용 용이성의 타당성을 확인받는 단계이므로 아래 사용성 평가 대상자가 적합하다고 판단되었다. 사용성 평가 대상자의 기본 정보는 다음 표와 같다.
2) 연구 도구
사용성 평가를 위하여 기업교육 전문가에게 2차 수정된 설계원리와 상세지침, 설계 원리가 적용된 교안, 교안 작성 후 설문지를 제공하였다. 기업교육 전문가는 연구에 대 한 기본 정보로 연구의 배경 및 목적, 2차 수정된 설계원리 및 상세지침을 먼저 숙지하였 다. 기업교육 전문가는 상세지침을 반영하여 전문가가 원하는 주제로 기업교육 프로그 램 교안을 작성하고 사용성 평가 설문 문항에 응답하였다. 각 기업교육 전문가는 약 3 주에 걸쳐 개인이 선호하는 주제의 기업교육 프로그램 교안을 작성하였다.
사용성 평가 설문 문항은 총 일곱 개의 4점 척도의 문항과 주관식 문항을 포함하였 다. 문항은 설계원리의 기능에 대한 인식, 설계원리의 적용 용이성, 상세지침의 기능에 대한 인식, 설계원리의 적용 용이성, 설계원리와 상세지침의 일반화 가능성, 학습 결과 에 대한 기대, 향후 활용 의지로 구성되었다. 이어 기업교육 전문가는 설계원리와 상세 지침을 교안에 적용하면서 느꼈던 설계원리의 강점과 개선점을 기술하였다. 사용성 평 가 설문지 문항의 구성은 아래 표와 같으며 사용성 평가 설문지는 부록에서 확인할 수 있다.
구분 기업 교육 전문가 A 기업 교육 전문가 B
전공 분야 교육학 경영학
최종학력 박사 석사
실무 및 연구경력 15년 8년 6개월
<표 III-4> 사용성 평가 대상자 기본 정보
문항 구분 문항 (4점 척도로 응답)
객관식 문항
1. 설계원리의 기능에 대한 인식 2. 설계원리의 적용 용이성 3. 상세지침의 기능에 대한 인식
4. 상세지침의 적용 용이성 5. 설계원리와 상세지침의 일반화 가능성
6. 학습 결과에 대한 기대 7. 향후 활용 의지
<표 III-5> 기업교육 전문가 대상 사용성 평가 항목
3) 결과 분석 방법
사용성 평가에서 수집된 자료는 두 명의 기업교육 전문가가 작성한 교안과 사용성 평가 응답 결과이다. 양적 자료로 평균값, 표준편차, 내용타당도를 산출하였으며, 질적 자료로 설 계원리의 강점과 설계원리의 개선점으로 작성된 내용에서 전문가의 의견 간의 일치되는 내 용이 있는지를 확인하였다. 사용성 평가 분석 결과를 고려하여 2차 수정된 설계원리와 상 세지침을 수정 방향성을 확인하고 수정하였다. 초기 설계원리와 상세지침부터 최종 설계원 리와 상세지침에 이르기까지 단계별 도출방법, 참여 대상자는 다음 표와 같다.