사용성 평가 결과

IV. 연구 결과

1) 사용성 평가 결과

사용성 평가의 목적은 2차 수정된 설계원리의 기업교육 프로그램에서의 적용 용이성 정 도를 조사하는 것이다. 기업교육 전문가 두 명은 상세지침을 반영하여 본인이 선호하는 기 업교육 주제로 교안을 작성한 후 사용성 평가와 관련한 객관식 문항과 주관식 문항에 응답 하였다. 설문지는 총 여섯 개의 객관식 문항과 설계원리의 장점과 개선점을 묻는 주관식 문항으로 구성되었다. 객관식 문항은 설계원리와 상세지침의 기능에 대한 인식, 설계원리와 상세지침의 적용 용이성, 설계원리와 상세지침의 일반화 가능성, 학습결과에 대한 기대, 향 후 활용 의지를 묻는 문항을 포함하였다.

사용성 평가 문항 중 상세지침 적용에 대한 용이성, 설계원리 적용에 대한 용이성, 설계 원리와 상세지침의 일반화 가능성의 항목이 각각 3.5, 3, 3.5로 평균과 비교하여 비교적 낮 은 점수를 받았다. 질적 평가 결과와 연결을 지어보면 상세지침의 적용 용이성에 대한 부 분에서 전문가 B는 교육 참여자의 연령층에 따라 상세지침에 제시된 바와 같이 온라인 학 습 도구의 사용 친숙도의 정도가 상이하기 때문에 교육 프로그램의 학습 대상자가 어떠한 연령층을 이루고 있는지에 따라서 온라인 도구가 포함된 상세지침의 적용 용이성의 정도가 다를 수 있다는 의견을 주었다. 예를 들면 전문가 B의 경험에 의하면 학습자의 연령이 높 을수록 전반적으로 온라인 도구 사용법에 대한 친숙도가 낮을 수 있기 때문에 이를 사용하 여 학습 활동을 하고자 할 때 학습 내용에 대한 참여자의 몰입이 저하될 수 있다는 의견을 주었다. 아래 표는 사용성 평가에서 객관식 문항에 대한 응답 결과이다.

<표 IV-24> 기업교육 전문가 대상 사용성 평가: 객관식 문항 응답 결과

영역 응답 결과 평균

A B

1. 설계원리의 기능에 대한 인식 4 4 4

2. 설계원리의 적용 용이성 4 3 3.5

3. 상세지침의 기능에 대한 인식 4 4 4

4. 상세지침 적용 용이성 3 3 3

5. 설계원리와 상세지침의 일반화 가능성 4 3 3.5

전문가 A는 설계원리의 장점으로 교육 프로그램 설계 시 온라인 학습에서의 학습자의 몰입과 창의성 사고발현을 위한 기준을 합리적으로 제시하고, 기준에 맞는 구체적 행동 메 시지로서 상세지침을 알려주어서 학습목표에 맞는 효과적 설계가 가능하다는 의견을 주었 다. 전문가 B는 설계원리가 학습 내용과 방법, 학습자 요인 등을 종합적으로 반영하고 있 어 온라인 학습 설계 시 설계자가 학습 방법적인 측면만 과도하게 집중되는 현상을 조절하 는 데 도움을 줄 수 있다고 하였다. 상세지침에 제시된 활동은 자연스럽게 학습자가 학습 의 중심이 되도록 하는 데 도움을 준다고 하였다.

설계원리의 개선점을 묻는 질문의 응답 결과에서 확인된 사항으로 기업교육 전문가는 몇 가지의 상세지침이 지나치게 일반적이라고 하였다. 기업교육 프로그램 특성과 맥락, 기업교 육 대상자의 전반적인 특성, 대상자의 직책, 대상자의 전반적인 동기 수준에 따라 기업교육 담당자가 적용할 수 있는 상세지침의 개수가 상이하거나 적용가능성의 차이가 있을 수 있 다는 의견을 주었다. 그렇기 때문에 전문가 A는 학습 대상자의 직책, 개별 학습자의 동기 수준 차이에 따라 같은 상세지침을 적용하더라도 상세지침과 설계원리가 의도한 효과에 대 한 차이가 있을 수 있을 것이라고 하였다. 이에 기업교육 전문가는 특정 상세지침은 현재 보다 구체적인 기준으로 기반하여 기술되어야 한다고 제안하였다. 사용성 평가 결과에서 설계원리의 강점과 개선점은 아래 표와 같다.

<표 IV-25> 사용성 평가: 주관식 문항 응답 결과

추가적인 의견으로 상세지침 1-2로 학습 주제의 중요성 또는 필요성을 직접적으로 묻게 되면 형식적인 답변을 얻을 것으로 생각하였다고 하였다. 오히려 상세지침 1-1로 교육주제 와 관련된 성취경험 등을 공유하면서 학습자가 학습의 필요성을 인식하는 것이 학습동기와 학습전이를 높이는 방법이라고 생각한다고 하였다. 따라서, 1-1의 후속 작업으로 성취를 통 한 기대효과가 무엇인지 팀장과 팀원 입장에서 정리해보도록 하는 것이 더욱 좋겠다는 의 견을 주었다. 또한 예시 2-1로 1-1과 1-2의 과정을 통하여 학습의 필요성과 목표에 대해

문항 전문가 의견

설계원리의 강점

Ÿ 세 가지 맥락을 고려한 교육 프로그램 설계 시 합리적인 수준에서 적용 가능

Ÿ 활동 중심의 지침, 예시가 학습활동에 적용하는 데 도움이 됨 설계원리의

개선점

Ÿ 교육 프로그램의 맥락, 학습 대상자의 특성에 따라 설계원리와 상세지침의 적용 범위 용이성의 차이가 있을 수 있음

6. 학습 결과에 대한 기대 4 4 4

7. 향후 활용 의지 4 4 4

전체 평균 3.9 3.6 3.7

이미 인식하였다고 생각하였다고 하였다. 이에 학습동기와 몰입 유지를 위해서 교수자가 1-1, 1-2에서 도출된 내용을 정리하여 주고, 이를 토대로 학습범위나 기대 결과와 학습 방 향을 정리를 안내하여 학습자가 사전에 과정 전반을 예측할 수 있도록 하는 것이 동기와 몰입 유지에 도움이 될 수 있을 것이라는 의견을 주었다. 예를 들면 상세지침 5-1, 7-2로 는 디지털기기 활용 역량이 연령, 세대, 직무에 따라 다르며 온라인에서는 기술적인 문제가 발생했을 때 대처되기 어렵다는 특징이 있기 때문에 상호작용을 위한 도구들을 무리하게 사용하면 학습 피로도도 높아지고, 몰입이 떨어질 수 있을 것이라는 의견을 주었다.

사용성 평가 대상자는 설문지 문항에 응답하기 위하여 최종 설계원리와 상세지침을 제공 받은 후, 이를 적용하여 기업교육 프로그램 교안을 개발하였다. 설계원리를 적용한 학습활 동을 포함한 교안의 학습 주제와 학습 목표는 다음과 같다. 전문가 A의 학습 주제는 팀장 리더십 양성이었으며, 전문가 B의 학습 주제는 직원 성과와 발전을 돕는 성과 피드백이었 다. 전문가 A의 학습 목표는 “학습자는 리더십의 하위 주제를 이해하고, 업무현장에 적용 할 수 있는 방법을 모색한다.”이다. 전문가 B의 학습 목표는 세 부분으로 구성된다. 첫째 목표는 “교육 참여자는 직원의 성과와 성장에 피드백이 끼치는 영향력과 중요도를 인식한 다”이다. 두 번째 목표는 “참석자는 피드백에 대한 수용성 제고를 위한 피드백 노트의 작 성 및 활용 방법을 학습한다”이다. 세 번째 목표는 “참석자는 피드백 면담에서 활용 가능 한 코칭 스킬을 학습하는 활동을 포함한다”이다. 사용성 평가를 위한 교안 작성은 실재 교 육 프로그램의 개발 및 운영을 위한 목적이 아니며 사용성 평가 문항에 응답하기 위한 활 동이었다. 전문가 A는 모든 상세지침을 반영하여 교안을 작성하였고, 전문가 B는 1-2, 2-1, 5-1, 7-2를 제외한 나머지 상세지침을 반영하여 교안을 작성하였다. 기업교육 전문가 A와 B가 작성한 교안의 학습 주제, 학습 목표와 교안에 반영된 상세지침은 다음 표와 같다.

전문가 학습주제 학습목표 차시 반영한 상세지침

전문가 A 팀장 리더십 스킬

학습자는 리더십의 하위 주제를 이해하고, 업무현장에 적용할 수

있는 방법을 모색한다.

총 2일

2-1을 제외한 모든 상세지침

반영

전문가 B

직원 성과와 발전을 돕는 성과 피드백

Ÿ 교육 참여자는 직원의 성과와 성장에 피드백이 끼치는 영향력과 중요도를 인식한다.

Ÿ 참석자는 피드백에 대한 수용성 제고를 위한 '피드백 노트'의 작성 및 활용 방법을 습득한다.

총 1일

1-2, 2-1, 5-1, 7-2를 제외한

나머지 상세지침을 반영

<표 IV-26> 사용성 평가: 기업교육 전문가별 작성한 교안의 학습주제와 학습목표

전문가 A는 총 2일 교육 프로그램의 교안을 작성하였으며 상세지침 2-1을 제외한 모든 상세지침을 반영하여 교안을 작성하였다. 교안의 주제, 교육 프로그램의 기간, 교육 참여자 와 같은 요소는 기업교육 전문가가 자유롭게 구상하였다. 전문가 A가 사용성 평가 문항에 응답하기 위하여 작성한 교안은 다음과 같다.

교육프로그램의

주제 팀장 리더십 양성

학습목표 학습자는 리더십의 하위 주제를 이해하고, 업무현장에 적용할 수 있는 방법을 모색한다.

교육시간 및

차시 12시간 (1차시)

학습단계 학습활동 시간

(분)

반영된 설계원리

및 상세지침

도입

Ÿ 그라운드룰 (Ground Rul)e 논의 및 합의: 휴대폰 사용 및 음식물 섭취 자제에 대한 안내(2-2)

Ÿ 이미지 카드를 활용한 팀장의 리더십 필요성, 중요 성 공유 (1-2)

Ÿ 관리자 역량 모델 및 학습 모듈 공유 (5-2)

30

2-2 1-2 5-2

전개

변화대응을 위한 4가지 핵심질문에 대한 소그룹내 토의 (6-1), (6-2)

Ÿ 조직에 영향을 미친 외부환경의 변화, 조직의 일하 는 방식을 바꾼 내부의 변화

관리와 리더십

Ÿ John Kotter가 제시한 관리와 리더십의 다름 이해 Ÿ 문제는 해결하고, 구성원은 동기부여를 통한 조직

몰입

90

6-1 6-2

신뢰의 힘

Ÿ 신뢰는 성과와 수익창출

Ÿ 신뢰를 높이는 행동 VS 신뢰를 낮추는 행동에 대 한 의견 모음 (4-1) 및 핵심의견 정리

60

4-1 5-1 3-2

<표 IV-27> 사용성 평가: 기업교육 전문가 A가 작성한 교안 총 2일자 중 1일차 Ÿ 참석자는 피드백 면담에서 활용

가능한 코칭 스킬을 학습힌다.

: 줌(Zoom)의 주석사용 중 텍스트, 스탬프를 활용 (5-1)

신뢰를 높이기 위한 3가지 핵심원칙

Ÿ 개인신뢰성(Trustworthiness) 갖추기: 개인신뢰성 간이진단 진행 (3-2)

Ÿ 신뢰를 쌓는 방법 강의

탁월한 팀이 보유하는 핵심요소: 심리적 안전감 Ÿ [Activity] Qlay(Question+Play): 소그룹 활동 시작

전 소회의실 소통 기능에 대한 안내(6-1)

Ÿ 우리는 연결되어 있는가? 취약성의 공유가 탄탄한 연결성의 핵심

Ÿ 심리적 안전감을 높이기 위한 대안 모색 및 사례 (픽사의 Plussing) 동영상 공유 (3-1)

60 6-1 3-1

팀목적서 의미 및 도출방안

Ÿ 변화환경 가운데 변하지 말아야 할 팀의 존재이유:

팀목적서

Ÿ 팀 목적서 도출을 위한 6가지 질문공유 및 주요답 변 정리

Ÿ 팀장이 생각하는 팀목적서 1차안 도출: 아이디어 공유 및 정리(4-1)

일하는 방식의 의미 및 도출방안

Ÿ 일하는 방식에 대한 다양한 사례 공유 및 Case Study (3-1)

Ÿ 우리 팀에 적합한 내용 벤치마킹 및 실제로 적용할 수 있는 구체적 문구 탐색

120

4-1 3-1

마무리

1일차 학습내용의 핵심을 정리하여 주고, 학습자가 초 반에 세운 학습목표 중 성취한 내용 개별적으로 기록 한 후에 채트박스에 개별로 공유 (8-1)

8-1

교육프로그램

의 주제 팀장 리더십

학습목표 학습자는 리더십의 하위 주제를 이해하고, 업무현장에 적용할 수 있는 방법을 모색한다.

교육시간 및

차시 12시간 (2차시)

학습단계 학습활동 시간( 상세

<표 IV-28> 사용성 평가: 기업 교육 전문가 A가 작성한 교안: 총 2일차 중 2일차