5. 연구방법
5.1. 실험
5.1.3. 실험 절차
마지막으로 인터페이스 요소와 관련해 레이아웃(layout)에서 제시되는 정보의 양을 최소한으로 배치하도록 노력하였으나 패스트푸드 주문 프로토타입의 경우 메뉴의 양 자체가 많아 쉽지 않았다. 색상과 폰트는 기존 시스템과 유사하게 유지하고자 하였는데, 특히 패스트푸드 주문 프로토타입의 경우 맥도날드 주문 시스템의 색상 코드(RGB)를 그대로 사용하였다. 이러한 과정을 통해 기존 시스템과 프로토타입 간에 인터랙션 디자인 방식 외에 다른 요소로 인한 차이를 최소화하고자 하였다.
전체적인 실험은 사전설문, 과업 수행, 인터뷰 3단계로 이루어졌다. 먼저 간단한 사전 설문을 통해 참여자의 인구사회학적 특성을 조사한 후, 연구자의 안내에 따라 택시 호출 앱을 이용해 차량을 호출해보도록 하였다. 예비조사를 통해 참여자가 과업 수행 단계에서 오류를 일으키는 것을 부끄러워하고 지나치게 긴장하는 경우를 빈번히 발견하였다. 따라서 실험 전에 스마트폰 이용의 능숙도를 보는 것이 아님을 안내하고, 전반적인 실험 상황에서 긴장하지 않고 실생활과 비슷한 환경으로 느낄 수 있도록 편안한 분위기를 조성하는 것에 주안점을 두었다. 수행 과정에서 연구자는 가급적 개입하지 않았으며, 참여자들이 어려워하는 점을 정확히 파악하기 위해 앱 사용 중 연구자에게 질문을 해도 답을 해줄 수 없다는 점을 밝혀 두었다.
기존 시스템 사용 집단은 카카오T를 이용해 차량 호출 단계까지 진행한 후, 호출을 취소하였다. 개선된 프로토타입 사용 집단은 실제로 차량이 호출되지는 않지만 참여자가 마지막 단계에서 택시 호출하기 버튼을 누르면 배차된 차량 번호 안내와 함께 차량이 오고 있다는 메시지를 띄워주며 사용을 종료하였다. 택시 호출 실험에서 주어지는 과제는 두 조건 모두 동일한데, 1)출발지 변경 및 도착지 설정, 2)택시 종류 설정(일반 중형 택시, 모범 택시, 대형 택시 중 모범 택시 선택),
3)결제 방식을 자유롭게 변경해보기, 4)최종 호출 직전 택시 종류
수정하기(모범 택시에서 일반 중형 택시로 변경)를 수행하였다.
연구자는 실험 시작부터 종료시까지 전체 플로우에서 참여자가 과업을 수행하면서 생각하거나 느끼는 바를 큰소리로 말하도록 하는 Think-
aloud 방식을 사용하였는데, 이는 사용성을 측정할 때 일반적으로 사용되는 방법으로 연구자가 이해하기 어려운 참여자의 행동에 대해서는 기록해 두었다가 앱 사용이 종료된 후 인터뷰에서 질문하였다.
기존 시스템 사용 집단에서 오류 회복 전략을 파악하지 못 하여 동일한 구간을 5분 이상 반복하며 힘들어하거나 출발지, 도착지 설정을 시도하다가 실패해 사용을 포기하겠다고 밝힌 참여자의 경우 앱 사용은 종료하고 바로 설문을 진행하였다. 기존 시스템 사용집단 중 위와 같은 사유로 중도에 종료한 참여자는 11명이었다.
실험 후에는 '인지된 용이성'과 '인지된 유용성', ‘사용 의도’를 측정하는 설문조사를 실시하였다. 설문 문항은 가급적 쉬운 용어로 풀어서 작성하였으나 문항을 잘 이해하지 못 하거나 설문지가 아닌 구두로 질문하기를 원하는 참여자의 경우, 연구자가 문항을 직접 읽어주며 설문하는 일대일 설문 방식을 택하였다. 이어서 바로 패스트푸드 주문 실험을 진행했다.
패스트푸드 주문 실험도 택시 호출 실험과 비슷한 절차로 진행되었다. 교육용 키오스크와 프로토타입 시스템 모두 실제 메뉴가 주문되지는 않지만 신용카드를 투입해 결제를 완료하라는 메시지가 뜨는 마지막 단계에서 종료하였다. 패스트푸드 주문 실험에서 주어지는 과제는 두 조건 모두 동일했다. 1)햄버거 세트 메뉴 주문 및 사이드 메뉴 변경(불고기 치즈버거 세트를 주문하면서 사이드 메뉴인 감자튀김을 모짜렐라 치즈스틱으로 변경), 2)햄버거 단품 주문(맥치킨 버거 단품 주문), 3)이전 단계로 돌아가 메뉴 변경(디저트 카테고리에서
아이스크림 주문한 후 취소하고 아이스 아메리카노로 변경) 세 가지 과제를 수행하도록 하였다. 모든 과제를 완료하면 신용카드 투입 화면을 마지막으로 확인하고 종료하였으나 택시 호출 실험과 마찬가지로 기존 시스템 사용 집단 중 같은 구간에서 오류를 반복하다가 중도 포기 의사를 밝히는 참여자가 5명 있었다. 택시 호출 실험에 비해 중도 포기한 참여자의 수는 적었다. 그러나 기존 시스템 사용자 중에서는 메뉴 주문을 잘못하고도 최종 결제 단계에 이를 때까지 이를 인지하지 못 하는 경우가 종종 있었다. 시스템 사용이 완료되면 설문조사를 진행한 후 인터뷰를 통해 실험 과정에서 느낀 점과 평소 기술에 대한 의견 등을 자유롭게 묻고 답하였다.