저작자표시-비영리-변경금지 2.0 대한민국 이용자는 아래의 조건을 따르는 경우에 한하여 자유롭게
l 이 저작물을 복제, 배포, 전송, 전시, 공연 및 방송할 수 있습니다. 다음과 같은 조건을 따라야 합니다:
l 귀하는, 이 저작물의 재이용이나 배포의 경우, 이 저작물에 적용된 이용허락조건 을 명확하게 나타내어야 합니다.
l 저작권자로부터 별도의 허가를 받으면 이러한 조건들은 적용되지 않습니다.
저작권법에 따른 이용자의 권리는 위의 내용에 의하여 영향을 받지 않습니다. 이것은 이용허락규약(Legal Code)을 이해하기 쉽게 요약한 것입니다.
Disclaimer
저작자표시. 귀하는 원저작자를 표시하여야 합니다.
비영리. 귀하는 이 저작물을 영리 목적으로 이용할 수 없습니다.
변경금지. 귀하는 이 저작물을 개작, 변형 또는 가공할 수 없습니다.
공학석사 학위논문
라벨링 작업에서
인공지능의 판단을 제공하는 인터페이스 제안
년 월
서울대학교 융합과학기술대학원
지능정보융합학과
김 도 연
라벨링 작업에서
인공지능의 판단을 제공하는 인터페이스 제안
지도교수 권 가 진
이 논문을 공학석사 학위논문으로 제출함
년 월
서울대학교 융합과학기술대학원
지능정보융합학과
김 도 연
김도연의 석사 학위논문을 인준함
년 월
이 준 환
권 가 진
홍 화 정
표 1 각 실험 조건에 대한 설명과 예시 스크린샷
원 본
변 환
변 환
원 본
변 환그림 1 실험 인터페이스의 작업 페이지
그림 2 실험 인터페이스의 튜토리얼 페이지
그림 3 전체 실험 과정
전체 AI-correct AI-incorrect
제출된
답안 개수 정답 개수 제출된
답안 개수 정답 개수 제출된
답안 개수 정답 개수
확률
조건 1601 1145
(71.52%) 395 322
(81.52%) 1206 823
(68.24%) 척도
조건 1370 994
(72.55%) 320 278
(86.88%) 1050 716
(68.19%) 진위
조건 1923 1439
(74.83%) 472 402
(85.17%) 1451 1037
(71.47%) 통제
조건 1470 1036
(70.48%) N/A N/A N/A N/A
표 2 조건별로 제출된 답안 개수와 정답 개수
전체 AI-correct AI-incorrect 제출된
답안 개수
평균 작업 시간
제출된 답안 개수
평균 작업 시간
제출된 답안 개수
평균 작업 시간 확률
조건 1415 81초 분 초
(1 21 ) 357 76초
분 초
(1 16 ) 1058 82초
분 초 (1 22 ) 척도
조건 1230 74초 분 초
(1 14 ) 283 69초
(1분 초9 ) 947 75초
분 초 (1 15 ) 진위
조건 1657 82초 분 초
(1 22 ) 406 76초
분 초
(1 16 ) 1251 84초
분 초 (1 24 ) 통제
조건 1297 68초
(1분 초8 ) N/A N/A N/A N/A
표 3 조건별 작업된 문장 수와 평균 작업 시간
평균 표준편차( ) 능숙함(competence) 점 만점
(7 )
p=0.684
용이함(ease) 점 만점
(7 )
p=0.984
성공도(success) 점 만점
(7 )
p=0.401
인지하는 효율성 점 만점
(21 )
p=0.871 확률 조건 4.78 (1.20) 4.46 (1.30) 4.96 (1.07) 14.2 (2.43) 척도 조건 4.59 (1.15) 4.21 (1.20) 4.84 (1.00) 13.7 (2.22) 진위 조건 4.72 (1.18) 4.55 (1.21) 4.95 (1.06) 13.9 (2.80) 통제 조건 4.68 (1.08) 4.18 (1.28) 4.99 (0.99) 13.9 (2.09)
표 4 조건별 자신감 용이함 성공도 및 인지하는 효율성의 평균 및 표준편차, ,
평균 (표준편차)
흥미도(attractiveness) 점 만점
(7 )
p=0.538
만족도(satisfaction) 점 만점
(7 )
p=0.879
선호도(preference) 점 만점
(14 )
p=0.881 확률 조건 4.63 (1.04) 4.82 (1.08) 9.34 (1.22) 척도 조건 4.37 (1.09) 4.63 (1.12) 9.10 (1.36) 진위 조건 4.72 (1.18) 4.62 (1.22) 9.03 (1.85)
통제 조건 N/A N/A N/A
표 5 조건별 흥미도 만족도 선호도의 평균 및 표준편차, ,
평균 표준편차( ) 신뢰도(credibility) 점 만점
(21 )
p=0.253
의존도(reliability) 점 만점
(14 )
p=0.686
신뢰도(trust) 점 만점
(35 )
p=0.392 확률 조건 11.5(3.49) 6.62(2.72) 18.1(6.02) 척도 조건 10.0(3.25) 5.79(2.32) 15.8(5.47) 진위 조건 11.2(3.38) 6.08(2.39) 17.2(5.57)
통제 조건 N/A N/A N/A
표 6 조건별 신뢰도 의존도 신뢰도의 평균 및 표준편차, ,
그림 4 키워드를 직관적인 컬러 코딩으로 표시하는 인터페이스
그림 5 강조된 키워드별 추가적인 정보를 제공하는 인터페이스
