5. 행위 추론
5.5. 실험 결과
87
인 정보를 가지고 있는 데이터를 의미한다. 이러한 시점은 행위가 레이블링된 시점 주변에서 하나 이상 발생한다는 가정에서 이 모형 을 적용하였다.
[그림 23] 응답 시점과 positive instance의 관계도
88
[표 13] 제안 행위 추론 알고리즘 수행 결과
Recall 수면 휴식 과외 아르바이트 수업수강
SVM 0.760 0.053 0.775 0.438 0.479 평균 0.770 0.221 0.800 0.486 0.673 최소 0.569 0.100 0.600 0.000 0.357 최대 0.876 0.549 1.000 0.893 0.936 Precision 0.826 0.340 0.867 0.739 0.689 F-measure 0.797 0.268 0.832 0.586 0.681
Recall 학습/과제 스포츠 사회참여 이동 SVM 0.360 0.164 0.700 0.201
평균 0.512 0.505 0.900 0.721 최소 0.100 0.378 0.900 0.455 최대 0.824 0.733 0.900 0.903 Precision 0.503 0.452 0.917 0.349 F-measure 0.508 0.477 0.908 0.470
위의 [표 13]은 mi-SVM에 대하여 교차 타당화를 수행한 결과이
다. 결과에서 확인할 수 있듯이 일반적인 SVM에 비해 우수한 성능
을 보여줌을 확인할 수 있다. 방법론의 성능은 레이블링별, 개인별로 매우 큰 편차를 보임을 확인하였다. 수면이나 과외, 사회 참여와 같 은 레이블링이 상대적으로 높은 예측율과 사람간의 편차가 적은 것 을 확인하였다. 반면 휴식이나, 스포츠, 이동과 같은 경우에는 상대 적으로 낮은 성능을 보여줌을 확인할 수 있다. 특히 사회참여의 경
우 F-measure가 0.917인 높은 성능을 보임을 확인할 수 있고, 이는
사회참여라는 행동이 특정 장소에서 특정 시간대에 수행하는 경우 가 많음이 확인되었고, 이에 따라 상대적으로 예측하기 쉽게 되어
89
이로 인해 높은 성능을 보여준 것으로 판단된다. 반면 아르바이트의 경우 한 개인이라도 복수개의 아르바이트를 수행하는 경우가 있고 시간대와 장소가 다양하게 분포됨으로 인해 성능이 낮아지는 것으 로 판단된다.
아래의 [그림 24]은 본 연구에서 사용한 방법론인 mi-SVM과 기
존의 여러 방법론들을 사용하였을 때, 레이블링별 성능을 나타낸 것
이다. 비교에 사용한 방법론은 SVM, AdaBoost, Logistic Regression,
LogiBoost, Random Forest를 사용하였다. 상대적으로 데이터가 풍부하
고 예측이 쉬운 경우인 수면의 경우에는 6가지 방법론 모두 0.7 이
상의 성능을 보이고, 이 중 SVM 기반 방법론들이 가장 높은 성능을
보임을 확인할 수 있다. 하지만 수면을 제외한 경우에는 전체적으로 낮은 성능을 보여줌을 확인할 수 있고, 방법론 중에서 본 연구에서
사용한 방법론인 mi-SVM이 다른 방법론들에 비해 우수한 성능을 보
임을 확인할 수 있다. 이는 multiple instance를 활용함으로써 추가적
으로 획득할 수 있는 각 레이블링시의 주변 정보들이 해당 레이블 링을 예측하는 데에 긍정적인 역할을 제공함을 의미한다.
90
[그림 24] 방법론에 따른 예측 성능 비교
멀티 클래스 문제로 생각하였을 시 결과를 확인하기 위해 mi- SVM의 결과로 추출된 행위 후보 군으로부터 최고 확률 시퀀스 추출
한 후 행위 간의 전이 확률을 기반으로 Viterbi 알고리즘을 통한 최
고 확률 시퀀스 탐색을 실시하는 방법을 사용하면 평균 약 52.2%
정확도를 제공하여 줌을 확인하였다.
91