5. 행위 추론
5.4. 제안 방법론
84
85
게 추출된 피쳐들과 함께 최종적으로 디바이스로부터 수집한 센서 데이터와 앱 사용정보와 같은 디바이스 사용 컨텍스트 정보들을 함 께 사용하여 행위를 추론하도록 하였다. 센서 데이터는 위에서 언급 한 바와 같이 센서로부터 획득할 수 있는 평균, 표준편차 등과 같은 통계값을 피쳐화하여 사용하였다.
[그림 22] 클러스터링 기반 장소 추출 결과 예시
본 연구에서 스마트 디바이스를 통해 수집한 행위 레이블은 1 시간마다 해당 시점에 무엇을 하고 있는지를 질의하는 형식으로 획 득하였으며, 사용자의 편의를 위해 6시간 이전의 행위까지 레이블링 을 할 수 있도록 하였다. 이러한 형태로 행위 정보를 획득하였을 시 고려하여야 할 사항은 해당 행위가 정확히 어느 시점에 행하였는지, 얼마나 지속되었는지는 인지하여 대처해야 할 필요성이 있다. 그리 고 행위 질의에 대한 답변을 수행할 시 스마트 디바이스를 조작한
86
다는 점에서 레이블링을 수행하는 시점에는 가속도계 등과 같은 센 서는 레이블링 하는 동작에 의해 의도치 않은 정보에 의해 오염될 수 있다. 그렇기 때문에 레이블링 시점에 획득한 데이터에서 해당 행위를 식별해낼 수 있는 정보가 부족할 수 있다. 하지만 사용자가 행위를 레이블링 하였다는 의미는 해당 행위를 레이블링 시점과 정 확히 일치하지 않더라도 해당 시점 주변에서 이러한 행위를 수행하 였다는 것을 의미하고, 해당 시점 주위의 데이터를 탐색하면 해당 행위임을 인지할 수 있는 특징점이 존재할 수 있음을 예상할 수 있 다. 따라서 고수준 행위를 추론하기 위해서는 해당 시점뿐 만이 아 니라 주변 시점의 정보를 관찰하고 이를 기반으로 모형을 학습하여 야 할 필요성이 있다.
행위 레이블링 시점 주변에 해당 행위를 추측할 수 있는 특징점 이 존재할 수 있지만 이러한 특징점이 어느 시점에 얼마나 관찰될 수 있는지 어렵기 때문에 이를 극복하기 위한 방법론으로 multiple
instance learning 기반 방법론을 사용하여 행위를 추론하는 방법을
사용하였다. 이 방법론은 1997년 Dietterich et al.에 의해 소개된 방법 론으로 인스턴스의 집합이 있을 때, 집합 내에 하나 이상의 긍정인 인스턴스가 존재하면 집합을 긍정으로, 포함된 모든 인스턴스가 부 정일 경우 집합을 부정으로 인지하는 방법론이다[89]. 기존에 이미 지 분류 문제나 텍스트 범주화 문제 등에 주로 활용되었으며 위와 같이 특징점이 데이터에 부분적으로 포함되어 있고, 이를 특정지을 수 없을 때 효과성이 있는 방법론임이 확인되었다..
아래의 [그림 23]은 multiple instance learning 관점에서 레이블링
시점과 주변 데이터들을 도식화 한 것이다. 아래의 그림에서 점 하 나는 특정 시점의 데이터들을 의미하며 적색 점은 행위와 관련된 정보가 없는 데이터를, 녹색은 실제 행위를 구분할 수 있는 특징적
87
인 정보를 가지고 있는 데이터를 의미한다. 이러한 시점은 행위가 레이블링된 시점 주변에서 하나 이상 발생한다는 가정에서 이 모형 을 적용하였다.
[그림 23] 응답 시점과 positive instance의 관계도