비영리 - S-Space - 서울대학교

(1)

저작자표시-비영리-변경금지 2.0 대한민국 이용자는 아래의 조건을 따르는 경우에 한하여 자유롭게

l 이 저작물을 복제, 배포, 전송, 전시, 공연 및 방송할 수 있습니다. 다음과 같은 조건을 따라야 합니다:

l 귀하는, 이 저작물의 재이용이나 배포의 경우, 이 저작물에 적용된 이용허락조건 을 명확하게 나타내어야 합니다.

저작권법에 따른 이용자의 권리는 위의 내용에 의하여 영향을 받지 않습니다. 이것은 이용허락규약(Legal Code)을 이해하기 쉽게 요약한 것입니다.

Disclaimer

저작자표시. 귀하는 원저작자를 표시하여야 합니다.

비영리. 귀하는 이 저작물을 영리 목적으로 이용할 수 없습니다.

변경금지. 귀하는 이 저작물을 개작, 변형 또는 가공할 수 없습니다.

(2)

공학박사 학위논문

라이프 로그 마이닝을 통한 사용자 행위 추론 및 목적지 예측

User Behavior Reasoning and Next Location Prediction Based on Life Log Mining

2016 년 2 월

서울대학교 대학원

산업공학과

이 승 준

(3)

라이프 로그 마이닝을 통한 사용자 행위 추론 및 목적지 예측

지도 교수 박 종 헌

이 논문을 공학박사 학위논문으로 제출함

2016 년 2 월

서울대학교 대학원

산업공학과

이 승 준

이승준의 공학박사 학위논문을 인준함

2016 년 2 월

위 원 장 조 성 준 (인)

부위원장 박 종 헌 (인)

위 원 장 우 진 (인)

위 원 신 동 민 (인)

위 원 김 관 호 (인)

(4)

i

초 록

최근 스마트폰과 태블릿과 같은 스마트 모바일 기기들의 급속한 보급으로 인해 개인 별로 하나 이상의 모바일 기기를 휴대하고 다 니는 것이 일상적인 상황이 되었다. 이에 따라 웹서핑이나 메시징, 게임 등의 기능들을 활용하는 것이 자연스러운 상황이 되었으며, 해 당 기기로부터 획득 가능한 개인 일상에 대한 직·간접 정보를 활 용하는 라이프 로그 마이닝 연구가 주목 받게 되었다.

라이프 로그로부터 사용자의 행위를 추론하고 목적지를 예측 하는 연구는 라이프 로그 마이닝 연구의 분야들 중 하나로 실제 생 활에 밀접한 관련이 있고 지능형 서비스를 제공하는 기반이 된다는 점에서 중요성과 활용성이 높은 연구들이다. 하지만 스마트 기기가 주변 환경 정보나 과거 방문 기록 등과 같은 간접 정보만 획득 가 능하다는 점과 개인의 행위와 목적지는 관측 가능한 요인 이외의 외부적인 요인의 영향을 미칠 수 있다는 점에서 이를 주어진 정보 로부터 추론하는 데에 어려움이 존재한다. 본 연구에서는 위의 문제 점을 고려하여 라이프 로그로부터 사용자의 행위와 목적지를 추론 하는 방법에 대한 연구를 수행한다.

일련의 연구를 수행을 위해서는 라이프 로그를 수집할 수 있

는 환경의 구축이 선행되어야 한다. 기존 라이프 로그 연구들은 연 구들 각각에 대해 라이프 로그 수집 환경을 개별적으로 구축하고 수입하는 경우가 다수였다. 다양한 연구들의 요구사항에 따라 유연 하게 설정 가능한 플랫폼을 구축을 통해 다양한 라이프 로그 연구 에 기반으로써 신속하게 연구를 진행할 수 있는 기반을 제공한다.

라이프 로그 연구에서 공간적 정보의 적절한 획득 및 활용은 중

(5)

ii

요한 요소 중 하나이다. 라이프 로그에서는 GPS 센서와 같은 장비를 통해 위치 정보를 물리적인 위치를 나타내는 좌표의 형태로 획득되 지만, 본 연구에서 수행하는 사용자 행위 추론 연구나 목적지 예측 연구 등과 같이 사용자의 움직임이나 상태를 추론하는 연구에서는 물리적인 위치에서 더 나아가 해당 위치가 어떤 장소인지를 인지하 고 활용하는 것이 중요하다. 본 연구에서는 이를 위해 라이프 로그 로부터 획득한 불규칙적인 위치 좌표 정보로부터 응용의 관점에서 적합한 중요 장소들을 추출하는 클러스터링 기반 알고리즘을 제안 한다.

사용자 행위 추론은 위에서 소개한 라이프 로그 수집 플랫폼 상 에서 실험을 수행하고 제안한 장소 추출 방법론을 통해 장소를 획 득한 후 이를 바탕으로 사용자 행위를 추론하는 방법론을 제안한다. 사용자가 일상 생활에서 수행하는 다양한 고차원 행위들에 대해 실 생활에서 획득한 라이프 로그 및 태깅된 행위 정보를 기반으로 추 론하는 방법론을 제시한다.

사용자가 방문할 다음 목적지 예측을 실제적 상황에서 수행하기 위해 라이프 로그로부터 패턴을 획득하고 이를 바탕으로 사용자의 라이프 로그를 새로운 형태로의 맵핑을 통해 목적지를 예측하는 방 법론을 제시한다. 제시한 방법론은 생활 공간에서의 목적지 예측 문 제를 풀고자 한 것으로 사용자의 실제 생활에 밀접한 세세한 레벨 에서의 목적지 예측을 수행하였으며 기존 방법론 대비 개선된 성능 을 보임을 확인하였다.

주요어 : 라이프 로그 마이닝, 라이프 로그 수집 플랫폼, 주요 장소 추출 알고리즘, 목적지 예측 알고리즘, 행위 추론 알고리즘

학 번 : 2007 - 22937

(6)

iii

목 차

1. 서론 ... 1

1.1. 연구의 배경 및 목적... 1

1.2. 연구의 범위 및 구성... 5

2. 관련 연구 ... 7

2.1. 라이프 로그 수집 플랫폼 ... 7

2.2. 중요 장소 추출 연구... 10

2.3. 행위 추론 연구 ... 13

2.4. 목적지 예측 연구 ... 17

3. 라이프 로그 마이닝 플랫폼 ... 19

3.1. 플랫폼 소개 및 특징... 21

3.2. 플랫폼 관련 고려 사항 ... 29

3.2.1. 데이터 수집 관련 이슈 ... 29

3.2.2. 기기 사용성 관련 이슈 ... 30

3.2.3. 개인정보 보호 및 보안 ... 32

4. 중요 장소 추출 알고리즘 ... 34

4.1. 문제 정의 ... 34

4.2. 제안 기법 ... 38

4.2.1. 사용자 위치 데이터 ... 40

4.2.2. 정지 위치 인지 ... 41

4.2.3. 관측 장소 추출 ... 47

4.2.4. 실제 장소 추출 ... 52

4.3. 실험 및 실험 결과 ... 56

4.3.1. 실험 데이터 ... 56

4.3.2. 실험 환경 설정 ... 56

4.3.3. 실험 결과 ... 59

(7)

iv

5. 행위 추론 ... 63

5.1. 문제 정의 ... 63

5.2. 데이터 수집 및 분석... 65

5.3. 기존 방법론 적용 테스트 ... 81

5.4. 제안 방법론 ... 84

5.5. 실험 결과 ... 87

6. 목적지 예측 ... 91

6.1. 문제 정의 ... 91

6.2. 제안 방법 ... 94

6.2.1. ST 경로 생성 ... 95

6.2.2. STP 패턴 추출 ... 97

6.2.3. STP 경로 구성 ... 102

6.2.4. 갭 시퀀스 마이닝 ... 105

6.2.5. 목적지 예측 ... 106

6.3. 실험 및 실험 결과 ... 110

7. 결론 및 향후 연구 방향 ... 117

7.1. 결론 ... 117

7.2. 향후 연구 방향 ... 119

참고 문헌 ... 121

Abstract ... 132

(8)

v

표 목차

[표 1] 플랫폼에서 수집 가능한 센서 및 기기 사용 정보 ... 24

[표 2] 스마트 디바이스 센서 사용시 배터리 소모율 ... 31

[표 3] 장소 추출 알고리즘별 장소 적중 여부 결과 ... 60

[표 4] 장소 추출 알고리즘별 추출 성능 ... 62

[표 5] 행위 레이블링 분류표 ... 66

[표 6] 라이프 로그 플랫폼을 통한 데이터 수집 결과 ... 69

[표 7] 수집 데이터 언더샘플링 후 결과 ... 71

[표 8] 센서 종류별 데이터 수집 손실 ... 72

[표 9] 특정 사용자의 행위 레이블링과 사용 앱 히스토리 예시... 75

[표 10] 구글 맵 또는 클러스터링 기반 장소 추출 사용시 성능 차이 ... 78

[표 11] RBF 커널 사용한 SVM 사용시 행위 추론 성능 ... 81

[표 12] 개인별 PrefixSpan 수행 결과 ... 82

[표 13] 제안 행위 추론 알고리즘 수행 결과 ... 88

[표 14] ST 경로 예시 ... 97

(9)

vi

그림 목차

[그림 1] 라이프 로그 수집 플랫폼의 구성 ... 22

[그림 2] 라이프 로그 수집 플랫폼 클라이언트 UI ... 23

[그림 3] 라이프 로그 클라이언트 센서 설정 예시 ... 25

[그림 4] 라이프 로그 클라이언트 레이블링 설정 예시... 26

[그림 5] 라이프 로그 객관식 설문 설정 예시... 27

[그림 6] 사용자별 위치 정보 수집 형태 예시... 36

[그림 7] 장소 추출 알고리즘의 진행 절차 ... 38

[그림 8] 사용자 위치 데이터 및 머무름 인지 예시 ... 40

[그림 9] 클러스터링 기반 머무름(ST) 알고리즘 ... 45

[그림 10] 측위 정보에 의한 위치 파편화 발생 예시 ... 47

[그림 11] 가중치 사용에 따른 OP 융합 과정의 차이 예시 ... 50

[그림 12] Chebyshev’s inequality 기반 OP 구성 알고리즘 ... 51

[그림 13] 시간 및 공간 거리를 기반한 RP 구성 알고리즘 ... 54

[그림 14] 사용자 위치 로그로부터 ST 추출 결과 예시 ... 57

[그림 15] OP 구성 전 ST(좌) 및 추출 후 OP 구성 결과(우) 예시 ... 58

[그림 16] RP 구성 전 OP(좌) 및 추출 후 RP 구성 결과(우) 예시 ... 59

[그림 17] 행위 레이블링 수집 분포 ... 67

[그림 18] 가속도로부터 추출 가능한 고수준 피쳐 예시 ... 73

[그림 19] 구글 지도 API 기반 장소 변환 예시 ... 77

(10)

vii

[그림 20] 데이터 분석을 위한 시각화 지원 도구 화면 ... 79

[그림 21] 제안하는 행위 추론 알고리즘 수행 절차 ... 84

[그림 22] 클러스터링 기반 장소 추출 결과 예시 ... 85

[그림 23] 응답 시점과 positive instance의 관계도 ... 87

[그림 24] 방법론에 따른 예측 성능 비교 ... 90

[그림 25] 제안하는 목적지 예측 프레임워크 절차 ... 94

[그림 26] ST 경로에서의 패턴 발견 ... 98

[그림 27] STP 패턴 추출 알고리즘 ... 101

[그림 28] STP 경로 구성 알고리즘 ... 104

[그림 29] Gapped STP 패턴의 구성 ... 107

[그림 30] 목적지 예측 알고리즘 ... 108

[그림 31] 개인의 ST 경로 예시 ... 111

[그림 32] 파라미터별 변화에 따른 예측 정확도 변화 ...112

[그림 33] 제안 알고리즘에 대한 사용자별 수행 결과(1/2) ...113

[그림 34] 제안 알고리즘에 대한 사용자별 수행 결과(2/2) ...114

[그림 35] Jaccard 유사도와 성능간 scatter plot ...115

(11)

1

1. 서론

1.1. 연구의 배경 및 목적

최근 몇 년간 스마트 디바이스의 빠른 보급으로 사용자들의 스 마트폰 사용이 일반화 점점 일반화 되고 있는 추세이다. 이러한 추 세는 점점 가속화되고 있으며, 스마트 디바이스들이 기존의 피쳐폰 을 대체하여 보편적인 핸드폰으로 자리잡을 것으로 예상된다. 스마 트폰은 피쳐폰 대비 높은 컴퓨팅 성능과 정보 표시가 용이한 디스

플레이를 보유하고 있으며 위치 획득을 가능하게 하는 GPS 센서나

대상의 움직임을 파악할 수 있는 가속도 센서, 주변의 조명 상태를 파악할 수 있는 조도 센서와 같은 다양한 센서들이 내장형으로 제 공되어가고 있는 추세이며, 스마트폰의 기능과 이로부터 획득 가능 한 정보들은 지속적으로 증가되고 있는 추세이다.

사람의 일상 생활 속에서 발생하는 데이터를 바탕으로 대상의 상태를 이해하고, 그에 따른 맞춤형 서비스를 제공하는 것은 중요한

연구 과제로 고려되어 왔다[1]–[3]. 활발하게 연구되고 있는 맞춤형

수준 행동을 탐지하는 연구들이 수행되어 왔다[4], [5]. 스마트 기기

등의 보급으로 데이터 수집이 용이해지면서 쇼핑이나 여행 등과 같 은 고수준의 행위를 예측하거나 이를 다양한 응용에 연결하는 연구 가 이루어지게 되었다[6]–[8]. 이들의 연구는 주로 가속도계나 GPS 좌표 등과 같은 일부 센서 정보에 집중되어 있었으며, 앱 사용내역 이나 이전 방문 장소와 같은 요소들의 반영이 부족한 상황이라고 할 수 있다.

스마트 디바이스에서 주어진 데이터를 기반으로 수행하는 사용 자 행위 추론은 제공되는 정보가 제한적일 뿐만 아니라 일반인의 실제 생활에서 라이프 로그를 수집할 경우 알아내고자 하는 행위와 관련이 없는 데이터가 다수 포함되거나 행위가 복합적인 세부 행동 을 포함하는 경우가 존재하기 때문에 이러한 상황을 충분히 고려하 여 모형을 설계할 필요성이 있다. 본 연구에서는 위의 문제들을 반

(13)

3

영할 수 있는 방법론을 탐색하고 적용하는 연구를 수행한다.

사용자의 과거 로그로부터 목적지를 예측하는 연구도 지속적으 로 수행되고 있는 연구 분야 중 하나이며 이를 해결하기 위한 다양 한 방법론이 제안되었다[9]–[14]. 스마트 디바이스로부터 획득한 정 보로부터 목적지를 예측하는 것도 획득한 개인의 과거 라이프 로그 를 분석하여 특정 패턴이나 조건이 있음을 확인하고 이를 기반으로 특정시점에서의 목적지를 예측하는 모형에 반영할 수 있다. 이러한 목적지 예측은 대상의 움직임 패턴이 정형화될수록, 움직임의 장소 단위를 거주 구역, 회사 주변 등과 같이 거시적으로 볼수록 규칙성 이 증가하여 예측하기 용이해진다. 하지만 구분하여 인식하고자 하 는 장소의 단위가 세밀할수록 일시적으로 방문하는 장소들이 인지 되는 등 불확실성이 높아지는 경향이 있어 예측이 어려워지는 특징 이 있다. 본 연구에서는 기존의 목적지 예측에서 수행하던 장소 단 위에서 더 나아가 좀 더 사용자의 생활에 밀접한 생활 단위에서의 목적지 예측을 수행하는 새로운 알고리즘을 제시하고 성능을 검증 한다.

이러한 일련의 연구를 실제적인 대상에 대해 효과적으로 수행하 기 위해서는 사용자로부터 라이프 로그를 체계적으로 수집할 수 있 는 시스템이 필요하다. 모바일 디바이스로부터 각종 센싱 정보를 수 집하는 플랫폼을 제시하는 연구도 다수 수행되었다[15]–[17]. 하지만 제시된 플랫폼은 센서 정보의 체계적인 수집과 처리에 우선순위를 두는 경우가 대부분이었다. 플랫폼이 다양한 용도로 사용되기 위해 서는 연구에 적합한 대상의 적절한 선정을 지원하고 다양한 발생 가능한 컨텍스트에 연계하여 질의 등의 액션을 수행할 수 있는 기 능들이 요구된다. 따라서 본 연구에서는 범용성을 고려한 라이프 로 그 수집 플랫폼을 구축하는 방법론을 제시하고 이를 기반으로 사용

(14)

4

자의 행위 추론 연구와 목적지 예측 연구를 수행한다.

사용자의 행위 추론이나 목적지 예측을 수행하는 데에 있어 라 이프 로그 수집 플랫폼과 함께 선행되어야 할 연구는 연구의 목적 에 맞는 공간적 정보를 정확하게 획득하는 것이다. 라이프 로그 연 구에 있어 공간적 정보는 시간적 정보와 함께 라이프 로그를 분석 하는 데에 핵심적인 역할을 수행하는 정보 중 하나로 공간적 정보 에 대한 정확한 인식과 활용이 연관 라이프 로그 연구에 중요한 역 할을 수행한다고 할 수 있다.

라이프 로그에서 위치는 GPS 센서와 같은 물리적인 좌표를 정

보로 제공하는 경우가 일반적이다. 하지만 사용자의 행위 추론이나 목적지 예측과 같은 연구에서는 대상의 물리적인 위치보다 실제 머 물렀던 장소 단위로 해석하고 활용하는 것이 중요하다고 할 수 있 다. 이러한 물리적인 좌표 정보로부터 사용자의 중요 장소를 획득하

는 다양한 연구들이 활발히 수행되고 있다[18]–[20]. 본 연구에서는

일반적인 사용자를 대상으로 라이프 로그를 수집하였고 이를 바탕 으로 다수의 연구에 활용하는 과정을 수행하였기 때문에 실제적 상 황에서 사용할 수 있고, 다양한 응용에 따라 맞춤형으로 장소를 제 공할 수 있는 방법론에 대해 연구를 수행한다.

(15)

5

1.2. 연구의 범위 및 구성

본 연구는 크게 다음과 같은 네 가지 요소로 구성된다. 첫째로 다양한 스마트 디바이스로부터 다양한 컨텍스트를 수집할 수 있는 플랫폼을 구축하도록 한다. 현실적인 스마트 디바이스 상황에서 일 어날 수 있는 다양한 문제 상황에 대해 대처하고, 추후 수행할 다양 한 연구에 대해 지원할 수 있는 유연한 데이터 수집 플랫폼을 제시

하고자 한다. 특히 조건 기반 메시지 트리거 (trigger)를 통해 컨텍

스트 상황에 따른 질의가 가능하게 함으로써 보다 다양한 경우에 대해 실험을 지원할 수 있도록 하고자 하며, 실험실과 같은 통제된 환경이 아닌 일반인을 대상으로 일상생활에서 데이터를 수집하거나 설문을 수행할 수 있도록 안정적인 플랫폼을 구축하고자 한다.

두 번째로 주어진 사용자 위치 로그로부터 사용자의 중요 장소 를 자동으로 추출하는 방법론 제시한다. 장소는 상황 기반 서비스나 위치기반 서비스 제공 시 가장 중요한 컴포넌트 중 하나로 사용자 생활패턴 마이닝, 차기 방문 장소 예측, 장소 기반 컨텐츠 추천 등의 다양한 응용에서 사용할 수 있다. 서비스 응용에 따라 요구하는 장 소의 조건 차이가 존재하기 때문에 각 응용에 맞는 맞춤형 장소 추 출 기법이 필요하다. 따라서 본 연구에서는 다양한 응용에서 사용할 수 있는 장소 추출 방법론에 대해 제시하고자 한다.

세 번째로 주어진 컨텍스트 데이터로부터 사용자의 현재 수행 행위를 추론하는 연구를 수행한다. 디바이스로부터 수집할 수 있는 각종 센서 정보와 앱 사용내역 등의 인터액션 정보를 바탕으로 사 용자의 현재 행위를 추론하는 연구를 수행한다. 현실 상황에서 수집 되는 데이터의 불완전성과 레이블링과 실제 연관된 행위의 시점이

(16)

6

일치 않을 수 있다는 점을 고려하여 이를 보완할 수 있는 방법론을 제시하고자 한다.

마지막으로 주어진 라이프 로그를 분석하여 방문할 목적지를 예 측하는 연구를 수행하도록 한다. 기존에 주거지역에서 상업지역으로 의 이동과 같은 거시적 관점에서의 목적지 예측은 마코프 체인과 같은 방법으로 예측을 수행하였을 시 문제를 해결하는 등의 다양한 연구들이 있어왔다. 하지만, 대학생과 같이 캠퍼스 내에서 빈번한 이 동이 발생하고, 일시적인 방문이 존재하는 대상에 대해서는 기존에 제시된 방법론을 적용하기에 어려움이 따른다. 이에 따라 본 연구에 서는 교내 이동과 같이 미시적 관점에서의 장소 이동과 일시적인 방문을 고려할 수 있는 방법론을 개발하여 제시하고자 한다.

본 논문은 다음과 같이 구성된다. 2장에서는 본 연구에서 다루고 자 하는 문제와 관련된 기존의 연구결과를 논의한다. 3장에서는 라 이프 로그 연구를 수행하기 위한 기반 플랫폼을 구축하는 과정을 설명하고, 4장에서는 위치 좌표들이 주어졌을 때 중요 장소를 추출 하는 방법론에 대해 소개한다. 5장에서는 앞의 3장과 4장의 결과를 바탕으로 고수준 행위 추론을 위한 분석 및 추론을 위한 방법론을 제시한다. 6장에서는 현재까지의 이동 정보를 바탕으로 목적지를 예 측하는 알고리즘을 제안하고 마지막으로 7장에서는 본 연구의 결론 에 대해 서술한다.

(17)

7

2. 관련 연구

2.1. 라이프 로그 수집 플랫폼

스마트 디바이스로부터 라이브 로그를 수집하고 이를 바탕으로 연구를 수행하는 연구는 지속적으로 주목을 받아오고 있다[21]–[24].

최근에는 웨어러블 (wearable) 장비가 상업용 제품으로 출시되어 보

급이 시작되면서 라이프 로그 수집 가능성에 대한 새로운 상황을

맞이하고 있다[25].

이러한 지속적인 관심에도 불구하고 관련 연구에 대한 발전이 최근에서야 급격히 증가 추세를 보이고 있다. 이러한 상황이 도래한 이유는 저렴하고 강력한 센서들이 모바일 폰에 탑재되어 널리 보급 되기 시작되었으며, 모바일 센싱에 관련된 SDK (Software Development Kit)나 API (Application Programming Interface)들이 제공 되기 시작하였고, 모바일 디바이스에 앱 스토어를 통한 앱 전달 생

태계가 구축된 것이 이유라고 할 수 있다[21].

이러한 상황적 변화로 인해 모바일 센싱을 지원하여주는 다양한 애플리케이션이 활발하게 연구되기 시작하였다[26]. Choudhury et al.

은 가속도 센서와 중력 센서, 그리고 자이로스코프 (gyroscope) 센서 와 나침반 센서를 내장한 휴대용 센서 수집 기기를 제작하는 하드 웨어의 측면과 데이터를 수집하고 관리하는 소프트웨어의 측면, 그 리고 행동 인지 알고리즘의 개발 측면의 세 가지 관점에서 시스템 이 어떻게 설계되고 구성되어야 하는지에 대해 논하였다[15].

CenceMe는 Miluzzo et al. 이 소개한 모바일 디바이스 로그 수집 플랫

폼으로 Nokia N95 핸드폰에서 수집되는 센서 데이터를 백엔드

(18)

8

(backend) 서버로 전송하여 분석할 수 있도록 하는 플랫폼을 제시하

였다[17]. 이를 기반으로 CenceMe 플랫폼을 통해 녹음된 소리를 기

반으로 사람의 목소리인지 소음인지 분류하는 분류기와 걷거나 뛰 는지 여부를 판별하는 행동 추론 분류기 등의 학습을 시도하였다.

Wu et al. 은 실제 생활에서 사용하는 모바일 디바이스로부터 센싱

정보를 수집할 수 있는 모바일 센싱 플랫폼인 MobiSens를 제시하였

다[27]. MobiSens는 라이프 로그를 수집하고 수집한 라이프 로그로부

터 행위를 추론하는 연구를 수행하였으며, 추론된 행위에 따라 데이 터 샘플링 수준을 조절하여 에너지를 절약할 수 있는 방법론을 제 시하였다.

라이프 로그로부터 행동을 추론하는 것은 과거로부터 지속적으 로 연구되어 오던 주요 연구 분야 중 하나로 플랫폼의 설계를 이에 특화되게 설계하여 제시한 연구도 존재하였다. Darwin은 이러한 모 바일 센싱 플랫폼 중 하나로 행동 분류를 위한 협업 센싱을 수행하 도록 지원해주도록 설계되었다[28]. 이 플랫폼을 통해 행동 분류를 위한 기계 학습을 분산된 환경에서 수행함으로써 배터리 소모를 줄 이고 행동 분류의 성능을 높이고자 하는 시도를 수행하였다. Olguin

et al. 은 사람들간의 상호작용이나 대화 시간, 다른 사람과의 물리

적 거리, 그리고 물리적 행동들을 개인 또는 집단의 행동을 획득하 기 위한 데이터로 수집할 수 있는 웨어러블 컴퓨팅 플랫폼을 제시

하였다[29]. 이 연구는 개인이나 집단의 행동 패턴을 이해하고 이로

부터 직원의 직업만족도나 그룹 인터액션에 대한 개인의 인식을 예 측을 수행하였다.

행동 추론을 위한 라이프 로그 수집 플랫폼 이외에도 소리 정보 를 다루는 데에 특화된 응용이나 헬스케어를 위한 응용을 지원하는

연구도 수행되고 있다. SoundSense는 스마트 디바이스에서 수집 가

(19)

9

능한 다양한 센서 정보 중 소리센서에 특화된 기능을 제공하는 플 랫폼으로 스마트폰과 같은 자원이 제한된 환경에서 작동할 수 있도 록 설계하였고, 지도 (supervised) 및 비지도 (unsupervised) 학습을 통해 음악이나 목소리와 같은 소리의 종류를 판별하거나, 더 나아가 특정 대상의 음성임을 분류해낼 수 있는 방법론을 제시하였다[30].

Klasnja et al. 은 모바일 디바이스에서 획득 가능한 정보를 헬스케어

의 관점에서 해석하고 활용하는 방안에 대해 논의하였으며, GPS나 가속도계와 같은 스마트 디바이스에 내장되어 있는 센서 뿐만이 아

니라 ECG (Electrocardiography)등과 같은 의료용 센서들로부터 획득

한 정보를 저장, 분석 및 중계를 해 줄 수 있는 플랫폼이 될 수 있 음을 주장하였다[31].

이렇게 라이프 로그 플랫폼은 다양하게 활용될 수 있지만 이러 한 플랫폼을 널리 사용하기에 중요하게 고려하여야 할 사항은 에너 지 소비이고 이를 해결하기 위한 다양한 연구도 지속적으로 이루어

지고 있다. EEMSS (Energy Efficient Mobile Sensing Platform)은 이러한

에너지 문제를 보완하기 위해 제안된 플랫폼으로 사용자의 상태를 확인하여 센서를 선택적으로 사용하는 방법을 통해 에너지를 절약 하는 방법론을 제시하였고 이를 통해 75% 수준의 디바이스 라이프 타임의 향상을 달성하였다[32]. Rachuri et al. 은 센서의 샘플링 빈도 를 유동적으로 조정되게 함으로써 에너지의 소비를 줄이고자 하였 으며, 이 때 낮은 샘플링 빈도에 따른 성능 저하의 여부를 관찰하고 성능 저하를 최소화하면서 에너지 소비를 줄이는 방안에 대해 연구 하였다 [33].

(20)

10

2.2. 중요 장소 추출 연구

사용자의 이동 경로 정보로부터 중요 장소를 적절하게 추출해내 기 위해 다양한 방법론들이 시도되었다[34], [35]. 클러스터링 기법을 활용하여 장소를 추출하는 방법이 다수 연구되었으며 사전에 주어 진 장소 관련 의미 정보를 활용하는 방법, 랭킹 알고리즘을 활용하 는 방법 등 다양한 방법론이 중요 장소 추출을 위해 시도되었다.

Ashbrook et al. 은 K-means 알고리즘을 사용하여 중요 장소를

추출해내는 방법론은 제시하였으며 이후 다양한 클러스터링 기반 중요 장소 추출 연구들이 수행되었다[36]. K-means 알고리즘은 장소 추출을 위한 초기 연구에 많이 활용되었지만 주요 장소를 효과적으 로 추출해내는 데에 한계가 있음이 지적되었다[37]. 알고리즘을 수 행하기 위해 적절한 클러스터링의 수를 사전에 알고 있어야 하고, 실제적인 장소는 그 형태가 알고리즘을 통해 추출되는 타원형 형태

와 다른 경우가 많다는 한계점이 있다. Zhou et al.은 밀도 기반

(density-based) 클러스터링 기법인 DBSCAN (Density-Based Spatial

Clustering of Application with Noise)을 변형한 DJ-Cluster이라는 방법 론을 새롭게 정의하고, 이를 바탕으로 사용자별 중요 장소를 추출해 내는 방법론을 제시하였다[37]. DJ-Cluster는 이웃 (neighborhood) 간 의 연결성을 기반으로 클러스터를 융합해나가는 접근법을 사용하였 다. 하지만 이들 방법론들은 사용자의 이동 경로 정보가 가지고 있

는 중요한 정보들인 시간적 (temporal) 또는 순차적 (sequential) 요

소들을 반영하지 않았다.

Alvares et al.은 사용자의 이동 정보를 정지 (stop)와 이동 (move)

으로 구분하여 인식하는 SMoT (Stop and Moves of Trajectories) 알고

(21)

11

리즘을 제시하였다[38]. 정지와 이동을 구분하기 위해 이동 경로에 서 정지와 이동이 구분되어질 수 있는 직관적인 관찰 정보들을 기 반으로 구분하였으며 이를 통해 성공적으로 두 상태 (state)를 구분 해내었으며, 이러한 구분은 이후 복수의 연구에서 SMoT 기반의 확 장 방법론에서 사용되었다. Palma et al.은 SMoT의 정지와 이동의 상 태 구분을 수행하는 방법론으로 DBSCAN 알고리즘을 장소 추출의

목적으로 확장한 CB-SMoT 방법론을 사용하였다[39]. CB-SMoT는

DBSCAN과는 달리 시퀀스 (sequence)의 관점에서 인접한 데이터를

중심으로 클러스터링을 수행하도록 하였으며, 클러스터를 형성하기 위한 최소 기준점 파라미터인 minPts를 대신하여 클러스터 형성을 위한 최소 만족시간을 의미하는 minTime 파라미터를 도입하는 방법 론을 사용하였다. Rocha et al.은 CB-SMoT 방법론을 확장하여 궤적의

방향 정보를 함께 고려하는 DB-SMoT를 제시하였으며, 방향이 중요

한 의미를 지니는 해상 이동경로와 같은 응용에서 효과적으로 활용 될 수 있음을 실험을 통해 검증하였다[40]. 하지만 이들 방법론은 최종적으로 중요장소를 획득하기 위해 미리 설정해둔 후보장소 구 역을 필요로 하며, 이들 정보가 없을 시 새로운 구역을 어떻게 정의 해야 하는지에 대한 고려가 부족하다는 점이 존재한다. 위의 방법론 이외에도 다른 분포 기반 클러스터링 알고리즘인 OPTICS (Ordering Points To Identify the Clustering Structure)[41]를 활용하거나[20], 퍼지

(fuzzy) 클러스터링 방법론을 사용하는 등[42]의 다양한 클러스터링

기법들이 시도되고 있다.

Cao et al. 은 사용자와 장소가 각각의 층으로 형성되는 2-레이어

그래프를 구성하고 랜덤워크 (random walk) 확장을 적용한 HITS

(Hyperlink-Induced Topic Search) 알고리즘[43]을 사용하여 GPS 데이

터로부터 의미 장소를 추출하는 SEM-CLS 방법론을 제시하였으며 알

(22)

12

고리즘을 통해 획득하는 점수를 통해 해당 장소의 인기도의 판별을 시도하였다[44].

장소 정보와 함께 의미 정보가 같이 주어졌을 때 이를 중요 장 소 추출에 활용하는 방안에 대해서도 다양한 방법론들이 연구되었

다[38]. Yan et al. 은 GPS 위치 정보와 함께 장소들에 대한 의미 정보

들이 주어졌을 때, 이들을 융합하여 움직이는 객체에 대해 의미 태 깅을 자동으로 수행하여주는 SeMiTri 프레임워크를 제시하였으며 이 를 온라인으로 의미 경로를 구축하는 SeTraStream 확장을 제안하였

다[45]–[47]. Maketos et al. 은 원 위치정보 데이터에 대하여 데이터

큐브 (data cube) 모형을 적용하여 가치 있는 정보로 변환하고 데이

터 웨어하우스 (data warehouse)에 저장하는 절차적 방법론에 대해 논의하였다[48].

(23)

13

2.3. 행위 추론 연구

라이프 로그로부터 사람의 행동이나 행위를 추론하는 연구는 다

수 진행되어 왔다[49]–[53]. 최근 스마트 홈이 주목 받기 시작하면서

행위 추론을 스마트 홈 내에서 수행하는 연구도 활발히 진행되고 있는 등 지속적으로 관심을 받고 있는 주제이다[54], [55]. 기존 연구 들 중 가장 활발하게 연구가 된 분야는 가속도계와 같은 센서를 활 용해 대상의 행동을 추론하는 연구이다. 이러한 행동 추론 연구는 센서로부터 데이터를 획득하고, 획득한 데이터로부터 대상이 걷는지, 뛰는지, 앉아 있는지 등의 저수준 행동을 추론하는 방법론에 대해 연구를 수행하였다. 스마트 디바이스가 널리 보급되지 않은 시기에 는 다수의 센서를 피실험자의 몸에 부착한 후 실험실 환경에서 해 당 행동을 수행하도록 하고 이에 대해 예측을 수행하는 방식의 연 구가 다수 수행되었다[56]–[59].

Tapia et al. 은 피실험자의 자주 사용하는 팔과 손목, 엉덩이, 다

리, 무릎에 센싱을 위한 장비를 부착한 후 17가지의 저수준 행동을 판별해내는 연구를 수행하였다[60]. 해당 연구는 21명의 피실험자에 대해 통제된 실험실 환경에서 수행하도록 하였으며 개개인 별로는

평균 94.6%의 성능을 보였으며, 개인별이 아닌 단일 모형으로 판별

하였을 때에는 56% 성능을 보임을 확인하였다. Parkka et al. 은 7가

지의 저수준 행동을 추론하기 위해 가속도와 바이탈 신호 (vital

sign), 주변 환경 정보 등 22가지 신호를 측정하여 행동을 추론하는

방법에 대해 연구하였다[61]. 가슴이나 손목, 손가락, 어깨 등과 같이 다양한 부위에 센서를 부착하였으며 음성 신호를 사용하기 위해 음 성 인식 알고리즘도 함께 사용하였으며, 이를 의사결정나무 (decision tree)와 인공신경망 (artificial neural network)를 통해 최대

(24)

14

86%의 성능이 도출됨을 확인하였으나 걷기나 노 젓기와 같은 일부 행동에 대해서는 잘 구분하지 못하는 결과를 보여줬고, 이러한 이유 로써 실제 행동과 행동 레이블링 간의 동기화가 부족한 것을 이유 로 제시하였다. Maurer et al. 은 온라인으로 행동을 인지할 수 있는

시스템을 센서들과 함께 내장한 스포츠 시계인 eWatch를 소개하였

다[62]. 이 장비에는 가속도계와 조도, 체온계, 마이크가 내장되어 있

으며, 센서로부터 획득한 정보를 바탕으로 C4.5 의사결정나무[63]를 통해 행동을 추론하도록 하였다. 이러한 과정을 통해 92.5%의 인식 성능을 획득할 수 있었지만, 피실험자들에게 행동에 대한 가이드라 인을 제시한 상황에서 측정하였기 때문에 실사용을 위해서는 실제 생활에서의 사용에 대한 검증이 필요하다고 할 수 있다.

최근 스마트 디바이스가 빠르게 보급되면서 위와 같은 센서가 포함된 장비를 피실험자에게 부착하고 노트북이나 PC에서 학습을 수행하는 방법에서 벗어나 스마트 디바이스의 센서를 활용하거나 컴퓨팅 파워를 이용하여 행동 인지의 결과를 디바이스에서 확인하 는 연구들이 새롭게 수행되기 시작하였다. Vigilante는 안드로이드 플 랫폼에서 사람의 행동을 실시간으로 인지하는 모바일 애플케이션으

로 Zephyr’s BioHarness BT 가슴 센서를 가속도와 심장박동과 호흡

속도, 피부 온도 등과 같은 신체 신호를 수집하기 위해 사용하였다

[64]. MECLA라는 모바일 분류 알고리즘 평가 라이브러리를 기반으로

C4.5 의사결정나무를 사용해 3가지의 저수준 행동에 대해 분류를 수

행하였으며 이에 대해 92.6%의 성능을 보임을 확인하였다. 해당 장

비는 12.5시간 동안 상대적으로 불편함 없이 휴대하고 온라인으로

학습을 할 수 있게 되었다는 점에서 위의 접근법들과 차별점이 있

다. ActiServ는 Berchtold et al. 이 소개한 모바일 폰에서 작동하는 행

동 인지 서비스로 이 시스템은 Neo FreeRunner라는 오픈소스 스마

(25)

15

트폰 플랫폼 상에서 작동하도록 디자인되었다[65]. 이 시스템은 스 마트폰의 가속도계 만을 사용하여 행동을 인지하도록 하였기 때문 에 위의 접근법들에 비해 휴대성 측면에서 큰 장점이 존재한다. 해 당 시스템은 몇 일 동안의 학습시간을 거치면 71%에서 97%의 인 지 성능을 제공해 주었다. 하지만 서있기와 앉기의 경우 스마트폰을 지니고 있는 방향이 바뀌면 구분해내지 못하는 등 여러 개선점이 존재한다.

위의 연구들이 저수준 행동의 인지에 대한 연구를 수행하였다면,

독서나 TV 시청과 같은 좀 더 고수준의 행위에 대한 인지를 시도한

연구도 다방면으로 진행되고 있다. Bao et al. 은 저수준 행동과 함께

TV 시청이나 청소, 빨래 등과 같은 고수준 행위에 대해 인지하는 연

구를 수행하였으며, 이를 위해 인체의 5부위에 가속도계를 장착하여

센서 정보를 수집한 후 이를 바탕으로 C4.5 의사결정나무를 사용해

행위 인지를 하는 연구를 수행하였다[66]. 연구의 수행결과 저수준

행위는 95%의 매우 높은 성능을 보였지만, 고수준 행위에 대해서는

낮은 성능을 보이는 것이 확인되었다.

COSAR는 안드로이드 (Android) 플랫폼에서 작동하는 상황 기반

행동 인지 프레임워크로 저수준 행동과 함께 양치질을 하거나 칠판 에 판서를 하는 등의 행동에 대해 인지를 수행하도록 설계하였다

[67]. COSAR는 스마트 폰 내장 가속도계와 손목에 있는 가속도계, 그

리고 스마트 폰 내장 GPS 정보를 행동 인지를 위해 사용하였다. GPS

위치 정보를 행동의 인지에 사용하였다는 점이 다른 연구들과의 차 이점으로 특정 지역에서는 하지 않는 행동이 있다는 가정하에 위치 정보를 활용하였으며, 이를 통해 잘못 분류되는 경우를 보정할 수 있도록 시스템을 설계하였으며 최종적으로 93% 정도의 성능을 도 출해 내었다.

(26)

16

Chen et al. 은 동적 LDA (dynamic Linear Discriminant Analysis) 방 법론을 사용해 인지하고 학습해야 할 행동을 온라인으로 조정하는 방법론을 제시하였으며 실험실 환경에서의 실험으로 해당 방법론으

로 8가지의 저수준 행동 및 일부 고수준 행위에 대해서 93%의 성

능이 도출됨을 확인하였다[68]. Lee et al.은 semi-Markovian CRF

(conditional random fields)를 통하여 저수준 행동의 인지와 함께 점

심, 저녁, 출근, 사무실 근무 등과 같은 고수준 행위에 대해 추론하 는 연구를 수행하였다[69].

(27)

17

2.4. 목적지 예측 연구

대상의 방문할 목적지를 예측하기 위해 다양한 방법론들이 지속

적으로 시도되고 있다[70]–[75]. 목적지 예측 연구는 크게 사용자의

이동 정보를 시퀀스로 해석하여 마코프 연쇄 (Markov chain)와 같은

시계열 모형을 사용하여 차기 목적지를 예측하는 방법과 목적지의 예측을 분류의 문제로 해석하여 획득 가능한 정보를 기반으로 분류 기를 학습하여 예측에 사용하는 방법, 마지막으로 빈번하게 발생하 는 이동 패턴을 패턴 마이닝을 통해 추출하여 목적지 예측을 수행 하는 방법론으로 분류될 수 있다.

사용자의 이동 시퀀스를 사용하는 연구는 장소의 방문 및 이동 을 시간적 선후관계가 있는 시퀀스로 해석하고 이를 시계열 모형에 적용하여 목적지의 예측을 수행하는 방법론이다. Ashbrook et al. 은

도시 구역 내에서의 이동을 GPS 측위 장비를 통해 획득한 후, K-

means 클러스터링 알고리즘을 통해 장소로 전환하고, 전환된 장소

에 대해 마코프 모델 (Markov model)을 사용하여 대상의 목적지를

예측하는 방법론을 제시하였다[36]. Gambs et al. 은 집, 직장, 기타의 장소간 이동을 예측하기 위해 장소를 획득하는 방법으로써 위치 좌 표의 클러스터링에 특화된 DJ-Cluster[37] 방법론을 사용하였으며, n

차원을 마코프 모델을 사용하는 n-MMC (n-Mobility Markov Chain) 모

델을 제안하였다[9], [76]. Alavarez-Garcia et al. 은 여행자의 목적지를 예측하는 연구를 수행하였으며 이를 위해 방문 장소 이외에 주요 이동 지점을 추가로 정의하였으며, 이를 각각 은닉 마코프 모델 (hidden Markov model)의 상태 (state)와 관찰 (observation)에 대응 하여 목적지를 예측하는 방법을 제안하였다[77].

목적지를 예측하는 다른 방법으로 목적지 추론에 연관된 주변

(28)

18

정보들을 수집하여 이를 바탕으로 대상이 다음에 방문할 목적지를 학습하는 모형을 구성하는 방법이 제시되었다. 즉, 목적지 예측을 분 류 문제로 해석하고, 분류 알고리즘을 사용하여 예측 대상으로 목적

지를 사용하여 그 결과를 도출하는 방식이다. Noulas et al. 은 장소에

대한 방문 횟수나 장소의 의미적 카테고리, 대상의 소셜 네트워크 관계정보, 장소의 인기도 등을 분류의 피쳐로 사용하여 선형 회귀와

M5 트리 (tree) 방법론을 통해 목적지 예측을 하는 방법론을 제시하

였다[78]. Wang et al. 은 방문의 시간적 주기성을 기반으로 목적지 예

측을 수행하는 방법과 시간적 요소와 장소 요소를 피쳐로 사용하여

SVM (Support Vector Machines)을 사용해 예측하는 방법에 대한 비교

연구를 수행하였다[10].

마지막으로 사용자의 방문 기록으로부터 빈번하게 발생하는 패 턴을 탐색하여 목적지 예측을 수행하는 방법론들이 제시되었다.

Monreale et al. 은 자동차 이동 정보로부터 빈번하게 발생하는 패턴

을 발견하는 모형을 디자인하였으며, 이동 시간의 관점에서 해석한 연구를 수행하였다[79]. Gidofalvi et al. 은 움직임이 있는 객체에 대해 공통적으로 추출할 수 있는 패턴을 SQL (Structured Query Language) 기반 패턴 마이닝 기법을 통해 획득하는 방법론에 대하여 제안하였

다[80]. Chen et al. 은 자동차에 대한 경로가 아닌 사람의 이동 경로

를 데이터로부터 예측할 수 있는 연구를 수행하였으며, 방문 목적지 와 함께 경로를 같이 예측하는 방법론을 제안하였다[81]. Scellato et

al. 은 비선형 시계열 분석을 통해 대상이 머물렀던 주요 장소를 파

악하고, 이를 바탕으로 다음 장소를 예측하는 방법론을 제시하였다

[82]. Morzy et al. 은 빈번 패턴 탐색을 통해 다음 방문 장소를 예측

할 시 계산의 효율성을 고려하여 빠르게 패턴을 찾는 알고리즘을 제안하는 연구를 수행하였다[83], [84].

(29)

19

3. 라이프 로그 마이닝 플랫폼

라이프 로그 기반 연구를 수행하고 실제적인 응용에 활용될 수 있는 모형을 도출하기 위해서는 다양한 환경에서 생활하는 다양한 사람들의 라이프 로그를 수집할 수 있는 환경의 구축이 요구된다. 현실적인 상황에서 사용할 수 있는 환경을 구축하기 위해서는 실제 상황에서 발생하는 다양한 오류나 이상 데이터들을 다룰 수 있어야 하며, 이에 더하여 실제 사용자로부터 정보를 획득할 시 존재할 수 있는 제약 사항들이 함께 고려되어야 한다.

수집되는 정보에 대한 사용자의 개인정보를 보호하도록 하여야 하며, 누구를 만나는지 등의 개인 활동에 대한 보호가 고려되어야 할 필요성이 있다. 그리고 일상 생활의 디바이스 사용에 영향을 미 치지 않도록 수집 장비로 사용하는 스마트 디바이스에 과도하게 데 이터 수집을 하도록 하여 기기의 사용성에 방해를 주지 않도록 하 여야 한다. 예를 들어 스마트 디바이스에 장착되어 있는 가속도계 같은 센서의 경우 시스템적으로는 연속적으로 측정 가능하지만, 센 서 사용에 따른 배터리 소모나 데이터 저장을 위한 디바이스 저장 공간 소모, 그리고 데이터 전송을 위한 네트워크 비용을 고려하였을 때 기기의 사용성 및 편의를 해칠 수 있기 때문에 이에 대한 충분 한 고려가 요구된다.

이러한 현실적인 제약사항들이 라이프 로그 수집 환경을 구축하 기 어렵게 하는 요인들이라고 할 수 있다. 본 연구에서는 이러한 제 약사항을 고려하여 다양한 라이프 로그 연구에서 사용할 수 있는 라이프 로그 수집 플랫폼을 제시하고자 한다. 본 플랫폼이 대상으로 하는 사용자는 스마트폰이나 타블렛을 가지고 다니는 일반적인 일

(30)

20

반인들을 대상으로 수집하는 것을 목표로 하였으며 위의 제약사항 들을 고려하여 설계된 라이프 로그 수집 플랫폼을 통해 개개 사용 자의 라이프 로그를 수집할 수 있는 기반 환경을 제공한다. 구축한

플랫폼을 이후 5, 6장에서 소개할 사용자 행위 추론 연구와 목적지

예측 연구의 기반 환경으로 사용하였으며, 다양한 다른 연구들을 수 행할 수 있도록 플랫폼을 구성하였다.

실제 사용자를 대상으로 한 운영 및 실험을 통해 경험적으로 획득한 사실이나 사용자 설문으로 획득할 수 있었던 정보들, 구축과 정에서의 이슈 등을 나열하고 논의하고자 한다. 이 과정을 통해 획 득한 발견들은 광범위한 상황 기반 서비스나 응용에 연관이 깊다고 할 수 있으며, 라이프 로그 수집 플랫폼이 서비스나 응용의 관점에 서 질적 향상을 위하여 중요하게 고려되어야 할 사항들이라고 할 수 있다.

(31)

21

3.1. 플랫폼 소개 및 특징

스마트 디바이스들은 다양한 앱을 실행하기 위한 컴퓨팅 파워를 지니고 있으며, 가속도계나 자기장센서, GPS 센서 등이 사용자의 편 의를 위해 장착되어 있다. 하지만 휴대용 기기라는 스마트 기기의 특성상 배터리 존재에 의해 발생하는 전력 자원의 한정성과, 라이프 로그 수집을 위한 장비가 아닌 범용적인 목적의 장비이기 때문에 해당 기기로부터 라이프 로그를 수집하기 위해서는 여러 가지 제약 이 존재한다. 하지만 사용자가 거부감 없이 상시 휴대하고 다니는 기기에서 데이터를 큰 비용 없이 수집할 수 있다는 것은 큰 장점이 라고 할 수 있고, 기존에 제한된 환경에서 일부에 대해서만 수행할 수 있었던 라이프 로그의 영역을 크게 확장할 수 있다.

위와 같은 이유로 인해 라이프 로그 수집 플랫폼에 대한 연구

가 다양한 형태로 존재하여 왔다[15], [17], [27]. 이들 연구들은 특정

연구에 대한 필요에 의해 구축되었거나 디바이스의 로그를 중점적 으로 수집하는 방향으로 제시되어 왔다. 본 연구에서 제시하는 플랫 폼은 더 나아가 특정 실험이나 연구에 특화된 것이 아닌 스마트 디 바이스 로그를 수집하고 상황에 따라 질의 및 설문을 자유롭게 수 행할 수 있도록 지원하는 통합 플랫폼을 제시하고자 한다.

본 연구에서 구축한 라이프 로그 수집 플랫폼은 범용성과 기능 성 측면에서 널리 쓰이는 스마트 디바이스 플랫폼 중 하나인 안드 로이드 플랫폼을 대상으로 수집할 수 있도록 하였으며, 컨텍스트 환

경에 맞는 사용자의 피드백 (feedback) 또는 레이블링을 지원하기

위한 기능을 내장함으로써다양한 실험에서 사용될 수 있는 기초 환 경을 구축하였다. 특히 기존의 많은 라이프 로그 연구에서 이용되었 던 통제된 환경에서의 실험이 아닌 일반인을 대상으로 데이터를 수

(32)

22

집하거나 컨텍스트에 기반한 질의를 수행할 수 있도록 플랫폼화를 시도하였다.

[그림 1] 라이프 로그 수집 플랫폼의 구성

위의 [그림 1]은 제시하는 라이프 로그 수집 플랫폼을 도식화한 것이다. 위의 그림에서 확인할 수 있듯이 구성 요소로는 크게 실제 개개의 사용자의 기기에서 라이프 로그를 획득하고, 상황에 따라 질 의를 하는 역할을 수행하는 클라이언트와 클라이언트로부터 데이터 를 수집하고, 관리하며, 설정을 전달하는 서버, 그리고 수집된 데이 터를 기반으로 다양한 분석을 수행하는 것으로 나눌 수 있다.

라이프 로그 수집 플랫폼에서 클라이언트의 역할은 플랫폼에 등 록된 사용자의 디바이스에 앱 형태로 설치되어 실제로 라이프 로그 를 수집하는 역할을 수행한다. 실험 설계상 사용자와의 특별한 인터 액션이 필요하지 않을 동안은 백그라운드 (background)에서 정해진 주기로 디바이스 로그나 컨텍스트 정보를 수집하고, 관찰된 컨텍스 트 정보가 미리 정의한 인터액션을 위한 조건을 만족하였을 때 질 의 및 설문을 디스플레이에 팝업을 통해 알려 줌으로써 수행하도록

(33)

23

한다. 서버의 역할은 등록된 클라이언트를 관리하고 연구자와 디바 이스 사용자를 연결해주는 중간자 역할을 수행하며, 클라이언트로부 터 디바이스 로그와 상황 정보, 그리고 설문 정보를 전달받아 보관/ 관리 및 가공하는 역할을 수행한다. 연구자가 원하는 실험 조건에 맞는 대상들을 선별하여, 해당 실험에 대한 설정을 클라이언트에 전 달하고 이를 확인 및 감시하는 역할도 함께 수행한다. 그리고 서버 에 수집된 데이터는 연구에 적합한 형태로 가공된 후 연구자에게 제공된다. 본 연구에서는 라이프 로그 수집 플랫폼에서 수집한 데이 터를 바탕으로 중요 장소 추출과 목적지 예측, 그리고 행위 추론 연 구를 수행하였다.

[그림 2] 라이프 로그 수집 플랫폼 클라이언트 UI

(34)

24

위의 [그림 2]는 클라이언트에서 사용자가 접하는 UI이다. 앞서 설명한 바와 같이 평상시에는 백그라운드로 연구자가 설정한 환경 설정으로 디바이스 로그 및 상황 정보를 수집하고, 미리 정의한 앤 터액션 조건에 부합할 시 질의에 대한 응답을 팝업을 통해 주관식 또는 객관신의 응답을 대화창 형태의 UI로 요구한 후 그 응답을 받 는 형태를 사용한다. 클라이언트에서 수집한 데이터는 주기적으로

Wi-Fi가 가능한 시기에 자동으로 서버에 전송된다. 클라이언트의 실

제 구현은 안드로이드 기기를 대상으로 하였으며, 기기에서 제공하

는 각종 센서 정보를 수집하기 위해 MIT에서 배포한 오픈소스 센싱

수집 플랫폼인 funf 라이브러리[85]를 사용하였다.

라이프 로그 플랫폼에서 안드로이드 디바이스로부터 수집하는 데이터는 아래의 [표 1]과 같으며, 수집하는 주기는 연구자가 지정 한 설정에 따라 다르게 설정될 수 있다.

[표 1] 플랫폼에서 수집 가능한 센서 및 기기 사용 정보

센서 정보 디바이스 상태정보 Accelerometer Battery

Gravity Hardware Info Gyro Screen ON/OFF Light Wi-Fi signal strength Linear acceleration 디바이스 사용정보

Location Installed applications Magnetic field Foreground application

Orientation Running applications Pressure Call logs Proximity

Rotation vector

(35)

25

라이프 로그 플랫폼에서의 서버의 역할은 개인의 디바이스에 설 치된 클라이언트들을 관리하고, 연구의 목적에 맞는 설정 정보를 목 적에 부합하는 클라이언트에게 알려주고, 알려준 정보를 바탕으로 클라이언트에서 수집된 데이터를 전송 받아 분석이 가능한 형태의 데이터로 변환한 후 연구자들에게 전달하는 역할을 수행한다. 아래 의 [그림 3]은 클라이언트에 전달하는 설정 값의 예시이다. 설정 값

은 JSON (JavaScript Object Notation) 형태로 되어 있으며, 어떤 센서

정보를 수집할 지 여부가 “dataRequests” 항목 하에 나열되어 있고,

각 센서에서 수집할 주기(“PERIOD”)와 주기마다 수집할 시간

(“DURATION”)과 같은 센서의 수집과 관련된 정보를 설정하고, 센서

데이터의 저장 단위와 설정 버전과 같은 클라이언트 운영에 관한

정보를 설정할 수 있도록 하였다. 해당 설정은 “name” 항목의 이름

하에 “version” 항목을 통해 버전관리를 하고, “dataArchivePeriod”에

초단위로 명시된 주기에 따라 데이터를 압축하여 보관하도록 한다.

{

"name": “WM20", "version":5,

"dataArchivePeriod": 1800, "dataRequests":{

"LocationProbe": [

{ "PERIOD": 120, "DURATION": 4 } ],

"ForegroundApplicationProbe": [ { "PERIOD": 10 }

] } }

[그림 3] 라이프 로그 클라이언트 센서 설정 예시

위의 [그림 3]이 디바이스에서 수집할 수 있는 센서 정보나 상

(36)

26

황 정보에 대한 설정을 하는 부분이라면, 사용자와 인터액션을 통해 질의나 설문 등을 수행하도록 설정하는 부분이 요구되며 그 예시는

아래의 [그림 4]와 같다. “time” 안의 “type” 항목은 질의를 주기적으

로 할지, 일회성으로 할지 등의 여부를 결정하는 항목이고, “period”

는 주기를, “from”과 “expire”는 각각 질의 시작 시점과 종료 시점의

유닉스 시간을 의미한다. 아래의 예시는 행위 추론 연구에 사용한 설문의 부분으로 1시간마다 주기적으로 질의를 수행하라는 예시이 다. 질의는 설정에 따라 1회성이 되거나, 시간이 아닌 장소나 앱 사 용정보와 같은 다른 컨텍스트에 대해서도 질의를 수행할 수 있도록 한다. 이러한 질의를 하는 컨텍스트의 설정을 다양하게 지원함으로 써 질의의 조건은 상황 정보를 기반으로 하며 특정 위치에 있을 때 질의를 한다거나 인터넷 서핑을 할 때에만 질의를 수행한다는 등의 다양한 시나리오를 가능하게 지원하여 다양한 응용에 대해 활용될 수 있도록 하였다.

{"time":

[{"type":"periodic", "period":3600,

"expire":1417392000, "from":1420070400}]

}

[그림 4] 라이프 로그 클라이언트 레이블링 설정 예시

위와 같이 레이블링 설정이 정해지만 이 시점에 수행할 작업을

정의할 수 있으며 아래의 [그림 5]가 그 예시이다. “depth”는 객관식

질의의 깊이 정도를 의미하고, “main”에는 객관식 질문 내용을 지정

하고, “sub”에는 추가적인 질문 항목을 지정한다. 아래의 예시는 정해

진 상황에서 2단계의 객관식 설문을 수행하도록 정의한 것이다. 주

(37)

27

어진 컨텍스트 상황에서 아래와 같이 객관식 설문을 수행하는 것 이외에도 다양한 작업을 정의하는 것이 가능하다. 질의를 연속형으 로 수행하거나, 해당 컨텍스트와 연관된 이미지나 동영상을 이미지 나 동영상 등의 추가 정보를 제공하고 응답을 받는 등의 다양한 활 용법이 존재할 수 있다.

{

"depth": 2,

"main": ["개인유지", "일/집안일", "학습/연구", "자기개발",

"교제활동", "여가활동(컴퓨터/스마트기기)",

"여가활동(오프라인)", "기타활동", "이동"],

"개인유지": ["수면", "휴식", "집에서 식사", "외식", "미용/화장",

"청결/목욕", "음료/간식", "의료", "기타"],

…

"이동": ["이동"],

"sub": ["혼자", "가족", "친구", "연인", "동료", "기타"]

}

[그림 5] 라이프 로그 객관식 설문 설정 예시

위의 과정들을 통해 서버에 데이터가 확보되면, 연구자는 획득 한 데이터를 전달받아 설계하였던 라이프 로그 마이닝 연구를 수행 하게 된다. 플랫폼을 설계하는 과정에서 연구자와 관리자 그리고 사 용자의 역할을 분리함으로써 다양한 상황에서 실험하는 환경을 구 축할 수 있도록 시도하였다. 클라이언트를 설치한 사용자는 관리자 가 관리하고 있는 사용자 집단으로 연구자가 연구를 수행하기 위한 대상을 찾을 수 있는 풀을 제공한다. 기존의 연구에서는 개개의 연 구자가 연구의 목적에 맞는 사용자를 직접 모집하고 실험을 설계하 는 것이었다면, 제시하는 플랫폼을 통해 연구자는 실험을 설계하여 관리자에게 전달하면 이에 적절한 사용자를 플랫폼을 통해 연결하

(38)

28

도록 지원하여 편리하고 신속하게 실험을 수행할 수 있는 환경을 구축하였다.

(39)

29

3.2. 플랫폼 관련 고려 사항

제시하는 플랫폼은 일반 사용자들이 실제 사용하는 스마트 디바 이스를 대상으로 센서 데이터와 컨텍스트 정보를 수집하고, 이에 더 하여 상황에 따른 질의를 수행하는 플랫폼을 제기하였다. 앞에서 확 인한 바와 같이 이러한 플랫폼의 구축은 유연한 라이프 로그 관련 연구를 위해 필요한 과정이지만 일반 사용자를 대상으로 한다는 특 성상 다양한 실제적인 문제가 발생할 수 있으며 이 섹션에서는 운 영을 통해 발견한 사항을 소개하고 플랫폼이 개선해나가야 할 방향 에 대해 소개하고자 한다.

3.2.1. 데이터 수집 관련 이슈

안드로이드 플랫폼은 스마트 디바이스용 오픈소스 플랫폼으로 다양한 제조사에서 안드로이드 기기를 제작하기 때문에 안드로이드 가 운영되고 있는 환경이 매우 다양하다는 특징이 있다. 안드로이드 는 빠르게 진화하고 있는 플랫폼이기 때문에 제공되고 있는 버전들

간의 차이가 크게 존재하여, SQLite 등과 같은 세부 컴포넌트들도 다

양한 버전으로 존재할 뿐만 아니라 디바이스를 구성하는 하드웨어 적 요소들도 제조사마다 차이가 다수 존재하기 때문에 환경에 따른 다양한 이슈가 발생할 수 있다. 우선 디바이스마다 수집 가능한 정 보와 수집이 불가능한 정보가 존재하며, 수집이 가능한 정보라 하더 라고 하드웨어의 구성 요소나 접근 권한 등의 원인으로 품질이 일 정하지 않은 데이터가 획득되는 등의 문제가 존재할 수 있다.

위치 정보는 디바이스에서 수집 가능한 중요한 컨텍스트 정보

(40)

30

중 하나이고 많은 위치 기반 서비스 (Location Based Service; LBS)에

서 핵심적인 역할을 수행하는 정보라고 할 수 있다. 하지만 위치를 추정하기 위해 일반적으로 많이 사용되는 GPS 기반 위치 정보는 높 은 정확도를 제공하는 대신 높은 에너지 소모가 크기 때문에 위치 가 필요할 시 항상 사용하기 어려운 수준이며, 실내나 음영지역에서 는 측위를 할 수 없는 한계점을 가지고 있다. 이를 보완하기 위해 스마트 디바이스에서는 상대적으로 낮은 에너지 소모로 Wi-Fi 신호

정보나 셀룰러 (cellular) 신호의 수신 강도 (signal strength) 정보를

사용하여 위치를 보조적으로 추론하는 방법론을 함께 제공하여 주 고 있다. 이러한 위치 측위 기술들의 특징은 초기 데이터 수집 및 보정을 하는 시간이 필요하기 때문에 측정 시작시기 직후에는 부정 확한 값을 반환하는 경우가 많으며, 이는 본 연구에서 데이터를 수

집하는 과정에서 빈번하게 발견할 수 있었다. 특히 GPS 기반 위치

측위는 다수의 위성과의 통신이 필요하기 때문에 초기 위치 측위가 시작되기 까지 수초에서 수십초의 시간이 소요된다. 그렇기 때문에 위치 정보를 수집할 시에는 이러한 초기 활성화 시간을 고려하여 실험을 설계할 필요성이 있다.

3.2.2. 기기 사용성 관련 이슈

본 플랫폼은 일반 사용자를 대상으로 하였기 때문에 대상 디바 이스 사용성을 방해하지 않는 것도 중요한 사항 중 하나이다. 가장 중요한 이슈 중 하나는 에너지 문제라고 할 수 있다. 모바일 디바이 스라는 특성상 디바이스를 작동시키는 전력은 배터리를 통해 확보 하게 되며 현대의 배터리 기술은 스마트 디바이스의 사용 정도에

(41)

31

따라 하루에서 일주일 정도를 사용할 수 있는 용량을 제공한다. 만 약 실험을 수행하는 데에 있어 배터리의 소모가 일반적인 스마트 디바이스의 사용해 방해로 인지된다면 사용자의 경험 변화에 따른 의도치 않은 상황 데이터가 획득되거나 사용자가 실험으로부터 이 탈하는 등의 문제가 발생할 수 있다. 따라서 실험을 설계할 때에 필 요한 정보를 선별적으로 수집하고 수집 주기를 되도록 길게 가져가 는 등의 방법론이 사용되어야 할 필요성이 있다. 아래의 [표 2]는 스마트 디바이스에서 데이터를 수집하도록 하였을 시와 일상적인 사용시의 데이터 소요량 차이를 나타낸 것이다. 아래의 표에서 확인 할 수 있듯이 센서를 사용하는 것은 높은 배터리의 소모를 가져오 기 때문에 효율적으로 필요한 경우에만 측정하는 등의 다양한 고려 가 요구된다.

[표 2] 스마트 디바이스 센서 사용시 배터리 소모율

가동시간(분) 수집시(mHa) 비수집시(mHa)

0 0 0

30 99 49

60 231 82

90 346 148 120 462 189 150 580 237 180 696 285 210 813 333

모바일 디바이스에 있어 배터리와 함께 중요한 자원으로 고려해 야 할 것은 네트워크 사용량이다. 많은 경우 네트워크는 무선통신

(42)

32

사업자를 통해 유료로 제공되며, 데이터 송수신을 위해 네트워크를 사용할 시 사용하는 용량에 따라 서비스 사용료가 부과되는 형태가 일반적이다. 많은 경우 이러한 유료 통신망인 무선통신망 (cellular

network)과 함께 Wi-Fi 네트워크 환경에 대한 지원이 같이 제공되며,

네트워크가 Wi-Fi로 연결되었을 시에는 일반적으로 네트워크 사용량 에 관계 없이 네크워크를 사용하게 지원하는 경우가 많다. 그렇기 때문에 실험을 위해 수집된 클라이언트의 데이터들은 Wi-Fi가 가능 할 경우에만 데이터를 전송하는 것을 기본 정책으로 하였으며, 사용 자가 허용하였을 경우에만 무선통신망으로 전송하도록 하였다. 이는 많은 상용 앱 들이 대용량 데이터를 전송할 때 사용하는 정책으로 연구를 위한 환경에서도 사용자의 경험을 해치지 않기 위해서는 필 요한 조치라고 할 수 있다.

3.2.3. 개인정보 보호 및 보안

일반 사용자를 대상으로 하는 연구에서 중요한 부분 중 하나는 개인 정보 보호와 보안에 관련된 사항이다. 본 논문에서 실행한 연 구들에 대해서는 실험 대상에 대한 사전 동의를 확보할 수 데이터 들을 수집하였지만, 실제 일반적인 사용자들을 대상으로 범용적으로 사용되기 위해서는 그에 상응하는 프라이버시 보호와 보안이 필수 적으로 요구된다고 할 수 있다. 연구를 통해 수집되는 데이터에 대 해 익명화를 수행하고 연구자에게 전달함으로써 기본적인 개인 정 보 보호를 수행하였으며, 클라이언트와 서버간의 통신을 수행하는 과정에서도 인증키 기반 인증 절차를 통해 인증된 클라이언트와의 통신 만을 허용하는 등의 노력을 수행하였다. 제시하는 플랫폼이 다

(43)

33

루는 데이터 중 일부는 민감할 수 있는 개인 정보인 경우가 존재하 기 때문에, 다양한 환경에서 널리 사용되기 위해서는 기본적인 보안 수준 이상의 강화된 보안 및 개인정보 보호 장치가 지속적으로 연 구되고 적용될 필요성이 있다.

(44)

34

4. 중요 장소 추출 알고리즘

4.1. 문제 정의

본 연구에서는 위치좌표 데이터로부터 장소를 추출하는 방법론 에 대해 소개한다. 위치 좌표로부터 장소를 추출하는 것은 위치기반

서비스(LBS)를 제공하는 데에 있어 매우 중요한 역할을 수행한다.

이동을 예측하거나[1], 생활 패턴에 대한 마이닝을 수행하거나[3], 장 소 기반 추천을 하는 등의 응용에서 위치 좌표가 아닌 장소 데이터 를 요구된다. 이러한 응용에서는 지리적 좌표를 그들의 서비스에 맞 는 장소 단위로 전환하는 과정이 요구된다. 전통적인 지도로부터 얻 을 수 있는 장소 정보는 네비게이션의 목적이나 관리의 목적으로 구획화된 것이기 때문에 응용에 따라 그 유용성이 떨어질 수 있다. 따라서 응용의 목적에 적합한 장소를 정의해야 할 필요성이 있다.

장소는 관점에 따라 다양하게 해석될 수 복합적은 개념을 내포 하고 있는 용어이다. 본 연구에서 정의하고 사용하는 장소의 개념은

“모바일 디바이스 사용자가 방문하여 머무르고, 응용에 연관된 의미

있는 정보를 내포하는 구역”을 장소라고 정의하였다. 이러한 장소는 사용되는 응용에 따라 다양한 의미를 지닐 수 있다. 응용에 적합한 장소를 사용함으로써 기존에 응용에 적합하지 않는 장소를 사용함 으로써 발생하였던 정확도와 사용성의 문제를 개선할 수 있는데 이 러한 이유는 대상의 이동 로그로부터 획득할 수 있는 인지적 관점 에서의 장소와 응용 측면에서의 장소가 사용되는 응용에 따라 차이 가 있는 경우가 다수 존재하기 때문이다.

기존의 연구들은 디지털 지문 (fingerprinting) 기반, 클러스터링