심층 객체 탐지 네트워크의 성능은 labeled 데이터의 양에 의존적 [5], [10], [73]이다. 즉, 학습에 사용할 labeled 데이터가 많을수록 객체 탐지 네트워크의 정확도는 향상된다. 학습 데이터를 취득하는 것은 쉬우나, 취득한 모든 데이터에 annotation을 하는 것은 많은 시간과 비용을 요구한다. 이러한 문제를 해결하기 위해, 여러 데이터들 중 가장 informative한 데이터를 선택하고 labeling하여, annotation cost를 줄이면서 정확도를 향상시키는 능동적 학습 (active learning) [12]이 활발히 연구되어 왔다. 일반적으로, 능동적 학습은 네트워크의 predictive uncertainty 기반 scoring function을 통해 데이터의 informativeness를 판단하여 수행 [15], [45], [74] 된다.
네트워크의 predictive uncertainty는 aleatoric uncertainty와 epistemic uncertainty로 분류 [75], [76] 할 수 있다. Aleatoric uncertainty는 데이터 노이즈와 같이 inherent 노이즈와 관련된 uncertainty로 occlusion 또는 visual feature의 부족 [7], [64] 등에 따라 변하는 uncertainty이다. Epistemic uncertainty는 모델의 지식 결여로 발생되며, 학습 데이터의 양에 반비례하는 특징 [77]이 있다.
능동적 학습에서 이 두 종류의 uncertainty를 모델링하고 구별하는 것은 매우 중요하다. 왜냐하면, aleatoric uncertainty는 의심스러운 예측을 판단하고, epistemic uncertainty는 학습 데이터와 닮지 않은
데이터를 판단하므로, 두 uncertainty를 통해 현재 딥러닝 모델의 한계 [77], [78]를 알 수 있기 때문이다. 일반적으로 이러한 두 종류의 uncertainty를 예측하기 위해, ensemble [45] 또는 Monte Carlo (MC) dropout [46]과 같은 multiple models 기반 방식들을 사용해 왔다.
이러한 방법들은 좋은 정확도를 보였지만, 몇 가지 문제점 [14], [79]이 있다. Multiple models 기반 방식은 매우 큰 computing cost를 요구하기 때문에 능동적 학습 시 많은 시간과 resource를 필요로 하며, 특히 ensemble의 경우 네트워크의 parameter 수가 대폭 증가 [45] 하는 문제가 있다. 게다가, 기존 객체 탐지 네트워크를 위한 능동적 학습 방식은 localization uncertainty는 고려하지 않고, 오직 classification uncertainty에만 의존하는 한계가 있다. 그러므로 능동적 학습을 위한 완전한 해결책이 되지 못한다.
이 장에서는 심층 객체 탐지를 위한 novel한 능동적 학습 방법을 제안한다. 제안 방법은 single model 기반 single forward pass를 사용하여 multiple models 기반 방법 대비 연산량을 대폭 감소시킨다.
그럼에도 불구하고, 제안 방법은 높은 정확도를 유지한다. 이를 위해서, 제안 방법은 localization과 classfication task의 aleatoric과 epistemic uncertainty를 능동적 학습에서 모두 활용한다. 그림 4.1에서 볼 수 있듯이, 제안 방법은 localization과 classification task에서 두 가지
uncertainty를 모두 예측하기 위해 네트워크의 각 출력 head를
Gaussian mixture model을 학습하는 mixture density network [20]로 모델링 한다. 제안 네트워크를 학습하기 위해, inconsistent 데이터에 대해 regularizer 역할을 하는 새로운 loss function을 제안하며, 이를 통해 더욱 robust한 모델을 만든다. 제안 scoring function은 이미지 내 모든 물체의 localization과 classification 기반 uncertainty들을 모두 활용하여 informativeness score를 계산하다. 능동적 학습에서 모든
task의 uncertainty들을 활용하는 것이 정확도 향상에 중요한 요소라는 것을 실험에서 보이며, 제안 방법의 우수성을 일반적인 object detection 데이터 셋인 PASCAL VOC [80]와 MS-COCO [71]에서 보인다. 제안 능동적 학습 방법은 single-model 기반의 기존 연구들보다 정확도가 우수하며, 기존의 multiple models 기반 방식들과는 유사한 정확도를 보이면서 계산 비용을 대폭 감소시킨다.
그림 4.1. 제안 방법 overview.