4.4 본 연구의 실험 결과
4.4.4 Parameter 민감도
본 장의 첫번째 실험에서 mixture 개수 (K)에 따른 성능을 비교한다. 표 4.12는 제안 Gaussian mixture model 기반 네트워크에서 mixture 개수가 1, 2, 4, 그리고 8일 때의 정확도 및 계산 비용 결과를 나타낸다. 정확도의 경우 IoU>0.5인 normal metric과 IoU>0.75인 strict metric에서 3번의 독립 시행에 대한 평균 정확도와 표준 편차를 제시한다. 계산 비용의 경우 모델 parameter 수와 forward time을 사용해 비교한다. 표에서 M는 million을 의미하며, sec는 seconds를
의미한다. 실험 결과에서 K가 1과 8인 경우 정확도가 하락함을 확인할 수 있다. K가 1인 경우 single Gaussian 모델이기 때문에 복잡한 분포를 모델링하지 못하며, epistemic uncertainty를 예측할 수 없다. K 개수가
많아지는 경우 fluctuation 때문에 실제 구현 모델을 학습시키기가 어렵다. 이러한 이유로 정확도 하락이 발생한다. Parameter 수와 forward time은 K에 따라 많은 차이를 보인다. 본 연구에서는 normal metric과 strict metric의 정확도와 계산 비용의 trade-off를 고려하여 가장 좋은 성능을 보인 K=4를 사용해 모든 실험을 진행하였다.
표 4.12. VOC07 데이터에서 mixture model 개수에 따른 정확도 및 계산 비용 비교.
이 외에도, 제안 모델링 방법이 input resolution에 강경하다는 것을 보이기 위해 제안 모델과 baseline의 input resolution에 따른 성능 결과를 표 4.13에 제시한다. Input resolution으로는 512×512와 이전 결과에서 사용한 300×300을 사용하여 비교한다. 해당 실험은 표
4.1에서 한 실험과 input resolution을 제외하고는 동일하다.
Baseline으로는 SSD [10]를 사용하며, 표 4.13에서 볼 수 있듯이 input resolution이 증가해도 제안 방법은 baseline 대비 mAP를 대폭 향상시킨다 (높은 input resolution에서 strict metric (IoU>0.75) 기준 SSD보다 정확도가 2.49 percent points 향상). 즉, 제안 방법은 예측
bounding box와 ground-truth box의 높은 intersection이 필요한 시나리오에서 두드러진 성능 향상을 보인다.
표 4.13. Input resolution에 따른 정확도 (%) 비교.
제안 능동적 학습 방법의 budget number에 따른 성능 비교 결과를 표 4.14에 제시한다. 4.4.2 장에서 언급한 VOC07+12 데이터에서의 능동적 학습 결과는 이전 연구 [15]와의 비교를 위해 1k (1,000개)의 budget number를 사용하였다. 본 실험에서는 추가로 3k와 9k budget number일 때의 능동적 학습 결과를 비교한다. 표에서 결과 값은 이전과 동일하게 3번의 독립 시행에 따른 평균 정확도와 표준편차이다. 표 4.14에서 볼 수 있듯이, budget number가 작을수록 능동적 학습의 정확도 향상폭이 크다. 능동적 학습의 마지막 iteration인 10k에서 정확도 비교 시, 9k budget인 경우 0.7493 mAP 성능을 보이지만, 3k에서는 0.7550 mAP 성능을 보인다. 반면에 1k인 경우 0.7598 mAP로 가장 높은 정확도를 보인다. 일반적으로 budget number가 작을수록 전체 능동적 학습 시간이 길어지기 때문에 사용자의 application 및 데이터 양에 따라 알맞은 budget number 설정이 필요하다.
표 4.14. 능동적 학습에서 budget number에 따른 mAP 비교.
능동적 학습을 통한 정확도의 saturation point 확인을 위해, 표 4.14의 1k budget number에 대해 능동적 학습을 계속 수행한다.
VOC07+12의 모든 데이터를 사용해서 학습한 경우 (즉, 총
16,551개의 데이터), 77.20% mAP의 정확도를 보인다. 하지만, 제안 능동적 학습을 사용한 경우 14k (14,000개)의 데이터만으로 77.28%
mAP를 보여, 적은 데이터를 사용했음에도 더 높은 정확도를 달성한다.
Random sampling으로 14k 데이터를 sampling한 후 학습한 경우에는
76.32% mAP를 보인다. 즉, 제안 능동적 학습 방법으로 정확도의
saturation point에 빨리 도달할 수 있으며, random sampling보다 성능이 우수하다.