YOLO [9]는 two-stage detector들의 region proposal 방식 대신에 이미지를 grid 단위로 나누어 처리하며, detection layer (즉, output layer)의 feature map을 bounding box coordinates, objectness score 그리고 class (confidence) scores가 출력되도록 설계하여 한번의 inference로 여러 object 검출이 가능하게 하였다. 그렇기 때문에 기존 방식들에 비해 검출 처리 속도가 매우 빠르다. 하지만 grid 단위의 처리로 인해 localization error가 크고 검출 정확도가 낮아
자율주행 application에서 사용되기에는 적합하지 않다. 이러한 문제를 해결하기 위해 YOLOv2 [68]가 제안되었다. YOLOv2는 모든 convolution layer에 batch normalization을 추가하고 anchor box, multi-scale training, 그리고 fine-grained feature 등을 적용하여 기존 YOLO [9]보다 검출 정확도를 개선하였다. 하지만 여전히 작은 물체와 dense한 물체들에 대해 검출 정확도가 낮다는 문제가 있다.
그러므로 표지판, 신호등과 같은 작은 물체와 밀집된 차량 등에 대해 높은 검출 정확도가 필요한 자율주행 application에 사용되기에는 한계가 있다.
이러한 YOLOv2의 단점을 보완하기 위해 YOLOv3 [6]가 제안되었다.
YOLOv3는 그림 3.1과 같이 convolution layer로만 구성되며, deep network에서 vanishing gradient 문제 처리에 도움이 되는 residual skip connection과 작은 물체 검출을 위해 fine grained feature를 보존하는 up-sampling 및 concatenation 기법을 적용하였다. 가장 두드러진 특징은 feature pyramid network [69]와 비슷한 방법으로 3개의 다른 scale에서 detection을 수행하는 것이다. 이를 통해 YOLOv3는 여러 크기의 물체를 검출할 수 있다. 좀 더 자세히 설명하면, YOLOv3의 입력으로 R, G, B의 3 channel 이미지가 입력되면, 그림 3.1의 네트워크를 거쳐 3개의 detection layer에서 물체 검출을 위한 정보 (즉, bounding box coordinates, objectness score, class scores)를 출력한다. 그리고 이들 결과를 종합하여 non-maximum suppression으로 후 처리함으로써 최종 검출 결과를 얻는다. YOLOv3는 1×1와 3×3의 작은 크기의 convolution filter로만 구성된 fully convolution network로 기존 YOLO [9], [68]처럼 처리 속도가 빠르며, 여러 크기의 물체에 대해서 고른 정확도를 보인다. 이러한 관점에서
YOLOv3는 자율주행 application에 사용하기 적합하여, 자율주행
연구에서 활용 [70]되고 있다. 하지만, region proposal stage를 사용하는 two-stage object detector보다는 상대적으로 낮은 정확도를 보인다. 이러한 문제를 보완하기 위해, 기존의 two-stage detector들 보다 연산량이 작은 YOLOv3에 localization uncertainty를 예측하고 알고리즘의 성능을 향상시킬 수 있는 기법을 적용함으로써 자율주행 application에 더 효율적인 알고리즘을 설계할 수 있다. Bounding box에 대한 Gaussian 모델링과 loss function 재설계를 통한 loss attenuation으로 학습 시 noisy한 데이터의 영향을 줄여 정확도를 향상시킨다. Inference 시 localization uncertainty를 예측하고, 예측한 localization uncertainty를 검출 과정에 활용함으로써 false positive를 대폭 줄인다. 다음 장에서 이에 대해 자세히 다룬다.
그림 3.1. YOLOv3의 네트워크 구조.