우리는 객체 감지 딥 러닝을 위한 맞춤형 데이터 세트를 구축했습니다. YOLOv4, YOLOv3, YOLOv3의 전체 작은 구조를 기반으로 딥러닝을 수행했습니다.
서론
연구 배경 및 필요성
이는 딥러닝 기술 등 데이터러닝 기반 인공지능 기술이 해결하지 못한 과제다. 이 경우처럼 딥러닝 지도학습에 필요한 데이터 작업에 소요되는 시간과 비용이 극복해야 할 문제이다.
딥러닝을 위해서는 데이터 세트 구축이 필수적입니다. 먼저 객체 감지를 위한 딥러닝에 필요한 맞춤형 데이터 세트를 구축했습니다.
데이터 증식 프레임 워크
데이터 수집 및 전처리
온라인 데이터 수집 방법 중 하나는 데이터 크롤링 기술입니다. 또한, 유튜브 등의 영상 플랫폼에서 영상 추출 및 이미지 변환을 통해 데이터를 획득하였다.
데이터 증식
이미지 조작 함수 코드는 처리 중인 이미지를 반영하도록 설계되었습니다. 회전(Rotate)은 기존 이미지의 중심점을 기준으로 회전시켜 이미지를 생성한 것입니다. 동일한 S&P 및 가우스 모드 비율로 이미지를 생성했습니다.
위의 이미지 처리를 위한 매개변수 설정은 Table 3과 같이 선택하였다. 이미지 확대는 위의 DCGAN과 WGAN을 적용하여 수행하였다.
증식 데이터셋 구축
이는 DCGAN과 WGAN의 출력 이미지인 저해상도 128x128 이미지를 복구하여 데이터 세트에 추가한다는 의미입니다. 아래 그림 15는 학습된 SRGAN을 통해 만들어진 이미지이다. 입력 이미지에서 일관된 색상 이미지를 재생성하는 데 문제가 있습니다.
이러한 현상을 보완하기 위해 수집된 이미지를 바탕으로 조작(Manipulation)의 색상 변환을 적용하여 다른 색상으로 변경된 대상이 포함된 이미지를 생성했습니다. DCGAN 및 WGAN 학습을 위한 입력 이미지로 색공간 이미지와 수집된 이미지를 주입했습니다.
딥러닝 알고리즘
YOLOv3-tiny는 아래 그림 18과 같이 convolution 레이어와 기존 Darknet 19의 백본인 maxpool 레이어로 구성됩니다. 또한 YOLOv3 감지기는 3개의 스케일로 감지하는 반면, YOLOv3 소형 감지기는 2개의 스케일로 구성됩니다. 기존 YOLOv3는 53개의 폴딩 레이어를 포함한 백본과 함께 총 106개의 레이어로 구성되어 있습니다.
YOLOv3-tiny는 7개의 컨볼루션 레이어를 포함하여 총 23개의 레이어로 구성됩니다. 아래 그림 20에서 볼 수 있듯이 CSP 모듈은 BiFPN에서 사용되는 MIWRC(다중 입력 가중치 잔여 연결) 및 CSP(교차 부분 연결)를 기반으로 백본 재구성을 통해 CSPdarknet53을 구축합니다.
딥러닝 기반 학습
데이터 추가 부분에서는 모자이크(Mosaic)와 자가 일관성 학습(Self-Condependent Training)을 적용했습니다. CSPdarknet53 외에도 SPP 블록, PAN 블록, SAM 블록을 추가하여 아키텍처를 만들었습니다. Box 예측은 YOLO9000에 적용된 차원 그룹화를 사용하여 수행되었습니다.
이를 통해 IoU의 정확도를 높이려고 노력했습니다. 추가적으로 앙상블 정규화와 멀티스케일 학습이 적용되었습니다.
정확도 평가
전파 데이터 유형과 딥러닝 객체 인식 유형으로 나누어 성능을 평가하였다. YOLOv4와 마찬가지로 데이터 세트를 분류하여 학습을 수행했습니다. YOLOv3, YOLOv4와 마찬가지로 데이터셋을 분류하여 학습을 진행하였다.
위 결과에서 볼 수 있듯이 본 논문에서 제안한 증식형 데이터셋은 세 가지 딥러닝 구조 모두에서 획득되었으며 성능 검증이 수행되었다. 세 가지 딥러닝 구조로 훈련된 모델은 추가된 GAN 생성 이미지에 비해 조작이 추가되었을 때 인식 정확도가 더 크게 증가하는 것으로 나타났습니다.
로봇 기반의 실증 테스트
Robot Configuration
대상 인식을 위한 이미지 데이터를 획득하기 위해 Intel d435i 카메라가 사용되었습니다. NVIDIA가 개발한 GPU 아키텍처인 Maxwell 아키텍처를 채택했으며, 128개의 코어로 구성됩니다. GPE 아키텍처인 Maxwell 구조를 채택하고 128개의 코어로 구성됩니다.
실제 환경에서 실시간 카메라로 촬영한 영상 데이터를 이용하여 각 딥러닝 모델의 인식률을 비교하였습니다. ROS 플랫폼을 이용하여 실제 환경에서 로봇을 실행하고 객체 감지 성능을 검증했습니다.
Experiment
인식대상이 위치한 3개의 영역을 각각 분리하여 정확도를 비교하였다. 노란색 선은 수집된 이미지, GAN 생성 이미지, 조작 생성 이미지를 포함한 데이터 세트로 훈련된 모델의 정확도입니다. 하지만 표시판에 가까워질수록 정확도가 향상됐다.
로봇이 직선으로 움직이지만, 빛 등 환경 변화에 따라 파란색의 정확도가 상당히 달라지는 것을 알 수 있다. 정확도의 차이는 알고리즘의 깊이와 실제 환경에서 테스트한 데이터 세트의 양에 따라 달라집니다.
2] Author 1, Joseph Redmon; By 2, Santosh Divvala; By 3, Ross Girshick; Author 4, Ali FarhadiChapter Title. 5] Author 1, Alexey Bochkovskiy; Author 2, Chien-Yao Wang; Author 3, Hong-Yuan Mark Liao; YOLOv4: Optimal object detection speed and accuracy. 13] Author 1, Christian Ledig; Author 2, Lucas Theis; Author 3, Ferenc Huszar; Author 4, Jose Caballero; By 5, Andrew Cunningham.
18] Author 1, Ze Yang; Author 2, Shaohui Liu; Author 3, Han Hu; Author 4, Liwei Wang; Author 5, Stephen Lin; RepPoints: Point set representation for object detection.
ABSTRACT
We apply rotation, inversion, blur and random noise in image manipulation, and deep learning based GAN are trained through DCGAN, WGAN and SRGAN structures. To validate the performance of the corresponding dataset, we perform learning with a YOLO family structure, a 1-step object recognition algorithm. Deep learning learning is performed based on the total YOLOv4, YOLOv3, and YOLOv3 small structures.
In the YOLOv4 tutorial, we use the latest deep learning techniques, the Mish activation function, DropBlock that performs nested dropouts, and CmBN to generate optimal models. The performance verification of the generated model was performed based on AP and the stable and high performance of the presented data set was verified by testing according to the data type in the real-time environment.
