4. 실험결과 및 분석
4.3 데이터 정제 평가 결과
4.3에서는 제안된 데이터 정제 방법으로 제거된 데이터 개수를 살펴보 고 그 효과를 보여준다. 먼저 다음 [표4-3]에서 3.5의 데이터 정제 방법 을 적용하여 합성곱 신경망 별, 전이학습 유형별로 제거된 학습 영상의 개수와 비율을 나타내었다. 또한 검증 영상과 시험 영상도 엔트로피 값 으로 정렬 후 같은 비율로 영상들을 정제하였다.
유형 1 유형 3
AlexNet 3150(10.00%) 3045(9.67%) MobileNet V2 2877(9.13%) 2730(8.67%) Inception-ResNet V2 2457(7.80%) 2058(6.53%) [표 4-3] 신경망 종류, 전이학습 유형별 제거된 학습 영상의 개수와 비율
이때 제거된 학습 영상의 개수와 비율을 살펴보면, 정확도가 높은 경 우일수록 제거되는 영상은 적은 경향을 보인다. 더 자세한 분석을 위해 구역별로 제거된 영상의 비율을 계산하였다. 다음 [그림 4-8]은 신경망 종류별과 전이학습 유형별 실내 위치 추정 후, 데이터 정제 방법을 사용 하여 구역별로 제거된 영상의 비율을 표현한 그래프이다.
[그림 4-8] 구역별 제거된 영상의 비율 그래프
위와 같이 구역별로 제거된 영상의 비율이 다른 이유는 신경망의 분류 정확도에 따라 제거에 사용될 엔트로피의 기준이 결정되기 때문이다. 데 이터 정제 방법에서 정보가 부족한 영상을 제거하기 위해, 정분류 된 영 상의 비율이 50%이상이 될 때 까지 제거할 기준이 되는 엔트로피를 증 가시켰다. 그러므로 정확도가 높은 구역과 합성곱 신경망 종류, 그리고 전이학습 유형 일수록 정분류의 빈도가 높아 엔트로피의 기준이 낮기 때 문에 제거되는 영상이 적음을 알 수 있다. 특히 구역 15의 경우, 엔트로 피 값이 낮은 영상들은 사물함이 포함된 영상이 대다수였고 이들의 절반 이상은 구역 15로 정분류되어 제거된 영상의 비율이 모든 경우에서 낮았 다. 마찬가지로, 구역 5와 구역 12는 물체가 거의 없는, 비어있는 특징의 장소로 해당 구역의 영상들은 낮은 엔트로피 값을 가지는 빈 벽만 포함 한 영상이 다수였으나, 학습된 합성곱 신경망이 그러한 영상들을 구역 5 와 구역 12로 분류하도록 학습되었다. 그러므로 엔트로피가 낮은 구역 5 와 구역 12의 영상들을 분류 시, 정분류 된 빈도가 높아 제거된 비율이 상대적으로 낮았다.
다음으로 데이터 정제의 효과를 알아보기 위한 데이터 정제 전과 후의 정확도를 살펴본다. [표 4-4]와 [표 4-5]는 각각 정제된 영상들을 이용하 여 학습한 합성곱 신경망들과 정제하지 않은 영상들을 이용하여 학습한 합성곱 신경망들의 top-1 정확도, top-3 정확도 그리고 정제 전과 후의 정확도의 차이를 나타낸 표이다.
합성곱 신경망 종류
전이학습
유형 정제 전 정제 후 차이
AlexNet 유형 1 67.90% 68.89% 0.99%
유형 3 75.58% 76.78% 1.20%
MobileNet V2 유형 1 76.56% 79.49% 2.93%
유형 3 78.11% 80.67% 2.56%
Inception ResNet V2
유형 1 78.56% 81.22% 2.67%
유형 3 87.69% 89.27% 1.58%
평균값 77.40% 79.39% 1.99%
[표 4-4] 학습 데이터 정제 전 영상을 학습한 신경망의 top-1 정확도, 정제 후 영상을 학습한 신경망의 top-1 정확도와 그 차이
합성곱 신경망 종류
전이학습
유형 정제 전 정제 후 차이
AlexNet 유형 1 90.62% 92.29% 1.67%
유형 3 93.69% 94.53% 0.84%
MobileNet V2 유형 1 94.13% 95.47% 1.33%
유형 3 94.47% 96.20% 1.73%
Inception ResNet V2
유형 1 94.76% 96.24% 1.49%
유형 3 97.51% 98.51% 1.00%
평균값 94.20% 95.54% 1.34%
[표 4-5] 학습 데이터 정제 전 영상을 학습한 신경망의 top-3 정확도, 정제 후 영상을 학습한 신경망의 top-3 정확도와 그 차이
top-1 정확도는 정제 후 평균 1.99%만큼 증가하였으며 top-3 정확도 는 정제 후 평균 1.34%만큼 증가하였다. 정확도 증가의 요인을 분석하기 위해 시험영상 중 낮은 엔트로피를 가지는 영상에 주목하였다. 다음 [그 림 4-9]와 [표 4-6]은 시험영상들 중 제거된 영상의 엔트로피보다 낮은 엔트로피를 갖는 영상의 예시와 그 영상들을 합성곱 신경망으로 분류한 정확도이다.
[그림 4-9] 구역별 데이터 정제에 사용된 엔트로피 기준보다 작은 엔트로피를 가진 시험 영상의 예시
합성곱 신경망 종류
전이학습
유형 정제 전 정제 후 AlexNet 유형 1 29.11% 14.29%
유형 3 28.11% 11.43%
MobileNet V2 유형 1 27.50% 13.21%
유형 3 17.68% 9.82%
Inception ResNet V2
유형 1 35.36% 19.29%
유형 3 22.86% 17.86%
평균값 26.77% 14.32%
[표 4-6] 데이터 정제에 사용된 엔트로피 기준보다 낮은 엔트로피를 가진 시험 영상들의 분류 top-1 정확도
[그림 4-9]의 예시 영상과 같이 시험 영상 중에는 정보량이 적어 시각 적 실내 위치 추정 방법으로 위치를 확인하기 어려운 영상이 존재한다.
이 영상들을 정제 전 영상으로 학습시킨 신경망과 정제 후 영상으로 학 습시킨 신경망을 이용하여 분류 정확도를 측정한 결과는 [표 4-6]과 같 다. 이렇게 정보가 부족한 영상을 분류하면 두 신경망 모두 낮으면서 비 슷한 정확도가 측정되어야 하나, 정제 전의 영상으로 학습시킨 신경망은 모든 경우에서 정제 후의 영상으로 학습시킨 신경망보다 정확도가 높다.
그러므로 정제 전의 영상으로 학습시킨 신경망은 정보가 부족한 영상도 학습이 된 상태로 볼 수 있으나, 이들의 정확도가 신경망들의 평균 정확 도보다 낮으므로 학습의 효과가 적다고 할 수 있다. 또한 정보가 적은 영상을 학습시키지 않은, 정제 후 영상을 이용한 신경망들은 정보가 적 은 영상에 대한 정확도가 더 낮다. 대신 정보가 [표 4-7]에서 볼 수 있 듯, 적지 않은 영상들에 대해 더욱 분류가 잘 되도록 신경망이 학습되어 모든 경우에서 top-1 정확도는 평균적으로 1.99%만큼 증가하였음을 확 인가능하다.
합성곱 신경망 종류
전이학습
유형 정제 전 정제 후 AlexNet 유형 1 72.22% 74.87%
유형 3 80.66% 82.45%
MobileNet V2 유형 1 81.49% 82.92%
유형 3 83.95% 84.59%
Inception ResNet V2
유형 1 82.21% 83.57%
유형 3 92.22% 92.57%
평균값 82.11% 83.33%
[표 4-7] 데이터 정제에 사용된 엔트로피 기준보다 높은 엔트로피를 가진 시험 영상들의 분류 top-1 정확도