4.2 Distance and Angle Filter 실험 결과
4.2.1 Distance Filter 실험 결과
먼저 강남역에서 촬영한 영상을 기준으로 5개의 객체 각각 Planetb,
Sushi, Twosome place, OST, YBM 간판을 검출하였다. 영상은 기본적으로 걸
으면서 촬영된 영상이다.
Distance filter 로고 ASIFT
오검출
Distance filter 이용 제거된 오검출 수
오검출 제거율
Filter false negative
rate
Filter false positive
rate
Planetb 764 527 68.98% 8.90% 2.88%
Sushi 693 407 58.73% 12.38% 2.45%
Twosome 713 450 63.11% 10.80% 0.98%
OST 846 663 78.37% 19.08% 7.08%
YBM 916 812 88.65% 2.38% 2.40%
Average 786.4 571.8 72.71% 11.35% 3.25%
[표 4. 1 강남역 간판검출 Distance filter 성능 평가]
위의 표는 Distance filter의 성능을 평가한 표이다. 첫 번째 열에는 각각 사용한 로고를 표시하였다. 두번째 열에는 ASIFT만 수행하였을 때 검출 된 결과 중 Ground truth 대비 오 검출인 frame의 수를 나타내었다. 세번째
열에는 Distance filter를 통해 제거된 오검출 frame 수를 나타내었으며 네 번째 열에는 실제 distance filter를 통해 제거한 오검출의 비율을 나타내었 다. 각 로고의 특성에 따라서 다르나 일반적으로 최저 59%, 최대 89% 정 도의 오검출 결과를 distance filter를 통해 제거할 수 있음을 알 수 있다.
다섯번째 열에는 Ground truth 상 검출이 되었어야 하지만 distance filter 에 의해 기각된 비율을 나타내고 있다. 이를 통해 실제 기각하지 말았어 야 하는 것도 distance filter에 의해 기각 당하는 것을 확인 할 수 있으나 실제 확인 결과는 Ground truth임에도 정확하지 않은 모양으로 검출되는 경우에 주로 기각 당한 것을 아래 그림 4.1에서 확인해 볼 수 있다. 따라 서 Ground truth 상 검출이 되었어야 하지만 distance filter가 기각하였다고 하여 그것이 distance filter의 문제라고 보기는 어렵다.
[그림 4. 1 Ground Truth 인 distance filter 기각 예제]
여섯번째 열에는 Ground truth false 대비해 distance filter를 통과한 잘못된 검출의 경우의 비율을 나타낸다. 평균 3%정도의 잘못된 검출 결과가 우 연히도 distance filter를 통과하며 이는 결과적으로 오검출을 유발할 수 있 다.
ASIFT ASIFT with Distance filter 로고 True Positive
Rate
False Positive Rate
True Positive Rate
False Positive Rate
Planetb 100.00% 100.00% 91.10% 2.88%
Sushi 100.00% 100.00% 87.62% 2.45%
Twosome 100.00% 100.00% 89.20% 0.98%
OST 100.00% 99.76% 80.92% 7.08%
YBM 100.00% 100.00% 97.62% 2.40%
Average 100.00% 99.95% 88.65% 3.25%
[표 4. 2 강남역 간판검출 ASIFT 와 ASIFT with Distance filter 성능 비교]
위의 표는 previous ASIFT의 결과에 대비해 Distance filter 만 도입하였을 때 검출결과의 변화를 나타낸 표이다.
로고를 제외한 둘째, 셋째 열은 기존의 ASIFT 기반일 때 True Positive
Rate와 False Positive Rate를 나타낸다. 이 두 열을 놓고 보았을 때 거의 모
든 경우에서 ASIFT 알고리즘은 알맞은 검출을 수행했다고 하지만 실제로 는 모든 Ground truth 상 true, false에 상관없이 모든 frame에 객체가 있다고 검출하는 것을 알 수 있다.
실제 ASIFT 와 distance filter를 함께 사용한 결과 True Positive Rate가 떨 어진 것을 볼 수 있다. 기존에 100% 에서 88.65%으로 11.35%가량 떨어졌
다. 그러나 다섯째 열을 보면 distance filter의 도입으로 false positive가 어느 정도 줄었는지를 확인 할 수 있다. 기존 99.95%에서 3.25%로 떨어졌으며 96.75%의 false positive 감소한 것을 확인할 수 있다.
서울대 입구역에서 촬영된 동영상으로 간판 NHBank, Gongcha, Hakoya,
Orange 안경점, Apgujung 김밥에 대한 검출하였다. 그 결과는 다음과 같다.
Distance filter 로고 ASIFT
오검출
Distance filter 이용 제거된 오검출 수
오검출 제거율
Filter false negative
rate
Filter false positive
rate
NHBank 837 527 83.15% 26.38% 2.51%
Gongcha 836 407 86.12% 39.63% 2.03%
Hakoya 808 450 76.49% 11.46% 2.48%
Orange 823 663 78.49% 14.08% 6.41%
Apgujung 735 812 66.80% 10.25% 3.31%
Average 807.8 634.2 78.51% 19.34% 3.37%
[표 4. 3 서울대입구역 간판검출 Distance filter 성능 평가]
표 4.3은 서울대 입구역 간판에 대한 Distance filter의 성능을 평가한 표 이다. 표를 통해 보면 Distance filter는 평균적으로 78.51%의 오검출을 제거 하며 Ground truth 대비 약 3.37% 정도의 잘못된 검출 결과만이 distance
filter를 통과하는 것으로 나타났다.
ASIFT ASIFT with Distance filter 로고 True Positive
Rate
False Positive Rate
True Positive Rate
False Positive Rate
NHBank 100.00% 100.00% 73.62% 2.51%
Gongcha 100.00% 100.00% 60.37% 2.03%
Hakoya 100.00% 100.00% 88.54% 2.48%
Orange 100.00% 95.92% 85.92% 6.41%
Apgujung 100.00% 97.22% 89.75% 3.31%
Average 100.00% 98.63% 80.66% 3.37%
[표 4. 4 서울대입구역 간판검출 ASIFT와 ASIFT with Distance filter 성능 비교]
위의 표는 서울대 입구역 간판 검출시 ASIFT만 사용한 결과 대비
ASIFT에 Distance filter만 사용했을 때 검출 결과를 표로 나타낸 것이다.
ASIFT만 이용하였을 때는 의미 없는 True positive와 False Positive가 95%이
상인 결과가 나온 것에 비해 Distance filter를 사용한 후에는 잘못된 검출 의 경우는 3.37%로 줄어 정확성이 향상 된 것을 볼 수 있다. 단 Distance
filter에 의해 True Positive rate역시 평균적으로 80.66%로 감소한 것을 알 수
있다.