Proposed similarity measure is composed of entropy, Haar wavelet feature vector, and modified Sensus transform. A combination of entropy with Haar-wavelet feature vector and modified Census transform as similarity measure was proposed to find correspondence.
로컬 최적화 방법은 간단한 유사성 측정과 에너지 함수를 가지므로 구현이 쉽고 풍부한 텍스처 영역에서 정확한 변위를 얻을 수 있습니다. 여러 연구 결과를 통해 전역 최적화 방법으로 얻은 변위가 가장 좋은 로컬 변위입니다.
관련 연구
전역 휘도 변화에서는 좋은 성능을 보이지만 두 이미지 간의 선형 관계가 변경되기 때문에 로컬 휘도 변화에서는 성능이 좋지 않습니다. 유사성 측정을 개선하기 위한 이러한 방법은 전역 밝기 변화에 강합니다.
연구 내용
제안된 유사성 척도는 변위가 빠르게 변화하는 경계 영역과 텍스처가 없는 평평한 영역에서 우수한 정합 성능을 보였으며, 서로 다른 광학적 조건을 갖는 스테레오 영상에서도 대응점 간의 유사성을 정확하게 반영했습니다. 또한, 이미지 피라미드의 모든 레이어에 대해 정합을 수행함으로써 최상위 레이어에만 정합을 수행하는 기존 다중 해상도 스테레오 정합 기법보다 밀도가 높은 변위 맵을 얻을 수 있었습니다.
논문의 구성
제안된 최적화 방법은 에너지 함수 최적화 과정에서 8방향에 축적된 에너지를 적분하여 프로그래밍 탐색의 동적 방향과 일치하지 않는 경계 영역의 변위와 점진적으로 변하는 변위를 잘 추정하고 줄무늬 현상을 제거하였다. 그런 일이 일어난다는 걸 기존의 동적 프로그래밍 방식이 개선되었습니다.
스테레오 시각
3D 깊이 정보 계산을 위한 스테레오 비전의 흐름도입니다. 스테레오 이미지에서 해당 지점의 변위와 실제 거리 사이의 관계는 그림 2.2에 나와 있습니다.
스테레오 정합
유사도 척도
스테레오 매칭은 매칭되는 요소에 따라 특징 기반 매칭과 지역 기반 매칭으로 나눌 수 있다. 스테레오 등록을 위한 유사성 및 깊이 정보 계산.
최적화 방법
전역 최적화 방법은 부분 최적화 방법에서 발생하는 매칭 윈도우로 인해 불일치 없이 비교적 정확한 변위 선도를 얻을 수 있다. 이때는 반복확산을 주로 사용하며, 확산이 발생함에 따라 각 변위의 확률이 다른 픽셀로 전달된다.
환경 변화에 강인한 유사도 척도
특징 기반 유사도 척도
그래프 컷을 통해 얻은 변위 다이어그램의 특징은 경계 픽셀에 따라 변위가 달라지기 때문에 일반적으로 이미지 분할 기법과 함께 적용됩니다. 그래디언트가 얻어지는 영역을 × 크기의 하위 이미지 블록으로 나누고 각 영역에 대해 그래디언트 성분을 계산합니다.
명암도 기반 유사도 척도
로컬 설명자를 사용하는 방법은 이미지 회전, 크기 조정 및 조명 변경에 강하므로 기준선이 긴 환경에서 좋은 성능을 나타냅니다. MI는 이미지 강도의 결합 확률 분포를 사용하여 두 이미지 간의 상호 정보량을 계산합니다.
비모수 유사도 척도
3장 엔트로피와 인구 조사 기반 평등 측정. 이번 장에서는 엔트로피와 인구 조사를 기반으로 한 유사성 측정을 제안합니다.
엔트로피 기반의 유사도 척도
엔트로피
엔트로피를 이용한 MI 유사도 척도
제안한 Haar 웨이블렛 특징을 결합한 엔트로피 유사도 척도
화소 단위 엔트로피
전체 밝기 변화가 발생한 알로에 이미지와 MI에 대한 변위 다이어그램은 그림 3.4에 나와 있습니다. 국부적인 밝기 변화가 발생한 알로에 이미지와 MI 변위 다이어그램은 그림 3.5에 나와 있습니다.
Haar 웨이블렛 특징을 결합한 엔트로피
제안된 유사성 측정에서 Haar 웨이블릿 특징 벡터와 엔트로피의 역할은 그림 3.10에 나와 있습니다. Moebius 이미지의 엔트로피와 Haar 웨이블릿 기능 벡터 변위 다이어그램.
제안한 Census 변환 기반의 유사도 척도
Census 변환
이러한 문제는 인구조사 변환 시 중앙 픽셀과 주변 픽셀 사이의 평균값을 계산하여 중앙 픽셀 값 대신 비교에 사용하면 개선될 수 있습니다. 평균 인구 조사 변환은 중앙 픽셀이 노이즈의 영향을 받더라도 해당 영역의 평균 값을 기준으로 주변 픽셀과 비교를 수행하므로 상대적으로 견고합니다.
제안한 Census 변환을 이용한 유사도 척도
본 장에서는 8방향의 동적 프로그래밍을 적용하여 변위를 추정하는 최적화 방법을 제안한다. 3D DSI를 이용하여 8개 방향 각각의 각 픽셀의 누적 에너지를 구하고 적분하여 적분 에너지가 최소화되는 변위를 구합니다.
동적 계획법
이런 식으로 검색 영역의 모든 변위에 대해 동일합니다. 따라서 제안하는 방법에서는 8방향에서 일대일 매칭을 사용하였다.
제안한 8방향 동적 계획법
동적 프로그래밍 방법을 네 방향에 적용하여 얻은 원뿔 이미지의 변위 다이어그램은 그림 4.5에 나와 있습니다. 이 영역에 수직 방향의 동적 프로그래밍을 적용하여 얻은 변위 다이어그램이 그림 4.5에 나와 있습니다. (a)와 (b) Middlebury Stereo Vision Lab에서 발표) 그림.
가우시안 영상 피라미드
제안하는 방법은 가우시안 피라미드를 이용하여 영상을 계층화한다. 가우스 피라미드의 예측 차이 이미지는 라플라시안 피라미드를 형성합니다.
제안한 다해상도 기반 스테레오 정합
결과 변위 다이어그램은 원본 이미지의 크기로 확대됩니다. 제안하는 다중해상도 기법은 이미지 피라미드의 각 단계에서 정합을 수행한다.
제안한 방법의 오류율과 변위를 기존 방법과 비교하기 위해 노이즈가 있는 RDS 이미징 실험과 노이즈가 없는 RDS 이미징 실험을 수행했습니다. 카메라 노출 시간과 조도 변화에 따른 제안 방법의 성능을 확인하기 위해 환경 변화가 발생한 표준 영상 실험을 수행하였다.
스테레오 정합 실험
RDS 영상 실험
본 실험에서 얻은 변위 맵의 불일치 픽셀 비율과 평균 제곱 오차는 표 6.3에 나와 있습니다. 특히, 제안하는 방법은 기존 MI의 불일치 픽셀 속도를 두 배 이상 향상시킵니다.
츠쿠바 이미지의 변위 다이어그램. (a)와 (b) Middlebury Stereo Vision Lab에서 출판) Fig. i) 제안된 방법(HEC+8path DP). 특히 전단불연속 영역에서는 다른 방법에 비해 성능이 우수하였다.
환경 변화가 발생한 표준 영상 실험
순록 영상에서는 제안한 방법의 불일치율에서 유의미한 차이가 나타났다. 뫼비우스 영상에서는 빛의 변화에 따른 밝기 변화의 불균일 정도가 크지 않기 때문에 공간정보를 활용한 제안 방법의 성능은 AWSM의 적응적 가중치에 비해 효율성이 떨어지는 것으로 추정된다.
실제 영상 실험
그리고 다른 영상들과 다르게 배경 오프셋이 엄청나네요. 조리개가 닫힌 BOG 이미지의 왼쪽 이미지와 변위 다이어그램.
계산 속도
제안한 방법을 다중해상도 기법에 적용한 경우 GC를 적용한 경우에 비해 계산 시간이 약 25% 단축되었다. 각 유사성 측정값을 계산하고 결합하는 데 필요한 시간은 약 225msec였습니다.
제안한 방법의 정합 성능에 대한 고찰
Shum "Stereo Matching Using Belief Propagation," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. Stereo, en beligting-onveranderlike gesigsherkenning,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.
