3. 거리 측정 시스템 및 계측
3.2. 스테레오 카메라 거리 측정 방식
스테레오 카메라를 동작하고 이미지 프로세싱과 같은 영상 처리 작업을 하기 위해 많이 사 용하는 프로그램으로 파이썬을 사용하였고, 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리 OpenCV을 사용하여 영상 처리 작업의 정확도와 신속성을 향상시켰다.
카메라를 이용하여 거리를 측정하기 위해서는 필수적으로 해야 하는 작업이 있으며, 그 중 렌즈 왜곡을 보정해주는 작업과 카메라 캘리브레이션을 하는 작업을 본 논문에서 사용하여 거리 측정 결과의 정확도를 향상시켰다.[12-14]
1) 렌즈 왜곡 및 왜곡 보정
카메라 렌즈 왜곡 보정이란, 렌즈의 특성으로 생겨날 수밖에 없는 현상으로 영상에서 검출 한 물체의 실제 위치를 알기 위해 영상좌표를 물리적인 좌표로 변환할 때, 영상 왜곡을 보 정 하지 않으면 오차가 발생한다.
렌즈 왜곡은 방사왜곡(radial distortion)과 접선왜곡(tangential distortion)이 있다. 방사왜곡은 볼록렌즈의 굴절률에 의한 것으로 중심에서 멀어지고 가장자리로 갈수록 영상이 늘어나는 현상을 말한다. 접선왜곡의 경우, 카메라의 렌즈와 이미지 센서의 수평이 맞지 않거나 렌즈 자체의 중앙점이 맞지 않아서 발생하는 왜곡으로 렌즈의 중심점이 영상의 중심에 위치하지 않는 현상을 말한다.
일반적으로 렌즈 왜곡 보정을 하는 방법은 카메라 캘리브레이션을 통해 카메라 내부 파라 미터를 얻어 낸 뒤, 이 데이터를 기반으로 하여 왜곡된 영상을 조정할 때 생기는 빈 픽셀을 채워주는 방식이다. 일반적으로 접선왜곡은 거의 발생하지 않기 때문에 방사왜곡을 보정해 주는 작업으로 오차를 크게 줄일 수 있다.
2) 카메라 캘리브레이션(Camera Calibration)
카메라 캘리브레이션은 영상처리, 컴퓨터 비전 분야에서 꼭 필요한 과정중의 하나이다. 카 메라로 찍은 이미지는 2차원 자료이기에 이를 3차원의 점들이 이미지 상에서 어디에 맺히는 지는 기하학적으로 생각하면 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정된다.
하지만 이 경우 사용된 렌즈, 렌즈와 이미지 센서 와의 거리, 렌즈와 이미지 센서가 이루 는 각도 등 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받는다. 따라서 3차원 점들 이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는
이러한 내부 요인을 제거해야만 정확한 거리 정보 계산이 가능하다. 이러한 내부 요인의 파 라미터 값을 구하는 과정을 카메라 캘리브레이션 이라고 한다.
(2)
( : 이미지 평면 속 좌표, : 월드 좌표계에서 사물의 위치,
: 카메라 내부 파라미터, : 카메라 외부 파라미터)
식 (2)에서의 는 이미지 평면 속 좌표이고, 는 카메라 내부 파라미터로 초점거리 (Focal length, ), 주점(principal point, ), 비대칭계수(skew coefficient)를 포함하고 있다. 는 카메라 외부 파라미터로 월드 좌표계 기준으로 카메라의 위치 좌표 값이고,
는 월드 좌표계에서 사물의 위치이다.[15]
Fig. 3-3 거리 측정 과정
거리 측정을 하는 전체과정은 Fig. 3-3과 같다. 스테레오 카메라의 외부 파라미터를 받고, 카메라 캘리브레이션을 통해 카메라 내부 파라미터를 얻는다. 이들 모든 파라미터를 구하기 위해서는 정의된 패턴인 체스보드 이미지를 제공하는 것이다. 이미지 내부에 지정된 지점인 체스보드의 사각형 모서리를 찾으며, 이미 알고 있는 좌표의 이미지가 카메라에서 어디에 위치하는지 확인 할 수 있는 지점이다. 확인된 데이터는 식 (2)를 이용하여 왜곡 계수를 구 할 수 있다.
Fig. 3-4 캘리브레이션 과정
정확한 결과를 얻기 위해서는 최소한 10개의 패턴 이미지가 필요하다. 카메라를 통해 인식 된 체스보드의 모서리와 사각형의 형상을 실제 체스보드의 모습과 비교하여 카메라의 내부 파라미터를 파악하고, 확인된 파라미터를 역산하여 이미지 센서에 대입한다. 사각형의 형상 을 비교한 것은 Fig. 3-4와 같다.
영상 데이터를 통해 왜곡을 줄인 영상을 작업자에게 보여주며, 작업자는 영상 정보를 통해 사물을 파악할 수 있다. 왜곡 처리된 영상 정보를 통해 사물을 파악하고, 작업자가 사물을 지정하면 좌, 우 화면에서의 사물 위상 차이가 발생하고, 이는 시차(Disparity)라고 한다. 시 차를 통해 사물과의 거리 정보를 표현한 깊이를 계산할 수 있으며, 작업자가 지정한 사물의 깊이 값을 이용하여 카메라와 사물의 거리를 계산한다.
3) 사물 좌표 측정
카메라를 통해 사물과 카메라의 거리를 계산하였고, 계산한 거리를 통해 카메라 기준으로 사물의 좌표를 구해야 한다. Fig. 3-5와 같이 초점거리일 때 값을 비례식을 통해 일 때 값으로 구할 수 있다. 비례식을 풀면 식 (1)과 같다.
(1)
( :카메라 영상에서 사물 좌표,:실제 사물의 좌표,:초점거리,:사물의 거리))
Fig. 3-5 사물 좌표 측정