2. 방 법
2.3 데이터 전처리
2.3.1. 이미지 전처리
2.3.1.1. Mask R-CNN
딥러닝 시스템에 이미지를 학습시키기 전에, 학습이 보다 적절하게 이루어 질수 있도록 이미지를 전처리하는 과정을 거쳤다. 먼저, 실제 학습에 상관이 없 거나 과적합을 불러일으킬 수 있는 침대 및 주변 환경, 인물의 생김새 및 의상 등을 학습에서 배제하고 체중과 키를 판별하는 주 목표인 체형만을 얻기 위해 사물인식 및마스킹 시스템인 Mask R-CNN으로 이미지를 처리 후(그림16) 이미 지에서 환자의 마스크만을 추출하여 인물 부분을 흰색(255,255,255), 배경 부분을
검은색(0,0,0)으로처리하여 흑백의 인물마스크 이미지를 추출하였다.
인물로 인식하게 하는 최소 점수는 0.95 이상으로 설정하였으며, Mask R-
CNN은 MS COCO set을 이용하여 이미학습된 모델을 사용하였다.
또한, 사진의 절대크기를 알려주는 지표인 네원형 마크 역시 Mask R-CNN 을 사용하여 네 점의 위치를 추출함으로써 선행 논문과는 달리[10] 기준 좌표를 자동으로 입력하게끔 설계할 수 있으나, 본 연구에서 사용된 이미지에서는 육안
으로도 4개의점을 모두 식별할 수 있는 이미지가 매우 적어, 부득이하게 본 연
구역시기존 논문처럼 네 기준좌표의 위치를 수동으로 추측하여 입력하였다.
`
27
그림 16. Mask R-CNN을 사용한 실제 image segmentation 예시 색깔이 다른 마스
크는서로다른 물체를 인식하였음을 나타낸다.
28
2.3.1.2. Homography
연구에 사용된 이미지는 사진을 찍은 위치 및각도가 사진마다 다르기에 같 은 인물의 이미지라도 서로 차이가 발생한다. 그렇기 때문에 각도 및 피사체와 의 거리에 따른 실물 왜곡 차이를 해결하여 각 사진의 크기를 절대적으로 비교 하기위하여 원근 변환을 사용하였다.
( 𝑥1 𝑦1 𝑧1) = (
ℎ11 ℎ12 ℎ13 ℎ21 ℎ22 ℎ23 ℎ31 ℎ32 1
) ( 𝑋1 𝑌1 𝑍1
)
∴ ( 𝑥1 𝑦1 1
) = (
ℎ11 ℎ12 ℎ13 ℎ21 ℎ22 ℎ23 ℎ31 ℎ32 1
) ( 𝑋1
𝑌1 1
)
∴ ℎ11𝑋1+ ℎ12𝑌1+ ℎ13− 𝑥1= 0 ℎ21𝑋1+ ℎ22𝑌1+ ℎ23− 𝑦1= 0 ℎ31𝑋1+ ℎ32𝑌1= 0
식1은 3차원 공간에서의 원근 변환을 나타낸다. 논문에서 사용되는 원근 변
환의 경우에는 하나의 2차원 평면에서 다른 2차원 평면으로 상을 변환하므로 z 축은 고려되지 않아 Z=0이 된다. 이를 식1에 대입하여 정리하면 총 8개의 미지 수가존재하는 연립일차방정식이 된다. 따라서 원근 변환에 필요한 미지수의 값 을 모두 알기 위해서는 변환되는 이미지가 위치한 평면과 이미지가 옮겨 갈 평 면에서의 서로 대응하는 네 쌍의 좌표가 필요하다. 따라서 이 연구에서는 입력 좌표로는 사진 속 네 마커의 좌표를, 출력 좌표는 256*256 크기의 이미지 중앙 에 위치하는 가로 38픽셀, 세로 150픽셀의 직사각형의 네 좌표를 출력 좌표로 하여계산하였다. 출력좌표의 경우, 이논문에서는 크기 150*38.5cm의 직사각형 마크를 사용하였지만, 다른 크기의 직사각형 형태의 어떤 모습으로도 그 높이와 너비만 알고 있다면 변환이 가능하다. 이때 정보의 손실을 최소화하면서도 직관 적인이해가 가능하게끔 가로 및세로 축적이 1픽셀 : 1cm이되게끔 256*256 크 기의이미지로 변환하였다(그림 17).
29
그림 17. Homography 예시
30
2.3.1.3. 딥러닝을 위한 최종 이미지 규격화
보다 효과적인 딥러닝 연산을 위해, 앞서 처리한 256X256 크기의 이미지를
1/16크기인 64X64 크기의 이미지로 바꾸었고, 각 픽셀의 값을 딥러닝 학습에 맞
게끔 규격화하기 위하여 각 픽셀의 값을 255로 나누어 모든 픽셀의 값을 0~1 사이의 값으로 바꾸었다.
그림 18은 입력된 사진을 전처리하는 과정에서 이미지가 변하는 전체 과정을
보여준다.
31
그림 18. 전체이미지 사전처리과정
32
2.3.2. 체중 추정을 위한 키 정보 추가 대입
체중 추정에 있어서 그 정확도를 더욱 높이기 위하여 기존에 추정한 키의 값 또는 측정한 키의 값을 체중 추정 학습 과정에 추가로 넣어 학습에 도움을 주었다. 이를 위하여 최종 처리된 각 이미지에 (각 이미지에서 추정한 키÷최대 추정키) 또는 (각 이미지별실제 측정한 키÷최대 측정 키)를곱하여, 이미지의 각 픽셀이 환자의 키에 비례한 값을 가져 학습 및 추정에 사용할 수 있게 하였 다.