4. 인간공학적 작업부하 평가시스템 개발 및 성능평가
4.4 심층 신경망(Deep Learning) 기반 OWAS 평가시스템(DL-OWAS) 개발
한 단계 낮아졌을 때 조치 수준이 1단계 하락(자세부하 감소)할 수 있는 경우를 자체 시뮬레이션하여 평가자에게 제시하게 함으로써 평가자가 개선대책 및 개선 방향을 수립할 때 참고하도록 하였다.
[그림 4-8] PV-OWAS 실행결과 화면
[그림 4-9] DL-OWAS 평가 절차
4.4.1 심층학습 기반 작업자의 주요 관절위치 추정
본 연구는 근로자의 인체 주요관절 위치(예: 손, 팔꿈치, 어깨, 엉덩관절, 무릎, 발목)를 추정하기 위해 [그림 4-10]에 나타낸 심층 신경망(딥러닝)을 활용하였다. Xiao et al.
(2018)은 심층 신경망(neural network)의 학습과 위치 추정(landmark detection) 성능을 향상시키기 위해 ResNet-18과 전치 컨볼루션(Transposed Convolution)을 결합한 신경망을 제안하였다[76]. 또한 He et al.(2016)에 의하면, 일반 신경망(plain network)은 망이 깊어질수록 기울기 소실(Gradient Vanishing, 학습이 진행되면서 각 파라미터에 대한 가중치의 미분 값(경사)이 매우 작아져 0에 가깝게 되는 현상)과 과잉적합 (Overfitting, 기계학습에서 학습데이터를 과하게 학습하여 실제 데이터에는 잘 맞지 않는 현상) 문제로 인해 학습 성능이 현저하게 저하되는 것으로 알려지고 있다[77].
반면, ResNet-18은 잔여 학습(residual learning)을 통해 일반 신경망이 가지는 학습 한계점을 보완하고 보다 깊은 신경망을 학습할 수 있도록 한다. 본 연구는 [그림 4-10]에 나타낸 것과 같이 5개의 합성곱(Convolution) 집단으로 구성된 심층 신경망을 활용하였다.
[그림 4-10] ResNet-18 네트워크 구조
ResNet-18은 신경망이 깊어질수록 입력 이미지의 해상도가 낮아져 인체 주요 위치를 정량평가하게 추정하기 어려운 제약이 있다[76]. 예를 들면, [그림 4-10]에 나타낸 ResNet-18의 합성곱 마지막 집단의 특징 지도(Feature Map) 크기는 8×6 픽셀(pixel)에 불과하다. 전치 합성곱(transposed convolution)은 특징 지도의 해상도를 높여(upsampling) ResNet-18의 해상도 저하로 인한 부정확한 위치 추정의 문제를 보완할 수 있다[76].
본 연구는 [그림 4-10]에 나타낸 것과 같이 세 번의 전치 합성곱을 통해 특징 지도 (Feature Map)의 해상도를 64×48 픽셀로 높여 주도록 설계하였다.
본 연구는 인체 주요 관절위치에 열지도(heat map)를 추정하도록 신경망을 구성 하였다. Tompson et al., (2015)는 입력 이미지에서 인체 주요 위치를 직접 추정할 경우 신경망 학습이 적합하게 진행되지 않아 예측 성능이 저하되는 현상을 발견하였다[78].
이러한 현상은 신경망이 특정 관절 위치를 정확하게 추정하도록 학습하는 것이 어렵기 때문으로 알려져 있다. 반면, Wei et al.(2016)에 의하면 [그림 4-11]에 나타낸 것과 같이 인체 주요 위치의 주변에 열지도를 만들어 신경망이 열지도를 예측하도록 하면 예측 성능이 향상되는 것으로 알려지고 있다[79]. 따라서, 본 연구는 심층 신경망의 마지막 층에 열지도를 사용하여 관절의 위치를 예측하도록 망을 구성하였다.
Left shoulder
Left elbow
Left hand Left hip center
Left knee
Left foot
[그림 4-11] COCO 데이터베이스의 열지도(Heat-Map)의 예
본 연구의 심층학습(딥러닝)에는 OWAS 분석에 필요한 신체관절 주요 위치를 포함 하고 있는 COCO(Common Objects in COntext) dataset을 사용하였다. COCO dataset은 머신러닝을 위해 많은 데이터 셋이 만들어져 있으며 총 123,287개의 데이터로 구성되어 있다. 이를 무작위로 구분하여 학습(learning)에 118,287개의 데이터를 사용하고 검증 (validation)에 5,000개의 dataset을 사용하였다. 작업 자세 분석을 위한 신체 주요 위치는 [그림 4-11]과 같이 총 12개(왼팔과 오른팔 3개(어깨점, 팔꿈치, 손)씩 총 6개, 왼 다리와 오른 다리 3개(엉덩 관절점, 무릎, 발목)씩 총 6개)로 정의되었다. 본 연구의 코드는 Xiao et al. (2018)에 제시된 코드를 기반으로 개발되었다[76].
4.4.2 DL-OWAS 평가시스템 구현
DL-OWAS 평가 시스템은 [그림 4-12]와 같이 심층 신경망(딥러닝) 기반으로 구현 하였다. 본 연구의 평가시스템은 근로자의 작업사진에서 분석 대상인 근로자의 작업 자세를 추출한 후 심층 신경망(딥러닝)을 활용하여 인체의 주요 관절 위치를 추정 한다. 그리고 난 후, 추정된 주요 관절 위치를 사용하여 OWAS 평가의 항목별 점수를 추정하고, 이를 종합하여 조치 수준(AC)을 결정한다.
[그림 4-12] DL-OWAS 실행결과 화면