제스처인식을 통한 영상 통화

제스처인식을 통한 영상 통화. 2017/05/29 20104103 손 일 권 20114120 주 장 빈 20123316 박 창 혁.

개요 및 배경. 2. 제스처 인식을 통한 영상 통화. • 현재 모바일폰으로 영상통화를 지원하는 많은 어플리케이션(Kakao Talk, Line, Face Talk 등) 을 접할 수 있음. 하지만 기존의 어플리케이션은 단순히 영상통화만을 지원 • 이에 스핑크스는 사용자가 좀 더 재미있게 영상통화를 할 수 없을까 하는 생각에 이 어플리케이션을 기획 • 이 어플리케이션은 영상통화를 하며 얼굴인식을 통해 자신의 모습을 꾸미거나 제스처인식을 사용하여 상대방 모바일폰으로 화면 효과를 줄 수 있음.

작업 진행 상황 계획 현황 •. 초기 계획 (Play RTC, Google API) 1. 영상통화의 영상 데이터를 접근하여 영상처리 후 처리된 영상으로 통신 2. 영상통화의 영상 데이터를 추출하여 얼굴 및 제스처 인식 후 좌표 값을 수신 측에 보내어 수신 측에서의 영상처리  문제점 : 영상 데이터의 값을 못 가지고 오거나 값을 가지고 오기에 많은 제약이 따름. 얼굴과 제스처 인식의 코드 변형이 어려움. •. 진행 현황 1. 영상통화의 영상 데이터를 접근하여 영상처리 후 처리된 영상으로 통신. 2. 영상통화의 영상 데이터를 추출하여 얼굴 및 제스처 인식 후 좌표 값을 수신 측에 보내어 수신 측에서의 영상처리  문제점 -영상 데이터를 가져 오는 방법에 대한 자료가 많이 않아 코드 해석이 필요(가져오는 방법은 존재하는 듯함) -얼굴 및 제스처 인식과 영상통화의 카메라 데이터 읽어오는 변수의 형태가 다름. -얼굴 및 제스처 인식에서 얻은 좌표 값을 수식 측에 송신 하려 했으나 영상통화와 영상처리 각 각의 카메라 동시 접속 불가능 ( Agora.io 라이브러리 에서 카메라 값을 획득하면 OpenCV는 카메라 값 획득이 불가. •. 지난 계획 • Agora.io라이브러리 영상 데이터 변수 형태대로 OpenCV 영상 데이터 변수 형태 변경 (호환 작업). 3.

작업 진행 상황 계획 현황 •. 지난 계획 • Agora.io라이브러리 영상 데이터 변수 형태대로 OpenCV 영상 데이터 변수 형태 변경 (호환 작업)  문제점 -Agora.io 자체적인 데이터 이므로 변형이 힘듦 -현재 코드의 클래스를 통한 영상 이미지 추출이 힘듦. •. 지난 상황 1. 영상 데이터 값 가져오는 구간 찾아냄 2. 영상 데이터가 YUV 형태라는 것을 알아냄 3. YUV영상을 OpenCV와 호환하기 위하여 RGB 영상 바꾸는 작업을 생각 4. 각종 매체를 통해 Agora.io와 접촉  문제점 -비디오 영상 값이 형태를 알 수 없는 void * 형으로 되어 있음 ( 값이 마음대로 안받아 짐) -Mat을 사용하기 위해선 void * 형 1채널이 필요 ( Agora.io 측 클래스는 3채널을 사용하는 것으로 추측 ) -Mat 형식의 미숙함. 4.

작업 진행 상황 계획 현황 •. 지난 상황 1. 각종 2. 노력 3. 예제 4. 필터. 매체를 통해 Agora.io와 접촉 끝에 개발자의 이메일 획득 소스를 통해 원하는 값 얻어내는 방법을 제시해줌 영상처리 기능 가능 ( 처음으로 영상에 접근 ).  문제점 -YUV 값에 잘못 접근하고 있었음 ( YUV420 -> NV21 ) -예제 소스는 OpenCV가 호환이 안되어 있음 -개발자측은 OpenCV와 호환을 했던 소스를 현재 가지고 있지 않음 ( 데이터 형만을 가져오는 방법을 제시 ) -OpenCV와의 호환을 위한 Android Makefile 설정이 원활하지 않음 -JNI 활용의 어려움 -Mat 형식의 초기화 어려움 -Agora.io측의 Void * 형의 주소 접근이 실행 중 망가짐. 5.

작업 진행 상황 (3차 발표 후) 계획 현황 •. 지난 상황 • JNI를 통한 영상 접근 후 영상을 변환하기 위한 작업 (YUV->RGB, RGB-YUV) • 접근한 영상에 얼굴인식 작업 시도  문제점 -YUV -> RGB , RGB -> YUV 작업 중 영상 깨짐 현상(영상이 반만 보이거나 반전되거나 하는 현상) 발생. 6.

영상 변환 작업. 7.

영상 변환 작업. 8.

영상 변환 작업. 9.

영상 변환 작업. 10.

Agoraio + OpenCV. 11.

작업 진행 상황 (3차 발표 후) 계획 현황 •. 지난 상황 • 영상의 얼굴을 인식하는데 성공!! • 인식된 영상에 이미지 합성 시도 • OpenCv Roi메소드 사용 시도  문제점 -영상과 합성할 이미지가 안드로이드에서 불러지지가 않음 (Imread X) -Roi 를 사용함에 있어서 관심영역이 잘 설정되지가 않음 -영상을 불러왔음에도 영상이 깨지고 이상한 부분에 합성되는 모습이 보임. 12.

과정(안드로이드 갤러리 폴더 생성). 13.

과정(Java Image Copy). 14.

과정(Java Image Copy). 15.

과정(JNI Image Load). 16.

Roi •. Roi ( Region Of Interest) • 서로 다른 크기를 갖는 영상을 합칠 때 사용 • Cv:add함수는 두 영상이 같아야 하는 전제가 있음 • 관심영역 ROI를 정의해 cv:add함수에 적용. 17.

과정. 18.

과정. 19.

...?. 20.

얼굴인식 및 영상 합성 성공!!. 21.

작업 진행 상황 (3차 발표 후) 계획 현황 •. 지난 상황 • 영상에 이미지 합성하는데 성공!!! • 제스처 인식 코드 합성 시도 • 주먹 제스처 인식 시도 ( 인식률이 살짝 떨어짐 ) • 손바닥 인식 시도 ( 인식률이 그나마 좋음)  문제점 -주먹 인식이 생각보다 인식률이 많이 떨어짐 ( 손바닥 인식 으로 바꿈 ) -얼굴인식과 같이 같이 했을 때 영상이 더 끊김 ( 영상의 이미지를 더 작게 하여 속도를 높임 ) -인식하는데 배경의 영향이 큼. 22.

손바닥 인식. 23.

개발 일정. 24. 2월 항목. 1 요구사항 분석. 계획. 개발 환경 구축 및 자료 조사 계획서 작성 구조설계. 시스템 구조설계. 상세설계. 프로그램 설계. 카메라 모듈 구현. 설계 및 구현. 3월. 4월. 5월. 6월. 진행내용. 통신 모듈 테스트 영상처리 모듈 구현 최종 모듈 통합 및 디버깅. 2. 3. 4. 1. 2. 3. 4. 1. 2. 3. 4. 1. 2. 3. 4. 1.

팀월별 역할. 25. 구분. 책임. 업무 내용. 담당자. 프로젝트 기획. 계획. 박창혁. 개발 환경 구축. 구조 설계. 시스템 구조 설계. 손일권. 상세 설계. 프로그램 설계. 주장빈. 담당자(부) 손일권 주장빈 박창혁 주장빈. 설계 박창혁. 카메라 모듈 구현. 주장빈. 손일권. 통신 모듈 테스트. 박창혁. 손일권. 영상처리 모듈 구현. 손일권. 구현. 전체 모듈 통합 손일권. 테스트. 손일권. 각 모듈 별 테스트. 주장빈 박창혁 주장빈 박창혁.

질문 받아요!. 26.