Implementasi Pengenalan Gestur Tubuh ke

(1)

DOI: 10.15575/join.v3i1.xxx

Implementasi Pengenalan Gestur Tubuh ke

dalam Smartphone

sebagai Sistem Keamanan

Zulfadli Sultan1_{, Muhammad Habib}2_{, Nurjannah}3_{, Esa Firmansyah}4 1_{[email protected],}2_{[email protected],}3

[email protected], 4_{[email protected]}

Abstract-The use of smartphones currently wider every day along with the development of information and communication technology. However these developments gave rise to the larger problems seen from the security system. Therefore devices that are developed should pay attention to security aspects. The security aspect is added to the system often causes have to sacrifice the comfort of users in the context of computer interaction with humans. The purpose of this research is to facilitate security smartphones in an emergency by using body gestures. To realize these goals and in this study utilized an introduction to observe the hands and face, his analysis with the method of HMM-based movement is a movement that can be implemented to secure smartphone.

Keywords-body gestures, hand recognition, face recognition

Abstrak-Penggunaan smartphone saat ini semakin luas setiap hari seiring dengan

perkembangan teknologi informasi dan komunikasi. Namun perkembangan ini memunculkan permasalahan yang semakin besar dilihat dari sisi keamanan sistem. Karenanya perangkat-perangkat yang dikembangkan harus memperhatikan aspek kemananan. Aspek keamanan yang ditambahkan pada sistem seringkali menyebabkan harus mengorbankan kenyamanan pengguna dalam konteks interaksi komputer dengan manusia. Tujuan dari penelitian ini adalah untuk memudahkan keamanan smartphone dalam keadaan darurat dengan menggunakan gestur tubuh. Untuk merealisasikan tujuan tersebut maka pada penelitian ini dimanfaatkan pengenalan gerak tangan dan wajah, analisanya dengan metode gerakan berbasis HMM yang dimana gerakan tersebut dapat di implementasikan untuk mengamankan smartphone.

Kata kunci- gestur tubuh, pengenalan tangan, pengenalan wajah

I. PENDAHULUAN

Pengenalan wajah adalah salah satu bidang kaji da-lam pengenalan pola yang selalu mengada-lami pengem-bangan. Kehandalan sebuah metode bisa dilihat dari proses perhitungan dengan biaya minimal dan hasil per-hitungan dengan tingkat kesalahan yang relatif kecil.

Sistem Teknologi antarmuka dibuat dengan tujuan untuk membantu kehidupan manusia supaya menjadi lebih mudah, efektif dan efisien. Demikian juga dengan perkembangan smartphone yang hingga saat ini menjadi salah satu kebutuhan primer antara interaksi manusia dan komputer. Terdapat banyak fitur smartphone yang semakin canggih dalam hal pengenalan terhadap tubuh manusia seperti pengenalan wajah, sidik jari, sensor retina dan banyak yang lainnya.

Dalam beberapa tahun terakhir, pengenalan gerakan dari video khususnya stream memiliki banyak pengguna karena lingkup menjanjikan aplikasi dalam domain

interaksi manusia komputer termasuk analisis kinerja atletik seperti pengawasan, video conferencing, tanda pengenalan bahasa, deteksi kebohongan, aplikasi rehabilitatif dan sebagainya. Antarmuka komputer manusia efisien harus mampu mengenali manusia dan geraknya berdasarkan visi mereka untuk berkomunikasi dengan mudah sehingga demikian pengenalan isyarat merupakan alat penting yang menyediakan bantuan kepada mesin untuk berinteraksi cerdas[1].

(2)

waktu yang singkat. Misalnya, dalam kasus rangkaian video, frame individu dengan posisi sementara akan diperlakukan sebagai isyarat. Kita sedang berusaha untuk mengembangkan sistem pengenalan gerakan dinamis, dengan mempertimbangkan gerakan sebagai kumpulan postur terkait dengan frame yang berbeda.

Pengenalan Gestur Tubuh terutama bahasa isyarat bisa digunakan untuk masalah keamanan darurat. Telah banyak penggunaan gesture tubuh di aplikasikan ke dalam komputer ataupun smartphone misalnya sensor retina untuk membuka keamanan smartphone, gestur tangan untuk memindahkan kursor di komputer. Namun itu hanya penggunaan keamanan secara real time, Sehingga dibuatlah keamanan darurat dengan menggunakan gestur tangan dan wajah untuk melindungi smartphone ketika dalam bahaya ataupun dalam keadaan darurat.

Bagian II pada makalah ini akan membahas tentang Metodologi dalam penggunaan gestur tubuh yang di implementasikan ke dalam smartphone dengan menggunakan metode HMM (Hidden Markov Model) Based, Metode Hand Gesture dan juga Metode video based facial expression and emotions.

II. TINJAUAN PUSTAKA

Algoritma Nearest Features merupakan salah satu metode dalam pengenalan gesture tubuh, terkhusus pada wajah manusia. Algoritma ini digunakan untuk mencari jarak minimum antara feature point yang di-query-kan.

Feature line adalah garis virtual yang menghubungkan dua pro-totype dalam sebuah kelas (satu orang). Namun disini kami menggunakan metode HMM Based yang hampir mirip dengan metode Algoritma Nearest Features. Hidden Markov Model (HMM) adalah sebuah model statistic dari sebuah sistem yang diasumsikan sebuah proses Markov dengan parameter yang tak diketahui, dan tantangannya adalah menentukan parameter tersebut. Algoritma Nearest Features, khususnya metode K-Nearest Neighbour (KNN) merupakan klasifikasi dari metode Hidden Markov Model yang diteliti.

III. PEMBAHASAN

Dihasilkan tingkat akurasi pengenalan yang tinggi sebagai pengenalan gestur dengan menggunakan metode HMM. Hal ini menjadi pertimbangan penggunaan metode HMM dalam perancangan aplikasi gesture recognition sebagai pembacaan gerakan tangan menjadi kata sehingga tidak jarang metode HMM ini sangat erat kaitannya antara manusia dan komputer, dan dalam makalah ini metode HMM dibutuhkan dalam penerapannya yaitu gestur, penenalan wajah, suara,teks, dan music yang semuanya ada diimplementasikan dalam smartphone dan tidak dapat dipisahkan dalam kehidupan.

Landasan HMM adalah model Markov klasik yang mengandalkan satu set tetap asumsi yang dikenal sebagai sifat Markov yang mempertimbangkan sejumlah bagian tetap, probabilitas transisi tetap dan kemungkinan melintasi dari satu bagian ke bagian lain melalui rantai transisi. HMM merupakan model statistik parametrik

yang mampu mewakili sistem stochastic yang diasumsikan menjadi proses Markov dengan negara-negara yang tidak teramati. Hal ini dapat digambarkan sebagai sistem stokastik ganda tertanam terdiri dari rantai Markov dan proses stokastik umum di mana proses yang mendasari tidak bisa diamati secara langsung melainkan dapat diamati melalui set lain dari proses stokastik yang menghasilkan urutan output diamati[1].

HMM khas dapat dicirikan dikaitkan dengan jumlah bagian dalam model yang dinyatakan sebagai, S = {S1, S2…

Sm} dan keadaan pada waktu t dinotasikan sebagai qt, M

sejumlah simbol observasi yang berbeda perbagian yang dapat dinyatakan sebagai, V = {V1, V2,…Vm}. Dalam

kasus ini, HMM biasanya terdiri dari tiga macam parameter,

A. Transition Probability Matrix

Matriks probabilitas transisi A = {aij} dimana

tunduk pada kendala A adalah matriks N × N dan aij pada dasarnya adalah

probabilitas transisi dari keadaan Si ke Sj[1][2].

B. Observation Symbol Probability

Matriks probabilitas simbol pengamatan pada keadaan j, B = {bj (k)}, dimana

tunduk pada kendala, B adalah matriks N × M dan bj (k) adalah probabilitas

untuk memancarkan Vk pada waktu t di keadaan

Sj[1][3].

C. Initial State Distribution

Distribusi keadaan awal , dimana

tunduk pada kendala, dimana adalah probabilitas bahwa keadaan awal adalah Si[1].

Jadi jika M, N, A, B dan disediakan, HMM dapat digunakan untuk menghasilkan urutan pengamatan, yang dinyatakan sebagai[1],

dimana masing-masing Ot milik V dan T adalah jumlah pengamatan dalam urutan. Dengan semua parameter yang dibahas di atas, di HMM umumnya dinyatakan sebagai[1],

Interaksi Manusia dan Komputer dalam Pengenalan Gestur Tubuh yang di Implementasikan

(3)

Terutama, HMM dipekerjakan untuk menangani tiga macam masalah,

A. Evaluation Problem

Jika urutan pengamatan O = {O1, O2, …

OT} dan model HMM ʎ disediakan, probabilitas

P (O | ʎ) bahwa urutan yang diamati telah dilakukan oleh model. Masalah ini menyelidiki sejauh mana model yang dipilih dapat sesuai dengan urutan pengamatan[4][1].

B. Decoding Problem

Dalam kasus ini, jika urutan pengamatan O = {O1, O2, … OT} dan model

HMM ʎ disediakan, masalah ini bertujuan untuk mencari keadaan urutan terdefinisi yang paling tidak mungkin ditemukan. Dalam kasus model yang merosot, tidak ada urutan "mutlak" mutlak, jadi pengoptimalan digunakan untuk mendapatkan solusi terbaik dari masalah ini.

C. Learning Problem

Mengingat urutan pelatihan O = {O1,

O2, … OT} masalah ini mencoba untuk

menemukan parameter HMM ʎ sehingga P (O | ʎ) dimaksimalkan. Ini mirip dengan masalah model kiri-kanan seperti yang ditunjukkan pada Gbr.1. Untuk model HMM Baum-Welch hanya dua fungsi yang disebut sebagai probabilitas ke depan (α (i, t)) dan probabilitas ke belakang (β (i, t)) untuk masing-masing negara bagian N, (i∈ [1, N]) dan setiap frame t sedemikian rupa sehingga (t ∈ [1, T]) untuk urutan pengamatan yang

Untuk pengenalan ekspresi wajah pada urutan video, diusulkan metode Spatiotemporal Texeture Map (STTM) memiliki kemampuan untuk menangkap variasi spasial

dan temporal halus ekspresi wajah dengan kesulitan komputasi miskin. Pertama, wajah terdeteksi menggunakan Viola-Jones detektor wajah dan frame dipotong untuk menghapus latar yang tidak diinginkan. Fitur wajah kemudian dimodelkan dengan STTM diusulkan, yang menggunakan informasi spatiotemporal dipisahkan dari tiga dimensi fungsi sudut Harris. Sebuah metode berbasis blok diadopsi untuk mengekstrak fitur dinamis dan menunjukkan fitur dalam bentuk histogram. Fitur yang kemudian diklasifikasikan ke dalam kelas emosi dan ekspresi oleh classifier dukungan mesin vektor[5].

Penulis mengusulkan untuk efisien ekspresi wajah dan emosi pengakuan dari frame video. Untuk mengenali emosi wajah dalam situasi alam dunia nyata, teknik baru yang disebut Extreme Sparse Learning (ESL), yang memiliki kemampuan untuk bersama-sama belajar kamus (set basis) dan model klasifikasi non-Linear. Pendekatan ini menggabungkan kekuatan diskriminatif Extreme Learning Machine (ELM) dengan properti rekonstruksi representasi jarang untuk memungkinkan klasifikasi akurat ketika disajikan dengan sinyal bising dan data yang tidak sempurna dicatat dalam pengaturan alam. Selain itu, karya ini menyajikan spatio-temporal descriptor lokal baru yang khas dan pose-invarian. Kerangka ini mampu mencapai akurasi pengenalan mutakhir pada database emosi wajah[5].

Klasifikasi dilakukan dengan menggunakan Support Vector Machine (SVM) dan k-Nearest Neighbour (KNN)

classifier. SVM adalah sebuah metode pembelajaran mesin yang memetakan pada data yang tersedia untuk

feature plane dan kemudian mengusulkan sebuah linear hyper plane yang pada dasarnya membagi kelas yang klasifikasi adalah k-Nearest Neighbor classifier disingkat KNN. Classifier ini ditandai dengan statistik non-parametrik dan mengasumsikan bahwa data tidak memiliki parameter dan non-karakteristik dalam strukturnya juga. Klasifikasi dilakukan berdasarkan tingkat kesamaan antara pola sampel uji dan pola sampel pelatihan dalam ruang fitur. Klasifikasi di sini didasarkan pada penilaian dari tetangganya. Jika k = 1 maka sampel diasumsikan mewakili kelas yang sama seperti dari tetangga terdekat. Tujuannya adalah untuk melakukan perbandingan vektor fitur kode sampel pengujian dari satu vektor fitur dengan vektor fitur kandidat yang tersisa ini sampel pengujian dengan bantuan teknik pengukuran kemiripan baru[6].

(4)

menunjukkan kinerja yang menjanjikan dari metode ini[5].

IV. HASIL

Dalam pengenalan gestur tubuh yang di implementasikan kedalam smatrphone, penulis menerapkan teknologi HCI di perakitan virtual dalam rekayasa. Banyak antarmuka atau rancangan yang dapat membaca intruksi gerakan tubuh, seperti tangan, wajah, dan gerakan yang dapat dikoneksikan kinerjanya kedalam sebuah smartphone untuk tujuan tertentu, seperti halnya keamanan sistem yang mudah di retas agar terjaga baik. Seperti contoh nya pada gestur tangan, penulis menggunakan sensor Kinect dari laboratorium untuk mengumpulkan sampel yang dibutuhkan dalam lingkungan worning normal lab. Lingkungan worning ini hanya membutuhkan lingkungan dalam ruangan dengan pencahayaan normal dan background kompleks[6][2].

Selain itu, wajah manusia memainkan peran yang sangat penting dalam hari untuk komunikasi hari. Orang berinteraksi menggunakan kedua kata verbal dan perilaku non-verbal. ekspresi wajah dari frame kamera smartphone, dirancang untuk mengenali emosi wajah dalam situasi tertentu, teknik baru yang disebut Ekstrim Jarang Belajar (ESL)[5]. Pendekatan ini menggabungkan kekuatan diskriminatif Extreme Learning Machine (ELM) dengan properti rekonstruksi representasi. kerangka ini mampu mencapai state-of-the-art akurasi pengenalan pada kedua bertindak dan spontan database emosi wajah[6].

Fitur-fitur ini kemudian diproses oleh algoritma inferensi yang mengakui gerakan tangan tertentu, seperti Model Hidden Markov (HMM)[1]. Hal ini sangat representatif dalam aplikasi HCI. Oleh karena itu, tujuan pengendalian akhir dari program kerjasama makalah ini ini dibahas adalah sebagai berikut:

A. Gambaran Umum Sistem

1. Pengenalan Gestur menggunakan Data Glove Tangan porsi pengakuan isyarat didasarkan pada 5DT Data sarung tangan. Ia mengakui isyarat dengan pengakuan gerakan dinamis[7]. Menggunakan metode untuk menemukan bingkai kunci, ia mencari keadaan awal dan akhir dari setiap gerakan tangan, yang melibatkan informasi dari posisi dan sikap dari telapak tangan dan peregangan informasi jari, dan sebagainya[7].

Gambar 2. Pengenalan alat pengenalan gesture.

Gambar 3. Gerakan tangan awal dan akhir dari perintah.

2. Gesture Taxonomy For Natural Interaction Bagian ini memperkenalkan konsep-konsep penting dalam gerakan bagian tubuh, yang merupakan dasar dari pemodelan sistem ini[4]. Beberapa taksonomi isyarat telah diusulkan dalam literatur salah satu gestur yang tepat untuk HCI. Studi ini didasarkan pada pengguna non-teknis saat berinteraksi dengan sistem komputasi[3].

3. Bentuk Gestur

Gerakan tangan dimodelkan dengan campuran HMM menggunakan spektral clustering. Tangan klasifikasi bentuk dan estimasi tangan kerangka didasarkan pada hutan keputusan acak. Klasifikasi gerakan tangan aktif sepanjang waktu[1][4]. Kerangka kerja ini memperkirakan satu set posteriors untuk label bentuk tangan di setiap frame, dan terus menggunakan posteriors ini dan vektor kecepatan observasi untuk menemukan dan mengklasifikasikan gerakan dikenal. Mereka membedakan gerakan dengan gerakan murni dan bentuk tangan murni dengan thresholding besarnya vektor kecepatan. Namun, mereka tidak menyebutkan penanganan gerakan dengan

(5)

pose tangan yang berbeda tapi dengan gerakan sewenang-wenang. Untuk jenis gerakan, akan sulit untuk secara manual menetapkan batas kecepatan untuk membedakan mereka dari gerakan dengan jalur yang berbeda[3][8].

Gambar 4. Gambaran sistem. 4. Tangan Deteksi dan Tracking

Kamera Senz3d menangkap frame video RGB bersama dengan data yang mendalam terkait. Thresholding berdasarkan kedalaman dilakukan untuk menghapus latar belakang. Kemudian segmentasi berdasarkan data kedalaman dilakukan untuk objek terdekat dengan kamera[9][10].

5. Gesture Recognition

Gambar 5. Tangan bagian analisis

Table 1. Skeletons

V. PENUTUP

Interaksi manusia dan komputer memiliki peran yang sangat penting. Makalah ini disajikan dalam sebuah pendekatan yang efisien untuk mempermudah pengguna smartphone seperti halnya dalam bidang keamanan. Tingkat keamanan sistem yang diperoleh dengan menggunakan sistem pengenalan berbasis HMM. Di masa yang akan datang, pekerjaan dapat dimodifikasi dan ditingkatkan supaya lebih mudah yang jauh lebih baik. Demikian pula sistem yang diusulkan dalam makalah ini untuk pengenalan gesture tubuh manusia yang dirancang menggunakan smartphone sebagai alat utama untuk mengenali gestur berupa gerakan , seperti hal nya tangan, wajah, dan juga memahami keadaan manusia dari segi keamanan.

(6)

Program kerjasama dari banyak alat interaksi manusia dan komputer bisa mencapai keandalan dan kenyamanan yang lebih tinggi

VI. DAFTAR PUSTAKA

[1] S. Saha, R. Lahiri, A. Konar, B. Banerjee, and A. K. Nagar, “HMM-based gesture recognition system using kinect sensor for improvised human-computer interaction,” 2017 Int. Jt. Conf. Neural Networks, pp. 2776–2783, 2017.

[2] P. Bao, A. I. Maqueda, C. R. Del-Blanco, and N. Garciá, “Tiny hand gesture recognition without localization via a deep convolutional network,” IEEE Trans. Consum. Electron., vol. 63, no. 3, pp. 251–257, 2017.

[3] F. Yang and H. Shi, “Research on Static Hand Gesture Recognition Technology for Human Computer Interaction System,” 2016 Int. Conf. Intell. Transp. Big Data Smart City, pp. 459–463, 2016.

[4] Z. H. Wang, J. T. Cao, J. G. Liu, and Z. Q. Zhao, “Design of human-computer interaction control system based on hand-gesture recognition,” Proc. - 2017 32nd Youth Acad. Annu. Conf. Chinese Assoc. Autom. YAC 2017, pp. 143–147, 2017.

[5] H. Salih and I. Lalit kulkarni, “Study of Video based Facial Expression and Emotions Recognition Methods,” pp. 692–696, 2017.

[6] S. Kamal and M. Rafeeq, “Facial Emotion Recognition for Human-Computer Interactions using hybrid feature extraction technique,” 2016.

[7] S. Heng and D. Yunfeng, “Research on Cooperative Control of Human-Computer Interaction Tools with High Recognition Rate Based on Neural Network,”

Proc. - 2014 Int. Conf. Virtual Real. Vis. ICVRV 2014, pp. 350–354, 2015.

[8] R. R. Itkarkar and A. V. Nandi, “A survey of 2D and 3D imaging used in hand gesture recognition for human-computer interaction (HCI),” WIECON-ECE 2016 - 2016 IEEE Int. WIE Conf. Electr. Comput. Eng., no. December, pp. 188–193, 2017.

[9] R. Agrawal and N. Gupta, “Real Time Hand Gesture Recognition for Human Computer Interaction,” 2016 IEEE 6th Int. Conf. Adv. Comput., pp. 470–475, 2016. [10] Y. Yin and R. Davis, “Real-time continuous gesture

recognition for natural human-computer interaction,”

2014 IEEE Symp. Vis. Lang. Human-Centric Comput., pp. 113–120, 2014.