Pengenalan Bahasa Isyarat Indonesia (SIBI) Menggunakan
Leap Motion Controller dan Algoritma Data Mining Naïve
Bayes
RidwanFakultas Teknik Universitas Hasanuddin ridwaneinstein@uin-alauddin.ac.id
AbstrakGesture Recognition adalah topik dalam ilmu komputer dan teknologi bahasa dengan tujuan menafsirkan gerakan manusia melalui algoritma matematika. Dalam hal ini dapat digunakan sebagai media penerjemah bagi penyandang tunarungu untuk berkomunikasi. Hambatan utama dari penyandang tunarungu saait ini sulitnya berkomunikasi dengan masyarakat normal, hal itu terjadi karena tidak adanya pembelajaran wajib pada jenjang pendidikan bagi masyarakat normal untuk bahasa isyarat. Metode pada penelitian ini yaitu menggunakan algoritma naive bayesn untuk mengklasifikasikan huruf alfabet bahasa isyarat menggunakan fitur yang berasal dari data Leap Motion Controller.
Keywords: Sign Language, Naïve Bayesn, Leap Motion Controller.
1. Introduction
Bahasa isyarat adalah salah satu media komunikasi utama bagi para penderita tuna-rungu di seluruh dunia. Pengguna bahasa isyarat di seluruh dunia cukup banyak. Setiap negara bahkan setiap daerah mempunyai bahasa isyarat masing-masing yang berbeda. Di satu sisi jumlah masyarakat umum yang mempunyai kemampuan untuk berkomunikasi dengan bahasa isyarat sangat terbatas. Masalah akan muncul ketika penderita tuna-runguatau tuna-wicara ingin berkomunikasi dengan orang normal yang tidak mengerti bahasa isyarat. Bagi orang yang dapat mendengar, mereka dapat mempelajari dan memahami bahasa tulis sebagai representasi bahasa lisan dengan menggunakan tulisan untuk menyandikan fonem. Namun bagi penderita tuna-rungu, korespondensi ini tidak dapat dilakukan, karena tulisan hanya terlihat sebagai suatu simbol tanpa makna. Maka dari itu penderita tuna-rungu
mempunyai kesulitan besar dalam
membaca dan menulis karena pada kenyataannya tidak ada korenspondensi langsung antara bahasa alami mereka (bahasa isyarat) dengan bahasa tulisan.
Kesulitan dalam berkomunikasi akan berpengaruh pada kehidupan dan hubungan interpersonal dalam komunitas tuna-rungu. Kesulitan dalam berkomunikasi antara penderita tuna-rungu dengan orang yang dapat mendengar dapat membawa permasalahan dalam proses integrasi penderita tuna-rungu ke dalam masyarakat luas. Tentu saja permasalahan ini perlu dicari solusi agar proses komunikasi dengan orang yang normal dapat dilakukan secara
lancar, yang pada akhirnya akan
meningkatkan hubungan yang harmonis antar komponen masyarakat. sehingga kebutuhan akan suatu penerjemah dari bahasa isyarat ke dalam bahasa tulisan menjadi sangat besar [1]. Penerjemah bahasa isyarat ini akan dapat digunakan untuk membantu proses komunikasi antara masyarakat umum dengan masyarakat penderita tuna-rungu, meskipun hal ini masih sulit diwujudkan karena terbatasnya ketersediaan alat penerjemah dan besarnya variasi bahasa isyarat di dunia [2].
Adapun penelitian sebelumnya oleh Ching-Hua Chuan et al [3], American Sign Language Recognition Using Leap Motion Sensor menggunakan metode k-nearest neighbour (kNN) dan Support
Vektor Machine (SVM) untuk mengenali 26 huruf alphabet Inggris dalam bahasa isyarat Amerika (American Sign Language) yang menghasilkan rata-rata keakuratan klasifikasi untuk metode kNN adalah 72,78% dan metode SVM 79,83%. Pengenalan bahasa isyarat Amerika huruf E, K, M, N, O, R, T, X kurang akurat dengan metode k-NN, sedangkan untuk metode SVM huruf A, E, K, M, N, O, T. Mohandes M et al [4], Arabic Sign Language Recognition Using Leap Motion Sensor menggunakan metode Multilayer Perception (MLP) neural network untuk mengenali 50 kata bahasa isyarat arab menghasilkan keakuratan rata-rata 88%.
Data bahasa isyarat yang diambil
menggunakan 4 orang yang berbeda, dua set bahasa isyarat dari dua orang yang berbeda dijadikan data training, dan dua orang yang lain di gunakan untuke testing. Abidatul I dan Nanik S [5] menggunakan metode GFD and KNN dengan media web cam dengan judul Translation Of Sign Language Using Generic Fourier Descriptor And Nearest Neighbour menghasilkan
keakuratan rata-rata 81,39% dalam
pencocokan polanya. Endang S dan Mohammad I [6] dalam jurnalnya dengan judul Recognition System of Indonesia Sign Language based on Sensor and Artificial Neural Network algoritma yang
digunakan ANMBP (Adaptive
neighborhood based modified dengan alat
Flex sensor dan accelerometer
menghasilkan keakuratan rata-rata 91,60%. Marin et al [7] menyelidiki kinerja Leap Sensor dengan melatih SVM Classifier untuk mengenali 10 tanda statik yang berbeda dengan jumlah sampel 1.400 mampu mencapai akurasi rata-rata 80% dan juga penelitian berfokus pada tantangan yang mencakup fitur untuk memasukkan isyarat isyarat yang akurat, dan berpendapat
mengenai cara normalisasi untuk
mengakomodasi sistem yang handal bagi pengguna dengan berbeda ukuran tangan.
Melalui latar belakang dan permasalahan di atas. Sehingga, dibutuhkan suatu sistem otomatis yang berguna sebagai media penerjemah dari bahasa isyarat ke dalam bahasa tulisan. Adapun Penelitian ini berbasis sensor dengan menggunakan Leap
Motion Controller (LMC) dan
memfokuskan pada huruf statis alphabet bahasa isyarat Indonesia (SIBI) melalui algoritma klasifikasi Naïve Bayesn.
2. Research Method
2.1. Leap Motion Controller
Leap Motion Controller (LMC) adalah alat berukuran kecil yang berbasis perangkat USB yang dapat memungkinkan
seorang pengguna komputer untuk
mengontrol atau bermain komputer
menggunakan gerakan. Leap Motion Controller menangkap dari gerakan tangan dan gerakan jari kita secara independen, serta benda-benda seperti pena. Bahkan, Leap Motion 200x lebih sensitif daripada teknologi sentuhan bebas pada produk dan teknologi yang ada saat ini. Leap motion controller mendeteksi dan mengikuti jejak/arah dari tangan, jari dan benda mirip dengan jari melaporkan nilai diskrit posisi dan gerakan/isyarat.
Leap motion controller
beroperasi/bekerja perkiraan mendekati 200 frame perdetik. Figure 1 Bidang pandang sekitar 150 derajat. Jarak efektif Pengontrol Leap Motion sekitar 25-600 milimeter di atas perangkat (1 inci sampai 2 kaki) [8]. Proses deteksi dan pelacakan akan bekerja dengan sangat baik dengan syarat perangkat controller bersih, memiliki pandangan siluet objek dengan kontras yang tinggi. Perangkat lunak leap motion sensor mengkombinasikan data sensor dengan model internal dari tangan manusia untuk membantu mengatasi proses pelacakan pada kondisi menantang (pelacakan objek menantang yang dimaksud mungkin adalah objek masih samar atau sulit untuk ditrack tanpa model atau alat bantu) [9].
Figure 1. Leap Motion Controller
right-handed coordinate system
Perangkat leap motion sensor controller disertai dengan dukungan API oleh penyedia [10]. Melalui API data tangan dan jari dapat dikirim kepada orang
yang membuat program untuk
menggunakan sensor sebagai alat antar muka alternative komputer. Tabel 1 menampilkan daftar fitur dari tangan dan jari yang diperoleh dari API dalam penelitian ini. Fitur dari telapak tangan normal (vector satuan arah), posisi (posisi tengah telapak tangan), dan kecepatan
(dalam millimeter perdetik). API LMS juga
telah menangani Analisis gambar di balik layar, hal ini mengurangi pengembang dari tugas rumit untuk mengekstrak fitur dari
data masukan mentah. Hal ini
memungkinkan peneliti untuk lebih fokus pada Seleksi fitur, bukan ekstraksi, dan hasil akurasi penerapan mesin pembelajaran untuk klasifikasi tanda/isyarat yang berbeda.
Table 1. Features obtained from the API
PALM FINGERS
Name Type Name Fingers
Ha nd Fe at ur es *
Normal vector Direction vector
Position vector Length in mm
Velocity vector in mm/sec Tip position vector Confidence a float in [0, 1] Tip velocity mm/sec Pinch strength a float in [0, 1] Dip position vector Grab strength a float in [0, 1] Pip position vector Sphere center vector Mcp position vector Sphere radius In mm
2.2. Naïve Bayesn Classifier
Naïve bayes [11] merupakan salah satu metode machine learning yang
menggunakan konsep probabilitas. Metode
ini melakukan klasifikasi dengan
menghitung nilai probabilitas P(a|b), yaitu probabilitas kelas a jika diketahui suatu b, berdasarkan teorema bayes. Klasifikasi dapat dilakukan untuk menentukan suatu kelas a Є A dari suatu dokumen b Є B dengan A = { a1, a2, …., ap } dan B = { b1,
b2, …., bq }. Penentuan kelas dalam
klasifikasi dokumen tersebut dilakukan dengan cara memilih nilai maksimum dari P(a|b) dari distribusi probabilitas P = {p(a|b) | a Є A dan b Є B }. Suatu dokumen b ke i dapat direpresentasikan sebagai vector dari nilai-nilai fitur yang ada pada dokumen tersebut sehingga b = [ fil, fi2, ….,
fin ]. Nilai dari elemen vector merupakan
nilai untuk fitur fj pada himpunan fitur F =
{ f1, f2, …., fn } dengan fij adalah nilai dari
fitur j pada dokumen b ke i. berdasarkan
teorema bayes perhitungan nilai
probabilitas P(a|b) dapat dilakukan dengan menggunakan persamaan.
𝑃 𝑎 𝑏 =! ! ! ! !
! !
Dengan P(b|a) merupakan nilai probabilitas dari kemunculan dokumen b pada kelas a, P(a) merupakan nilai probabilitas kemunculan kelas a dan P(b) merupakan nilai probabilitas kemunculan dokumen b.
2.3. Feature Extraction
Teknik pencocokan sekarang akan
didukung oleh algoritma mesin
pembelajaran. Menerapkan pendekatan
matematis untuk klasifikasi,
memungkinkan seseorang untuk
menyimpan data numerik dari model kerangka LMC. Hal ini kemudian mengurangi kebutuhan discretization nilai dan masalah yang potensial muncul, di samping memberikan pendekatan statistik
untuk menetapkan tingkat toleransi
kesalahan. Mengekstrak data yang relevan
sangat penting untuk memecahkan
permasalahan mesin pembelajaran.
Mengumpulkan sejumlah informasi dan kelas yang tidak mencukupi mungkin tidak dapat dibedakan. Melakukan sebaliknya
dan algoritma pembelajaran dapat
membedakan input dengan fitur yang sama sekali berbeda [12], yang menyebabkan hasil yang salah.
Dalam upaya awal untuk
menciptakan perangkat lunak pengenalan isyarat, dengan menggunakan analisis video, tantangan utama bukanlah fitur yang harus dikemukakan, namun ekstraksi itu sendiri [13]. Namun, dalam kasus Leap Motion, API menyediakan kerangka kerja (framework) dengan model kerangka (skeleton) untuk masing-masing tangan, dan mengurangi pengembang individual dari tugas berat untuk menganalisis gambar IR untuk mendapatkan informasi yang relevan.
Setiap obyek tangan dibangun dari jari dan obyek telapak tangan, dan masing-masing jari terbentuk oleh satu set tulang.
Figure 2 Setiap objek memiliki vektor 3
dimensi yang sesuai, merujuk arah dan posisinya pada ruang euclidian dalam tampilan sensor. Fitur pertama yang akan diekstraksi adalah koordinat 3D dari posisi tengah masing-masing jari distal phalange, tulang paling atas, untuk mewakili ujung setiap jari. Hanya lekukan jari dan pitch yang awalnya dikumpulkan, membuat sistem mengabaikan terhadap semua isyarat/tanda dengan berbagai ruang
interstisial, yang ditegaskan dengan
mengumpulkan ketiga koordinat per jari. Namun, karena semua koordinat relatif terhadap sensor, posisinya tergantung pada jangkauan pandang sensor sesuai penempatan tangan. Sebagai persyaratan
implementasi pertama, SLI perlu
mengabaikan terhadap posisi sensor relatif.
Oleh karena itu, untuk melatih
pengklasifikasi untuk mengenali tanda-tanda yang terlepas dari posisinya di ruang sensor, Figure 3 setiap koordinat jari
dinormalisasi dengan mengurangkan
koordinat pusat telapak tangan sebagai origo.
Figure 2. Output 3D LMC Figure 3.
Normalisasi 2.4. Data Acquisition
Terdapat twenty-four huruf
alphabet bahasa isyarat Indonesia (SIBI) yang digunakan pada penelitian ini statis seperti yang ditunjukkan pada Figure 4. Adapun jumlah data latih yang digunakan berjumlah total 720 sampel yang berasal dari 30 sampel untuk setiap kelas huruf dari 24 huruf Alfabet yang bersumber dari 3 tangan kanan responden yang berbeda dimana setiap responden membuat 10 data latih. Perlu dicatat bahwa huruf alphabet bahasa isyarat Indonesia yang digunakan bersifat statis dan dilakukan menggunakan satu tangan.
Figure 4. Sign Languange Indonesia (SIBI) 2.5. Desain System
Perancangan sistem pada penulisan
ini, terdapat dua komponen utama yaitu
AppDatatraining dan AppInterpreter.
Adapun AppDatatraining merupakan
bagian dari aplikasi yang disediakan agar
pengguna dapat membuat dan
mendistribusikan kumpulan isyarat mereka sendiri tanpa harus memiliki pengalaman memprogram atau bergantung pada pihak ketiga. AppDatatraining juga merupakan
perangkat untuk membuat dataset.
Pengguna dapat merekam data isyarat huruf yang sesuai menggunakan API LMC kemudian menyimpannya dalam Dataset.
AppDatatraining juga memanfaatkan
Utilities untuk mengekstrak fitur yang akan dibuat menjadi Vektor yang digunakan oleh Classifier nanti.
Selanjutnya AppInterpreter
merupakan output sederhana dari aplikasi yang nerguna bagi masyarakat yang ingin
belajar bahasa isyarat. AppInterpreter terhubung dengan layanan leap motion yang sedang berjalan melalui API leap motion dan menerjemahkan isyarat yang dibuat dalam tampilan sensor. Setelah data training klasifier dibuat menggunakan dataset yang sudah disediakan. Ketika aliran data input diterima dari API LMC, urutannya data diektrasi untuk fitur dan dikompres oleh utilities sebelum diklasifasi oleh klasifer. Jika data inputan dikenali akan memunculkan huruf alphabet di layar aplikasi. Figure 5 merupakan rancangan sistem pada penulisan ini.
Figure 5. Desain System 3. Result Classification of Indonesian Sign Language
Berdasarkan tahapan yang
ditunjukkan pada desain sistem, maka dilakukan pengembangan sistem sebagai hasil pada penulisan ini yang dapat dilihat pada Figure 6 sebagai AppDatatraining dan
Figure 7 AppInterpreter, untuk pengenalan
pola bahasa isyarat Indonesia dengan menggunakan Leap Motion Controller dan Naïve Bayesn Classifier.
AppInterpter AppDatatraining
Dataset
Leap API Utilities Clasifier
3.1. Experiments
Pada tahap pengujian dilakukan dengan mengklasifikasikan 24 huruf alphabet bahasa isyarat Indonesia (SIBI) menggunakan tangan responden selain responden yang dijadikan data latih.
Melalui proses pengujian dengan
perulangan sebanyak 5 kali untuk menguji 24 huruf alphabet SIBI yaitu A, B, C, D, E, F, G, H, I, K, L, Q, R, T, U, V, W, X, Y. Sehingga total data uji berjumlah 120 sampel dan Jarak tangan responden terhadap perangkat leap motion sensor adalah 11,5 cm. vector ini akan diolah menggunakan naïve bayesn classifier.
3.2. Classification Results
Pada proses klasifikasi untuk penelitian ini menggunakan 1.80 untuk euclidean distance dengan tingkat akurasi 95%. Hasil klasifikasi dapat dilihat Table
2, ada beberapa huruf pengujian yang salah
dalam mengidentifikasi huruf yang
dilakukan sebanyak 5 kali antara lain: huruf M dikenali sebagai huruf O sebanyak 1 kali, huruf N dikenali sebagai huruf M 2 kali, huruf N dikenali sebagai huruf T sebanyak 1 kali, Huruf P dikenali sebagai huruf G 1 kali, Huruf S dikenali sebagai huruf M sebanyak 1 kali.
Table 2. Classification Result
Alphabet Experiments Know as other letters True False A 5 0 B 5 0 C 5 0 D 5 0 E 5 0 F 5 0 G 5 0 H 5 0 I 5 0 K 5 0 L 5 0 M 4 1 O N 2 3 M,T O 5 0 P 4 1 G Q 5 0 R 5 0 S 4 1 M T 5 0 U 5 0 V 5 0 W 5 0 X 5 0 Y 5 0 4. Conclusion
Sesuai dengan hasil penelitian dan pembahasan yang telah diuraikan maka dapat ditarik kesimpulan bahwa desain prototipe sistem penerjemah 24 alfabet bahasa isyarat Indonesia (SIBI) statis sebaiknya menggunakan leap motion controller dan mechine learning naïve bayes classifier dengan euclidean distance 1.80.. Sehingga penelitian ini memiliki kontribusi
Figure 7. Result AppInterpreter with LMC Visualizer Figure 6. Result AppDatatraining
terhadap sistem penerjemah dengan tingkat akurasi yang tinggi yaitu 95%.
References
[1] L.E. Potter, J. Araullo, L. Carter, Proceedings of the 25th Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration, The Leap Motion controller: A view on sign language, Griffith University, Brisbane, Australia, November 25 – 29, 2013; 175-178.
[2] Elons ,A.S. Ahmed, Menna. Shedid, Hwaidaa and Tolba, M.F. Arabic Sign Language Recognition Using Leap Motion Sensor. Industrial Electronics (ISIE), IEEE 23rd International Symposium on. 2014
[3] Chuan, Ching-Hua. Regina, Eric. Guardino, Caroline. American Sign Language Recognition Using Leap Motion Sensor. 2014 13th International Conference on Machine Learning and Applications. 2014
[4] M. Mohandes, S. Aliyu, M. Deriche, International Multi-Conference on Systems, Signals & Devices, Prototype Arabic Sign Language Recognition using Multi-Sensor Data Fusion of Two Leap Motion Controllers, King Fahd University, Saudi Arabia. 2015
[5] Izzah ,Abidatul. Suciati ,Nanik. 2014. Translation Of Sign Language Using Generic Fourier Descriptor And Nearest Neighbour. International Journal on Cybernetics & Informatics ( IJCI) Vol.3, No.1, February 2014.
[6] Supriyati, Endang. Iqbal , Mohammad. Recognition System of Indonesia Sign Language based on Sensor and Artificial Neural Network. Makara Seri Teknologi, 2013; 17(1): 25-31.
[7] G. Marin, F. Dominio, P. Zanuttigh. Hand Gesture Recognition with Leap Motion and Kinect Devices. ), Image Processing (ICIP), 2014 IEEE International Conference on, University of Padova, Italy, 2014:1565-1569
[8] H.Wang, M. Leu, C. Oz, American Sign Language Recognition Using Multi- Dimensional Hidden Markov Models, Journal of Information Science and Engineering 22, 2005:1109-1123
[9] F. Weichert, D. Bachmann, B. Rudak and D. Fisseler, Sensors 13, Analysis of the Accuracy and Robustness of the Leap Motion Controller, Technical University Dortmund, Germany, May 14, 2013:6380-6393
[10] M. Khademi, H. M. Hondori, A. McKenzie, L. Dodakian, C. V. Lopes, S. C. Cramer, CHI ’14 Extended Abstracts on Human Factors in Computing Systems, Freehand interaction with leap motion controller for stroke rehabilitation, University of California, USA, 2014:1663-1668
[11] J. Wachs, M. K¨olsch, H. Stern, Y. Edan, Communications of the ACM Vol 54, No.2, Vision-Based Hand-Gesture Applications, 62-71. 2011
[12] J.Sutton, ACM SIGGRAPH Studio Talks, no. 21, Airpainting with Corel Painter Freestyle and the
Leap Motion Controller: A Revolutionary New Way to Paint. 2013
[13] N. Xu, W. Wang, X. Qu, Image and Graphics: 8th International Conference, Recognition of In-Air Handwritten Chinese Character Based on Leap Motion Controller, Tianjin, China, August 13-16. 2015;160-168 35
