Fakultas Ilmu Komputer
Universitas Brawijaya 1083
Sistem Pengontrol Presentasi Menggunakan Pengenalan Gestur Tangan
Berbasis Fitur pada Contour dengan Metode Klasifikasi Support Vector
Machine
Muhammad Hafid Khoirul1, Fitri Utaminingrum2
Program Studi Teknik Komputer, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected]
Abstrak
Presentasi telah menjadi bagian yang tidak dapat dipisahkan dari kehidupan saat ini. Saat ini presenter masih terbatasi oleh mouse, keyboard, dan perangkat lainnya untuk mengontrol presentasi, dengan cara tersebut masih kurang efektif, efisien, dan alami. Cara lain yang dapat digunakan untuk mengontrol presentasi yaitu dengan menggunakan gerakan tangan. Dengan menggunakan gerakan tangan akan membantu proses berpikir karena gerakan tubuh dapat membantu memberikan petunjuk visual dan membuat penyampaian presentasi lebih efektif, efisien, dan alami. Sistem yang dikembangkan yaitu sistem yang dapat mengenali gestur tangan dan memberikan output berupa perintah untuk mengontrol presentasi sesuai dengan gestur tangan yang terkenali. Fitur contour seperti Hu moments, circularity,
convexity, aspect ratio, rasio luas contour, rasio white pixel, dan rasio tinggi dan lebar centroid
digunakan sebagai fitur untuk membedakan setiap gestur tangan. Menggunakan HSV dan YCbCr color
space dalam melakukan segmentasi warna kulit. Metode klasifikasi Support Vector Machine digunakan
untuk memprediksi gestur tangan apa yang terkenali. Dengan menggunakan fitur contour dan SVM untuk mengenali gestur tangan, sistem mendapatkan rata-rata akurasi sebesar 88.15% dan rata-rata waktu komputasi sebesar 0.156 detik.
Kata kunci: pengolahan citra, presentasi, pengenalan, gestur tangan, SVM, contour
Abstract
In recent years, presentation has been a part of our lives. Presenter is limited by mouse, keyboard, or any other devices to control presentation. By using those devices conclude that less effective, less efficient, and less natural. On another hand, further method to control presentation uses hand gesture. It improves thinking process since the method can facilitate to give visual guide and deliver the presentation more effective, more efficient, and more natural. The developed system can recognize hand gestures and give output to control presentation based on the recognized hand gesture. Contour features such as Hu moments, circularity,convexity, aspect ratio, ratio of contour area, ratio of centroid height and width, and white pixel ratio used to distinguish every hand gestures. HSV and YCbCr color spaces used for skin segmentation. To recognized hand gestures used Support Vector Machine classification method. As a result, by using contour features and SVM to recognize hand gestures, system obtained average accuracy time of 88.15% and average computation time of 0.1567s.
Keywords: image processing, presentation, recognition, hand gesture, SVM, contour
1. PENDAHULUAN
Semakin meningkatnya kebutuhan manusia dalam penggunaan komputer dalam menunjang kehidupan sehari-hari mereka, maka muncullah tantangan-tantangan baru bagaimana membuat pengguna komputer merasa lebih nyaman dan mudah dalam menggunakan komputer, salah satunya yaitu kebutuhan dalam metode interaksi
dan komunikasi yang lebih alami, efektif, dan efisien antara pengguna dengan komputer.
Salah satu metode interaksi manusia dan komputer yang sedang berkembang saat ini yaitu metode interaksi dengan menggunakan gerakan tangan. Secara umum, manusia menggunakan
gerakan tangan untuk mengekspresikan
pendapatnya. Oleh karena itu, interpretasi visual dari gerakan tangan dapat membantu mencapai
interaksi dan komunikasi yang lebih alami, efektif, dan efisien dalam interaksi antara manusia dan komputer (Murthy & Jadon, 2009). Salah satu kegiatan yang dapat menggunakan gerakan tangan sebagai media interaksinya yaitu presentasi.
Menurut Hernawati dan Amin (2017), presentasi adalah proses perpindahan informasi, gagasan, emosi, dan sebagainya dengan menggunakan simbol, kata-kata, gambar, grafis, angka, dll dari seorang pembicara kepada audiens dengan maksud tertentu. Sedangkan menurut Purwanitingsih (2009), presentasi adalah suatu kegiatan berbicara di hadapan banyak hadirin.
Presentasi telah menjadi bagian dari kehidupan sehari-hari masyarakat. Ratusan, bahkan ribuan presentasi dibuat setiap harinya. Pada era modern saat ini, presentasi menjadi kegiatan yang sangat penting dan tidak dapat dipisahkan dari berbagai macam bidang seperti pada bidang pendidikan, bisnis, pemerintahan, dan lain sebagainya. Presentasi telah menjadi jembatan untuk menyebarkan informasi secara luas dan massal.
Pada sistem presentasi saat ini, presenter atau orang yang membawakan presentasi masih dibatasi dengan penggunaan alat bantu seperti
mouse, keyboard, pointer, ataupun meminta
bantuan orang lain dalam pengontrolan presentasinya. Dengan sistem presentasi saat ini, timbullah beberapa masalah yang dapat mengurangi efektifitas dan efisiensi presentasi yang dilakukan diantaranya yaitu, hilangnya waktu pada saat melakukan setting alat sebelum presentasi, baterai pointer habis sebelum atau saat digunakan, alat bantu yang ingin digunakan tertinggal atau hilang sehingga tidak dapat digunakan, ataupun presenter terlalu sibuk dengan komputernya sehingga tidak dapat fokus dalam menyajikan materi yang dipresentasikan. Masalah-masalah tersebut dapat membuat presenter mempresentasikan materi yang dibawakannya dengan kurang baik. Tidak hanya akan merugikan presenter, akan tetapi juga dapat merugikan bagi audiens. Audiens bisa menjadi tidak fokus dalam mendengarkan materi yang dibawakan oleh presenter, sehingga isi materi yang dijelaskan oleh presenter kurang dapat dipahami oleh audiens.
Untuk dapat mengatasi masalah-masalah tersebut, sistem pengontrol presentasi menggunakan gestur tangan akan dibuat. Penelitian mengenai pengenalan gestur tangan telah cukup banyak dilakukan. Salah satunya
yaitu penelitian yang dilakukan Harika dan Ramdania (2016), melakukan pengenalan gestur tangan untuk mengendalikan presentasi berbasis slide dengan menggunakan ruang warna HSL untuk segmentasi warna kulit dan menggunakan
convexity defect dalam membedakan gestur
tangan menghasilkan tingkat akurasi sebesar 77.08%. Penelitian selanjutnya yaitu yang dilakukan oleh Sutarno, Passarella, dan Arga (2016), melakukan penelitian pengenalan gestur tangan untuk kendali gerak mobile robot dengan menggunakan HSV untuk segmentasi warna kulit dan menggunakan convexity defect dan
Center of Gravity (CoG) dalam membedakan
gestur tangan menghasilkan tingkat akurasi sebesar 80.4%. Penelitian lainnya yaitu yang dilakukan oleh Asriani dan Susilawati (2010), melakukan penelitian mengenai pengenalan gestur tangan untuk pengenalan bahasa isyarat dengan menggunakan YCbCr untuk segmentasi warna kulit, haar filter wavelet sebagai penciri setiap gestur dan jaringan syaraf tiruan perambatan balik sebagai metode klasifikasinya, dan menghasilkan tingkat akurasi sebesar 69%.
Dari penelitian-penelitian tersebut hasil yang didapatkan tidaklah buruk akan tetapi dengan menggunakan convexity defect maka gestur tangan yang dapat dikenali terbatas dan pengenalan gestur tangan tersebut hanya bergantung pada jumlah defect yang terdeteksi. Jika ada objek lain yang memiliki jumlah defect yang sama seperti yang ada pada gestur tangan maka objek tersebut akan dikenali sebagai gestur tangan, meskipun objek tersebut bukan lah gestur tangan. Sehingga diperlukan fitur-fitur lainnya yang digunakan untuk mengenali gestur tangan.
Pada penelitian ini menggunakan HSV dan
YCbCr untuk segmentasi kulit, dan
menggunakan fitur yang ada pada contour seperti hu moments, circularity, convexity,
aspect ratio, ratio luas contour, rasio white pixel,
rasio tinggi dan lebar centroid untuk membedakan setiap gestur tangan lalu akan digunakan SVM untuk dapat memprediksi gesture tangan apa yang terkenali. Output yang dihasilkan oleh sistem yaitu berupa simulasi tekanan shortcut keyboard yang digunakan untuk mengontrol presentasi.
2. PERANCANGAN DAN
IMPLEMENTASI
Pada bab perancangan dan implementasi ini akan dijelaskan mengenai gambaran umum
sistem, perancangan dan implementasi dari sistem.
2.1 Gambaran Umum Sistem
Sistem yang dikembangkan yaitu sebuah sistem yang digunakan untuk mengontrol presentasi dengan menggunakan gestur tangan. Sistem ini terdiri dari tiga komponen utama yaitu sensor kamera berupa kamera Logitech C270, komponen selanjutnya yaitu NUC5i7RYH yang digunakan untuk memproses citra digital dan memprediksi gestur tangan, dan komponen terakhir yaitu presentasi sebagai objek yang dikontrolnya. Blok diagram sistem dapat dilihat pada Gambar 1.
Gambar 1. Diagram blok sistem
Gambar 2. Gestur tangan
Gestur-gestur tangan yang dapat dikenali oleh sistem dapat dilihat pada Gambar 2. Pada (a) merupakan gestur HAI, jika gestur tersebut bergerak ke kanan maka disebut HAI KANAN, jika bergerak ke kiri maka disebut HAI KIRI, pada (b) merupakan gestur tangan yang akan disebut dengan gestur JAK, pada (c) merupakan gestur tangan yang akan disebut dengan gestur JUTSU, pada (d) merupakan gestur tangan yang akan disebut dengan gestur VI.
Output yang dikeluarkan oleh sistem yaitu
simulasi tekanan shortcut keyboard berdasarkan gestur tangan apa yang terkenali. Shortcut
keyboard tersebut merupakan shortcut keyboard
yang digunakan untuk mengontrol presentasi. Pasangan gestur tangan dan shortcut keyboard tersebut dapat dilihat pada Tabel 1.
Tabel 1. Shortcut keyboad dan fungsinya Gestur
Tangan
Shortcut
Keyboard Fungsi
HAI
KANAN Right Arrow Beralih ke slide selanjutnya HAI KIRI Left Arrow Beralih ke slide sebelumnya
JAK End Beralih ke slide terakhir JUTSU Home Beralih ke slide awal/judul
VI CTRL+L Beralih ke slide yang terakhir dilihat Data latih yang digunakan pada sistem ini didapatkan dari :
1. NUS hand postures dataset I (Kumar, Vadakkepat, & Loh, 2010) dan NUS hand postures dataset II (Kumar, Vadakkepat, & Loh, 2013)
2. Database for hand gestures recognition (Kawulok, et al., 2014), (Nalepa & Kawulok, 2014), (Grzejszczak, Kawulok, & Galuska, 2016).
2.2 Perancangan Sistem
Perancangan sistem terdiri dari
perancangan perangkat keras dan perancangan perangkat lunak. Perancangan perangkat keras dapat dilihat pada diagram blok sistem pada Gambar 1. Perancangan perangkat lunak sistem dapat dilihat pada diagram alir sistem pada Gambar 3.
Input yang diterima oleh sistem yaitu berupa citra digital yang ditangkap oleh kamera. Citra digital tersebut akan dikirimkan ke NUC untuk diproses. Proses pertama yaitu mengkonversi RGB menjadi HSV dan YCbCr untuk dapat mendeteksi warna kulit. Setelah didapatkan citra HSV dan YCbCr selanjutnya akan dilakukan proses smoothing dengan
menggunaakan gaussian blur untuk
memperhalus dan mengurangi detail pada citra. Proses selanjutnya yaitu thresholding untuk mendapatkan citra biner dari warna kulit. Setelah didapatkan citra biner dari warna kulit maka proses selanjurnya yaitu proses erode dan dilate, proses tersebut dilakukan untuk mengurangi
noise yang ada pada citra biner. Proses
selanjutnya yaitu yaitu ekstraksi fitur. Fitur-fitur yang digunakan pada sistem ini yaitu hu
moments, circularity, convexity, aspect ratio,
rasio luas contour, rasio white pixel, dan rasio tinggi dan lebar centroid.
Setelah semua nilai fitur didapatkan, nilai-nilai fitur tersebut yang menjadi input pada SVM untuk memprediksi gestur tangan apa yang terkenali dengan menggunakan model SVM yang telah dibuat sebelumnya. Setelah sistem mengenali gestur tersebut, maka sistem akan
mengoutput perintah untuk mengontrol
presentasi seperti yang sudah dijelaskan sebelumnya.
Gambar 3. Diagram alir sistem
2.3 Implementasi Sistem
Implementasi sistem ini berdasarkan pada perancangan yang telah dibuat dan bertujuan untuk dapat mengetahui dan memastikan perangkat-perangkat yang digunakan dapat bekerja dengan baik dan sesuai dengan yang telah dirancang sebelumnya.
Implementasi sistem ini menggunakan 2 monitor, NUC, dan kamera webcam. Prototype diletakkan sejauh 3 meter dari background, sehingga penguji akan berpindah-pindah menyesuaikan jarak yang diujikan. Kamera diposisikan 130 cm dari permukaan lantai. 2 monitor yang ada digunakan untuk menampilkan presentasi yang sedang dikontrol dan menampilkan proses yang terjadi. 2 monitor dan kamera webcam tersebut tersambung pada NUC. Posisi penguji lurus dengan kamera.
Untuk melihat dengan lebih jelas mengenai implementasi sistem ini dapat dilihat pada Gambar 4.
Gambar 4. Implementasi Sistem
3. PENGUJIAN DAN ANALISIS
Untuk mengetahui performa yang
didapatkan sistem, maka dilakukan pengujian pengaruh jarak dan intensitas cahaya terhadap akurasi sistem, pengujian integrasi output sistem, dan pengujian waktu komputasi sistem. Jarak yang diujikan yaitu 1m, 1.5m, 2m, 2.5m, dan 3. Intensitas cahaya yang diujikan yaitu 220-280 lux dan 470-530 lux. Pengujian dilakukan dengan menggunakan 13 penguji. Hasil dan pembahasan dari pengujian yang telah dilakukan akan dibahas pada subbab-subbab dibawah.
3.1 Pengujian Pengaruh Jarak dan Intensitas Cahaya
Pengujian ini dilakukan untuk mengetahui pengaruh jarak dan intensitas cahaya terhadap pengenalan gestur tangan yang dilakukan oleh sistem. Pada pengujian ini penguji akan berdiri didepan kamera pada jarak 1m, 1.5m, 2m, 2.5m, dan 3m. Pada setiap jarak tersebut akan menggunakan 2 kondisi intensitas cahaya, kondisi pertama yaitu dengan intensitas cahaya 220-280 lux, kondisi kedua yaitu dengan intensitas cahaya 470-530 lux. Pada setiap jarak dan intensitas cahaya tersebut akan dihititung nilai akurasi yang didapatkan oleh sistem. Tabel 2 menunjukan hasil pengujian pengaruh jarak dan intensitas cahaya yang telah dilakukan.
Dari pengujian yang dilakukan didapatkan nilai akurasi yang beragam, akurasi terbaik yang didapatkan oleh sistem yaitu pada jarak 1.5m sebesar 92.31% dan akurasi terburuk didapatkan pada jarak 3m sebesar 84.62%. Dan secara keseluruhan sistem mendapatkan akurasi sebesar 88.15%. Hal yang mempengaruhi nilai akurasi pengenalan gestur tangan tersebut yaitu setiap orang memiliki pola gestur tangan yang berbeda-beda, untuk mendapatkan nilai akurasi yang baik maka data training yang digunakan harus bervariasi. Intensitas cahaya juga dapat mempengaruhi akurasi jika intensitas cahaya tersebut terlalu tinggi ataupun rendah. Pada penelitian ini kondisi intensitas cahaya 220-280 lux dan 470-530 lux, sistem masih dapat mengenali gestur tangan dengan cukup baik. Gambar 5. menunjukan hasil dari pengenalan pola tangan pada jarak 1-3 meter.
Tabel 2. Hasil pengujian pengaruh jarak dan intensitas cahaya No Jarak Intensita s Cahaya (Lux) Akurasi Per Jarak dan Intensitas Cahaya (%) Akurasi Per Jarak (%) 1 1 m 250±30 89.23 86.15 500±30 83.08 2 1.5 m 250±30 93.85 92.31 500±30 90.77 3 2 m 250±30 90.77 91.54 500±30 92.31 4 2.5 m 250±30 84.62 86.19 500±30 87.69 5 3 m 250±30 83.08 84.62 500±30 86.15 Akurasi Per Intensitas Cahaya (%) 250±30 88.31 500±30 88 Rata-Rata Akurasi Keseluruhan (%) 88.15
Gambar 5. Hasil pengenalan gestur
3.2 Pengujian Akurasi Integrasi Sistem Pengujian ini dilakukan untuk mengetahui bagaimana akurasi dari integrasi output sistem. Sistem harus dapat dengan tepat mengeluarkan output sesuai dengan gestur tangan yang terkenali, sehingga presentasi dapat dikontrol dengan baik. Hasil dari pengujian akurasi integrasi output sistem dapat dilihat pada Tabel 3.
Pada Tabel 3 terdapat 2 buah gambar di setiap barisnya yang menunjukan gestur tangan yang dilakukan penguji dan monitor yang menampilkan presentasi. Pada kolom sebelum
menunjukan keadaan gestur tangan belum terkenali oleh sistem, pada kolom sesudah menunjukan keadaan gestur tangan telah dikenali oleh sistem dan sistem telah mengeluarkan output berdasarkan gestur tangan yang terkenali.
Tabel 3. Akurasi integrasi output sistem
Gestur Keyboard Shortcut
Hasil Output Hasil Sebelum Sesudah HAI KANA N Right Arrow B HAI KIRI Lefr Arrow B JAK End B JUTSU Home B VI CTRL+L B
Akurasi Integrasi Output Sistem (%) 100 Contoh dari hasil output yang dikeluarkan oleh sistem dapat dilihat pada gesture HAI KIRI, pada keadaan sebelum gestur terkenali, presentasi berada pada slide satu, setelah gestur HAI KIRI terkenali maka sistem akan mengeluarkan output berupa simulasi tekanan
shortcut keyboard left arrow yang akan
membuat presentasi kembali ke slide
sebelumnya yaitu slide judul. Contoh lainnya yaitu pada gestur JAK, pada keadaan sebelum
gestur terkenali, presentasi berada pada slide judul, setelah gestur JAK terkenali maka sistem akan mengeluarkan output berupa simulasi tekanan shortcut keyboard home yang akan membuat presentasi beralih ke slide terakhir. Contoh hasil output gestur lainnya dapat dilihat juga pada Tabel 3.
3.3 Pengujian Waktu Komputasi
Pengujian ini bertujuan untuk mengetahui kecepatan sistem dalam mengenali pola tangan. Hasil dari pengujian ini yaitu berupa data waktu eksekusi setiap pola tangan yang dirata-rata kan pada setiap jaraknya. Hasil dari pengujian waktu komputasi sistem dapat dilihat pada Tabel 4. Rata-rata waktu komputasi sistem secara keseluruhan yaitu sebesar 0.1567 detik. Faktor yang mempengaruhi cepat atau lamanya gestur tangan dapat dikenali yaitu ukuran dari contour gestur tangan tersebut, jika contour gestur tangannya besar maka waktu yang dibutuhkan untuk menghitung setiap fiturnya akan semakin lama, dan sebaliknya jika contour gestur tangannya kecil maka waktu yang dibutuhkan untuk menghitung setiap fiturnya akan semakin cepat. Karena itu lah semakin jauh penguji dari kamera, waktu komputasi yang dibutuhkan semakin mengecil.
Tabel 4. Waktu komputasi sistem
Gestur Rata-Rata Waktu Komputasi (s)
1m 1.5m 2m 2.5m 3m HAI KANAN 0.223 0.173 0.139 0.128 0.125 HAI KIRI 0.215 0.170 0.134 0.131 0.122 JAK 0.226 0.169 0.135 0.126 0.121 JUTSU 0.222 0.165 0.133 0.125 0.122 VI 0.230 0.184 0.134 0.130 0.125 Waktu Komputasi Per Jarak (s) 0.223 0.172 0.135 0.128 0.123 Waktu Komputasi Keseluruha n Sistem (s) 0.156 4. KESIMPULAN
Berdasarkan pembahasan yang dijelaskan oleh penulis, maka kesimpulan yang dapat diambil yaitu dengan menggunakan fitur contour seperti hu moments, circularity, convexity,
dan rasio tinggi dan lebar centroid serta
menggunakan SVM sebagai metode
klasifikasinya dapat mengenali gestur tangan dengan cukup baik dan membutuhkan waktu komputasi yang cukup cepat, dengan nilai akurasi yang didapatkan yaitu sebesar 88.15%, jika jarak penguji ke kamera semakin jauh maka akurasi yang didapatkan akan menurun dan pada kondisi intensitas cahaya yang berbeda yang diujikan pada penelitian ini tidak terjadi perbedaan performa yang signifikan. Sistem dapat dengan tepat mengeluarkan output sesuai dengan gestur tangan yang terkenali. Rata-rata waktu komputasi sebesar 0.1567 detik, jika jarak semakin menjauh maka waktu komputasi yang dibutuhkan akan semakin menurun.
Saran yang dapat diberikan oleh penulis untuk mengembangkan sistem menjadi lebih baik yaitu memperbanyak dan memvariasikan data training yang digunakan untuk dapat meningkatkan akurasi, menambahkan tingkat evaluasi baik pada jarak, intensitas, ataupun penambahan parameter pengujian lainnya agar lebih mengetahui sistem bekerja pada kondisi yang berbeda-beda.
5. DAFTAR REFERENSI
Asriani, F., & Susilawati, H. 2010. Pengenalan Isyarat Tangan Statis Pada Sistem Isyarat Bahasa Indonesia Berbasis Jaringan
Syaraf Tiruan Perambatan Balik.
MAKARA, Teknologi. 14(2), 150-154.
Grzejszczak, T., Kawulok, M. & Galuzka, A. 2016. Hand Landmark Detection and Localization in Color Images. Multimedia
Tools and Applications. 75(23),
16363-16387.
Harika, M. & Ramdania, D. 2016. Rancang Bangun Pengontrol Presentasi Berbasis Slide dengan Teknik Analisis Gerakan Jari dan Tangan. JOIN, 1(2), 64-69. Hernawati, D. & Amin, M. 2017. Analisis Self
Efficacy Mahasiswa Melalui Kemampuan Presentasi di Kelas. Education and
Human Development Journal, 2(1),
26-33.
Kawulok, M., Kawulok, J., Nalepa, J. & Smolka, B. 2014. Self-Adaptive Algorithm for Segmenting Skin Regions. EURASIP
Journal on Advances in Signal Processing. 2014(1), 170
Kumar, P., Vadakkepat, P. & Loh, A. P. 2010. Hand Posture and Face Recognition Using Fuzzy Rough Approach. International
Journal of Humanoid Robotics. 7(3),
331-356.
Kumar, P. P., Vadakkepat, P., & Loh, A. P. 2013.
Attention Based Detection and
Recognition of Hand Postures Againts Complex Backgrounds. International
Journal of Computer Vision. 101(3),
403-419.
Murthy, G. & Jadon, R. 2009. A Review of Vision Based Hand Gestures Recognition.
International Journal of Information Technology and Knowledge Management,
2(2), 405-410.
Nalepa, J. & Kawulok, M. 2014. Fast and Accurate Hand Shape Classification. In
Beyond Databases, Architectures, and Structures, S. Kozielski, D. Mrozek, P. Kasprowski, B. Malysiak-Mrozek, and D. Kostrzewa, Eds. 424, 364-373.
Purwatiningsih, S. 2009. Peningkatan Prestasi Belajar Biologi Siswa Kelas X.1 SMAN 2 Salatiga Melalui Metode Proyek dengan Penilaian Presentasi dan Poster.
Lembaran Ilmu Kependidikan, 38(1),
40-52.
Sutarno., Pasarella, R. & Arga, B. 2016. Sistem
Pengenalan Gesture Tangan untuk
Kendali Gerak Mobile Robot Berbasis Pengolahan Citra. KNTIA Konferensi
Nasional Teknologi Informasi dan Aplikasinya. Palembang, Indonesia, 8
Oktober 2016. Palembang: Universitas Sriwijaya.
