Fakultas Ilmu Komputer
Universitas Brawijaya 9502
Deteksi Pergerakan Kepala Berdasarkan Analisis Deteksi Tepi Wajah Berbasis Raspberry Pi Untuk Implementasi Pemilihan Menu Display
Budi Atmoko1, Fitri Utaminingrum2
Program Studi Teknik Komputer, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1[email protected], 2[email protected]
Abstrak
Pada dunia ilmu komputer tiap tampilan baik itu sistem operasi maupun tampilan pada saat installasi terdapat suatu fitur yang dinamakan menu. Menu adalah fitur yang utama digunakan sebagai media memudahkan pengguna mengakses suatu fungsi di sistem yang dijalankan. Memiliki 2 tampilan dasar yakni GUI dan CLI, sebagian besar menu menggunakan organ tubuh yakni tangan manusia sebagai alat atau media navigasinya. Masalah muncul ketika menu diakses atau ditujukan kepada penyandang disabilitas tangan ataupun korban kecelakaan yang menyebabkan tangan tidak dapat melakukan pergerakan dalam hal ini menjalankan navigasi menu. Solusi yang ditawarkan adalah menggunakan deteksi pergerakan kepala berdasarkan analisis deteksi tepi wajah karena kepala merupakan organ tubuh manusia dengan menggunakan single board raspberry pi sistem mengkonversi nilai RGB dari input ke YCbCr juga HSV dan membentuk bounding box dengan parameter x,y,w,h dan juga area kuadran dengan perbandingan nilai h/w dan jarak centroid serta jumlah piksel pada masing-masing kuadran sebagai penentu klasifikasi pergerakan. Hasil yang diperoleh berdasarkan lux 1500-1800 mencapai 96% dan lux 1250-1400 mencapai 92% sedangkan untuk jarak pada 40,50,60 dan 80cm memiliki akurasi tertinggi pada jarak 60cm yakni 96%. Secara tampilan visual hasilnya baik dan oval terbentuk baik sesuai dengan ekspektasi peneliti.
Kata kunci: YCbCr, HSV, Visual Studio, Raspberry Pi, kuadran , centroid Abstract
In the computer science both the operating system and the display during installation, there is a feature called a menu. This feature used to access functions on the running system. Has 2 basic display are GUI and CLI, most menus use human hand for navigation. The problem is that the compilation menu can’t be accessed by persons with disabilities and person who get accident that cause a problem in their hand to move an object or hardware for navigation a menu. The solution offered uses detection of face edges using human head with raspberry pi single board. RGB convert to YCbCr and HSV color space, then forming a bounding box with parameters x, y, w, h and also quadrant area . By determining the value of h / w and centroid distance and the number of pixels in each quadrant as a determinant of movement classification. The results obtained based on lux 1500-1800 reached 96% and lux 1250-1400 reached 92% while for distances at 40,50,60 and 80cm had the highest accuracy at 60cm distance with 96%
accuracy . With a good result in visual display and oval shape is also good in accordance with the expectations of researchers.
Keywords: YCbCr, HSV, Visual Studio, Raspberry Pi, quadran , centroid
1. PENDAHULUAN
Pada sistem komputasi menurut Konradd Baumann (2001) ada suatu fitur yang ditujukan untuk memudahkan penggunanya dalam mengakses beberapa fungsi dalam satu waktu.
Fitur tersebut adalah menu, yaitu suatu fitur dalam tampilan dasar yakni GUI (Graphical User Interface) dan CLI (Command Line Interface) . Pengaplikasian menu ini ada pada
teknologi gadget atau komputer yang umumnya digunakan masyarakat. Contohnya pada sistem operasi, tampilan sewaktu installasi program, ataupun pada saat membuka aplikasi yang ada pada smartphone. Untuk alat ataupun media yang digunakan dalam navigasi menu ini dapat berupa tombol, analog maupun kursor yang memanfaatkan hardware mouse, keyboard ataupun perangkat hardware lain seperti joystick (Jose.A, 2014). Dari penjelasan diatas dapat
diartikan bahwa kebanyakan sistem navigasi yang sudah ada kebanyakan besar menggunakan tangan sebagai organ utama untuk menggerakkan atau melakukan suatu proses navigasi pada menu.
Masalah muncul ketika pengguna atau user menu ini ditujukan kepada penyandang disabilitas khususnya tangan dan juga korban kecelakaan yang menyebabkan sulitnya mobilisasi atau keterbatasan dalam menggerakkan tangan. Didukung oleh data disabilitas yang diperoleh peneliti menurut data WHO (2011) sekitar 18% dari total penduduk negara berpenghasilan sedang adalah penyandang disabilitas yang didalamnya terdapat beragam jenis disabilitas termasuk disabilitas tangan. Di Indonesia menurut data survei LPEM FEB UI (2017) untuk usia diatas 15 tahun terdapat 12,5% dari total penduduk Indonesia atau sekitar 22,8 juta orang penyandang disabilitas yang juga beragam dan diantaranya penyandang disabilitas tangan juga.
Sehingga peneliti tergerak dalam melakukan penelitian ini.
Solusi yang ditawarkan adalah dengan memanfaatkan organ kepala sebagai media penggerak navigasi menu, kepala dipilih karena merupakan organ yang paling minim mengalami cedera hingga memiliki keterbatasan gerak.
Untuk penelitian sebelumnya ada 3 yakni penelitian pertama oleh Prof. P Y Kumbhar (2017) dengan judul “Real-Time Face Detection and Tracking Using OpenCV” namun memiliki kekurangan yaitu menggunakan Haar-Cascade sebagai metode tracking sehingga membutuhkan data latih sangat banyak bergantung oleh jumlah klasifikasi juga tipe wajah dari objek penelitian ini. Dan juga program belum mampu menentukan klasifikasi dari data otomatis ketika muncul klasifikasi baru, data latih ditambahkan kembali. Kurang efisiensi inilah sehingga perlu menggunakan metode selain yang digunakan oleh peneliti referensi. S.Kolkur, dkk (2017) berjudul “Human Skin Detection Using RGB, HSV and YCbCr Color Models” dengan metode yang baik dalam mendefinisikan berdasarkan warna kulit YCbCr perpaduan dengan HSV dengan persentase akurasi 85 hingga 90 persen.
Namun pada penelitiannya berupa gambar sedangkan dalam penelitian ini di implementasikan pada real-time video. Dari Vignesh. SPG Scholar (2014) berjudul “Real Time Hand Gesture Recognition for Human Machine Communication Using ARM Cortex A- 8” klasifikasi gerakan menampilkan output pada
monitor namun menggunakan organ tangan dan menggunakan Haar-Cascade.
Pada penelitian ini menggunakan deteksi pergerakan kepala dengan menggunakan metode konversi warna RGB ke HSV dan YCbCr yang outputnya ditampilkan pada menu LCD yang berjalan secara real-time. Melalui perbandingan parameter nilai bounding box dan jumlah piksel kuadran berbasis pada single board Raspberry Pi. Sehingga dengan adanya penelitian ini diharapkan mampu memudahkan penyandang disabilitas dalam menjalankan navigasi menu dan sistem mampu mencakup kalangan yang lebih luas.
2. PERANCANGAN DAN IMPLEMENTASI
2.1 Gambaran Umum Sistem
Pada gambar 1 dibawah ini gambar menunjukkan alur dari gambaran sistem secara keseluruhan. Secara umum proses berjalannya sistem dibagi atas 3 bagian besar yakni analisis kulit, proses deteksi kepala dan deteksi pergerakan pada kepala. Yang didalam prosesnya untuk analisis kulit mencakup konversi nilai RGB ke HSV dan YCbCr dan deteksi kulit, untuk selanjutnya deteksi kepala mencakup proses pembentukan bounding box dan pembentukan objek dalam bentuk oval dan deteksi pergerakan yang merupakan klasifikasi gerakan dari nilai yang di dapatkan pada proses deteksi kepala. Dengan input gambar dari kamera dan output berupa integrasi kedalam menu LCD.
Gambar 1. Gambaran Umum pada Sistem
2.2 Implementasi Hardware
Implementasi pada hardware ini menjelaskan tentang pengaplikasian merangkai hardware yang digunakan pada penelitian. Pada gambar 2 merupakan visualisasi dari rangkaian hardware yang digunakan. Terdapat 5 device yakni layar LCD, yang kuning merupakan inverter, disebelah layar adalah controller board dari LCD dan selanjutnya adalah Raspberry Pi 3 b+ di bawahnya terdapat modul kamera.
Penjelasan dari gambar 2 ada pada tabel 1 dibawah ini. Merupakan tabel dengan menghubungkan port dari masing masing device yang digunakan dalam penelitian. Pertama adalah pin kamera, nomor 2 adalah port HDMI yang dihubungkan dari raspberry sebagai input ke controller board sebagai output, nomor 3 adalah socket LDVS sebagai socket untuk tampilan dari controller board dikirim ke layar LCD, nomor 4 merupakan port yang digunakan untuk remote control layar dan yang terakhir adalah pin inverter dari V in yang masuk ke controller board sebesar 12 v diproses pada modul inverter sehingga V in atau tegangan masuk ke LCD mencapai 9 v.
Gambar 2. Installasi Perangkat Keras
Tabel 1. Pin pada Implementasi Hardware No. Ras
Pi
LCD 14”
Contro- ller Board
Inver- ter
RasPi Kamer
a
1 CSI
Out - - - CSI In
2 HDM
I In - HDMI
Out - -
3 - LDVS
Out
LDVS
In - -
4 - - IR &
Key In - -
5 - V in Inverter
In
Inverter
Out -
2.3 Implementasi Software
Gambar 3. Flowchart utama system
Pada proses utama perancangan perangkat ini ditampilkan dalam gambar 3 flowchart umum dari keseluruhan sistem. Sesuai dengan gambaran umum sistem dimulai dari proses input dari kamera kemudian dilanjutkan dengan konversi dari nilai RGB kamera kedalam HSV dan YCbCr dan HSV selanjutnya dibentuk bounding box dari nilai contour yang telah diperoleh.
Setelah didapatkan bentuk bounding box maka proses selanjutnya adalah menentukan nilai dari masing-masing variabel untuk dibandingkan. Nilai ini adalah nilai dari h,w, A dan B garis euclidean. Setelah seluruh proses selesai selanjutnya adalah mengolah perbandingan tadi menjadi klasifikasi pergerakan sesuai dengan nilai threshold yang telah ditentukan. Pada gambar 4 berikut adalah
visualisasi bentuk oval dan bounding box beserta parameter penilaian pada saat sistem merekam pergerakan kepala.
Dari hasil visualisasi tersebut dibuat kondisi pergerakan sesuai dari tabel 2 berikut ini sebagai syarat penggolongan pergerakan kepala.
Gambar 4. Bounding Box dan Parameternya Tabel 2. Klasifikasi pergerakan Kondisi h/w ≥
1,07
B/A ≤ 1,4
K 1 >
K2
K2 >
K1
Tegak Ya Tidak Ya atau
Tidak
Ya atau Tidak
Kanan Ya Ya Tidak Ya
Kiri Ya Ya Ya Tidak
Menunduk Tidak Ya Ya atau Tidak
Ya atau Tidak
3. PENGUJIAN DAN ANALISIS 3.1 Pengujian pengaruh tingkat
pencahayaan pada deteksi kepala
Pengujian yang pertama dilakukan sesuai dengan urutan dari rumusan masalah adalah dengan pengaruh hasil akurasi sistem terhadap tingkat pencahayaan ruangan. Pada pengujian ini digunakan pencahayaan ruangan berkisar untuk tingkat satu pada luminance 1250 hingga 1400 dan pada tingkatan kedua yakni 1500 hingga 1800 luminance. Seluruh hasil pengujian pada penelitian ini dilakukan secara kuantitatif dengan menghitung persentase akurasi.
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = ∑𝑏𝑒𝑛𝑎𝑟
∑𝑝𝑒𝑟𝑐𝑜𝑏𝑎𝑎𝑛 × 100%
Tabel 3. Hasil pengujian pada tingkat pencahayaan.
Hasil dari tingkat pencahayaan diperoleh seperti pada tabel 3. Hasil menunjukkan bahwa tingkat akurasi dari 40 kali percobaan masing- masing pergerakan diperoleh pada luminance 1500 hingga 1800 untuk tegak sebesar 100%, untuk menunduk sebesar 93%, untuk miring ke kanan sebesar 93% dan ke kiri sebesar 98%.
Pada tingkat pencahayaan 1250 hingga 1400 luminance diperoleh hasil untuk tegak sebesar 90%, untuk menunduk sebesar 93%, miring ke kanan sebesar 93% dan miring ke kiri sebesar 93%.
3.2 Pengujian terhadap jarak pada implementasi sistem deteksi kepala Untuk pengujian menurut jarak dari subjek menggunakan 4 jarak yang berbeda selisih 10cm yaitu 40,50 dan 60cm dan jarak terjauh ada pada 80cm. Pada perhitungannya menggunakan metode yang sama dari hasil pengujian yang pertama yakni secara kuantitatif menggunakan persamaan 1 .
Hasil yang diperoleh pada masing-masing jarak dari 20 kali percobaan pada tiap jarak diperoleh hasil untuk jarak 40cm tegak hasil akurasi mencapai 95%, untuk menunduk mencapai 95%, untuk kemiringan ke kanan mencapai 95% dan ke kiri mencapai 90% dengan keseluruhan akurasi mencapai 94% . Pada jarak 50cm diperoleh hasil tegak hasil akurasi mencapai 90%, untuk menunduk mencapai 85%, untuk kemiringan ke kanan mencapai 96% dan ke kiri mencapai 95% dengan hasil keseluruhan akurasi mencapai 93% . Pada jarak 60cm diperoleh hasil tegak hasil akurasi mencapai 95%, untuk menunduk mencapai 100%, untuk kemiringan ke kanan mencapai 90% dan ke kiri mencapai 100% dengan keseluruhan akurasi mencapai 96% dan yang terakhir untuk jarak 80cm diperoleh hasil tegak hasil akurasi mencapai 100%, untuk menunduk mencapai 90%, untuk kemiringan ke kanan mencapai 95%
dan ke kiri mencapai 95% dengan keseluruhan akurasi mencapai 95%
(1)
Tabel 4. Hasil pengujian pada jarak
3.3 Hasil deteksi masing-masing pergerakan kepala
Pada pengujian ketiga dari system, sistem diuji berdasarkan hasil deteksinya hasil yang dinilai berupa tampilan visual sistem ketika program berjalan dengan menunjukkan hasil gambar dari masing-masing 3 subjek pada masing masing klasifikasi pergerakan.
Pada gambar 5 dari hasil penelitian, gambar adalah klasifikasi pergerakan tegak pada ketiga subjek dengan bentuk kepala berbeda menunjukkan hasil deteksi (bentuk oval) yang berbeda. Namun ketiganya menunjukkan hasil detekti sesuai dengan ekspektasi penelitian.
Pada gambar 6 berikutnya hasil penelitian dengan tipe pergerakan menunduk ke bawah jika diperhatikan bentuk deteksi oval yang diperoleh pada dua subjek digambar bagian bawah oval berbentuk miring ke kanan dan ke kiri namun ketika nilai inti yang dipakai yakni perbedaan nilai dari h dan w adalah lebih rendah daripada nilai tegak maka deteksi akan tetap diklasifikasikan pada pergerakan menunduk.
Gambar 5. Visualisasi kepala tegak
Gambar 6. Visualisasi kepala menunduk
Pada gambar 7 gambar merupakan hasil dari penelitian pergerakan kepala ke kanan.
Hasil menunjukkan seluruh oval miring ke kanan dan ukuran yang berbeda pada tiap subjeknya namun ketika perbandingan nilai h dan w masih dalam kategori tegak maka pengecekan nilai kuadran yang digunakan.
Dapat dilihat dari hasil yang diperoleh bahwa nilai piksel dari kuadran 2 lebih tinggi sehingga masuk kategori klasifikasi gerakan ke kanan.
Pada penelitian terakhir merupakan hasil visual dari deteksi pergerakan ke kiri. Ciri klasifikasi ini sama namun dapat dilihat dari hasil bahwa nilai dari kuadran 1 yang lebih tinggi dari gambar putih di kuadran 1, maka klasifikasi pergerakan termasuk pada pergerakan ke kiri.
Gambar 7. Visualisasi kepala Kanan
Gambar 8. Visualisasi kepala kiri
4. PENUTUP
Dari hasil yang diperoleh pada masing masing pengujian dapat disimpulkan bahwa pertama nilai intensitas cahaya dapat mempengaruhi tingkat akurasi dari deteksi kulit pada penelitian. Kedua pada pengujian jarak nilai akurasi tertinggi ada pada jarak 60cm sehingga dapat disimpulkan jarak yang ideal juga mempengaruhi nilai akurasi dari sistem, pada penelitian ini jarak yang ideal ada pada 60cm. Ketiga dari hasil yang didapatkan diperoleh hasil visualisasi pada masing-masing pergerakan dari sistem yang menunjukkan bentuk oval dan menu sistem yang berjalan baik sesuai dengan ekspektasi penelitian.
Saran yang diajukan oleh penulis adalah untuk kedepannya pengembangan dapat dilakukan dari segi metode, penggunaan metode lain dengan tujuan untuk membandingkan hasil sehingga mendapat tingkat akurasi yang lebih baik. Selanjutnya dari segi hardware penggunaan hardware selain raspberry pi dapat digunakan untuk membandingkan nilai akurasi dan waktu komputasi dari segi hardware.
5. DAFTAR PUSTAKA
Ashish Kapoor, R. W. (2001 ). A Real-Time Head Nod and Shake Detector.
Proceedings from the Workshop on Perceptive User Interfaces.
Ghinmine, S. a. (2017). Comparative Study of RGB, HSV & YcbCr Color Model Saliency. Map. 5(6), pp 2320-9801.
H. H. Goldstine, A. G. (1946). The Electronic Numerical Integrator and Computer (ENIAC).
HaolinWei, P. ,. (t.thn.). Real-Time Head Nod And Shake Detection For Continuous Human Affect Recognition.
CentreforSensor
WebTechnologies,DublinCityUniversity ,Ireland .
Iswindarty, P. ( 2013). Pengolahan Citra Digital Semester 1 . Malang : Kementerian Pendidikan &
Kebudayaan .
Jose, A. (2014, Mei 27). Perjalanan Panjang Terciptanya Teknologi Layar Sentuh.
Diambil kembali dari Okezone Techno:
https://techno.okezone.com/read/2014/0 5/27/363/990571/perjalanan-panjang- terciptanya-teknologi-layar-sentuh Konrad Baumann, B. T. (2001). User interface
design for electronic appliances.
Prasetyo, M. E. (2011). Teori Dasar Hidden Markov Model. Makalah II2092 Probabilitas dan Statistik .
Prof. P Y Kumbhar, M. A. (2017). Real Time Face Detection and Tracking Using OpenCV . International Journal For Research In Emerging Science And Technology, Volume-4.
Pulli, K., Baksheev, A., Kornyakov, K., &
Eruhimov, V. (2012). Realtime
Computer Vision with OpenCV. 40:40–
40:56.
Rafael C.Gonzales, R. E. (2014). Digital Image Processing. Tennesse.
S Kolkur, D. K. (2017). Human Skin Detection Using RGB, HSV and YCbCr Color Models. arXiv preprint
arXiv:1708.02694.
Thad Starner, A. P. (1995). Real-Time American Sign Language Visual Recognition From Video Using Hidden Markov Models. Master's Thesis, MIT, Feb 1995, Program in Media Arts.
Vignesh. S PG Scholar, M. ( 2014). Real Time Hand Gesture Recognition for Human Machine Communication Using ARM Cortex A-8 . IOSR Journal of
Computer Engineering (IOSR-JCE) , 43-48.
