PENGENALAN EKSPRESI WAJAH MENGGUNAKAN
WAVELET GABOR DAN BACKPROPAGATION
Immanuela P. Saputro1, Ernawati2, B.Yudi Dwiandiyanta3
1
Program Studi Teknik Informatika – Fak.Teknik – Univ. De La Salle – Manado
2, 3
Magister Teknik Informatika – Pascasarjana – Univ. Atma Jaya – Yogyakarta Email: 1immasaputro@gmail.com, 2ernawati@staff.uajy.ac.id,
3
yudi-dwi@staff.uajy.ac.id
ABSTRAK
Dalam satu dekade terakhir, sistem pengenalan ekspresi wajah telah menjadi topik menarik dalam dunia penelitian. Semakin terjangkaunya harga teknologi yang mendukung penelitian tersebut, membuat sistem pengenalan wajah dapat diterapkan dalam kehidupan sehari-hari, salah satunya dalam dunia pendidikan. Tujuan dari penelitian ini adalah mengenali ekspresi wajah menggunakan wavelet Gabor dan Backpropagation, untuk membantu konselor dalam melakukan konseling kepada mahasiswa, khususnya dalam permasalahan non akademik, serta menguji tingkat akurasi jaringan
backpropagation dalam melakukan klasifikasi ekspresi wajah seseorang. Vektor masukan bagi
jaringan diperoleh melalui transformasi wavelet Gabor, dan inisialisasi bobot menggunakan metode Nguyen Widrow. Beberapa fungsi yang digunakan seperti sigmoid biner untuk aktivasi bobot, fungsi
gradient descent untuk pelatihan jaringan, dan fungsi learngd untuk perubahan bobot dengan laju
pembelajaran sebesar 0,05. Arsitektur jaringan menggunakan dua lapisan tersembunyi serta tiga node untuk lapisan output. Nilai Mean Square Error (MSE) sebesar 0,001. Jaringan dilatih menggunakan 70 data yang terdiri dari 10 orang dan setiap orang mempunyai tujuh ekspresi. Pengujian dilakukan menggunakan data lain yang terdiri dari lima orang. Ukuran citra untuk pelatihan dan pengujian mempunyai ukuran 16x16 piksel. Berdasarkan hasil pengujian, sistem memberikan unjuk kerja sebesar sebesar 85,71% dalam pengklasifikasian ekspresi wajah. Untuk pengembangan lebih lanjut, sistem dapat diintegrasikan dengan media perekam, sehingga ekspresi wajah dapat langsung dikenali melalui capture video.
Kata kunci: ekspresi wajah, wavelet Gabor, backpropagation
ABSTRACT
During the last decade, facial expression recognition system has been researched extensively. The increasingly affordable technology which supports the system has boosted the use of facial recognition system in the everyday life, including in the education system. This research aims to develop a facial expression recognition system using Gabor wavelet and Backpropagation to help counselors in helping university students while discussing academic problems, as well as testing the level of accuracy of backpropagation network in classifying a person’s facial expression. The input vector for the network is the result of a Gabor wavelet transform, and the weights are initialized using Nguyen Widrow method. Several different functions are used, namely binary Sigmoid for weight activation, gradient descent for network learning, and learngd to vary the weight with learning rate 0.05. The network uses 2 hidden layers and 3 nodes for output layer. The Mean Square Error (MSE) is 0.001. The network was trained using 70 data from 10 people, and each person has 7 expression. The testing was done with a different data set from 5 test subjects. The image size for training and testing is 16 x 16 pixels. Based on the tests, the system
performance for classifying facial expressions is 85.71%. For further development, the system may be integrated with a recording device so that the facial expression can be instantly recognized via captured image.
Keywords: facial expression, Gabor wavelet, backpropagation
PENDAHULUAN
Ekspresi wajah pada dasarnya adalah komunikasi nonverbal bagi manusia untuk menyampaikan emosi dan maksud kepada orang lain selama berinteraksi [1]. Selain ekspresi netral, secara universal ekspresi wajah terbagi menjadi enam yaitu senang, sedih, terkejut, marah, takut, dan jijik. Ekspresi-ekspresi tersebut adalah hasil gerakan otot dari bagian wajah seperti hidung, mulut, dan mata [2]. Dalam beberapa penelitian telah dinyatakan bahwa ekspresi wajah mempunyai
peranan paling besar dalam
menyampaikan pesan yaitu sebesar 55%, dibandingkan suara yang hanya 38%, dan bahasa sebesar 7% [3][4].
Pada tahun 1980, student engage-ment menjadi topik hangat dalam penelitian di dunia pendidikan. Dilaporkan sekitar 25-60% mahasiswa drop-out dikarenakan merasa bosan dan tidak tertarik di dalam kelas. Terdapat beberapa faktor yang mempengaruhi
drop-out seorang mahasiswa. Hal
tersebut membuat beberapa institusi pendidikan mengambil keputusan untuk melakukan beberapa strategi agar tingkat drop-out mahasiswa menurun [5]. Salah satu cara untuk mengatasinya dilakukan melalui bimbingan konseling. Supaya proses konseling dapat berjalan dengan baik, seorang konselor harus mampu memahami ekspresi wajah sesuai dengan apa yang dirasakan dan dialami oleh mahasiswa [6].
Saat ini penelitian dalam bidang pengenalan ekspresi wajah telah banyak dilakukan dengan menggunakan bera-gam objek dan metode; akan tetapi masih sedikit penelitian yang berfokus
pada kegiatan pemberian konseling bagi mahasiswa. Tujuan dari penelitian ini adalah membuat aplikasi pengenalan ekspresi wajah melalui proses konseling, sehingga konselor dapat memberikan solusi yang baik. Aplikasi dibuat dengan menerapkan wavelet Gabor untuk proses ekstrasi ciri dan Backpropagation untuk klasifikasi ekspresi wajah. Selain itu, akan dianalisis cara kerja dan hasil imple-mentasi metode Backprpagation pada proses pembelajaran dan pengenalan berdasarkan pada tingkat akurasi dan kecepatan.
Penelitian ini mengacu pada beberapa penelitian yang telah dilakukan sebelumnya dan sebagai perbandingan-nya dapat dilihat pada Tabel 1.
TEORI PENDUKUNG A. Metode Penelitian
Tahap-tahap yang digunakan dalam penelitian ini meliputi tahap analisis kebutuhan aplikasi, perancangan aplikasi, implementasi aplikasi, dan pengujian aplikasi. Diagram blok sistem ditunjukkan pada Gambar 1.
Proses awal pengenalan ekspresi wajah dimulai dari tahap akuisisi citra yang diperoleh melalui capture kamera digital dengan ukuran 256x256 piksel. Tahap selanjutnya adalah pengolahan citra meliputi perubahan ukuran citra dan thresholding. Pada tahap ekstraksi ciri, vektor bobot citra diperoleh dengan menggunakan wavelet Gabor yang kemudian dinormalisasikan untuk memperoleh data dengan kisaran nilai antara 0 dan 1. Tahap akhir adalah pelatihan serta pengujian data ke dalam jaringan syaraf tiruan backpropagation.
Tabel 1 Perbandingan penelitian Penelitian Bashyal, Venayagamoor- thy (2008) Raheja, Kumar (2010) Satiyan, Hariharan, Nagarajan (2010) Peerven, Gupta, Verma (2012) Saputro, Immanuela P (2015) Jenis
Metode Wavelet Gabor,
Learning Vector Quantization (LVQ) Added-boost classifier, Backpropagation Wavelet Haar, Backpropagation Statistical Feature Extraction, Backpropagation Wavelet Gabor, Backpropagation
Objek Citra dalam basis
data JAFFE
Citra diambil dari
capture web-cam
Citra yang diambil dari hasil rekaman
video gerakan
wajah seseorang.
Citra dalam basis data JAFFE Citra mahasiswa Unika De La Manado. Permasa-lahan Bagaimana mengenali tujuh ekspresi wajah berdasarkan citra JAFFE? 1. Bagaimana mendeteksi wajah dari citra
hasil capture web-cam? 2. Bagaimana mengenali ekspresi wajah gembira, berpikir, dan sedih? Bagaimana mendeteksi gerakan wajah dari citra hasil rekaman video? Bagaimana mengenali tujuh ekspresi wajah berdasarkan citra JAFFE? Bagaimana mengenali tujuh ekspresi wajah pada citra mahasiswa Unika De La Salle? Bahasa Pemro-graman
Visual Basic dan Matlab
Java C++ Matlab 7.0 Matlab
(R2013a)
Tujuan Mengenali tujuh
ekspresi wajah
pada citra JAFFE
Mendeteksi dan
mengenali ekspresi
wajah gembira,
berpikir, dan sedih berdasarkan pada gerakan tubuh.
Mengenali ekspresi wajah berdasarkan
gerakan alis,
rahang, dan bibir.
Mengenali tujuh
ekspresi wajah
pada citra JAFFE
Mengenali tujuh ekspresi wajah pada citra mahasiswa Unika De La Salle Manado Hasil Penggunaan metode Wavelet Gabor dan LVQ memberikan tingkat keakuratan sebesar 87,51% dalam mengenali enam ekspresi tanpa
ekspresi takut pada 70 citra, tingkat keakuratan naik menjadi 90,21% pada semua ekspresi Penggunaan metode Add-boosted classifier dan Backpropagation memberikan tingkat keakuratan dalam mengenali ekspresi gembira sebesar 94.28%, berpikir 85.71%, dan sedih sebesar 83.33% Penggunaan metode Wavelet Haar dan Backpropagation memberikan tingkat keakuratan sebesar 97% dalam mengenali semua ekspresi pada tingkat pertama level dekomposisi. Penggunaan metode Statistical feature extraction dan Backpropagation memberikan tingkat akurasi sebesar
100% dari data latih
sebanyak 154 dengan kecepatan waktu pengenalan 0:02:11 detik Penggunaan metode Wavelet Gabor serta Backpropagation dapat memberikan tingkat keakuratan dalam mengenali tujuh ekspresi wajah minimal sebesar 83,6%
Gambar 1 Diagram blok sistem pengenalan ekspresi wajah
B. Landasan Teori
Seperti yang telah disampaikan pada bagian sebelumnya, bahwa tujuan dari penelitian ini adalah mengetahui berapa besar tingkat akurasi jaringan
backpropagation sistem pengenalan
ekspresi wajah dengan ekstraksi ciri citra menggunakan wavelet Gabor. Citra wajah untuk pelatihan dan pengujian diambil di lapangan. Pada Gambar 2
Pelatihan Praproses Ekstraksi Ciri wavelet Gabor Klasifikasi ekspresi wajah dengan backpropagation Pengujian Praproses Ekstraksi Ciri wavelet Gabor Klasifikasi ekspresi wajah dengan backpropagation
dapat dilihat hasil capture kamera sebelum citra dilakukan praproses.
B.1 Praproses
Praproses adalah tahap untuk mendapatkan citra dengan sebaran informasi yang lebih baik dibandingkan dengan citra asli. Pada penelitian ini tahap praproses menggunakan dua metode yaitu Otsu thresholding dan Adaptive thresholding. Metode Otsu
thresholding digunakan untuk
memisahkan objek dan latar
belakangnya. Sedangkan metode Adaptive thresholding digunakan untuk mencari bagian-bagian kecil citra dengan nilai threshold lokal yang dihitung secara adaptif berdasarkan statistik beberapa piksel bertetangga. Gambar 3 menunjukkan hasil praproses citra asli.
B.2 Ekstraksi Ciri
Ekstraksi ciri adalah proses untuk memunculkan ciri citra, sedangkan wavelet adalah gelombang mini yang
mempunyai kemampuan untuk
mengelompokkan energi citra dan terkonsentrasi pada sekelompok kecil koefisien. Proses ekstraksi ciri pada penelitian ini menggunakan transformasi wavelet Gabor. Wavelet Gabor adalah wavelet yang terbentuk dari perkalian antara fungsi sinusoidal kompleks dengan Gaussian Envelope [7].
Kelebihan dari wavelet Gabor adalah kemampuannya untuk dengan mudah menyesuaikan lokalisasi detail pada domain spasial dan frekuensi serta kesamaannya dengan representasi frekuensi dan orientasi sistem visual manusia sehingga wavelet Gabor sangat popular dan memberikan hasil yang baik pada area segmentasi tekstur, pengenalan sidik jari, dan pengenalan wajah [8].
Setelah vektor ciri diperoleh, tahap selanjutnya adalah normalisasi data. Normalisasi data perlu dilakukan pada saat merancang suatu sistem pengenalan atau klasifikasi pola yang mempunyai variasi nilai ekstraksi ciri dalam interval yang sangat berbeda. Namun jika normalisasi data akan dilakukan dengan menggunakan interval tertentu, maka data harus ditransformasikan ke dalam interval tersebut. Sebagai contoh vektor ekstraksi ciri N akan diubah dalam interval [0 1] seperti pada keluaran fungsi aktivasi sigmoid biner. Mengingat fungsi sigmoid biner merupakan fungsi asimtotik yang nilainya tidak pernah mencapai 0 atau 1, maka nilai dapat ditransformasikan dalam interval yang lebih kecil, misalnya [0,1 0,9]. Jika a adalah nilai minimum dari N dan b adalah nilai maksimum dari N, transformasi data dalam interval [0,1 0,9] dapat menggunakan rumus metode linear seperti pada Persamaan (1) [9].
(1)
(a) (b) (c) (d)
Gambar 3 (a) citra awal yang telah diubah ukuran pikselnya menjadi 16x16; (b) citra skala keabuan;
(c) citra hasil otsu thresholding; (d) citra hasil adaptive thresholding Hasil ekstraksi ciri dan
normalisasi data citra masukan dapat dilihat pada Gambar 4.
Gambar 4 (a) ekstraksi citra dengan wavelet Gabor;
(b) normalisasi vektor citra
B.3 Backpropagation
Backpropagation adalah metode yang didasarkan pada minimalisasi fungsi error (MSE) melalui propagasi mundur sinyal error dalam jaringan. Tiap unit lapisan input dalam jaringan terhubung dengan tiap unit yang ada pada lapisan tersembunyi. Demikian juga untuk tiap unit dalam lapisan tersembunyi akan terhubung dengan lapisan output [10]. Backpropagation dapat dibagi ke dalam dua bagian yaitu algoritma pelatihan dan algoritma pengujian.
Jaringan backpropagation pada penelitian ini dibangun menggunakan lapisan input dengan jumlah node sebanyak 256, dua lapisan tersembunyi dengan jumlah node masing-masing 50 dan 40, serta satu lapisan output dengan
tiga node. Fungsi-fungsi yang digunakan dalam jaringan ini adalah sigmoid biner
untuk fungsi aktivasi yang
menghubungkan setiap lapisan. Hal ini karena output yang diinginkan hanya berupa 0 dan 1. Fungsi pelatihan
menggunakan gradient decent
backpropagation serta nilai laju
pembelajaran sebesar 0,05 dan MSE sebesar 0,001.
HASIL PENELITIAN DAN PEMBAHASAN
Sebelum dilakukan pengujian, jaringan backpropagation yang telah dibangun perlu dilatih untuk melihat unjuk kerja jaringan. Data yang digunakan terdiri dari 70 ekspresi wajah yang terdiri dari lima mahasiswa perempuan dan lima mahasiswa laki-laki. Waktu pelatihan yang diperlukan untuk melatih jaringan dengan arsitektur yang telah ditentukan adalah 9 detik dengan jumlah iterasi sebanyak 3273 epoch.
Setelah proses pelatihan selesai dilakukan, selanjutnya akan dilakukan proses pengujian jaringan. Proses pengujian dibagi menjadi dua bagian, yang pertama menggunakan data latih yang bertujuan melihat kemampuan jaringan mengingat data yang pernah diberikan sebelumnya. Bagian kedua, menggunakan data yang baru dengan tujuan untuk mengukur tingkat akurasi jaringan. Persamaan yang digunakan untuk mengukur kemampuan dan
akurasi jaringan dapat dilihat pada Persamaan (2).
(2)
Berdasarkan hasil eksperimen yang pertama, jaringan diuji dengan menggunakan data latih yang berjumlah lima orang jaringan mampu memberikan akurasi sebesar 100% yang diperoleh dari (35/35)*100%. Detail hasil pengujian 1 dapat dilihat pada Tabel 2.
Berdasarkan hasil eksperimen yang kedua, jaringan diuji dengan menggunakan data baru yang berjumlah lima orang jaringan mampu memberikan akurasi sebesar 85,71% yang diperoleh dari (30/35)*100% Detail hasil pengujian 2 dapat dilihat pada Tabel 3.
Tabel 2 Hasil pengujian 1
Nama Set Latih Nama Set Uji Ekspresi Wajah Tar g e t Hasil Uji Data 1 Ket Hasil Uji Data 2 Ket Hasil Uji Data 3 Ket Hasil Uji Data 4 Ket Hasil Uji Data 5 Ket gab_ lat1 gab_ uji_a Netral 0 0.0121 D 0.0262 D 0,0177 D 0.0157 D 0.0218 D 0 0.0667 0.2267 0,0345 0.0230 0.0516 1 0.9410 0,9786 0,8636 0.9668 0.9678 Senang 0 0.0333 D 0,0867 D 0,3610 D 0.0128 D 0.0259 D 1 0.9825 0,9654 0,9599 0.9791 0.9800 0 0.0287 0,0766 0,5521 0.0954 0.0199 Sedih 0 0.0244 D 0,2262 D 0,4289 D 0.3038 D 0.0259 D 1 0.9421 0,9883 0,9750 0.6119 0.9687 1 0.9957 0,9454 0,9463 0.9967 0.9560 Marah 1 0.9679 D 1.0000 D 0,8912 D 0.8796 D 0.9979 D 0 0.0089 0,0796 0,1381 0.0550 0.0244 0 0.0530 0,4538 0,5735 0.9221 0.0492 Takut 1 0.9804 D 0,9364 D 0,9726 D 0.9347 D 0.9911 D 0 0.0238 0,0998 0,0494 0.0415 0.0183 1 0.9668 0,9756 0,9082 0.9972 0.9591 Kaget 1 0.9527 D 0,7282 D 0,9351 D 0.9647 D 0.9749 D 1 0.9988 0,9980 0,9808 0.8120 0.9801 0 0.0247 0,3765 0,0548 0.0588 0.0504 Jijik 1 0.9997 D 0,8711 D 0,9934 D 0.8787 D 0.9571 D 1 0.9804 1.0000 0,9405 0.9960 0.9588 1 0.9579 0,8419 0,9386 0.9943 0.9595 Keterangan: D = dikenali
Tabel 3 Hasil pengujian 2 Nama Set Latih Nama Set Uji Ekspresi Wajah Tar g e t Hasil Uji Data 1 Ket Hasil Uji Data 2 Ket Hasil Uji Data 3 Ket Hasil Uji Data 4 Ket Hasil Uji Data 5 Ket gab_ lat2 gab_ uji_b Netral 0 0,0298 D 0,0880 D 0,0280 D 0,0088 D 0,0880 D 0 0,0493 0,0891 0,0029 0,0446 0,0891 1 0,9675 0,9258 0,9674 0,9908 0,8258 Senang 0 0,0171 D 0,0175 D 0,0168 D 0,0065 D 0,9175 TD 1 0,9932 0,9999 0,9916 0,9821 0,9999 0 0,0269 0,4961 0,0414 0,0244 0,4961 Sedih 0 0,0304 D 0,9603 TD 0,0282 D 0,0329 D 0,9603 TD 1 0,9343 0,9972 0,9779 0,9871 0,9972 1 0,9693 0,9891 0,9662 0,9565 0,9891 Marah 1 0,9722 D 0,9984 D 0,9596 D 0,9973 D 0,9984 D 0 0,0086 0,1308 0,0393 0,0226 0,1308 0 0,0493 0,0350 0,0562 0,0510 0,0350 Takut 1 0,9819 D 0,9687 D 0,9754 D 0,9965 D 0,9687 TD 0 0,0431 0,0852 0,0211 0,0335 0,9852 1 0,9596 0,8112 0,9827 0,9514 0,2112 Kaget 1 0,9800 D 0,9508 D 0,9995 TD 0,9945 D 0,9508 D 1 0,9964 0,9996 0,8945 0,9723 0,9996 0 0,0097 0,2952 0,9320 0,0411 0,2952 Jijik 1 0,9976 D 0,8939 D 0,9989 D 0,9641 D 0,8939 D 1 0,9862 0,9991 0,9477 0,9897 0,9991 1 0,9837 0,8582 0,9394 0,9641 0,8582 Keterangan: D = dikenali TD = tidak dikenali SIMPULAN
Berdasarkan hasil analisis, perancangan, implementasi, dan pengujian yang telah selesai dilakukan, dapat disimpulkan beberapa hal sebagai berikut:
1. Pengembangan aplikasi pengenalan ekspresi wajah menggunakan wavelet Gabor dan jaringan syaraf tiruan Backpropagation adalah metode yang tepat berdasarkan pada proses pengenalan ekspresi wajah mencapai 100% pada data yang
sudah pernah dilatih dan secara umum pada data uji yang belum pernah dilatih mencapai 85,71%. 2. Kondisi optimal pelatihan jaringan
wavelet Gabor dicapai dengan
menggunakan kombinasi node 50 40 pada lapisan tersembunyi, konstanta laju pembelajaran 0,05 waktu pelatihan yang diperlukan 9 detik dengan jumlah iterasi sebanyak 3273 epoch.
3. Ekspresi wajah sedih adalah ekspresi yang paling sulit dikenali.
DAFTAR PUSTAKA
[1] D. Das. 2014. Human’S Facial Parts Extraction to Recognize Facial Expression. International Journal on Information Theory (IJIT), vol. 3, no. 3, pp. 65-72. [2] L. Ma and K. Khorasani. 2004.
Facial Expression Recognition using Constructive Feedforward
Neural Networks. IEEE
Transactions on Systems, Man,
And Cybernetics—Part B:
Cybernetics, vol. 34, no. 3, pp. 1588-1595.
[3] N. Thomas and M. Mathew. 2012. Facial Expression Recognition System using Neural Network and Matlab. Dindigul Tamilnadu. [4] Z. Abidin and A. Harjoko. 2011.
Facial Expression Recognition By using Fisherface Method with Backpropagation Neural Network. Indonesian Journal of Computing and Cybernetics System (IJCCS), vol. 5, no. 1, pp. 83-91.
[5] J. Whitehill, Z. Serpell, Y. C. Lin, A. Foster, and J. R. Movellan. 2014. The Faces of Engagement: Automatic Recognition of Student
Engagement from Facial
Expressions. IEEE Transactions on Affective Computing, vol. 5, no. 1, pp. 86-98.
[6] J. F. Grafsgaard, J. B. Wiggins
and K. E. Boyer. 2013.
Automatically Recognizing Facial
Expression: Predicting
Engagement and Frustration.
Memphis.
[7] C. Zor. 2008. Facial Expression
Recognition. Tesis, tidak
dipublikasikan. Guildford, Surrey: University of Surrey.
[8] Zhan Yong-zhao, Y. Jing-fu, N. De-jiao, and C. Peng. 2004. Facial Expression Recognition Based on Gabor Wavelet Transformation and Elastic Templates Matching. [9] J. S. Jong. 2005. Jaringan Syaraf
Tiruan dan Pemrogramannya
Menggunakan Matlab, 2nd ed.
Yogyakarta: Andi Offset.
[10] Puspitaningrum. 2006. Pengantar
Jaringan Saraf Tiruan.
Yogyakarta: Andi Offset.
