Deteksi Ekspresi Wajah menggunakan Graph Convolutional Neural Network
Laporan Tugas Akhir
Diajukan Untuk Memenuhi Persyaratan Guna Meraih Gelar Sarjana Informatika Universitas Muhammadiyah Malang
Mayske Ericha Dewi Suryanti (201710370311262)
Data Science
PROGRAM STUDI INFORMATIKA FAKULTAS TEKNIK
UNIVERSITAS MUHAMMADIYAH MALANG 2022
i
LEMBAR PERSETUJUAN
Deteksi Ekspresi Wajah menggunakan Graph Convolutional Neural Network
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata I Informatika Universitas Muhammadiyah Malang
Menyetujui,
Malang, 28 November 2021
Pembimbing I Pembimbing II
Agus Eko Minarno, S.Kom., M.Kom. Yufis Azhar, S.Kom.,M.Kom.
NIP. 108.1410.0540 NIP. 108.1410.0544
ABSTRAK
Dalam kehidupan sehari-hari, komunikasi sangatlah penting. Selain bahasa, pergerakan dalam komunikasi terkadang ekspresi wajah bisa menjadi sisi lain untuk mengetahui apa yang sedang orang pikirkan. Oleh karena itu, untuk mendeteksi ekspresi wajah diperlukan sistem klasifikasi ekpresi wajah. Penelitian ini mengusulkan model Graph Convolutional Neural Network untuk mendeteksi ekspresi wajah berdasarkan citra wajah. Skenario pengujian penelitian ini dataset yang digunakan yaitu FER2013, CK48+, yang terakhir penggabungan FER2013 dan CK48+. Skenario pengujian dengan dataset FER2013 mendapatkan hasil akurasi paling rendah yaitu 61,95%. Untuk pengujian menggunakan dataset CK48+ mendapatkan hasil akurasi sebesar 94,67%. Penggabungan dataset FER2013 dan CK48+ mendapatkan akurasi 80,86%.
Kata kunci: Ekspresi Wajah, Klasifikasi, Graph Convolutional Neural Network.
v
ABSTRACT
In everyday life, communication is very important. Besides language, movement in communication, sometimes facial expressions can be another way to know what people are thinking. Therefore, to detect facial expressions, a facial expression classification system is needed. This study proposes a model Graph Convolutional Neural Network to detect facial expressions based on facial images.
The test scenario for this research is the dataset used, namely FER2013, CK48+, the last one being a combination of FER2013 and CK48+. The test scenario with the FER2013 dataset gets the lowest accuracy, which is 61.95%. For testing using the CK48+ dataset, the accuracy is 94.67%. Merging the FER2013 and CK48+
datasets obtains 80.86% accuracy.
Keywords: face expression, classification, Graph Convolutional Neural Network.
LEMBAR PERSEMBAHAN
Puji Syukur kepada Allah SWT atas rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan Tugas Akhir ini. Penulis menyampaikan ucapan terima kasih yang sebesar-besarnya kepada :
1. Bapak Agus Eko Minarno, S.Kom, M.Kom dan Bapak Yufis Azhar, S.Kom, M.Kom selaku pembimbing tugas akhir yang telah memberikan nasehat- nasehat dan meluangkan waktu untuk membimbing penulis dengan penuh kesabaran.
2. Bapak/Ibu Dekan Fakultas Teknik Universitas Muhammadiyah Malang yang telah memberikan izin dalam penyusunan tugas akhir ini.
3. Bapak/Ibu Ketua Jurusan Teknik Informatika Universitas Muhammadiyah Malang yang telah memberikan izin dalam penyusunan tugas akhir ini.
4. Orang tua tercinta Papa Suyono dan Mama Mari Kusuma Wahyuning Tyas serta saudara-saudara saya yang selalu memberikan semangat, doa, nasehat, motivasi, dan semua hal baik yang tidak bisa disebutkan secara rinci.
5. Berbagai pihak yang tidak dapat penulis sebutkan satu persatu. Khususnya rekan-rekan yang telah memberikan bantuan dan motivasi kepada penulis.
Malang, 13 November 2021
Mayske Ericha Dewi Suryanti
vii
KATA PENGANTAR
Segala Puji dan syukur penulis panjatkan kehadirat Allah SWT yang telah melimpahkan segala rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan skripsi dengan judul
“DETEKSI EKSPRESI WAJAH MENGGUNAKAN GRAPH CONVOLUTIONAL NEURAL NETWORK”
Di dalam tulisan ini disajikan pokok-pokok bahasan yang meliputi penambahan lapisan dan pengaruh model yang diusulkan terhadap klasifikasi penggunaan masker wajah. Tugas akhir ini ditulis dalam rangka memenuhi sebagian persyaratan untuk memperoleh gelar Sarjana program studi Informatika Fakultas Teknik Universitas Muhammadiyah Malang.
Penulis menyadari bahwa masih banyak kekurangan dalam penulisan tugas akhir ini. Semoga tugas akhir ini dapat bermanfaat tidak hanya bagi penulis namun juga bermanfaat bagi para pembaca.
Malang, 29 November 2021
Penulis
DAFTAR ISI
LEMBAR PERSETUJUAN... i
LEMBAR PENGESAHAN ... ii
LEMBAR PERNYATAAN ... iii
ABSTRAK ... iv
ABSTRACT ... v
LEMBAR PERSEMBAHAN ... vi
KATA PENGANTAR ... vii
DAFTAR ISI ... viii
DAFTAR GAMBAR ... x
DAFTAR TABEL ... xii
PENDAHULUAN. ... 1
1.1 Latar Belakangg ... 1
1.2 Rumusan Masalahh ... 2
1.3 Tujuan Penelitiann ... 2
1.4 Batasan Masalah ... 2
BAB II ... 4
TINJAUAN PUSTAKA ... 4
2.1 Studi Literatur ... 4
2.2 Ekspresi Wajah ... 4
2.3 Graph Convolutional Neural Network (GCNN) ... 4
2.3.1 Convolutional Layer ... 5
2.3.2 Pooling Layer ... 6
2.3.3 Fully Connected Layer ... 7
2.3.4 Dense Layer ... 7
2.3.5 Dropout ... 8
2.3.6 Rectified Linear Unit (ReLu) Layer ... 8
2.4 Adam ... 9
2.5 Uji Deteksi ... 9
2.5.1 Classification Report ... 9
2.5.2 Confusion Matrix ... 9
BAB III ... 11
METODE PENELITIAN ... 11
3.1 Tahapan Penelitian ... 11
ix
3.2 Lingkungan Pengembangan ... 11
3.3 Dataset ... 11
3.4 Pembagian Data / Splitting Dataset ... 12
3.5 Preprocessing ... 13
3.6 Hyperparameter Tuning ... 13
3.7 Normalisasi ... 13
3.8 Rancangan Model ... 13
3.9 Skenario Pengujian ... 14
BAB IV ... 15
HASIL DAN PEMBAHASAN ... 15
4.2 Import Library... 15
4.3 Pembagian Data (Splitting Data) ... 16
4.4 Normalisasi ... 16
4.5 Preprocessing Data ... 16
4.6 Implementasi Model ... 17
4.7 Pengujian dan Evaluasi ... 18
4.7.1 Pengujian ... 18
4.7.2 Evaluasi ... 18
4.8 Perbandingan Hasil ... 22
BAB V ... 23
PENUTUP ... 23
5.1 Kesimpulan ... 23
5.2 Saran ... 23
DAFTAR PUSTAKA ... 24
DAFTAR GAMBAR
Gambar 2. 1Arsitektur Graph Convolutional Neural Network. ... 5
Gambar 2. 2 Alur Convolutional Layer. ... 5
Gambar 2. 3 Representasi Proses Max Pooling. ... 6
Gambar 2. 4 Representasi Proses Average Pooling. ... 7
Gambar 2. 5 Neuron (Biru) adalah input layer, neuron (Hijau) adalah fully connected layer, dan neuron (Merah) adalah output layer. ... 7
Gambar 2. 6 Neural Network sebelum dropout. ... 8
Gambar 2. 7 Neural Network setelah dropout. ... 8
Gambar 2. 8 Confusion Matrix. ... 10
Gambar 3. 1 Contoh gambar masing-masing kelas di dataset CK48+ ... 11
Gambar 3. 2 Contoh gambar masing-masing kelas di dataset FER2013 ... 11
Gambar 4. 1 Daftar library yang digunakan dalam pembuatan sistem deteksi ekspresi wajah. ... 15
Gambar 4. 2 Source code pembagian data(Splitting Data). ... 16
Gambar 4. 3 Source code normalisasi data. ... 16
Gambar 4. 4 Source code dari augmentasi data. ... 17
Gambar 4. 5 Source code dari mendeteksi ekspresi wajah berupa grayscale. ... 17
Gambar 4. 6 Source code dari implementasi model. ... 17
Gambar 4. 7 Source code untuk compile data dan training model. ... 18
Gambar 4. 8 Pelatihan model sebanyak 500 epochs/iterasi. ... 18
Gambar 4. 9 Confusion matix penggabungan dataset FER2013 dan CK48+. ... 19
Gambar 4. 10 Hasil akurasi, plot val_loss dan val_accuracy penggabungan dataset FER2013 dan CK48+ ... 19
Gambar 4. 11 plot accuracy dan val_accuracy penggabungan dataset FER2013 dan CK48+ ... 19
Gambar 4. 12 Confusion matix dataset CK48+ ... 20
Gambar 4. 13 Hasil akurasi, plot val_loss dan val_accuracy hanya menggunakan dataset CK48+ ... 20
Gambar 4. 14 plot accuracy dan val_accuracy hanya menggunakan dataset CK48+ ... 20
Gambar 4. 15 Confusion matix hanya menggunakan dataset FER2013 ... 21
xi
Gambar 4. 16 Hasil akurasi, plot val_loss dan val_accuracy hanya menggunakan dataset FER2013 ... 21 Gambar 4. 17 plot accuracy dan val_accuracy hanya menggunakan dataset FER2013 ... 21
DAFTAR TABEL
Tabel 3. 1 Pembagian Kelas di Datasset CK48+. ... 12 Tabel 3. 2 Pembagian Kelas di Dataset FER2013. ... 12 Tabel 4. 1 Hasil perbandingan hasil akurasi model. ... 22
24
DAFTAR PUSTAKA
[1] W. Hua and Q. Tong, “Research on Face Expression Detection Based on Improved Faster R-CNN,” Proc. 2020 IEEE Int. Conf. Artif. Intell. Comput. Appl. ICAICA 2020, pp. 1189–1193, 2020, doi: 10.1109/ICAICA50127.2020.9182525.
[2] V. Wati, Kusrini, and H. Al Fatta, “Real time face expression classification using convolutional neural network algorithm,” 2019 Int. Conf. Inf. Commun. Technol.
ICOIACT 2019, no. Clm, pp. 497–501, 2019, doi:
10.1109/ICOIACT46704.2019.8938521.
[3] B. R. Ilyas, B. Mohammed, M. Khaled, A. T. Ahmed, and A. Ihsen, “Facial expression recognition based on DWT feature for deep CNN,” 2019 6th Int. Conf. Control. Decis.
Inf. Technol. CoDIT 2019, pp. 344–348, 2019, doi: 10.1109/CoDIT.2019.8820410.
[4] M. Murtaza, M. Sharif, M. Abdullahyasmin, and T. Ahmad, “Facial expression detection using six facial expressions hexagon (SFEH) model,” 2019 IEEE 9th Annu.
Comput. Commun. Work. Conf. CCWC 2019, pp. 190–195, 2019, doi:
10.1109/CCWC.2019.8666602.
[5] A. Saravanan, G. Perichetla, and K. S. Gayathri, “Facial emotion recognition using convolutional neural networks,” arXiv, pp. 1–6, 2019.
[6] S. D. Deb, C. Choudhury, M. Sharma, F. A. Talukdar, and R. H. Laskar, “Frontal facial expression recognition using parallel CNN model,” 26th Natl. Conf. Commun.
NCC 2020, 2020, doi: 10.1109/NCC48643.2020.9056011.
[7] B. Peng and A. K. Gopalakrishnan, “A face detection framework based on deep cascaded full convolutional neural networks,” 2019 IEEE 4th Int. Conf. Comput.
Commun. Syst. ICCCS 2019, pp. 47–51, 2019, doi: 10.1109/CCOMS.2019.8821692.
[8] X. Xu, Z. Ruan, and L. Yang, “Facial Expression Recognition Based on Graph Neural Network,” 2020 IEEE 5th Int. Conf. Image, Vis. Comput. ICIVC 2020, pp. 211–214, 2020, doi: 10.1109/ICIVC50857.2020.9177430.
[9] A. Akbar and A. Lawi, “Implementasi Algoritma Deep Artificial Neural Network Menggunakan Mel Frequency Cepstrum Coefficient Untuk Klasifikasi Audio Emosi Manusia,” pp. 66–73, 2021.
[10] H. Chen et al., “A deep learning CNN architecture applied in smart near-infrared analysis of water pollution for agricultural irrigation resources,” Agric. Water Manag., vol. 240, no. April, p. 106303, 2020, doi: 10.1016/j.agwat.2020.106303.
[11] M. Momeny, A. Jahanbakhshi, K. Jafarnezhad, and Y. D. Zhang, “Accurate classification of cherry fruit using deep CNN based on hybrid pooling approach,”
Postharvest Biol. Technol., vol. 166, no. December 2019, p. 111204, 2020, doi:
10.1016/j.postharvbio.2020.111204.
[12] M. R. Alwanda, R. P. K. Ramadhan, and D. Alamsyah, “Implementasi Metode Convolutional Neural Network Menggunakan Arsitektur LeNet-5 untuk Pengenalan Doodle,” J. Algoritm., vol. 1, no. 1, pp. 45–56, 2020, doi:
10.35957/algoritme.v1i1.434.
[13] A. Santoso and G. Ariyanto, “Implementasi Deep Learning Berbasis Keras Untuk Pengenalan Wajah,” Emit. J. Tek. Elektro, vol. 18, no. 01, pp. 15–21, 2018, doi:
10.23917/emitor.v18i01.6235.
[14] R. Ramesh and K. Mahesh, “A Performance Analysis of Pre-trained Neural Network and Design of CNN for Sports Video Classification,” Proc. 2020 IEEE Int. Conf.
Commun. Signal Process. ICCSP 2020, pp. 213–216, 2020, doi:
10.1109/ICCSP48568.2020.9182113.
[15] S. Mishra, S. Hanchate, and Z. Saquib, “Diabetic retinopathy detection using deep learning,” Proc. Int. Conf. Smart Technol. Comput. Electr. Electron. ICSTCEE 2020, pp. 515–520, 2020, doi: 10.1109/ICSTCEE49637.2020.9277506.
[16] C. Garbin, X. Zhu, and O. Marques, “Dropout vs. batch normalization: an empirical study of their impact to deep learning,” Multimed. Tools Appl., vol. 79, no. 19–20, pp.
12777–12815, 2020, doi: 10.1007/s11042-019-08453-9.
[17] L. Cheng, X. Zhang, and J. Shen, “Road surface condition classification using deep learning,” J. Vis. Commun. Image Represent., vol. 64, p. 102638, 2019, doi:
10.1016/j.jvcir.2019.102638.
[18] I. M. D. Maysanjaya, “Klasifikasi Pneumonia pada Citra X-rays Paru-paru dengan Convolutional Neural Network,” J. Nas. Tek. Elektro dan Teknol. Inf., vol. 9, no. 2, pp.
190–195, 2020, doi: 10.22146/jnteti.v9i2.66.
[19] J. I. Komputasi, V. No, M. Ssd, V. Mobilenet, and S. Model, “Pembuatan Aplikasi Deteksi Objek Menggunakan TensorFlow Object Detection API dengan Memanfaatkan SSD MobileNet V2 Sebagai Model Pra-Terlatih,” vol. 19, no.
September, pp. 421–430, 2020.
[20] J. Xu, Y. Zhang, and D. Miao, “Three-way confusion matrix for classification : A measure driven view,” Inf. Sci. (Ny)., vol. 507, pp. 772–794, 2020, doi:
10.1016/j.ins.2019.06.064.
26
[21] "FER2013." https://www.kaggle.com/msambare/fer2013.
[22] "CK48+." https://www.kaggle.com/gauravsharma99/fer-using-convolutional- bidrectional-lstm/data.
