Dalam mengenali emosi anak, kebanyakan orang tua dan guru melihat emosi anak hanya berdasarkan ekspresi wajah. Tesis ini mengusulkan suatu teknik untuk mengatasi permasalahan orang tua dan guru, khususnya dalam memahami emosi anak.
PENDAHULUAN
- Latar Belakang
- Permasalahan
- Tujuan Penelitian
- Batasan Masalah
- Kontribusi Tesis
- Sistematika Penulisan
Penelitian ini dilatarbelakangi oleh terciptanya alat pendeteksi emosi anak yang akan diperkenalkan di seluruh sekolah dan lembaga psikologi sebagai alat untuk memantau emosi anak. Penelitian ini fokus pada pembuatan alat untuk mendeteksi emosi anak berdasarkan 3 parameter yaitu detak jantung, konduktansi kulit dan ekspresi wajah.
KAJIAN PUSTAKA
Penelitian Terkait
Dalam penelitian [10] yang dilakukan oleh Alexandra Cernian, aplikasi untuk memprediksi emosi manusia berhasil dikembangkan. Dalam penelitian [11] yang dilakukan oleh Kristhoferis Kosim, peneliti mampu mendeteksi 3 jenis emosi, yaitu kegembiraan, kesedihan dan kemarahan, berdasarkan 4.
Teori Penunjang
- Emosi
- Facial Emotion Recognition
- Sensor dan Akuisisi Data
- Pemrosesan Data
- Validasi Data
DESAIN SISTEM
Desain Software
- Flowchart Pemrograman GSR
- Flowchart Pemrograman Heart Rate
- Perancangan Klusterisasi dengan Metode K-Means
- Perancangan Klasifikasi dengan Metode SVM
- Pengambilan dan Pengumpulan Dataset Ekspresi Anak
- Perancangan Klasifikasi Menggunakan CNN
Pada bagian ini dibuat rancangan cluster dengan menggunakan algoritma K-Means untuk mengelompokkan data yang diperoleh sebelumnya ke dalam beberapa jenis emosi seperti pada Gambar 3.5 di bawah ini. Perancangan klasifikasi menggunakan algoritma Support Vector Machine dibuat untuk mengetahui keakuratan data yang diperoleh sebelumnya untuk beberapa jenis emosi seperti pada Gambar 3.5 di bawah ini. Rancangan klasifikasi dengan metode CNN dibuat untuk mengklasifikasikan data ekspresi wajah yang diperoleh sebelumnya menjadi beberapa jenis emosi seperti pada Gambar 3.9 di bawah ini.
Dari Gambar 4.8 terlihat bahwa data 0-200 merupakan data detak jantung dan konduktansi kulit yang diperoleh anak sebelum diberikan stimulus video. Seperti terlihat pada Gambar 4.9 dan Gambar 4.10, jumlah data latih sebanyak 160 data untuk setiap emosi dan data uji sebanyak 40 data untuk setiap emosi. Seperti terlihat pada program pada Gambar 4.13 dan Gambar 4.14, nilai detak jantung, konduktansi kulit dan hasil klasifikasi emosi berdasarkan kondisi tubuh menggunakan metode K-Means akan ditampilkan dalam kotak teks melalui kode TxtBox. menyisipkan().
Hasil akurasi proses pembelajaran arsitektur CNN menggunakan beberapa dataset dengan menambahkan 3 convolutional layer ditunjukkan pada Gambar 4.19 hingga 4.21. Berdasarkan grafik pada Gambar 4.19 hingga 4.21 dapat diamati bahwa nilai akurasi terbaik diperoleh ketika menggunakan kumpulan data yang direkam secara langsung dengan kamera web. Seperti yang ditunjukkan pada Gambar 4.26, layar awal antarmuka pengguna grafis memiliki beberapa frame, termasuk informasi pengguna, tindakan dan juga frame pengambilan data.
EXPERIMEN DAN UJI COBA
Dataset Retrieval Berdasarkan Kondisi Tubuh
- Kondisi Memperoleh Emosi Senang
- Kondisi Memperoleh Emosi Sedih
- Kondisi Memperoleh Emosi Marah
- Kondisi Memperoleh Emosi Netral
Video tersebut mempunyai unsur-unsur yang dapat membuat anak merasa senang, seperti lucu, tenang, dan lain-lain. Video tersebut mengandung unsur-unsur yang mungkin membuat anak merasa sedih, seperti unsur kepekaan, ketegangan, kesepian, dan lain-lain. Pada kondisi ini, untuk memastikan nilai emosional yang diperoleh benar, maka ditambahkan pengukuran keadaan emosi netral dimana pengukuran dilakukan pada saat tidak ada stimulus emosional yang diberikan kepada anak.
Sehingga kita dapat mengetahui perbedaan atau perubahan nilai emosi dari keadaan netral ke keadaan emosi lainnya.
Alat Pengujian Sistem
- Pengujian Sensor Heart Rate
- Pengujian Sensor GSR
- Implementasi Metode CNN
Pengujian ini dilakukan untuk membuktikan bahwa sensor GSR mampu bekerja maksimal untuk mengukur konduktivitas kulit anak-anak yang akan dijadikan subjek penelitian. Masukkan kedua jari yaitu jari telunjuk dan jari tengah ke dalam sarung tangan seperti pada gambar 4.4. Implementasi metode CNN pada skripsi ini menggunakan perangkat keras dan perangkat lunak seperti terlihat pada Tabel 4.4 dibawah ini :.
Hasil Uji Coba
- Uji Pembacaan Sensor Heart Rate
- Uji Pembacaan Sensor Heart Rate
- Dataset Retrieval Berdasarkan Kondisi Tubuh
Tes ini dilakukan untuk mendeteksi detak jantung dan konduktansi kulit anak yang nantinya akan digunakan sebagai data latih untuk mengklasifikasikan emosi pada anak. Data yang dikumpulkan berjumlah 800 data yang terdiri dari 2 parameter yaitu detak jantung dan konduktansi kulit. Seorang anak diperlihatkan video iklan pendek Gopay kerjasama Alfamart yang diambil dari YouTube, seperti terlihat pada Gambar 4.6.
Video tersebut bercerita tentang seorang gadis yang diberi tugas untuk membuat cerita dengan tema Ibuku adalah pahlawanku. Anak diberikan permainan mobile yaitu “Stamble Guys” yang tingkat kesulitannya tinggi. Alasan penggunaan permainan Stamble guys untuk membangkitkan emosi marah adalah karena objek permainannya adalah anak-anak, pada saat memainkan permainan tersebut anak akan lebih ekspresif.
Data 200-400 merupakan data detak jantung dan konduktansi kulit anak ketika diberikan video untuk memancing emosi gembira atau bahagia. Data 400-600 merupakan data detak jantung dan konduktansi kulit anak ketika disuguhkan video yang menggugah emosi sedih. Data 600-800 merupakan data detak jantung dan konduktansi kulit anak ketika diberikan permainan yang dapat membangkitkan emosi marah.
Fusion Model Berdasarkan Metode K-means dan CNN
Processing Data Menggunakan Metode SVM
Untuk melakukan praproses data atau normalisasi data dapat digunakan rumus seperti persamaan (4.2). Prediksi ditentukan dengan mencari nilai keyakinan terbesar untuk mendapatkan matriks konfusi dan model akurasi. Pada pengujian ini, kumpulan data yang telah dipartisi dengan menambahkan validasi silang akan mencari model paling akurat dengan menggunakan 4 kernel yaitu kernel linier, kernel polinomial, kernel rbf dan kernel sigmoid.
Dari proses tersebut diperoleh nilai akurasi masing-masing core seperti terlihat pada Tabel 4. Akurasi tertinggi diperoleh dengan menggunakan kernel tipe Linear dengan nilai akurasi data latih sebesar 80,31% dan akurasi data uji sebesar 83,12%. Dari hasil tersebut, matriks konfusi ketika digunakan kernel Linear menghasilkan matriks konfusi seperti pada Tabel 4.9.
Dari konfusi matriks menggunakan kernel Linear terlihat bahwa dari total data yang diprediksi kesalahan datanya hanya 29 data dari total 160 data.
Pengiriman Data dari Arduino ke Python
13 Program untuk Menampilkan Nilai Sensor dari Arduino Untuk mempermudah pemrograman GUI, program Arduino dikirimkan ke Python menggunakan py.serial seperti terlihat pada Gambar 4.13 dan Gambar 4.14.
Klasifikasi Emosi Dari Wajah
- Pengumpulan Dataset FER-2013
- Pengumpulan dan Pengambilan Dataset
- Pengelompokkan Dataset
- Pembelajaran (learning)
- Testing Model
Pengujian akhir dilakukan dengan menggabungkan dua dataset yaitu dataset Kaggle dengan dataset yang diambil secara langsung dengan webcam, sehingga berjumlah 39.160 gambar. Terkait pengenalan wajah, gambar yang dibutuhkan adalah gambar ekspresi anak. Dataset gambar berasal dari dataset FER-2013. Jumlah gambar yang tersedia sebanyak 35.887 dengan pembagian menjadi 7 jenis emosi. Dengan data detailnya, 4790 gambar diambil dari dataset FER-2013 dan 5000 gambar diambil dari dataset yang kami kumpulkan sendiri.
Setiap dataset yang ada dibagi menjadi data latih dan data uji dengan komposisi 80% data latih dan 20%. 21 Grafik akurasi dan kerugian kumpulan data yang dibuat sendiri Gambar 4.21 merupakan grafik keakuratan dan kerugian menggunakan kumpulan data yang telah Anda buat sendiri menggunakan webcam dengan 3 lapisan konvolusi. Grafik pada Gambar 4.20 menunjukkan bahwa nilai akurasi dan validasi akan meningkat, sedangkan nilai error akan menurun seiring berjalannya waktu.
Dalam pengujian ini, akurasi pelatihan dan akurasi validasi tertinggi diperoleh saat menggunakan kumpulan data sampel mandiri dengan epoch 100. Pada gambar di sebelah kiri, emosi seharusnya terbaca bahagia, tetapi prediksi sistem bersifat netral. Pada gambar di sebelah kiri, emosi seharusnya terbaca sebagai marah, namun prediksi sistem bersifat netral.
Desain GUI
Namun, beberapa anak yang diuji secara real time menggunakan model CNN konvolusional 3 lapis mendapatkan beberapa prediksi yang salah. Untuk gambar di sebelah kanan, emosi netral harus diprediksi, namun sistem memperkirakan bahwa emosi anak di sebelah kanan adalah emosi bahagia. Bingkai informasi pengguna berfungsi untuk menampilkan informasi pengguna yang mencakup nama, jenis kelamin, dan usia.
Berikutnya adalah frame take action, pada frame take action terdapat 2 tombol yaitu tombol deteksi dan juga tombol ambil screenshot. Tombol deteksi berfungsi untuk memproses program klasifikasi emosi berdasarkan ekspresi wajah yang diproses dengan metode CNN. Hasil emosi yang terdeteksi akan ditampilkan dalam kotak teks pada bingkai ambil tindakan di sebelah tombol ambil tangkapan layar.
Frame pengambilan data berfungsi menampilkan nilai GSR, nilai HR serta hasil klasifikasi berdasarkan detak jantung dan konduktansi kulit yang sebelumnya diproses menggunakan metode K-Means. Hasil prediksi dari kedua metode tersebut nantinya akan digabungkan menggunakan metode if else yang mempunyai aturan seperti pada Tabel 4.7. Saat ini penelitian ini hanya menampilkan sentimen saja, tidak menyimpan data prediksi, sehingga untuk saat ini ketika tombol enter data ditekan maka data akan otomatis ditampilkan pada serial monitor Python.
Uji Akurasi Alat
PENUTUP
Kesimpulan
Saat anak menonton video sedih, pembacaan detak jantung pada sensor detak jantung akan berkisar 80-90 Bpm. Saat anak menonton video lucu, ia akan mendapatkan pembacaan detak jantung di sensor detak jantung sekitar 70-80 bpm. Ketika seorang anak ditanyai pertanyaan sulit atau permainan sulit dan merasa frustrasi karena tidak dapat menemukan jawabannya, mereka akan mendapatkan pembacaan detak jantung pada sensor detak jantung sekitar 90-110 detak per menit.
Dari hasil clustering emosi bahagia didapatkan nilai centroid pada sensor detak jantung sebesar 70 dan pada sensor GSR sebesar 2,5. Untuk tipe emosi netral nilai centroid pada sensor detak jantung sebesar 77 dan pada sensor GSR sebesar 2,6. Untuk jenis emosi marah nilai centroid pada sensor detak jantung sebesar 110 dan centroid GSR sebesar 5.
Dari hasil klasifikasi emosi menggunakan K-Means, nilai centroid emosi bahagia dan netral sangat dekat, hal ini dikarenakan pengumpulan data emosi netral berdasarkan detak jantung dan konduktansi kulit dirasa kurang tepat. Dalam pengujian ini, akurasi pelatihan dan validasi tertinggi dicapai dengan menggunakan kumpulan data yang diambil secara langsung dengan webcam Epoch 100. Dari hasil pengujian alat pendeteksi emosi pada anak, selisihnya sekitar 20% dengan hasil observasi langsung. .
Saran64
Ucci, “sEmoD: A Personalized Emotion Detection Used an Intelligent Holistic Embedded IoT System,” dalam Konferensi IEEE Tahunan ke-43 tentang Perangkat Lunak dan Aplikasi Komputer (COMPSAC), Milwaukee, WI, AS, 2019. Mahabbati, "Identifikasi Anak dengan Emosi dan Perilaku di Sekolah Dasar", Jurnal Pendidikan Khusus, vol. Rani, “Deteksi emosi anak autis menggunakan pengolahan gambar,” dalam Konferensi Internasional Kelima tentang Pemrosesan Informasi Gambar (ICIIP), Shimla, India, 2019, 2019.
Ismawan, “Implementasi Deep Learning dan Hjælp dari Convolutional Neural Network untuk Sistem Pengenalan Wajah,” Exacta Factor, vol. Dauce, “Pengenalan Emosi Berdasarkan Denyut Jantung dan Konduktansi Kulit,” i Publikasi Sains dan Teknologi, 2015. Ambaransari, “Sistem Pencatatan Detak Jantung Berbasis Sensor Denyut Nadi di Jari Tangan,” ELKOMIKA, vol.
Mares, 'Mood Detector - Tentang Penggunaan Pembelajaran Mesin untuk Mengidentifikasi Suasana Hati dan Emosi', dalam Konferensi Internasional tentang Sistem Kontrol dan Ilmu Komputer, 2017. Kosim, 'Sistem kontrol dan prediksi emosi manusia menggunakan sensor detak jantung berbasis Android', Universitas 17 Agustus , Surabaya , 2020. Shaw, “Pengenalan Emosi Manusia Menggunakan GSR dan EEG”, Jurnal Internasional Publikasi Ilmiah dan Penelitian, vol.
Khan, »Facial Emotion Recognition Using Conventional Machine Learning and Deep Learning Methods: Current Achievements, Analysis and Remaining Challanges,« MDPI, 2022. Suyanto, K. N. Ramdhani in S. Mandala, Deep Learning Moderenisasi Machine Learning untuk Big Data, Bandung: Informatika Bandung .
