Database Ekspresi Wajah Perempuan Indonesia Berbasis 2D untuk Pengenalan Emosi

(1)

Database Ekspresi Wajah Perempuan Indonesia

Berbasis 2D untuk Pengenalan Emosi

Oleh : Dwi Angga Y. 2210106042 Pembimbing : I. Dr. Surya Sumpeno, ST., M.Sc. II. Muhtadin, ST., MT. Tugas Akhir Halaman 1

(2)

Latar Belakang

Ekspresi Wajah

Ekspresi pada JAFFE, yaitu Senang, sedih, takut, marah, terkejut,jijik dan normal.

JAFFE

Interaksi Manusia- Komputer

(3)

Permasalahan

1. Belum ada data 2D ekspresi wajah

perempuan indonesia.

2. Belum ada pengklasifikasian ekspresi

wajah yang menggunakan data perempuan

Indonesia.

3. Belum ada database dengan fitur warna

RGB di Indonesia.

(4)

Tujuan

1. Menyusun IFFE-2D (Indonesian

Female Facial Expression 2D).

2. Mengklasifikasikan emosi

berdasarkan ekspresi wajah.

(5)

Batasan Masalah

1. Klasifikasi emosi-emosi dasar manusia berdasarkan

ekspresi wajah, yaitu marah, sedih, senang, terkejut, jijik,

dan takut.

1

2. Gambar yang digunakan berdimensi dua.

3. Database ekspresi wajah perempuan Indonesia.

1 _{A. M. Tekalp and J. Ostermann, “}_Face _{and 2-d mesh animation in mpeg-4,”}_Signal

Processing: Image Communication, vol. 15, no. 4-5, pp. 387–421, 2000.

(6)

Perancangan Sistem

Halaman 6

IFFE-2D Database

merupakan kumpulan ekspresi wajah perempuan Indonesia dalam bentuk data 2D yang menampilkan emosi-emosi dasar

manusia.

No. Kriteria Model Keterangan

1. Jenis kelamin Perempuan

2. Umur 18 – 25 tahun

3. Kebangsaan Indonesia

4. Profesi Siswa dan artis teater ITS

5. Ekspresi Marah, jijik, sedih, takut, senang,

(7)

Alur Kerja Tugas Akhir

Halaman 7 Pemilihan Ekspresi Pengambilan dan Penyusunan Data IFFE-2D Ekstraksi Fitur Rancangan Ruang Foto 2D Penyusunan IFFE-2D

Average Faces Netral + + + (n) Netral

n

-Substraksi (n) Ekspresi –

Average Faces Netral

Citra substraksi (n) Ekspresi Pengklasifikasian Ekspresi X11 X12 X1d X21 X22 X2d Xm1 Xm2 Xm_d . . . . ……. .

Piksel Mentah Citra Substraksi (n) Ekspresi

(8)

Pengambilan Data IFFE-2D

1. Latar belakang putih. 2. Tempat duduk

3. Tempat peletakan kamera + tripod

4. Pengambilan gambar pada jam 10.00-12.00.

1. Menggunakan kamera Sony DSC-T900.

2. Jarak kamera dan model

~40cm Sony DSC-T900

1. Data yang diambil sebanyak 10 orang berjenis kelamin perempuan Indonesia. 2. @orang 7 ekspresi, 3. @ekspresi 4 gambar

(9)

Penyusunan IFFE-2D

Parameter ekspresi wajah: 1

No. Nama

Ekspresi Deskripsi

1 Senang Alis relaks. Mulut terbuka dan sisi-sisi mulut tertarik ke arah telinga.

2 Sedih Alis bagian dalam tertekuk naik. Mata agak menutup. Mulut relaks.

3 Marah

Alis bagian dalam tertekuk turun dan menyatu. Mata terbuka lebar. Bibir menyatu atau terbuka menunjukkan gigi. 4 Takut Alis naik dan menyatu. Alis bagian dalam

tertekuk ke atas. Mata tegang dan waspada. 5 Jijik Alis dan kelopak mata relaks. Bibir atas

naik dan berkerut, biasanya tidak simetris.

6 Terkejut

Alis naik. Kelopak mata bagian atas terbuka lebar, kelopak mata bagian bawah relaks. Rahang terbuka.

1 _{Tekalp, A. Murat; Ostermann, Jorn. 2000. Face and 2D Mesh Animation in MPEG-4. Signal Processing: Image}

Communication 15. page 387-421. Halaman 9 Pemilihan Ekspresi A Penyusunan IFFE-2D

(10)

Penyusunan IFFE-2D

Halaman 10 Pemilihan Ekspresi A Penyusunan IFFE-2D

(11)

Implementasi Database IFFE-2D

No IFFE-2D JAFFE Ekspresi

1. Marah

2. Jijik

3. Takut

(12)

Implementasi Database IFFE-2D

No IFFE-2D JAFFE Ekpresi

4. Senang

5. Netral

6. Sedih

7. Terkejut

(13)

Ringkasan IFFE-2D dan JAFFE

Spesifikasi

IFFE-2D

JAFFE

Tipe File

.tiff

Warna

RGB

Greyscale

Ekspresi

7 Ekspresi

Total Gambar

280

213 Ukuran Piksel

256x256

(14)

Desain Pengklasifikasian Ekspresi

(15)

Optimasi parameter SVM

Halaman 15

 Setiap data training percobaan  Parameter c (cost) dan g (gamma) pada kernel RBF (Radial Basis

Function)

 Easy.py

(16)

Ringkasan Percobaan I

No. Spesifikasi Keterangan

1. Pre-processing Crop 120x168, greyscale, average faces netral,

substraksi

2. Ekstraksi Fitur Raw piksel (piksel mentah)

3. Pengklasifikasi SVM

4. Total Gambar 280 (IFFE-2D ),

213 (JAFFE)

5. Total Ekspresi 7

6. Mode Validasi 10-folds cross-validation

(17)

Hasil Percobaan I

Halaman 17

 Akurasi Prediksi:

 Data set JAFFE = 88.52%

 Data set IFFE-2D = 93.75%

Data Prediksi D at a A kt ual

Ekspresi Angry Disgust Fear Happy Sad Surprise

Angry 38 0 2 0 0 0 Disgust 0 35 2 2 0 1 Fear 1 0 37 0 2 0 Happy 0 1 1 38 0 0 Sad 0 0 0 0 40 0 Surprise 1 2 0 0 0 37 Data Prediksi D at a A kt ua l

Angry 29 1 0 0 0 0 Disgust 1 25 3 0 0 0 Fear 1 0 28 0 3 0 Happy 0 0 2 26 3 0 Sad 0 1 3 1 26 0 Surprise 0 0 1 0 1 28

Confusion matrix pengujian I menggunakan data set dari IFFE-2D

(18)

Desain Pengklasifikasian Ekspresi

2. Percobaan II

Halaman 18 Pengklasifikasian Data set PJ’ Data set PI’ JAFFE IFFE-2D

(19)

Ringkasan percobaan II

No.

Spesifikasi

Data Set PI’ Data Set PJ’

1. Database training yang

digunakan.

IFFE-2D

JAFFE

2. Database uji yang

digunakan.

IFFE-2D

JAFFE

3. Nama Model

10 Orang

4. Total Ekspresi

7 Ekspresi

5. Atribut

20162

6. Ukuran Piksel

120x168

7. Pengklasifikasi

SVM

(20)

Halaman 20

Hasil Percobaan II Data Set PI’ (IFFE-2D)

Database Kode Model Total Gambar

Training Total Gambar Uji Akurasi

IFFE-2D AN 216 24 45.83 % UC 216 24 37.50 % DE 216 24 58.33 % DM 216 24 12.50 % HE 216 24 20.83 % IK 216 24 20.83 % IS 216 24 20.83 % MU 216 24 16.67 % RE 216 24 37.50 % TI 216 24 33.33 % Rata-rata akurasi 30.42 %

(21)

Halaman 21

Hasil Percobaan II Data Set PJ’ (JAFFE)

Database Kode Model Total Gambar

Training Total Gambar Uji Akurasi

JAFFE MK 165 18 38.89 % NA 165 18 38.89 % NM 166 17 47.06 % TM 165 18 38.89 % YM 164 19 21.05 % KA 163 20 30 % KL 164 19 15.79 % KR 166 17 35.29 % UY 165 18 44.44 % KM 164 19 36.84 % Rata-rata akurasi 34.71 %

(22)

Desain Pengklasifikasian Ekspresi

3. Percobaan III

Halaman 22 IFFE-2D Pengklasifikasian Data Set J’ JAFFE

Data Set I’

7 Orang model JAFFE _{7 Orang model IFFE-2D}

3 Orang model IFFE-2D

(23)

Halaman 23

Ringkasan Percobaan III

No.

Spesifikasi

(Porsi besar

Dat a Set J’

di JAFFE)

Data Set I’

(Porsi besar

di IFFE-2D)

1. Jumlah model pada

database IFFE-2D

3

7

2. Jumlah model pada

database JAFFE

7

3

3. Instances

200

226

4. Pengklasifikasi

SVM

5. Mode Validasi

10-folds

cross-validation

10-folds cross-

validation

6. Total Ekspresi

7 Ekspresi

7. Atribut

20162

(24)

Hasil Percobaan III

 SVM

 10-Folds Cross-Validation

 Akurasi Prediksi:

 Data Set J’= 88.00 %

 Data Set I’ = 88.94 %

Halaman 24

 Akurasi Prediksi Percobaan I

 Data set JAFFE = 88.52%

 Data set IFFE-2D = 93.75%

 Nilai Akurasi Turun :

 JAFFE = 0.52 %  IFFE-2D = 4.81 % Data Prediksi D at a A kt ual

Angry 32 3 0 0 2 0 Disgust 2 32 2 0 0 1 Fear 1 0 34 0 2 1 Happy 0 2 0 36 0 1 Sad 1 0 0 0 36 1 Surprise 0 1 1 1 3 31 Data Prediksi D at a A kt ual

Angry 30 2 0 1 0 0 Disgust 2 28 2 0 0 0 Fear 1 1 27 0 4 1 Happy 0 0 1 32 1 0 Sad 0 0 5 1 28 0 Surprise 0 0 0 1 1 31

Confusion Matrix pengujian IV menggunakan data set I’

(25)

Kesimpulan

1. Nilai akurasi prediksi menggunakan data set dari semua data IFFE-2D sebesar 93.75% dan JAFFE sebesar 88.52 % menggunakan nilai intensitas piksel raw atau piksel mentah dari citra substaksi ekspresi dan mode validasi menggunakan teknik 10-folds cross-validation.

2. Menyusun data set dari facial database, kemudian data set dibagai dua, yaitu data set PJ’ dan PI’. Data set PI’ merupakan data yang disusun dari IFFE-2D, sedangkan PJ’ diambil dari JAFFE. Data set PI’ dan PJ’ terdiri atas data uji dan data training. Data uji PI’ dan PJ’ disusun dengan memisah satu orang semua ekspresi sebagai data uji dan sisanya sebagai data training dari masing-masing sumber facial database. Pengujian dilakukan satu per satu setiap nama model, sehingga diperoleh nilai akurasi prediksi masing-masing nama model. Nilai akurasi prediksi rata-rata data set PJ’ sebesar 34.71 %, sedangkan PI’ sebesar 30.42 %.

3. Menyusun data set dari facial database, kemudian data set dibagi dua yaitu data set J’ dan I’. Data set J’ merupakan data yang disusun berdasarkan jumlah dominasi data JAFFE, sedangkan I’ dari dominasi data IFFE-2D. Penyusunan data set J’ dan I’ dilakukan dengan menukar foto ekspresi tiga orang dari facial database ke dalam masing-masing data set. Nilai akurasi prediksi dat set J’ sebesar 88.00 % dan I’ sebesar 88.94 %. Dibandingkan dengan data set tanpa disisipi data facial database lain, penurunan nilai akurasi berdasarkan jumlah data dominan JAFFE sebesar 0.52 % dan data dominan IFFE-2D sebesar 4.81 %.

(26)

Daftar Pustaka

[1] A. M. Tekalp and J. , Ostermann, Face and 2-d mesh animation in mpeg-4, ”Signal Processing: Image Communication”, vol. 15, no. 4-5, pp. 387–421, 2000.

[2] Zhang, Ligang, Student Member, IEEE, and Dian Tjondronegoro. “Facial Expression Recognition Using Facial Movement Features”, IEEE Transactions On Affective

Computing, Vol. 2, No. 4, October-December 2011.

[3] Vapnik, Vladimir N. , “An Overview of Statistical Learning Theory”. IEEE Transactions OnNeural Networks, Vol. 10, No.5, September 1999.

[4]A.S., Nugroho, Witarto, A.B., Handoko, D., “Application of Support Vector Machine in

Bioinformatics", Proceeding of Indonesian Scientific Meeting in Central Japan,

December 20, Gifu-Japan, 2003.

[5] Lee, Byungsung, Junchul Chun, Poem Park, “Classification of Facial Expression Using SVM for Emotion Care Service”, IEEE Computer Society, 978-0-7695-3263-9/08,

Department of Computer Science, Kyonggi University, Suwon, Korea, 2008.

(27)