Pengenalan Ekspresi Wajah Berdasarkan
Bentuk dan Tekstur
Pangondian Marhutala Sinaga dan Rully Soelaiman, M.Kom,
Teknik Informatika, Fakultas Teknologi Informasi, ITS, Surabaya
Email : [email protected]
Abstrak
Pada Tugas Akhir ini diperkenalkan suatu metode untuk mengenali ekspresi wajah. Metode ini terdiri dari 2 teknik utama, yaitu spatially maximum occurrence model (SMOM), yang dapat mengolah banyak citra wajah dengan ekspresi yang sama menghasilkan representasi ekspresi, dan elastic shape-texture matching (ESTM) yaitu mencari kesamaan 2 citra. Dari nilai-nilai persamaan citra wajah antar citra wajah dalam database, akan dikelompokkan dan diklasifikasikan ke dalam 6 kategori ekspresi wajah.
Kata kunci : pengenalan wajah; pengenalan ekspresi wajah; Elastic shape–texture matching; Spatially maximum occurrence model; Gabor wavelets.
I. Pendahuluan
Selama 1 dasawarsa terakhir ini, penelitian pada analisis ekspresi wajah otomatis kembali aktif lagi; ini memiliki aplikasi yang berpotensi pada wilayah seperti interaksi manusia - komputer, pembacaan bibir, pemampatan gambar wajah, animasi wajah buatan, konferensi video, analisis emosi manusia dan lain-lain. Ekspresi wajah ditimbulkan dengan penyusutan otot wajah, yang menghasilkan pada perubahan bentuk fitur wajah seperti kelopak mata, alis mata, hidung dan bibir, dan juga hasil pergantian menjadi posisi relatif. Pergerakan otot yang sama
atau perubahan bentuk fitur wajah yang berbeda dapat disusun pada model ekspresi yang sama— proses ini disebut pengenalan ekspresi wajah.
Ekspresi gambar wajah menunjukkan bentuk atau ragam posisi fitur wajah antara citra dan citra yang berhubungan pada ekspresi normal. Oleh karena itu kebanyakan metode pengenalan ekspresi wajah tergantung pada deretan citra atau tangkapan video, yang termasuk gambar wajah dengan ragam ekspresi dan citra pada ekspresi normal sebagai referensi. Sistem pengkodean gerakan wajah (FACS) menyediakan metode yang paling banyak digunakan untuk mengukur pergerakan wajah. Pada FACS, wajah dibagi menjadi 44 unit gerakan (AUs) tergantung pada lokasinya sebagaimana intensitasnya. Kombinasi AU digunakan untuk memodelkan masing-masing ekspresi.
Pada Tugas Akhir ini diperkenalkan suatu metode untuk mengenali ekspresi wajah dengan memperhatikan bentuk dan tekstur dari posisi mata dan mulut pada citra wajah untuk normalisasi dan penjajaran. Dengan mengkombinasikan kedua fitur tersebut akan dihitung persamaan dua citra wajah. Dari nilai-nilai persamaan citra wajah antar citra wajah dalam database, akan dikelompokkan dan diklasifikasikan ke dalam 5 kategori ekspresi wajah.
II. Pengenalan Wajah
Banyak dilakukan penelitian untuk mencari algoritm-algoritma yang tepat bagi komputer agar dapat mengenali suatu wajah yang diinputkan dengan memperhatikan faktor kecepatan dan akurasinya.
1. Aplikasi pengenalan wajah
Beberapa contoh aplikasi dari pengenalan wajah oleh komputer adalah :
• Pengenalan credit card, surat ijin mengemudi (SIM), passport
• Pengenalan wajah untuk sekuritas sebagai pengganti tanda tangan atau sidik jari, misal untuk verifikasi credit card.
• Pengenalan pasien yang tidak sadarkan diri.
• Pengenalan orang yang hilang atau seorang kriminal.
• Pengontrolan masyarakat, seperti kamera di bank sehingga dapat mengidentifikasi bila ada orang jahat yang masuk ke bank. • Rekonstruksi wajah sesuai dengan
bayangan dari saksi pada suatu peristiwa kejahatan.
• Klasifikasi jenis kelamin.
2. Tahapan umum Pengenalan Wajah
Algoritma untuk mengenali wajah ada bermacam-macam. Tapi pada umumnya ada tahapan-tahapan umum yang dipakai dalam pengenalan wajah. Tahapan-tahapan umum dari pengenalan wajah yaitu :
• Perbaikan Gambar
Citra hasil scanning biasanya mengandung banyak noise yang harus dihilangkan. Kemudian harus diterapkan algoritma-algoritma untuk mempertajam gambar bila gambar kabur, seperti filtering yang teorinya ada pada pengolahan citra. • Segmentasi
Segmentasi digunakan dengan suatu algoritma untuk mengenali gambar mana yang merupakan wajah.
• Pencarian feature
Ada dua macam feature pada wajah, yaitu holistic features dan partial features. Pada partial feature, dalam hal pengenalan wajah biasanya disebut sebagai facial feature, contoh feature-nya adalah warna dan bentuk rambut, besar dan letak hidung, mulut, mata, telinga dan lain-lain. Sedangkan pada holistic feature setiap feature-nya adalah merupakan suatu karakteristik dari seluruh wajah, maksudnya wajah dianggap sebagai suatu kesatuan yang utuh.
• Skew Detection / perbaikan kemiringan Foto oval dari wajah orang yang didapatkan dari hasil segmentasi dapat tegak, atau miring ke kiri atau ke kanan, atau bahkan terbalik. Oleh karena itu proses perbaikan kemiringan ini diperlukan, sehingga gambar yang miring atau terbalik bisa diperbaiki sehingga menjadi gambar yang benar-benar tegak. • Identifikasi
Setelah komputer tahu tentang feature dari testing foto yang diinputkan, maka dapat dilakukan pembandingan dengan feature-feature dari foto pelatihan.
III. Pengenalan Ekspresi Wajah
1. Filter Gaussian
Filter Gaussian digunakan dalam pengolahan citra digital untuk membuat citra menjadi lebih halus. Filter Gaussian diformulasikan dengan rumus sebagai berikut : ) , ( 2 2 ) , ( ) 2 * /( )) 2 /( ( ) , ( σ
σ
π
σ
σ
σ
x p e x y x x p = − = (1)
(a) (b) (c)
Gambar 2. 1 (a) Potongan perspektif fungsi Filter Gaussian. (b) Filter yang ditampilkan
sebagai citra. (c) Grafik filter untuk beragam nilai D0
Di bawah ini adalah contoh citra sederhana yang difilter secara Gaussian dengan nilai frekuensi cutoff yang beragam
(a) (b)
(c) (d)
Gambar 2.2 (a) Citra asli. (b)-(d) Hasil filtering dengan filter Gaussian dengan beragam nilai
frekuensi cutoff (D) 5,15,30
2. Metode SMOM untuk menggambarkan ekspresi
SMOM dibangun berdasarkan pada kemungkinan kejadian nilai piksel untuk semua citra yang dilatih yang diilustasikan pada gambar . Dimisalkan jumlah citra yang dilatih adalah N, dan ukuran citra M x N. Oleh karena itu ada N nilai yang mungkin pada setiap posisi piksel (x, y). Urutkan nilai kepadatan N ini semua, kita dapat memperoleh histogram Hx,y(b) posisi piksel (x,y)
sebagai berikut :
∑
=−
=
N k k y xb
f
x
y
b
H
1 ,(
)
δ
(
(
,
)
)
, (2) dimana ⎩ ⎨ ⎧ ≠ = = , 0 0 , 0 1 ) ( m m m δ untuk 0≤b<BB adalah jumlah bin pada histogram dan fk(x,y)
adalah nilai kepadatan citra ke-k pada posisi (x,y). Pada umumnya, B merupakan jumlah tingkat kepadatan pada citra. Bagaimanapun juga, kalau jumlah citra yang dilatih sedikit, jumlah bin harus dikurangi dan histogram harus dihaluskan menggunakan filter Gaussian sebagai berikut :
)
,
(
)
(
)
(
'
,b
H
,b
G
b
H
xy=
xy∗
σ
(3)Dimana G(σ,b) adalah filter Gaussian dengan varians σ, * adalah operator konvolusi, dan H’x,y(b) adalah histogram posisi piksel (x,y) yang
dihaluskan. Untuk setiap histogram yang dihaluskan, nilai puncaknya dikenali dan diurutkan secara menurun. Puncak terjadi pada bin jika nilainya lebih tinggi dari kedua bin yang mengapitnya. Jika bin adalah bin pertama (atau terakhir) pada histogram, dan nilainya lebih besar dari bin yang kanan (atau yang kiri), juga dapat disebut puncak. Jika m bin berurutan memiliki nilai yang sama dan nilai ini lebih tinggi daripada 2 bin yang mengapit bin yang berurutan, puncak juga ada, dan nilai bin puncak diatur pada pertengahan m bin berurutan. Tingkat keabuan tergantung pada semua bin yang puncak diurutkan sesuai dengan kemungkinan kejadian. SMOM akantetapi didefenisikan sebagai berikut :
{
b
b
b
k}
k
y
x
SMOM
(
,
,
)
=
1,
2,...
, dimana kB
b
<
≤
0
(4) Untuk 0≤x<M dan0
≤
y
<
H
Dimana k adalah jumlah puncak yang ditentukan pada reprensentasi, b1, b2, …bk adalah tingkat keabuan yang berhubungan dengan puncak histogram untuk posisi piksel (x,y), dan kondisi
)
(
'
...
)
(
'
)
(
'
x,yb
1H
x,yb
2H
x,yb
kH
≥
≥
≥
dipenuhi. Biasanya, k adalah nilai yang kecil. Jika jumlah puncak p pada histogram lebih kecil dari k, selisih nilai k-p akan sesuai dengan semua bin dengan kemungkinan kejadian yang terbesar.
3. ESTM untuk mencari kesamaan citra
ESTM adalah metode yang mengukur kesamaan antara berdasarkan informasi bentuk dan tekstur. Bentuk digambarkan oleh peta tepi E(x,y), dan tekstur digolongkan oleh representasi wavelet Gabor dan kemiringan langsung setiap piksel yang digambarkan oleh masing-masing peta Gabor Ğ(x,y) dan peta sudut A(x,y).
b a b a de( , )= − , (5)
IV. Perancangan
1. Proses Pengenalan Ekspresi Wajah
Untuk mengenali suatu citra wajah tergolong pada ekspresi wajah yang mana, ada 3 proses yang harus dilakukan yaitu proses filter Gaussian, proses SMOM, proses ESTM.
Pertama, proses filter Gaussian untuk mengolah setiap data citra wajah menjadi lebih smooth.
Kedua, proses SMOM untuk mengolah data citra wajah untuk menggambarkan ciri berbagai ekspresi. SMOM dibangun berdasarkan pada kemungkinan kejadian nilai piksel pada setiap posisi piksel untuk semua citra yang dilatih.
Ketiga, proses ESTM untuk mengukur kesamaan antara 2 wajah untuk tiap-tiap wajah yang ada dalam database berdasarkan pada bentuk dan tekstur. Bentuk digambarkan oleh peta tepi E(x, y), dan tekstur digolongkan oleh wavelet Gabor dan kemiringan arah setiap piksel, yang dideskripsikan oleh masing-masing peta Gabor
dan peta sudut A(x, y).
Gambar 1. Alur Proses Sistem pengenalan ekspresi wajah 2. Proses Filter Gaussian
Proses Filter Gaussian adalah untuk membuat data citra wajah menjadi lebih halus. Citra diproses dengan rotasi sebesar theta searah jarum jam dengan parameter standar deviasi tertentu.
3. Proses SMOM
Fungsi SMOM wajah ini bertujuan mengolah data citra wajah ujicoba dan mendapatkan representasi dari suatu ekspresi wajah.
Gambar 3. Alur Proses SMOM
V. Hasil Ujicoba
Data citra yang diuji ada 7 orang dengan 6 ekspresi berbeda setiap orang. Semua data citra wajah tersebut dibandingkan dengan representasi ekspresi wajah yang diperoleh dari metode SMOM. Nilai jarak terkecil merupakan ekspresi yang diperbandingkan. Kemudian ekspresi yang dikenali dibandingkan dengan ekspresi yang aslinya apakah benar atau tidak.
Ujicoba untuk ekspresi senyum
Gambar 4. Hasil Uji coba untuk ekspresi Senyum Tabel 1 Jarak smom_wajah ekspresi senyum dengan data citra wajah sampel
Orang kerling terkejut kedip cemberut biasa Senyum B/S 9 95.52 117.06 102.05 130.56 103.19 100.06 S 10 136 118.44 125.83 130.05 134.36 105.76 B 11 102.76 56.187 80.536 110.62 68.869 95.776 S 12 132.75 135.94 108.06 113.73 125.16 93.67 B 13 158.2 136.29 153.33 144 149.19 139.32 S 14 69.592 90.615 57.515 94.064 57.193 46.022 B 15 82.122 98.914 77.711 106.24 88.431 103.85 S Nilai kebenaran untuk ekspresi senyum : 42.86 % Uji coba untuk ekspresi Terkejut
Gambar III.5. Hasil Uji coba untuk ekspresi Terkejut
Tabel 2. Jarak smom ekspresi terkejut dengan data citra wajah sampel
Orang Kerling Terkejut Kedip Cemberut Biasa Senyum B/S 9 91.869 82.843 88.61 107.57 96.089 97.35 B 10 125.14 104.6 115.3 119.85 124.35 101.78 S 11 107.47 57.845 87.16 115.44 72.395 102.25 B 12 118.3 103.78 92.98 93.365 115.1 90.36 S 13 129.32 106.61 122.8 114.82 117.41 112.99 B 14 63.49 63.592 56.82 76.609 58.941 53.028 S 15 78.371 72.111 70.11 91.181 78.269 87.937 S Nilai kebenaran : 42.8571 %
Nilai kebenaran untuk 7 orang citra ujicoba No Ekspresi Persentase kebenaran
1 Senyum 42.86 % 2 Biasa 0 % 3 Cembeut 0 % 4 Kedip 28.58 % 5 Kerling 42.86 % 6 Terkejut 28.58 %
VI. Penutup
1. KesimpulanDari hasil pengamatan selama perancangan, implementasi, dan proses uji coba perangkat lunak yang dilakukan, penulis mengambil kesimpulan sebagai berikut:
a. Aplikasi mampu menghasilkan representasi suatu ekspresi wajah dari beberapa sampel citra wajah yang diolah.
b. Proses pengolahan ekspresi wajah rata-rata 1 menit.
c. Aplikasi dapat mengenali ekspresi wajah dengan tepat rata-rata dibawah 50 %.
d. Untuk ekspresi biasa dan cemberut tidak dapat dikenali (nilai kebenaran 0 %)
2. Saran
Dalam pembuatan Tugas Akhir ini, terdapat beberapa kemungkinan pengembangan aplikasi yang dilakukan, yaitu:
a. Proses SMOM dan ESTM harus diperbaiki lagi.
b. Data citra wajah yang diolah harus lebih bagus dan banyak.
VII.
Daftar Pustaka
[1] Xie X, Lam K M, August 2008. Facial
expression recognition based on shape and texture. Pattern Recognition 42 -
Elsevier, 1003-1011.
[2] Tian Y L, Kanade T, Cohn, J F. Facial
Expression Analysis.
[3] Fasel B, Luettin J. February 2002,
Automatical facial expression analysis : a survey. Pattern Recognition 36 –
Elsevier, 259-275.
[4] Moghaddam, Baback, Face
Recognition,
http://www.white.medi.mit,edu/vismod/fa cerec/index.html, MIT
[5] Pentland A. Mofhaddam B., Starner T, View-Based and Modular
Eigenspaces for Face Recognition, IEEE conf. on Computer Vision & Pattern Recognition, Seattle, WA, july
1994
[6] Y. Zhu, L.C. De Silva and C.C. Ko,
Using moment invariants and HMM in facial expression recognition, Pattern Recognition Lett. 23 (1–3) (2002), pp.
83–91.
[7] B. Abboud, F. Davoine and M. Dang,
Facial expression recognition and synthesis based on an appearance model, Signal Process. Image Commun. 19 (8) (2004), pp. 723–740.
[8] Cendrillon,Raphael,Face Recognition
Using Eigenfaces,
http://student.uq.edu.au/~s341268/index. html, degree thesis, University University of Queensland, Australia, Department of Computer Science and Electrical Engineering, 1999.
[9] Nastar C, Ayach N, Frequency-based
nonrigid motion analysis, IEEE Trans.
Pattern Anal, Mach, Intell, 18(1996) 1067-1079.
[10] Gonzalez R C, Woods R E, Digital
Image Processing Second Edition,
Prentice Hall, New Jersey, 1997.
[11] Xie X, Lam K M, Elastic shape-texture
matching for human face recognition.
Pattern Recognition 41, page 396-405, 2008
