Publication Repository 5. reddy

PEMODELAN WAJAH BAYI DENGAN MENGGUNAKAN ACTIVE

SHAPE MODEL UNTUK PENDETEKSI KOMPONEN WAJAH

Reddy Alexandro Harianto(1), Handayani Tjandrasa(2)

Jurusan Teknik Informatika, Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember, Surabaya

e-mail:

reddy13@mhs.if.its.ac.id

(1)

, handatj@its.ac.id

(2)

ABSTRAK

Cara berkomunikasi dari seorang bayi yang paling efektif adalah dengan cara menangis. Sebelum penelitian ini dilakukan, sudah terdapat beberapa penelitian yang membuat sistem pendeteksi pada bayi menangis dari suaranya. Masalah yang timbul adalah jika terdapat seorang bayi yang mengalami gangguan dengan pita suaranya sehingga tidak dapat mengeluarkan suara tangisan. Oleh karena itu, diusulkan sebuah sistem untuk mendeteksi komponen wajah bayi dari gambar menggunakan Active Shape Model. Penelitian ini bertujuan membentuk sebuah model dari wajah bayi agar hasilnya nanti dapat digunakan pada penelitian terkait dengan wajah bayi. Komponen-komponen wajah yang didapatkan dari model ini adalah lokasi mata, alis, hidung, mulut, serta beberapa titik pendukung lain. Uji coba pada penelitian ini menggunakan video yang di ekstrak framenya secara otomatis dan dicari komponen wajahnya. Hasilnya 59% dari keseluruhan frame yang ada, dapat di ekstrak komponen wajahnya. Pada skenario uji coba yang lain dimana terdapat 31 variasi wajah bayi yang framenya dipilih secara manual, sistem dapat mendeteksi 94.28% dari jumlah frame yang tersedia.

Kata kunci: Active Shape Model, Wajah Bayi, Komponen Wajah

ABSTRACT

The most effective way to communicate from the baby is through crying. In the past, there were many researches about systems that could detect whether a baby was crying. the system had limitation especially when the baby could not cry because of the broken vocal cord.This research suggests a system that can detect baby facial components on the image using Active Shape Model. The extracted components, like eyes, eyebrows, nose and mouth are calculated. Testing process of this research will use videos which frames will be extracted in order to get the face components. The result is that the system can extract face components from 59% of all frames. If the frames were chosen manually with 31 different faces, the system can detect 94.28% of all frames.

Keywords: Active Shape Model, facial Component, Active Contour.

PENDAHULUAN

Penelitian computer vision pada wajah bayi pada awalnya bermula pada penelitian apakah bayi yang sedang menangis merasakan rasa nyeri atau tidak (Schiavenato, 2008). Dalam berkomunikasi dengan orang lain bayi sering mengungkapkannya dengan cara menangis, karena bayi bayi tersebut belum bisa mengekspresikan kebutuhan dan keinginannya melalui bahasa.

Pada kenyataannya tangisan bayi memiliki banyak makna, tetapi yang paling berbahaya ketika tangisan bayi karena nyeri (pain). Sebenarnya pada

penelitian-penelitian sebelumnya (Shota

Yamamoto, 2013) dan (Hanindito, 2013). Sudah diteliti tentang sistem yang mampu mendeteksi bayi menangis melalui suaranya. Kondisi rumah sakit yang menempatkan beberapa bayi dalam satu ruang akan sangat sulit untuk mengisolasi suara tangis bayi terutama saat ada beberapa bayi yang

menangis. Kondisi lain yang juga harus

diperhitungkan adalah bagaimana menangani bayi yang memiliki kelainan pita suara (bisu) sehingga saat menangis tidak mengeluarkan suara.

tentang perubahan komponen wajah bayi pada saat bayi mengalami rasa nyeri (Schiavenato, 2008). Pada penelitian ini titik-titik penting wajah bayi

diamati secara manual. Kemudian hasil

pengukuran jaraknya saat bayi mengalami

kesakitan dan akan dibandingkan dengan saat bayi tidak mengalami kesakitan. Contoh titik-titik yang diamati tampak dari hasil pendeteksian wajah. Beberapa titik yang digunakan dapat dilihat pada Gambar 1.

Gambar 1. Titik-Titik Penting Penelitian Schiavenato

Pada tahun 2010 (Lucey, 2010), telah dilakukan penelitian untuk menganalisa wajah orang dewasa sedang mengalami nyeri atau tidak dengan menggunakan Active Appearance Model (AAM). Ada penelitian lain (Pu, 2010) yang meneliti tracking fitur-fitur wajah orang dewasa pada video dan ekstrasi fiturnya menggunakan Active Shape Model (ASM).

Oleh karena banyaknya penelitian terkait pada wajah dan tidak adanya penelitian wajah pada bayi yang dilakukan secara otomatis, dalam penelitian ini diusulkan sebuah sistem yang dapat melakukan pencarian komponen wajah bayi secara otomatis. Pendekatan yang dilakukan dengan menggunakan metode-metode yang digunakan pada wajah orang dewasa. Sistem ini diharapkan dapat menghasilkan lokasi komponen-komponen wajah bayi, sehingga model wajah bayi yang didapat pada peneletitian ini bisa digunakan untuk mendeteksi nyeri pada bayi atau permsalahan yang lebih sederhana adalah untuk mendeteksi tangisan pada bayi.

ACTIVE SHAPE MODEL

Active Shape Model (ASM) merupakan suatu model statistik yang dicetuskan pada tahun 1990-an oleh Tim Cootes (Tim Cootes, 1995) d1990-an telah digunakan dalam berbagai keperluan. Sebagai contoh, ASM telah digunakan dalam bidang

kedokteran untuk menganalisa hasil MRI

(Magnetic Resonance Imaging) otak dan

mengidentifikasi tulang dari hasil X-Ray dari sendi pinggul (Taylor C. J., 1997). Selain itu contoh penggunaan ASM yang lain adalah penggunaannya untuk segementasi citra otak yang diambil melalui MRI (Duta, 1998 ) serta klasifikasi tanaman dari gambar (Persson, 2008).

Pada implementasinya terdapat dua buah tahapan dalam algoritma ASM, yaitu tahap training dan tahap fitting. Tahap training merupakan tahap pengekstraksian data dan pengetahuan dari data training, sementara tahap training merupakan tahap yang akan menghasilkan informasi dari data input yang diberikan sesuai dengan hasil pembelajaran dari tahap training.

Gambar 2. Data training dengan titik keterangannya (Lanitis, 1997)

1. ASM TRAINING

baik. Model yang sederhana dapat dibentuk dari data training yang sedikit, hanya sekitar 10 (sepuluh) sampai 20 (dua puluh) citra saja.

Dalam membentuk data training, selain dibutuhkan citra yang relevan dengan objek yang akan dikenali, untuk setiap citra tersebut juga dibutuhkan keterangan mengenai titik-titik yang sesuai untuk merepresentasikan bentuk objek tersebut. Titik-titik ini akan digunakan untuk memperoleh shape atau bentuk yang sesuai untuk objek yang akan dikenali. Pada Gambar 2 merupakan contoh data citra training beserta dengan titik-titik keterangannya. Tidak terdapat aturan mengenai jumlah titik-titik harus dimiliki oleh setiap citra training, tetapi untuk setiap citra training harus memiliki jumlah titik-titik yang sama.

Data training berupa citra dua dimensi. Oleh karena itu sekumpulan titik-titik untuk data training tersebut dapat direpresentasikan dengan vektor 2n-dimensi, dimana n merupakan jumlah titik yang ditandai untuk setiap citra training. Jadi untuk setiap titik yang direpresentasikan dengan maka vektor tersebut dapat ditulis dengan cara:

)

,...,

,

,...,

(

x

₁

x

_n

y

₁

y

_n

x



Setiap kumpulan titik akan merepresentasikan sebuah bentuk. Mean shape atau bentuk rata-rata diperoleh dengan menghitung rata-rata dari N vektor, dimana N adalah jumlah citra pada data training, bentuk rata-rata ini akan digeser dan diletakkan pada pusat dengan melakukan translasi, serta diperbesar sehingga jumlah kuadrat dari setiap titik-titiknya akan berjumlah 1.

2. FITTING ASM

Ketika ASM telah dibentuk dari kumpulan data

training, model dapat digunakan untuk

menyesuaikan citra yang baru. Tujuan dasar dari proses fitting adalah mencari parameter vektor, b,

rotasi , θ, perbesaran, s dan vektor translasi,

(x_t,y_t). Hal ini bertujuan agar bentuk x sedapat mungkin merepresentasikan objek dalam citra sebagai berikut:

)

(

, ,

,

x

Ab

T

x



_{xt yt s}



Dimana T merepresentasikan transformasi dengan translasi terhadap (x_t,y_t), perbesaraan sebesar s,

dan rotasi sebesar θ. Dengan tujuan untuk

mengetahui ketepatan sebuah model, diperlukan fungsi untuk mengukurnya. Fungsi ini dapat dibentuk dengan mendeteksi tepi citra atau edge detection dan menghitung jumlah jarak kuadrat antara setiap titik pada bentuk terhadap titik tepi terdekat dari citra tersebut.

Gambar 3. Pengukuran Akurasi Model (T. F. Cootes E. R., 2000)

Gambar 4. Contoh Proses Fitting ASM (T. F. Cootes

E. R., 2000)

proses fitting pada frame sebelumnya. Bentuk awal ini akan dilambangkan dengan x. Kemudian akan ditarik sebuah garis yang tegak lurus dengan setiap titik model akan diperpanjang hingga menemukan tepi objek dari citra seperti yang terlihat pada Gambar 3. Sedangkan hasil proses fitting tiap iterasi dapat dilihat pada gambar 4.

METODOLOGI

Pada bagian ini akan dijelaskan mengenai usulan metode yang akan digunakan untuk mendapatkan komponen wajah bayi. Terdapat beberapa tahap sebelum dapat mendapatkan komponen wajah bayi. Tahapannya adalah pemilihan frame dari video atau gambar yang digunakan sebagai input. Dari video input yang didapatkan, dilakukan proses face detection untuk menghasilkan ROI (Region of Interest) wajah bayi. Setelah lokasi wajah bayi ditemukan maka tahap terakhir adalah mencari lokasi komponen wajah dari model yang telah ditraining sebelumnya. Secara skema alur kerja ini dapat dilihat pada gambar 5.

Gambar 5. Tahapan Metode Usulan

Tahap pertama pada penelitian ini adalah frame selection. Frame selection jika pada video yang dilakuakan adalah dengan cara sampling framenya. Sedangkan jika pemilihan frame secara manual dilakukan dengan mencari wajah bayi yang tampak depan dan seluruh komponen wajahnya terlihat dengan jelas.

Tahap selanjutnya adalah face detection. Proses Face detection wajah bayi ini yang akan dipakai adalah algoritma Viola Jones yang digagas pada tahun 2001. Algoritma ini merupakan metode untuk mendeteksi objek dalam gambar jadi tidak hanya pada wajah saja. Akan tetapi penggunaan

metode ini lebih banyak digunakan untuk mendeteksi wajah. Pada algoritma ini terdapat beberapa konsep utama, yaitu: haar-like feature, integral image agar proses pendeteksian berjalan dengan cepat, metode machine-learning AdaBoost, dan cascaded classifier untuk mengkombinasikan banyak fitur dengan efektif dan efisien.

Fitur yang digunakan pada algoritma Viola-Jones merupakan fitur yang berbasis haar wavelets. Haar

wavelets adalah gelombang tunggal yang

berbentuk segiempat yang hanya mempunyai

interval tinggi dan interval rendah. Jika

digambarkan dalam dua dimensi, sebuah

gelombang segiempat digambarkan dengan

sepasang segiempat yang berdekatan-satu

berwarna terang dan satunya lagi berwarna gelap.

Sesungguhnya kombinasi bidang segiempat yang digunakan untuk deteksi objek visual bukanlah haar wavelets yang sebenarnya, tetapi lebih cocok untuk digunakan sebagai deteksi objek visual. Oleh karena itu, fitur-fitur ini disebut haar-like features, dan bukan haar wavelets (Jones P. V., 2001). Nilai nilai fitur Haar ini disimpan pada xml yang nantinya digunakan untuk melakukan proses pencarian ROI wajah bayi. Hasil dari tahap ini dapat dilihat pada gambar 6.

Gambar 6. Hasil Face Detection

Setelah ROI wajah bayi ditemukan tahap terakhir adalah melakukan proses fitting ASM. Dimana ASM modelnya telah ditraning terlebih dahulu. Setelah melewati proses ini maka akan didapatkan lokasi komponen wajah bayi yang nantinya dapat digunakan sebagai input pada penelitian terkait dengan wajah bayi.

BABY FACE MODELING

menghasilkan sebuah file ASM model dengan format AMF yang akan digunakan dalam tahap fitting.

1. Training Baby Face Model

Sebelum program melakukan proses training pada fase face modeling, sebelumnya telah harus

disediakan sekumpulan citra wajah bayi.

Sekumpulan citra wajah bayi ini akan menjadi dataset untuk proses training. Menurut Cootes, yang menciptakan algoritma Active Shape Model

ini, variasi dari dataset harus mampu

melambangkan jenis-jenis objek yang diinginkan agar dapat dikenali. Oleh sebab itu, dataset pada penelitian ini memanfaatkan beraka ragam orang dan juga dari satu orang yang sama diambil beberapa ekpresi dan dalam berbagai sudut pemotretan.

Gambar 7 Alur Kerja Proses Training Pada Baby Face Modeling

Selanjutnya jika telah terkumpul citra wajah bayi, maka citra bayi tersebut akan ditandai satu persatu. Tanda akan dibubuhkan pada setiap citra pada dataset. Tanda ini berupa titik-titik yang akan menandai fitur-fitur yang terdapat pada wajah. Tidak terdapat aturan mengenai jumlah titik yang harus ditandai pada suatu wajah, namun untuk setiap citra pada dataset, harus memiliki jumlah titik fitur yang sama. Titik-titik ini harus melambangkan fitur-fitur yang terdapat pada wajah. Pada penelitian ini, akan digunakan 68 (enam puluh delapan) titik fitur wajah untuk setiap citra dataset yang digunakan. Titik-titik fitur wajah ini nantinya akan digunakan oleh program untuk pembuatan ASM model. Daftar titik yang digunakan dapat dilihat pada tabel 1.

Pemberian titik fitur wajah pada citra dapat dilakukan secara manual menggunakan software

(perangkat lunak) yang diciptakan oleh Tim Cootes sendiri yang dapat di download pada halaman publikasi Tim Cootes. Pertama-tama, file dengan

ekstensi “*.smd” yang berisikan daftar data training. file yang kedua adalah file dengan

ekstensi “*.part” yang berisikan daftar titik yang hendak dikenali. Pada file yang terakhir

dengan ekstensi “*.aamprops” berisikan parameter-parameter untuk trainingnya. Ketiga file ini akan digunakan sebagai input dari aplikasinya yang nanti akan menghasilkan model dari ASM atau juga bisa titik-titik acuan disimpan menjadi format point.

Gambar 8 Aplikasi ASM_Tools beserta Citra Wajah bayi beserta Titik-Titik Fitur

Pada Gambar 8 terlihat terdapat nomor-nomor pada wajah, nomor tersebut yang merupakan titik-titik penting yang akan ditrainingkan. Urutan dari titik-titik fitur wajah ini harus memiliki urutan dan jumlah yang sama pada setiap citra dalam dataset. Artinya, jika pada gambar pertama titik ke-0 menandakan posisi bola mata kiri wajah bayi, maka pada semua citra yang akan digunakan dalam proses training, titik ke-0 juga harus menandakan posisi bola mata kiri wajah bayi. Jika jumlah titik tidak sama maka model yang hendak di training akan gagal dan tidak dapat menghasilkan model wajah yang diharapkan.

Dataset Bayi

Face Detection

ASM Training

ASM Model

Haar Cascade

Titik fitur wajah ke-0 hingga titik fitur wajah ke-14 menandai area batas luar wajah bagian depan. Namun titik-titik ini tidak menandai semua bagian frontal wajah, hanya menandai bagian frontal wajah dari dekat telinga kiri menuju dagu kemudian menuju dekat telinga kanan.

Titik fitur wajah 15 hingga titik fitur wajah ke-36 menunjukkan bagian alis dan mata. Titik fitur

Tabel 1. Daftar Titik Fitur Wajah

Indeks Titik Fitur

Wajah

Penjelasan Area

Titik ke-0 hingga titik ke-14

Titik ke-67 Tengah wajah

Titik fitur wajah 37 hingga titik fitur wajah ke-47 menandai area hidung, dimana titik fitur wajah ke-37 hingga titik fitur wajah ke-45 menunjukkan bentuk hidung sementara titik fitur wajah ke-46 dan ke-47 menunjukkan lokasi lubang hidung kiri dan kanan. Area mulut dibagi menjadi dua bagian, yaitu bagian luar dan bagian dalam. Area mulut bagian luar dapat juga disebut area bibir bagian luar, ditandai oleh titik fitur wajah ke-48 hingga titik fitur wajah ke-59. Titik-titik fitur ini menandai

hampir seluruh bagian luar bibir sehingga dapat digunakan untuk mengetahui bentuk bibir bagian luar.

Terdapat 2 (dua) buah titik untuk menandai ujung mulut kanan dan ujung mulut kiri. Sementara bagian luar bibir atas dan bawah ditandai masing-masing sebanyak 5 (lima) titik. Sementara bagian dalam mulut ditandai oleh titik fitur wajah ke-60 hingga titik fitur wajah ke-65. Baik bagian dalam bibir atas maupun bawah ditandai dengan 3 (tiga)

titik pada masing-masing bibir untuk

menggambarkan bagian dalam mulut. Titik fitur ke-66 digunakan untuk menandai bagian tengah mulut. Yang terakhir adalah titik fitur wajah ke-67 yang menandai bagian pusat wajah. Biasanya titik terakhir fitur wajah ini terletak pada tengah hidung.

Setelah semua dataset citra di bubuhi titik-titik fitur, tahap selanjutnya adalah mentraining data tersebut dijadikan ASM Model. Proses ini merupakan proses untuk mendapatkan shape (bentuk) rata-rata dari kumpulan citra yang terdapat dalam dataset beserta kumpulan titik-titik fitur wajahnya. Proses ini akan menghasilkan sebuah file ASM model yang akan digunakan dalam proses ASM fitting pada fase face modeling fitting. Pada penelitian ini proses ASM training akan dilakukan dengan bantuan ASMLibrary milik Yao Wei yang dibuat pada bulan November 2009. Setelah melakukan proses training menggunakan ASMLibrary, akan diperoleh sebuah file berformat AMF yang berisi model dari hasil training.

2. Fitting Baby Face Model

Tahap fitting pada fase baby face modeling merupakan tahapan proses yang akan dilakukan setelah mendeteksi wajah bayi. Pada tahap ini, file ASM model yang dihasilkan dari proses training akan digunakan untuk menentukan titik-titik fitur untuk citra yang baru. Diharapkan untuk setiap citra wajah input, akan didapatkan titik-titik fitur wajah seperti yang terdapat pada dataset citra pada proses training.

Proses fitting dalam algoritma Active Shape Model

ini juga akan dilakukan dengan bantuan

Gambar 9. Contoh Hasil Fitting ASM

Agar dapat merepresentasikan bentuk wajah dengan tepat, proses fitting dilakukan secara iteratif hingga jumlah iterasi yang telah ditentukan, selama jalannya iterasi, tingkat error akan semakin berkurang sehingga pada iterasi terakhir, titik-titik fitur dapat membentuk wajah pada citra dengan tepat. Jumlah iterasi yang biasanya dilakukan

adalah 20 (dua puluh) iterasi. Dengan

menggunakan ASMLibrary, proses fitting yang menggunakan 20 (dua puluh) iterasi dapat dilakukan dalam waktu kurang dari satu detik.

UJI COBA

Uji coba dilakukan dengan dua skenario, yaitu uji coba terhadap video yang berisikan satu wajah. Dari video ini diekstrak framenya secara otomatis dengan metode sampling frame. Skenario kedua adalah melakukan proses dari 105 gambar yang telah disediakan dengan variasi 31 wajah.

Pada skenario 1 dilakukan dengan 3 jenis yang berbeda pada jumlah sampling framenya tiap detik. Spesifikasi yang dilakukan yaitu: 1 frame tiap detik, 5 frame tiap detik, 15 frame tiap detik. Hasil dari ekstraksi ini dilihat pada gambar 10 yang berisikan diagram batang antara jumlah frame yang tersedia dan frame yang berhasil diekstrak.

Pada Gambar 10 terdapat dua diagram batang yang menyatakan jumlah frame dan frame terekstrak. Jumlah frame merupakan total frame yang tersedia dari video sedangkan frame terekstrak menyatakan bahwa frame yang dinyatakan memenuhi syarat, yaitu terdeteksi mata, hidung, mulut, dan lain-lain. Pertama-tama akan dibahas mengenai skenario 1. Hasil dari skenario 1 terdapat total frame sebesar

121 frame dan jumlah frame yang sudah terekstrak dari face detection adalah 69 buah. Jika dibagikan antara jumlah frame yang terekstrak dan jumlah frame keseluruahan maka akan didapatkan 57% dari total frame dapat di identifikasi fitur-fiturnya.

Gambar 10. Hasil Ekstraksi Frame

Selanjutnya dibahas mengenai skenario 2. Hasil dari skenario 2 terdapat total frame sebesar 601 frame dan jumlah frame yang sudah terekstrak adalah 355 buah. Jika dibandingkan antara total frame dan jumlah frame yang dapat diekstrak fiturnya adalah 59% frame dapat diektrak. Pembahasan yang terakhir adalah skenario yang ke 3. Hasil dari skenario 3 terdapat total frame sebesar 1803 frame dan jumlah frame yang sudah terekstrak adalah 1063 buah. Jika dibandingkan jumlah frame yang dapat diektrak adalah 58.95%. Rata-rata waktu yang butuhkan untuk mendeteksi wajah dan melakukan proses fitting dari tiap frame rata-rata membutuhkan waktu 128 CPU time. Sehingga untuk memproses pada skenario 3 membutuhkan waktu lebih dari 136000 CPU time yang didapatkan dari waktu rata-rata dikalikan dengan jumlah frame yang terekstrak.

wajahnya. Hal ini dikarenakan pada video terdapat wajah bayi yang tidak mengarah secara frontal atau pada pemilihan samplingnya mengambil pada frame yang buram (blur) dikarenakan pergerakan bayi yang ada didalam video atau dikarenakan komponen wajah yang tertutup oleh benda lain seperti tangan atau lain lain.

KESIMPULAN

Adapun beberapa kesimpulan yang didapatkan antara lain:

1. Komponen wajah bayi dapat diekstrak dengan menggunakan algoritma ASM. Nilai akurasi komponen yang dihasilkan 94% gambar dapat diekstrak komponen wajahnya.

2. Model wajah bayi yang diusulkan mampu

menangani variasi wajah. Dari proses uji coba yang terdiri dari 31 wajah, keseluruhan data yang diujikan dapat diekstrak.

3. Berdasarkan skenario uji coba pemotongan frame secara otomatis, frame yang dapat

diekstrak adalah 59%.

Oleh karena itu

disimpulkan algoritma sampling frame pada

video tidak efektif, diperlukan

algoritma tambahan untuk mencari frame yang memenuhi kriteria proses pencarian komponen wajah.

DAFTAR PUSTAKA

1. Hanindito, E. (2013). Validasi Dinamika Pola Akustik Tangis Sebagai Indikator Nyeri Akut Pasca Bedah Pada Bayi. Surabaya: Disertasi Doktor Universitas Airlangga.

2. Jones, P. V. (2001). Rapid Object Detection Using a Boosted Cascade of Simple Features. Vomputer Vision and Pattern Recognition (pp. I-511). IEEE Computer Society Conference. 3. Jones, P. V. (2004). Robust real-time Face

Detection. International journal of computer vision vol. 57, no. 2, 137–154.

4. Lucey, P. (2010). Automatically Detecting Pain in Video Through. IEEE Systems, Man, and Cybernetics Society , 664 - 674.

5. Pu, B. (2010). Video Facial Feature Tracking with Enhanced ASM and Predicted Meanshift. 2010 Second International Conference on Computer Modeling and Simulation, 151-155. 6. Schiavenato, M. B. (2008). Neonatal pain facial

expression: Evaluating the primal face of pain. Pain 138, no. 2, 461-471.

7. Shota Yamamoto, Y. Y. (2013). Recognition of a Baby's Emotional Cry Towards Robotics

Baby Caregiver. Int Journal of Advanced Robotic System , 86.

8. T. F. Cootes, E. R. (2000). An introduction to active shape models. 223-248.