SEMI AUTOMATIC RETARGETING UNTUK EKSPRESI INTERPOLASI BLENDSHAPE BERBASIS FUZZY LOGIC

(1)

TESIS TESIS

SEMI AUTOMATIC RETARGETING

UNTUK EKSPRESI

MIMIK WAJAH MENGGUNAKAN METODA

INTERPOLASI

BLENDSHAPE

BERBASIS

FUZZY LOGIC

MOH. ZIKKY (NRP. 2209205204) DOSEN PEMBIMBING Mochamad Hariadi, S.T, M.Sc, Ph.D M ht di S T M T Muhtadin, S.T, M.T

PROGRAM STUDI MAGISTER

BIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA (GAME TECHNOLOGY) JURUSAN TEKNIK ELEKTRO, FAKULTAS TEKNOLOGI INDUSTRI

(2)

Abstrak

Untuk menghasilkan ekspresi wajah karakter virtual 3D dari ekspresi alami wajah manusia facial

Untuk menghasilkan ekspresi wajah karakter virtual 3D dari ekspresi alami wajah manusia, facial motion capture adalah teknik yang dianggap paling efektif, terutama dari sisi kecepatan

produksi. Namun demikian, pada penerapannya masih ada beberapa hasil ekspresi yang kurang ekspresif, terutama jika pada sisi target karakter 3D mempunyai bentuk fitur wajah yang

berbeda dibandingkan model acuannya. Pada riset ini dilakukan perbaikan ekspresi dasar mimik berbeda dibandingkan model acuannya. Pada riset ini dilakukan perbaikan ekspresi dasar mimik wajah dalam proses facial motion retargeting menggunakan metoda interpolasi blendshape

berbasis fuzzy logic. Metoda interpolasi blendshape adalah metoda yang digunakan untuk menggabungkan beberapa bentuk menjadi satu perpaduan dengan konsep interpolasi. Pada riset ini, proses blendshape memenuhi konsep interpolasi linier, yaitu pergerakan titik vertex pada

bl d h k i l M d bl d h k dij l k b i k k d

blendshape menggunakan garis lurus. Metoda blendshape akan dijalankan sebagai korektor pada hasil proses retargeting. Pembobotan dari blendshape akan diberikan secara otomatis dari hasil kalkulasi fuzzy logic yang mengacu terhadap masukan posisi penanda facial motion retargeting. Bobot inilah yang kemudian akan memberikan perbaikan agar ekspresi tercipta lebih ekspresif. Proses ini akan lebih mudah dan lebih cepat dilakukan daripada melakukan customize satu Proses ini akan lebih mudah dan lebih cepat dilakukan daripada melakukan customize satu persatu pada titik vertex secara manual. Untuk menghindari munculnya gerakan tak teratur

(haphazard movement), maka perlu diberikan batasan bobot (weight constraint) dengan range

[0,1]

Kata Kunci:Blendshape, interpolasi linier, animasi ekspresi wajah, semi automatic retargeting, facial motion capture, logika fuzzy, weight constraint

(3)

Latar Belakang

 Untuk membentuk karakter yang meyakinkan hal penting

 Untuk membentuk karakter yang meyakinkan, hal penting

yang perlu diperhatikan adalah gerakan ekspresi wajah yang nyata dan realistis, karena wajah adalah sumber identitas dan penunjuk situasi mood yang sedang terjadi

 Animasi wajah ekspresif sangat penting untuk meningkatkan

t li i d k i ti i d k kt

naturalisasi dan kesesuaian yang tinggi pada karakter virtual

(4)

Latar Belakang (Lanjutan)

 Objek karakter virtual dengan fitur yang variatif (spt Bentuk  Objek karakter virtual dengan fitur yang variatif (spt. Bentuk

kelonjongan wajah, bentuk hidung, dlsb) terkadang menimbulkan ekspresi yang berbeda antara model peraga dengan target

karakter wajah 3D Maka dari itu butuh metoda tambahan yang karakter wajah 3D. Maka dari itu butuh metoda tambahan yang dapat memberikan kesesuaian ekspresi, salah satunya dengan metoda blendshape.

D k k

 Dengan ekspresi mimik

wajah karakter 3D yang ekspresif, pesan emosi lebih maksimal

tersampaikan.

(5)

Tujuan

Tujuan dalam riset ini adalah melakukan

retargeting

Tujuan dalam riset ini adalah melakukan

retargeting

dari data

facial motion capture

selanjutnya dilakukan

pendekatan metoda

blendshape

untuk mendapatkan

pendekatan metoda

blendshape

untuk mendapatkan

hasil wajah karakter 3D virtual yang mampu

memvisualisasikan ekspresi wajah yang lebih ekspresif

sehingga pesan emosi akan lebih maksimal

tersampaikan

tersampaikan.

(6)

Rumusan Masalah

T t k i j h dih ilk i k li tid k

 Target ekspresi wajah yang dihasilkan seringkali tidak

seekspresif apa yang diperagakan model acuan, terutama jika target mempunyai bentuk fitur wajah yang berbeda.

target mempunyai bentuk fitur wajah yang berbeda.

 Kurang ekspresifnya hasil animasi wajah 3D yang murni dibentuk

dari proses motion capture sehingga dibutuhkan suatu metode tertentu sebagai pemicu ekspresi agar lebih ekspresifg p p g p

(7)

Batasan Masalah

Agar permasalahan yang dibahas tidak bias dan untuk

menyederhanakan riset, permasalahan diatas diberi

batasan-batasan masalah sebagai berikut:



Ekspresi wajah yang akan diuji cobakan hanya

meliputi ekspresi emosi dasar karakter.



Output

animasi ekspresi emosi hanya terfokus pada



Output

animasi ekspresi emosi hanya terfokus pada

kerutan dan mimik wajah, tidak sampai membahas

efek gerakan kepala ataupun otot leher.

(8)

Kajian Pustaka



Facial Motion Capture



Facial Motion Capture

Milistone dan Konsep Facial Motion Capture

Gambar 3: Contoh sistem menangkap gerakan wajah. (a) Mike, The Talking Head, dengan alat mekanis pertamanya dalam membuat sintesis ekspresi wajah (b) Vicon, kameramotion capture yang banyak digunakan saat ini

(9)

Kajian Pustaka

Gambar 4: Evolusi dalam proses facial rigging dari masa kemasa Offline: (a) Parke's facial parameter model

Gambar 4: Evolusi dalam proses facial rigging dari masa kemasa. Offline: (a) Parke s facial parameter model, (b) Tony de peltrie, film pendek animasi pertama yang menggunakan model parameter wajah (c) Toy Story, pengenalan film CGI pertama dalam penerapan 12 prinsip animasi, (d) Gollum, karakter realistis CGI dalam film Lord of The Ring (e) The Adventure of Tintin. Reltime: (f) Mike, the talking head, animasi virtual real time "pendalangan" pertama, (g) Half Life (1998), awal penerapan animasi wajah pada Video Game 3D, (h) Doom pendalangan pertama, (g) Half Life (1998), awal penerapan animasi wajah pada Video Game 3D, (h) Doom 3 (2004), pergerakan wajah berbasisbone untuk video game, (i) The Samaritan Demo, pengembangan dalam seni animasi wajah real time saat ini. [8]

(10)

Kajian Pustaka

 Proses Scanning dan

Pengambilan Data  M k F i l M

 Marker Facial Mocap

biasanya menggunakan 32-300 penanda reflective

k marker.

 Data yang dihasilkan dari

kamera Vicon berupa “c3d“, data C3D biasanya

dikonversi dulu kedalam

bentuk BVH, data inilah yang ditempelkan pada mesh

wajah karakter 3D

sebagaimana titik-titik yang Gambar 5: (a) ABW Scanner dan (b) contoh hasil scan

dipasang pada model. wajah; (c)sistemmotion capture dan (d) pemasangan

(11)

Kajian Pustaka



Retargeting

Animasi Wajah

 Dalam proses retargeting secara umum adalah proses

artikulasi gerakan mimik wajah dari model terhadap karakter virtual yang dibuat target

 Proses ini dapat dijalankan secara real time ataupun offline.

Gambar 6:Contoh ProsesRealtime Retargeting :(a) Retargeting Mocap dengan model tunggal; (b) Retargeting Mocap dengan Variasi model yang berbeda (Sumber: YouTube )

(12)

Kajian Pustaka



Metoda

blendshape

 Gambaran umum dari metoda ini yaitu pembentukan mimik

wajah karakter 3D dari beberapa model ekspresi wajah dasar yang dibuat, seperti halnya membuka mulut,

k tk d hi k bibi d l i

mengkerutkan dahi, menurunkan bibir, dan lainnya.

 Target animasi (gambar tengah) default-nya dibuat dalam

bentuk netral sedangkan animasi pembentuk/bobot ekspresi bentuk netral, sedangkan animasi pembentuk/bobot ekspresi dibentuk pada kondisi maksimal animasi dasar, sehingga

prosentase bobot dapat dikombinasikan dan menghasilkan

p p g

ekspresi yang diinginkan. Misalkan jika diinginkan ekspresi marah, maka diberikan bobot mulut membuka 50%, kerutan dahi sebesar 70%, dan seterusnya.

(13)

Contoh Penerapan

Metoda

blendshape

(b)

(a)

(c)

Gambar 7: (a) Gambaran skema metoda blendshape (MAYA),

(a)

(b) Proses pembuatan berbagai ekspresi dasar; (b)Running

dengan pembobotan(weight) dalam blendshape. (Sumber: YouTube )

(14)

Ekspresi Dasar Wajah Terkait Emosi

Plutchik (2001) menggambarkan penyusun emosi dasar dan

keterkaitannya dengan emosi-emosi lainnya dalam bentuk roda emosi

sebagaimana digambarkan Gambar 8

Gambar 8: Konsep relasi emosi (Plutchik, 2001)

(15)

Parameter Ekspresi Wajah

(16)

Konsep Fuzzy Logic

Untuk mendapatkan

output

bobot blendshape,

diperlukan 4 tahapan:

1.

Pembentukan himpunan

fuzzy

2

Aplikasi fungsi implikasi (aturan)

2.

Aplikasi fungsi implikasi (aturan)

3.

Komposisi aturan

(17)

Konsep Fuzzy Logic

P

b

k

hi

f



V i b l dib

i



Pembentukan himpunan

fuzzy



Variabel dibagi

menjadi beberapa himpunan

fuzzy

(membership)



Aplikasi fungsi implikasi (aturan)



Yang



Aplikasi fungsi implikasi (aturan)



Yang

digunakan adalah min (aturannya menggunakan

AND), Contoh: IF minum banyak AND makan

banyak THEN perut kenyang sekali



Komposisi aturan



Yang digunakan adalah max,

d i b b

t

d jik

k

dari beberapa aturan yang ada jika menggunakan

MAX, berarti di OR kan (keseluruhan aturan)



Defuzzifikasi



Dengan menggunakan nilai



Defuzzifikasi



Dengan menggunakan nilai



_{membership masukan}

dan nilai



_{membership keluaran}

sebagai

berikut: Nilai keluaran= jumlah (



_{membership masukan *}_{membership masukan}



(18)

Variabel dibagi menjadi beberapa

himpunan fuzzy (

membership

)



Membership segitiga

b

a

x

a

)

x

(





1



d

x

)

x

(



2





b

a



d

c

)

(





(19)

Membership Trapesium

1 )

x

(





d x₂₂ c b x₁₁ a x

x

a

)

(



1

d

x

)

(

2



b

a

x

a

)

x

(

1







d

c

d

x

)

x

(

2







(20)

Metodologi Penelitian

Gambar 12. Diagram alur metodologi penelitian semi automatic retargeting untuk ekspresi mimik wajah menggunakan metoda interpolasiblendshape berbasis fuzzy logic

(21)

Peletakan data BVH pada wajah

karakter target

Gambar 13:Tampilan data BVH pada blender 2.5dan strukturnya; (a) data bvh tampak dari depan, (b) data bvh tampak dari samping, dan (c) hirarki data bvhp p g ( )

(22)

Desain Model

Keyshape

Desain Model

Keyshape

 Untuk membuat serangkaian model ekspresi dasar yang akan

dijadikan pembobot blendshape pada target, pertama yang

harus didesain adalah keyshape Pada riset ini akan harus didesain adalah keyshape. Pada riset ini akan diberlakukan setiap satu keyshape memiliki bobot [0,1]. Dimana 0 yang berarti nilai netral dan 1 adalah kondisi y g maksimal ekspresi diberikan

Gambar 15:Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik vertexuntuk mendapatkan kondisi terkejut, (c) kondisi akhir

keyshape terkejut setelah pemindahan vertex

Gambar 16:Contoh proses perpindahan bentuk pada keyshape

(23)

Desain Ekspresi Pembobot

Blendshape

Desain Ekspresi Pembobot

Blendshape

 Mengacu terhadap penelitian ekspresi-ekspresi dasar yang dikemukakan

oleh Ekman, Freisen, dan Tomkins (1971), ada enam ekspresi dasar yang mencakup seluruh emosi yang ada, yaitu marah, sedih, senang, terkejut, jijik dan takut. Oleh karenanya, pada riset ini ekspresi-ekspresi dasar tersebut dibentuk dan dijadikan pembobot pada facial blendshape. Dari lima

keyshape y p yang dibuat, Gambar 3.8 merupakan kondisi maksimal enam y g , p ekspresi dasar pembobot blendshape pada riset ini

Gambar 15:Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik

(24)

Logika

Fuzzy

sebagai Pemicu Bobot

Blendshape

Gambar 17:Contoh proses pembuatan keyshape dengan ekspresi terkejut; (a) ekspresi netral (mula-mula), (b) menggeser titik vertexuntuk mendapatkan kondisi terkejut, (c) kondisi akhirkeyshapeterkejut setelah pemindahanvertex

 Dari pembacaan data koordinat translasi x, y, dan z

pada Gambar 18, selanjutnya semua koordinat penanda pada masing masing ekspresi yang

terkejut, (c) kondisi akhir keyshape terkejut setelah pemindahan vertex

penanda pada masing-masing ekspresi yang dijadikan sampel acuan akan dihitung jaraknya terhadap titik pusat ujung hidung, yaitu Nose Tip. Kemudian setelah jaraknya terhitung hasilnya akan Kemudian setelah jaraknya terhitung, hasilnya akan dibandingkan terhadap ekspresi netral dari

(25)

Desain

Fuzzy Logic

pada Matlab

Desain

Fuzzy Logic

pada Matlab

(a)

(b)

Gambar 19: (a) Desain keseluruhan sistem fuzzy logic pada Matlab, (b) Sebagian desain Membership Function (MF) (c) Pemberian

(b)

Membership Function (MF), (c) Pemberian aturan if-then

(26)

Hasil dan Analisa

Untuk pengujian bobot blendshape hasil proses logika fuzzy

yang dipicukan pada setiap ekspresi dasar proses retargeting,

pertama akan diujikan data ekspresi dasar yang akan dijadikan pertama akan diujikan data ekspresi dasar yang akan dijadikan acuan ekspresi,proses pengujian pada sistem logika fuzzy akan dilakukun terhadap 13 data p inputp yang sudah dipilih dan y g p

dijelaskan pada bab metodologi penelitian. Setelah data acuan

didapatkan dan menunjukkan keluaran bobot blendshape yang

sesuai, maka akan diujikan contoh data lain dari data ekspresi dasar secara acak

(27)

Ekspresi Senang

(28)

Ekspresi Sedih

(29)

Ekspresi Marah

(30)

Ekspresi Takut

(31)

Ekspresi Jijik

(32)

Ekspresi Terkejut

(33)

Penutup

KESIMPULAN

 Dari riset yang telah dilakukan, diperoleh beberapa kesimpulan pada

proses retargeting interpolasi blendshape dan fuzzy logic Proses proses retargeting, interpolasi blendshape, dan fuzzy logic. Proses

retargeting data facial motion capture terhadap karakter wajah 3D tidak selalu menghasilkan wajah yang ekspresif, oleh karenanya peran metoda blendshape terhadap tingkat keekspresifan karakter sangat signifikan.

 Pada enam database acuan ekspresi dasar, ekspresi senang paling

d h d l b i id ifik i d k b k b

mudah dalam pemberian identifikasi datanya, karena banyak sebaran selisih data yang punya nilai signifikan dan berbeda dengan data

ekspresi lainnya. Sedangkan data acuan ekspresi marah cukup sulit untuk p y g p p pemberian identifikasi, karena data nilai selisih terhadap ekspresi netral sangat kecil. Kondisi ini dapat mengakibatkan data baru yang akan

diujikan akan kabur atau bisa jadi berakibat condong terhadap nilai diujikan akan kabur atau bisa jadi berakibat condong terhadap nilai ekspresi lainnya.

(34)

Penutup

PENELITIAN LEBIH LANJUT

Agar penelitian ini berlanjut dan membentuk sistem yang sempurna, ada beberapa hal yang harus dilakukan untuk penelitian penelitian ada beberapa hal yang harus dilakukan untuk penelitian-penelitian selanjutnya, diantaranya:

 Pengembangan riset e ge ba ga se facial motion retargeting ac a o o e a ge g menggunakan e ggu a a

interpolasi blendshape dengan konsep markerless dan bisa adaptif terhadap segala bentuk fitur wajah bisa menjadi riset yang menarik

k dik b k l j

untuk dikembangkan selanjutnya.

 Proses facial motion retargeting dengan perpaduan metoda

blendshape yang diaplikasikan secara realtime akan lebih blendshape yang diaplikasikan secara realtime akan lebih

menghemat waktu. Oleh karenanya, pengembangan lebih lanjut, riset ini bisa dikembangkan pada proses retargeting yang

(35)

DAFTAR PUSTAKA (1)

Ch E ik S (2004) A l i S th i d R t ti f F i l E i S f d U i i Chuang, Erika S. (2004). Analysis, Synthesis, and Retargeting of Facial Expressions. Stanford University Sederberg, Thomas W. , dkk. (1993). 2D Shape Blending: An Intrinsic Solution to the Vertex Path Problem.

Computer Graphics, SIGGRAPH.

Cristobal Curio Martin Breidt Mario Kleiner Quoc C Vuong Martin A Giese Heinrich H Buelthoff (2006) Cristobal Curio, Martin Breidt, Mario Kleiner, Quoc C. Vuong, Martin A. Giese, Heinrich H. Buelthoff (2006).

Semantic 3D Motion Retargeting for Facial Animation. University Clinic Tuebingen, Germany B. Robertson, Mike (1988) The Talking Head. Computer Graphics World, SIGGRAPH.

Orvalho,V., Bastos,P., Parke,P., Oliveira, B., dan Alvare, X. (2012). A Facial Rigging Survey. Eurographics Orvalho,V., Bastos,P., Parke,P., Oliveira, B., dan Alvare, X. (2012). A Facial Rigging Survey. Eurographics

Li, King Li, Deng, Zhigang. (2008). Orthogonal-Blendshape-Based Editing System for Facial Motion Capture Data. University of Houston

Patrick S., Andrew. (2006). , ( ) Muscle-Based Facial Animation Using Blendshape in Superpositiong p p p . Texas A&M University Thesis

Malherbe, Victor. (2010). Make Human tutorial. http://wiki.blender.org/, diakses pada Mei 2013 Lewis, J.P and Anjoyo, Ken .(2010). Direct Manipulation Blendshapes. IEEE Computer Society

Malherbe, Victor. (2010). Blendshape deformer. http:// autodesk.com/, diakses pada Juli 2013 Kusumadewi, Sri dan Purnomo, Hari. (2010) Aplikasi Logika Fuzzy, Graha Ilmu, Yogyakarta.

Roger Jang, Jyh Shing (1997) g g, y g ( ) Neuro Fuzzy and Soft Computingy p g, Prentice Hall Inc., Upper Saddle River, New , , pp , Jersey.

(36)

DAFTAR PUSTAKA (2)

h // i F L i S t Di k d J li 2013

http://trensains.com. Fuzzy Logic System. Diakses pada Juli, 2013

Rusdiana, Hosyi'ah (2013). Penyusunan Database Ekspresi Wajah Perempuan Indonesia-Jawa Berbasis Penanda 3D untuk Pengenalan Emosi. Tugas Akhir Jurusan Teknik Elektro ITS, Surabaya.

Sumpeno Surya (2011) Antarmuka Cerdas Berbasis Bahasa Alami Berkemampuan Afeksi Disertasi Jurusan Teknik Sumpeno, Surya (2011). Antarmuka Cerdas Berbasis Bahasa Alami Berkemampuan Afeksi. Disertasi Jurusan Teknik

Elektro ITS, Surabaya

Tekalp, A. Murat dan Ostermann, Jorn (2000). Face and 2D Mesh Animation in MPEG-4. Signal Processing: Image Communication 15 (2000) 387-421, USA

Ekman, Paul. Friessen, Wallace V. Tomkins, Silvan S. (1971). Facial Affect Scoring Technique: A First Validity Study. Semiotica III

(37)