FACIAL MOTION CAPTURE MENGGUNAKAN ALGORITMA INVERSE COMPOSITIONAL PADA AAM TESIS

(1)

TESIS

FACIAL MOTION CAPTURE

MENGGUNAKAN ALGORITMA INVERSE

COMPOSITIONAL PADA AAM

(2)

I WAYAN SUARDINATA, SKom NRP. 2209205027 DOSEN PEMBIMBING Moch. Hariadi, S.T., M.Sc., Ph.D. PROGRAM MAGISTER

BIDANG KEAHLIAN JARINGAN CERDAS MULTIMEDIA JURUSAN TEKNIK ELEKTRO

FAKULTAS TEKNOLOGI INDUSTRI

INSTITUT TEKNOLOGI SEPULUH NOPEMBER SURABAYA

2010

FACIAL MOTION CAPTURE

MENGGUNAKAN ALGORITMA

INVERSE COMPOSITIONAL PADA

AAM

(3)

Materi

presentasi

PENDAHUL

UAN

DASAR

TEORI

METODOLOGI

EKSPERIMEN

& ANALISA

KESIMPULAN

(4)

PENDAHULUAN

Pendahuluan

(5)

»

Teknologi motion capture dibutuhkan dalam berbagai

aplikasi khususnya animasi yang terus berkembang dengan

pesat

»

Sekarang ini penelitian banyak diarahkan untuk

mengembangkan teknik markerless motion capture.

»

area capture difokuskan pada analisa data wajah mengingat

analisa data wajah mempunyai manfaat banyak dalam

kehidupan nyata

»

Dalam hal animasi wajah merupakan bagian yang penting

karena banyak hal yang harus dianimasikan dari wajah

meliputi pergerakan, bentuk, dan ekspresi.

(6)

»

penelitian ini akan lebih difokuskan pada metode

penyesuaian titik-titik (fitting method) pada pergerakan

wajah selanjutnya dapat dibuat mesh dua dimensi.

»

Mengingat akurasi dan kecepatan metode masih perlu

ditingkatkan

(7)

Perumusan Masalah

• Bagaimana cara mendapatkan titik-titik

landmark dua dimensi yang bersesuaian pada

wajah dalam setiap perubahan pose dan

pergerakan wajah.

• Bagaimana membuat mesh 2 dimensi

berdasarkan data titik-titik tersebut dan

diusahakan secepat mungkin.

(8)

Tujuan & Manfaat

• Mendapatkan metode fitting dengan akurasi

dan kecepatan yang maksimal

• Menjadi landasan bagi pengembangan dan

penggunaan AAM berikutnya

(9)

DASAR TEORI

(10)

FACE PROCESSING

Area Aplikasi

Hiburan Video game, virtual reality, training programs, robot interaction, human-computer interaction, family photo albums

Smart Cards Ijin mengemudi, paspor, registrasi pemilih pada pemilu, kesejahteraan social

Informasi keamanan TV parental control, akses telepon seluler, logon desktop, database keamanan, enkripsi file, rekam medis, akses internet, terminal perdagangan yang aman

Penegakan hukum dan pengawasan Advanced video surveillance, CCTV control, portal control, post-event analysis, shoplifting, pencarian dan investigasi tersangka

Emerging Alat untuk pembelajaran psikologi

Tabel 2. 1 Aplikasi khusus dari pengolahan wajah, meliputi deteksi dan tracking, pengenalan identitas dan ekspresi, dan personalized realistic rendering

(11)

SHAPE MODEL

• Gambar 2. 1 Linear shape model dari sebuah independent AAM. Model terdiri

atas mesh berbasiskan triangulation s

₀

ditambah kombinasi linear dari n shape

vector s

_i

. Base mesh ditunjukkan di sebelah kiri dan ke kiri adalah tiga shape

vector s

_1,

s

₂

dan s

₃

melapisi base mesh.

(12)

APPEARANCE MODEL

Gambar 2. 2 Variasi linear appearance dari sebuah independent AAM.

Model terdiri atas base appearance image A

₀

yang mendefinisikan

pixel-pixel didalam base mesh s

₀

ditambah kombinasi linear dari m appearance

images A

₁

yang juga mendefiniskan himpunan pixel yang sama.

(13)

Model Instance

• Contoh AAM instantiation. Parameter bidang digunakan untuk menghitung model bidang s dan parameter appearance digunakan untuk menghitung model appearance A. Model appearance didefinisikan dalam base mesh s₀. Pasangan mesh s₀ dan s mendefinisikan a (piecewise affine) digabung dari s₀ kepada s yang kita denotasikan W(x;p). Hasil akhir AAM model instance,

didenotasikan M(W(x;p)), yang dikomputasi dengan forward warping appearance A dari s₀ pada s menggunakan W(x;p).

(14)

Framework

pembuatan

model statistik 2

dimensi

(15)

Forward additive image allignment

• A schematic overview of the Lucas-Kanade

(forwards-additive) image alignment algorithm.

• Given current estimates of the parameters p,

Lucas-Kanade linearizes the problem and solves for

incremental updates to the parameters p that are then

added to the current estimates p ← p + p.

(16)

Inverse Compositional & Inverse Additive

• (a) A schematic overview of the forwards-compositional image alignment algorithm. Given current estimates of the parameters, the forwards compositional algorithm solves for an incremental warp W(x;p) rather than a simple update to the parameters p.

• The incremental warp is then composed with the current estimate of the warp. (b) A schematic overview of the inverse-compositional image alignment algorithm.

• The roles of I(W(x; p)) and A0(x) are reversed and the incremental warpW(x;p) is estimated in the other (inverse) direction. The incremental warp therefore has to be inverted before it is composed with the current estimate of the warp

(17)

METODOLOGI

Metode pembuatan data training,

Metode pencocokan gambar

Metode evaluasi

Tools & Hardware yang digunakan

(18)

DATA

yang diperlukan

Facial motion capture

gambar

annotation

Model

AAM

Sumber

data

training testing training testing

(19)

www.fgnet.rsunit.com

Face and gesture recognition

research network

www.bioid.com

Menyediakan layanan otentifikasi

biometrik

(20)

www.visionopen.com

Website yang didedikasikan untuk

sharing para mahasiswa cina di bidang

computer science

http://personalpages.manchester.ac

.uk/staff/timothy.f.cootes/data/talki

ng_face/talking_face.html

Situs dari penggagas AAM timothy f.

cootes dari manchester university

(21)

SUMBER

data yang digunakan

database

FRANCK

AGING

BIOID

JIAPEI

jumlah gambar

5000

1002

1521

67 training

5000

263

397

33 testing

300

739

354

34 jumlah subjek

1

82

23

1 jumlah titik

68

20

109 resolusi

720*576

variasi

384286 640480

RGB

keduanya

GRAY

RGB

(22)

AAM tools untuk membuat landmark secara manual

Process pembuatan Model AAM

Data points training

landmark suatu gambar

Data facepart: mata,

mulut dll

smb

uildi

ng

Matrik-matrik yang

diperlukan sesuai dengan

metode yang dipilih

Data siap digunakan

(23)

Metode Pencocokan

yang digunakan

Facial motion capture

AAM

Basic_AAM

Inverse Compotitional

Image Alignment

(24)

(25)

FLOW CHART ALGORITMA

INVERSE COMPOSITIONAL

PADA AAM

(26)

FLOW CHART ALGORITMA

INVERSE COMPOSITIONAL

PADA AAM

(27)

Evaluasi Performance

• Kecepatan convergence untuk setiap gambar

• Jumlah iterasi

(28)

Overlap dan jarak

waktu

iterasi

overlap

jarak

1

447.526

0 0.656383

33.0946

2 1713.2

0 0.445998

67.537

(29)

Tools & Hardware

yang digunakan

Facial motion capture

Platform independent

• Ubuntu 10.10

Required packages

• OpenCV 2.2.0

• Boost 1.46

• boostfilesystem

• boostregex

Hardware

• Pentium Dual Core

2GHz

• 1024Mb RAM

• Harddisk 250Gb

(30)

Eksperimen & Analisa

(31)

Jumlah gambar

: 5000

Training

: 5000

Testing

: 300

Jumlah subjek

:1

Jumlah titik

: 68

Resolusi

:720*576

RGB/Gray

:RGB

(32)

Contoh diambil dari salah satu gambar = franck_0000 dari 300 gambar

Aam_basic E:\THESIS\experiment\9jul\fitting_result\Franck\franckbasic

Icia : E:\THESIS\experiment\9jul\fitting_result\Franck\frankicia

Hasil Pencocokan pada database FRANCK

…

8 iterasi

metode

AAM_BASIC

metode

AAM_ICIA

…

7 iterasi

(33)

Or

ganiz

e

with

Sec

tio

n

s

Analisa data eksperimen

0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 1 ₂₁ ₄₁ ₆₁ ₈₁ 101 121 141 161 181 201 221 241 261 281 BASIC CMUICIA

Kecepatan fitting/gambar

0 0.2 0.4 0.6 0.8 1 1.2 1 ₂₀ ₃₉ ₅₈ ₇₇ ₉₆ 115 134 153 172 191 210 229 248 267 286 BASIC CMUICIA

Overlap area

0 5 10 15 20 25 1 ₂₃ ₄₅ ₆₇ ₈₉ 111 133 155 177 199 221 243 265 287 BASIC CMUICIA

Jarak titik

waktu iterasi overlap jarak

1 2991.67 0 0.965372 4 2 3637.1 0 0.978714 2.23607 3 2463.22 0 0.95061 2.23607 4 3725.7 0 0.988635 0.5 5 3625.02 0 0.989796 1.5 6 3287.7 0 0.985318 1 7 3955.88 0 0.963112 3.60555 8 3301.1 0 0.973599 2.69258 9 3709.27 0 0.978638 2.23607 10 2871.37 0 0.978612 1.41421

(34)

Jumlah gambar

: 1002

Training

: 263

Testing

: 739

Jumlah subjek

:82

Jumlah titik

: 68

Resolusi

:variasi

RGB/Gray

:keduanya

(35)

Contoh diambil dari salah satu gambar = 022a20 dari 739 uji

E:\THESIS\experiment\9jul\fitting_result\aging\agingicia\022a20

Hasil Pencocokan pada database AGING

…

3 iterasi

metode

AAM_BASIC

metode

AAM_ICIA

…

3 iterasi

(36)

Or

ganiz

e

with

Sec

tio

n

s

Analisa data eksperimen

0 500 1000 1500 2000 2500 3000 3500 1 ₅₄ 107 160 213 266 319 372 425 478 531 584 637 690 AAM_BASIC AAM_CMUICIA

Kecepatan fitting/gambar

Overlap area

Jarak titik

0 0.2 0.4 0.6 0.8 1 1.2 1 ₄₃ ₈₅ 127 169 211 253 295 337 379 421 463 505 547 589 631 673 715 BASIC CMUICIA 0 50 100 150 200 250 1 ₄₈ ₉₅ 142 189 236 283 330 377 424 471 518 565 612 659 706 Series1 Series2

1 447.526 0 0.656383 33.0946 2 1713.2 0 0.445998 67.537 3 1273.19 0 0.883638 8.73212 4 5 6 558.008 0 0.797631 4.52769 7 276.949 0 0.809034 16.9779 8 1228.68 0 0.858872 7.90569 9 642.522 0 0.772647 19.4551 10 1733.71 0 0.665671 6.10328 11 545.436 0 0.748772 6.94622

(37)

Jumlah gambar

: 1521

Training

: 397

Testing

: 354

Jumlah subjek

: 23

Jumlah titik

: 20

Resolusi

: 384*286

RGB/Gray

: Gray

(38)

Or

ganiz

e

with

Sec

tio

n

s

Analisa data eksperimen

Kecepatan fitting/gambar

Overlap area

Jarak titik

0 100 200 300 400 500 600 1 ₂₁ ₄₁ ₆₁ ₈₁ 101 121 141 161 181 201 221 241 261 281 301 321 341 AAM_BASIC CMUICIA 0 0.2 0.4 0.6 0.8 1 1.2 1 ₂₄ ₄₇ ₇₀ ₉₃ 116 139 162 185 208 231 254 277 300 323 346 AAM_BASIC CMUICIA 0 10 20 30 40 50 60 70 1 ₂₇ ₅₃ ₇₉ 105 131 157 183 209 235 261 287 313 339 AAM_BASIC AAM_CMUICIA

1 355.021 0 0.919714 4.03113 2 136.216 0 0.850575 6.5192 3 127.84 0 0.818446 8.06226 4 143.755 0 0.820134 6.80074 5 140.661 0 0.786497 8.32166 6 139.826 0 0.824034 6.0208 7 224.406 0 0.874609 3.53553 8 145.826 0 0.796935 7.61577 9 147.992 0 0.82923 5.40833 10 138.812 0 0.80332 2

(39)

Jumlah gambar

: 67

Training

: 33

Testing

: 34

Jumlah subjek

:1

Jumlah titik

: 109

Resolusi

:640*480

RGB/Gray

:RGB

(40)

Contoh diambil dari salah satu gambar = 00 dari 34 gambar

E:\THESIS\experiment\9jul\fitting_result\jiapei\jiapei_cmuicia\00

Hasil Pencocokan pada database FRANCK

…

9 iterasi

metode

AAM_BASIC

metode

AAM_ICIA

…

11 iterasi

(41)

Or

ganiz

e

with

Sec

tio

n

s

Analisa data eksperimen

Kecepatan fitting/gambar

Overlap area

Jarak titik

0 500 1000 1500 2000 2500 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 BASIC ICIA 0.8 0.82 0.84 0.86 0.88 0.9 0.92 0.94 0.96 0.98 1 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 BASIC CMUICIA 0 1 2 3 4 5 6 7 8 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 Series1 Series2

1 1517.16 0 0.965087 2.5 2 997.635 0 0.960006 1.58114 3 999.513 0 0.950295 2 4 1886.75 0 0.960006 1.58114 5 1888.5 0 0.950047 2.23607 6 1490.83 0 0.955182 0.5 7 1493.96 0 0.955182 0.5 8 1535.98 0 0.969963 1.58114 9 1301.28 0 0.974994 0.5 10 725.347 0 0.959954 2