Pengembangan Program Simulator Frame Kacamata
Secara Real-Time 3D Face Tracking dengan
Menggunakan Augmented Reality
Endang Setyati
Information Technology Department Sekolah Tinggi Teknik Surabaya endang@stts.edu, endang11@mhs.ee.its.ac.id
David Alexandre, Daniel Widjaja Informatic Department Sekolah Tinggi Teknik Surabaya
davidalexandre@gmail.com, wijaya.pas@gmail.com
Abstract— Augmented Reality (AR) adalah penggabungan antara objek buatan hasil penghitungan komputer dengan dunia nyata. Objek buatan tersebut berasal dari grafik dalam bentuk tiga dimensi. Aplikasi yang dibuat dengan AR dituntut untuk dapat bekerja secara real-time dan dapat berinteraksi dengan pengguna. Penerapan AR dalam paper ini, digunakan untuk pengembangan program simulator model frame kacamata. Pengguna hanya perlu berada dalam jangkauan webcam saat mengaktifkan fitur pemasangan frame kacamata pada aplikasi dan model frame kacamata buatan akan terpasang dengan sendirinya pada wajah pengguna. Pendeteksian wajah atau face tracking yang digunakan,
memiliki perubahan kecepatan kinerja yang signifikan sesuai pada resolusi dari image sebagai input. Semakin rendah resolusi yang digunakan, maka frame per second yang didapatkan semakin tinggi. Sehingga untuk pendeteksian wajah pada program simulator ini, resolusi memiliki perbandingan terbalik dengan frame per second.
Keywords: Augmented Reality, Face Tracking.
I. PENDAHULUAN
Penggunaan AR sangat erat kaitannya dengan dunia computer vision. Pada umumnya media yang digunakan adalah video-camera dan sebuah marker. Dengan posisi dari marker yang sudah dideteksi tersebut, maka AR dapat dilakukan.
Face detection atau face tracking adalah salah satu hal yang mengalami perkembangan pesat dalam dunia computer vision. Berbagai macam algoritma dan metode telah diterapkan untuk melakukan pendeteksian wajah. Hal ini didukung dengan semakin luasnya manfaat yang dapat diperoleh dari pengembangan face detection. Aplikasi dari face detection dapat menggunakan media video-camera dan wajah pengguna aplikasi sebagai input.
Salah satu perkembangan yang cukup berpengaruh adalah pada pengolahan data wajah secara dua dimensi. Dari hasil penelitian diperoleh fakta bahwa pengubahan data wajah dari dua dimensi (2D) dimodelkan pada sebuah ruang tiga dimensi (3D) adalah riil. Melihat dari hasil tersebut berdampak pada semakin luas hal-hal yang dapat dilakukan oleh face detection. Ide dasar dari pemodelan ini adalah untuk memperbaiki kelemahan-kelemahan yang diperoleh apabila hanya dilakukan
pendeteksian secara 2D. Contohnya, dengan pendeteksian secara 2D penghitungan tidak dapat memperkirakan bentuk dan arah wajah sebaik pendeteksian 3D. Melalui beberapa pendekatan yang tepat, pendeteksian wajah secara 3D tersebut dapat semakin melebarkan manfaat dari pendeteksian wajah seperti face recognition yang lebih akurat maupun untuk penggunaan AR.
Dalam implementasinya, aplikasi augmented reality akan menggunakan face tracking untuk melakukan simulasi frame kacamata. Cara yang digunakan adalah dengan memanfaatkan hasil face tracking sebagai marker dan kemudian dilakukan proses untuk pengenalan model wajah dalam tiga dimensi untuk memunculkan AR berupa frame kacamata. Dengan demikian program yang dihasilkan akan menjadi simulator bagi pengguna untuk melakukan simulasi pemakaian frame kacamata.
Masalah yang dihadapi pada implementasi adalah bagaimana cara untuk melakukan proses pendeteksian wajah, perkiraan pose wajah dan penggambaran frame kacamata secara cepat dan akurat. Dikarenakan aplikasi AR ini dituntut untuk dapat bekerja secara real-time sehingga pemilihan metode akan sangat berpengaruh pada hasil akhir dari implementasi.
II. REAL TIME 3DFACE TRACKING
A. Augmented Reality
AR adalah istilah yang mengacu pada terlihatnya objek pada dunia nyata dimana objek tersebut dibuat oleh komputer. Secara konsep, AR berupa keadaan pada dunia nyata yang dimodifikasi oleh komputer sehingga menampakkan keadaan yang baru. Input yang dapat digunakan pada AR dapat berupa suara, video, image, maupun GPS. Namun pada skala yang lebih besar, AR dapat melibatkan berbagai macam sensor dan lingkungan khusus.
tracking). Pendeteksian dengan marker pada augmented reality akan melibatkan marker atau penanda sebagai penentu inputnya. Untuk itu algoritma yang digunakan akan berupa marker tracking dimana akan dicari posisi dan tipe marker yang terdeteksi untuk menghasilkan AR dengan posisi yang akurat. Hasil yang diperoleh umumnya adalah berupa gambar dari objek 3D yang menempel pada marker dengan posisi yang menyesuaikan letak marker. Tentu saja untuk menggunakan AR pada metode ini, seorang pengguna haruslah memiliki marker tersebut terlebih dahulu untuk dapat mengaktifkan objek AR.
Pada pendeteksian tanpa marker, AR menggunakan algoritma tertentu sebagai penentu inputnya seperti object tracking. Sebagai contohnya dapat digunakan algoritma hand-tracking, algoritma face-hand-tracking, dan algoritma object-tracking. Hasil dari algoritma tersebut akan digunakan sebagai penentu posisi objek dari AR.
Dalam perkembangannya, AR telah dikembangkan dengan penerapan berbagai macam metode dan algoritma untuk menghasilkan AR yang lebih baik dan akurat. Selain itu dikembangkan pula alat pendukung yang lebih baik pada AR. Contohnya kacamata yang digunakan sebagai alat output yang dapat dipakai secara langsung untuk melihat hasil AR.
B. Haar-like Features
Haar-like features [10] adalah salah satu cara untuk melakukan pendeteksian wajah. Cara kerja dari metode ini adalah dengan melakukan pengubahan suatu bagian image (Region of Interest) menjadi sebuah nilai. Pengubahan suatu daerah image yang memiliki wajah manusia menjadi nilai tertentu dapat menjadikan metode ini salah satu metode pendeteksian wajah yang cepat dan akurat. Nama dari haar-like features didapatkan dari Viola dan Jones yang melakukan penghitungan yang memiliki kemiripan dengan metode haar wavelet transform.
Secara lebih detail, haar-like features bekerja dengan menandai daerah yang berdekatan pada sebuah image menjadi area pixel berdasarkan classifier-nya. Kemudian dilakukan penghitungan intensitas area pixel pada daerah tersebut dan menghitung perbedaan masing-masing daerah tersebut. Perbedaan yang didapatkan digunakan untuk mengkategorisasi tiap daerah sehingga dapat digunakan untuk melakukan pendeteksian objek.
C. Statistical Shape Model
Cootes dan Taylor [3] menjelaskan bahwa bentuk dari sebuah objek dapat direpresentasikan dengan himpunan dari n titik, yang dapat berada dalam 2D atau 3D. Bentuk dari sebuah objek tidak akan berubah walaupun mengalami translasi, rotasi, maupun skalasi.
Dalam Statistical Shape Model dikembangkan sebuah model yang memungkinkan untuk menganalisa bentuk yang baru dan menghasilkan bentuk yang sesuai dengan yang ada pada training set. Training set biasanya didapatkan dari sejumlah training images yang ditandai secara manual. Dengan menganalisa variasi bentuk dari training set, dibentuk
sebuah model yang dapat menyamai variasi tersebut. Model ini biasanya disebut sebagai Point Distribution Model.
Pemilihan landmark yang bagus adalah pada titik-titik yang memiliki lokasi yang konsisten dari satu gambar ke gambar yang lain. Metode yang paling sederhana untuk mendapatkan training set adalah dengan menandai sejumlah gambar dengan sejumlah titik secara manual. Dalam gambar 2D, titik-titik dapat diletakkan pada sudut dari batas objek, persilangan antara batas objek, maupun landmark yang mudah didapatkan lokasinya. Bagaimanapun juga, titik-titik tersebut hanya dapat memberikan gambaran kasar dari bentuk objek. Untuk mengatasi hal ini, daftar dari titik-titik ini ditambahkan dengan titik-titik dari batas objek yang disusun supaya memiliki jarak yang sama [3].
Dalam gambar 2D, n titik landmark, {(xi, yi)}, untuk sebuah sampel data training, dapat direpresentasikan sebagai vektor dengan 2n elemen, X, dimana:
X = (xi, ..., xn , yi, ..., yn)
T (1)
Diberikan sampel data training sejumlah s, dihasilkan vektor X sejumlah s. Sebelum melakukan analisa statistik terhadap vektor-vektor tersebut, sangatlah penting bahwa bentuk dari training set tersebut direpresentasikan dalam koordinat yang sama dengan data yang ada pada training set. Pengolahan training set menyelaraskan setiap bentuk sehingga total jarak dari setiap bentuk ke bentuk rata-rata diminimalkan [3].
Misalkan terdapat dua buah bentuk, x1 dan x2, yang
D. Active Shape Model
Active Shape Model (ASM) [4] adalah sebuah metode dimana model dari sebuah objek secara iteratif berubah bentuk untuk mencocokkan model tersebut pada sebuah objek pada gambar [2]. Metode tersebut menggunakan model yang fleksibel yang didapatkan dari sejumlah sampel data training.
Diberikan sebuah posisi perkiraan pada gambar, ASM dapat secara iteratif dicocokkan pada gambar. Dengan memilih satu set shape parameter b untuk Point Distribution Model, bentuk dari model dapat didefinisikan dalam frame koordinat yang berpusat pada objek. Instance X pada model dalam gambar dapat dibuat dengan mendefinisikan posisi, orientasi, dan skala: yang lebih baik bagi titik tersebut;
(2)Meng-update pose dan shape parameter (Xb, Yb, s, θ,b) pada model sehingga sesuai dengan posisi baru yang ditemukan;
(3)Memberikan konstrain pada parameter b untuk memastikan bentuk yang sesuai (Misal |bi| < 3√λi);
(4)Ulangi sampai konvergen (konvergensi dicapai apabila tidak terdapat perbedaan berarti antara sebuah iterasi dengan iterasi sebelumnya).
Dalam prakteknya, dilakukan pencarian sepanjang profile normal menuju batas objek pada setiap titik pada model. Cara paling mudah adalah dengan mendapatkan lokasi dari edge dengan intensitas paling besar (dengan orientasi jika diketahui) sepanjang profile. Posisi dari edge ini merupakan posisi baru dari titik pada model.
Bagaimanapun juga, titik pada model tidak selalu terletak pada edge dengan intensitas yang paling besar pada local structure. Titik-titik tersebut dapat merepresentasikan edge dengan intensitas yang lebih rendah maupun struktur gambar yang lain. Pendekatan yang paling baik adalah dengan mempelajari dari training set apa yang dicari dari gambar 1.
Gambar 1. Implementasi Iterasi yang Dilakukan dengan Menggunakan ASM
E. Pose from Ortography and Scaling with Iteration
Pose from Orthography and Scaling with Iteration atau disebut POSIT [9] adalah algoritma yang dapat digunakan
untuk mengestimasi posisi dari objek tertentu dalam bidang 3D. Algoritma ini berasal dari Dementhon pada tahun 1995 [5]. Untuk mengukur pose dari sebuah objek, diperlukan paling sedikit empat titik non-coplanar objek dari image. Karena itu akan digunakan proyeksi bidang 3D dari titik-titik 2D yang ditemukan sebagai input dari algoritma ini. Algoritma ini memperkirakan proyeksi perspektif dari proyeksi ortografi objek pada image yang sudah disesuaikan skalanya. Dari hasil proyeksi tersebut ditemukan rotation matrix dan translation vector dari objek.
Dengan demikian tujuan dari algoritma ini adalah untuk menghitung matriks rotasi dan vektor tanslasi dari sebuah objek. Matriks rotasi R dari sebuah objek adalah sebuah matriks yang terdiri dari koordinat tiga buah vektor i, j, dan k
dari sistem koordinat kamera yang diubah menjadi sistem koordinat objek. Fungsi dari matriks rotasi tersebut adalah untuk melakukan penghitungan dari sistem koordinat objek dari vektor seperti M0Mi menjadi sistem koordinat kamera. Hasil perkalian dari M0Mi, i antara baris pertama matriks dan vektor M0Mi akan memberikan proyeksi vektor tersebut pada vektor i yang berada pada koordinat kamera. Sebagai contoh koordinat Xi – X0 dari M0Mi, selama koordinat M0Mi dan barisan vektor i berada pada sistem koordinat yang sama maka akan didapatkan hasil sistem koordinat objek sebagai berikut.
Untuk mendapatkan matriks rotasi, hanya memerlukan penghitungan i dan j pada sistem koordinat objek. Vektor k dari implementasi algoritma POSIT yaitu :
(1)Melakukan pengambilan titik fitur objek yang terlihat pada image.
Bentuklah matriks A dengan dimensi (N-1)x3, dimana setiap baris matriks berisikan vektor M0Mi dari titik fitur M0 ke titik fitur Mi. Buatlah 3x(N-1) matriks B sebagai pseudoinverse dari matriks A.
(2)Inisialisasikan: i(0)0, (i1...N1), n1 (3)Lakukan iterasi Penghitungan i, j, dan Z0:
1 1 1
1 1 0
y( ) y ,(i ...N ), n '
Y i i(n ) (10)
- Lakukan perkalian 3x(N-1) matriks B dengan vektor koordinat N-1 untuk memperoleh vektor I dan J yang memiliki tiga koordinat.
I = B.X’ dan J = B.Y’ (11)
- Menghitung skala s dari proyeksi sebagai rata-rata dari normalisasi vektor I dan J.
2
2 1 2 1 2
2 1
1 (I.I) , s (J.J) , s (s s )/
s / / (12)
- Menghitung vektor i dan j.
2 1, j J/s
s / I
i (13)
(4)Menghitung nilai
i(n) (i1...N1), n1yang baru.- Menghitung vektor k dari cross-product i dan j.
- Menghitung koordinat z dari Z0 yang merupakan vektor translasi dengan Z0 = f / s dimana f adalah focal length dari kamera.
-Menghitung: M M .k
Z i
) n (
i 0
0
1
(14)
(5)Apabila i(n)i(n1) lebih besar dari threshold yang sudah ditentukan maka n = n + 1 dan kembali ke langkah 3. (6)Jika sudah kurang dari threshold maka munculkan Pose
dengan nilai yang ditemukan dari iterasi terakhir.
Vektor translasi OM0 adalah OM0 = Om0/s dan matriks
rotasi adalah matriks dengan barisan vektor i, j, dan k.
Gambar 2. Perspective Projection dan Ortographic Projection [5]
Perlu diketahui bahwa penentuan titik referensi objek harus berada pada titik awal sumbu koordinat. Pada gambar 3 diperlihatkan ilustrasi proyeksi objek berbentuk kubus dengan algoritma POSIT.
Gambar 3. Proyeksi Objek dengan Algoritma POSIT
Gambar 4. Hasil Algoritma POSIT
F. Estimasi Pose Kepala
Estimasi dari pose kepala pengguna [8] saat menggunakan aplikasi ini akan memanfaatkan ketiga algoritma yang sebelumnya sudah disebutkan, yaitu Haar-like features, Active Shape Model, dan POSIT. Langkah yang digunakan untuk pendeteksian wajah menggunakan Haar-like features, untuk melakukan pendeteksian titik fitur wajah pengguna dengan Active Shape Model dan untuk mengambil pose dari wajah pengguna dengan memanfaatkan algoritma POSIT. Pengambilan pose akan menggunakan titik fitur pada wajah pengguna yang sebelumnya sudah didapatkan dengan Active Shape Model.
Gambar 5. Titik Fitur pada Wajah yang Digunakan untuk Proyeksi pada Algoritma POSIT
III. HASIL UJI COBA
Sesuai dengan cara kerja sebuah aplikasi augmented reality, maka pengguna akan melihat penggabungan antara keadaan dunia nyata dan dunia virtual. Keadaan pada dunia nyata dimana terdapat pengguna akan ditangkap menggunakan webcam. Sedangkan keadaan pada dunia virtual akan dibentuk menggunakan grafis dari komputer. Proses yang terjadi dalam penggabungan dunia nyata dan dunia virtual akan melibatkan beberapa algoritma terkait.
Pada aplikasi ini pengguna hanya perlu untuk berada di depan webcam dan mengaktifkan webcam tersebut. Setelah itu, gambar tampilan wajah pengguna yang telah terpasang frame kacamata virtual akan diperlihatkan pada aplikasi.
Dengan bantuan dari webcam maka pengembangan program simulator frame kacamata ini dapat bekerja secara real-time layaknya sebuah cermin bagi pengguna dan memberikan kesan realistis.
Dari hasil uji coba yang telah dilakukan terhadap program simulator ini, diketahui terdapat beberapa hal.
A. Akurasi Pendeteksian wajah 1. Resolusi Image
Pada ujicoba berikut telah terlihat bahwa pendeteksian wajah atau face tracking yang digunakan dalam program diketahui memiliki perubahan kecepatan kinerja yang signifikan sesuai pada resolusi dari image sebagai input.
Dengan melakukan percobaan pada penggunaan image dari berbagai resolusi dengan perbandingan resolusi yang sama yaitu 4 : 3, diketahui bahwa image dengan resolusi yang rendah dapat mempercepat kinerja program dan menambah jumlah frame per second dari hasil output program.
Semakin rendah resolusi yang digunakan, maka frame per second yang didapatkan semakin tinggi. Untuk perbandingan resolusi dapat dilihat pada tabel 1.
TABLE I. FACIAL EXPRESSIONS OF BASIC EMOTIONS [16]
No Resolusi Frame Per Second (FPS)
1 320 x 240 15 – 18
2 480 x 360 12 – 15
3 600 x 400 10 – 12
2. Brightness Image
Ujicoba berikutnya adalah mengenai keakuratan pendeteksian wajah yang digunakan pada program. Diketahui bahwa keakuratan pendeteksian ini akan bergantung pada bermacam-macam faktor seperti brightness, ketajaman image, noise. Pada kasus brightness, maka diketahui bahwa intensitas brightness yang terdapat pada image akan mempengaruhi keakuratan pendeteksian. Perbandingan intensitas brightness dan hasil metode active shape model akan diperlihatkan pada gambar 6.
Melalui ujicoba diketahui bahwa pendeteksian wajah pada program ini memerlukan brightness yang tidak terlalu tinggi maupun tidak terlalu rendah. Brightness yang terlalu tinggi
dan terlalu rendah akan menyebabkan pendeteksian wajah tidak akurat.
Gambar 6. Pendeteksian Wajah dalam Brightness yang Berbeda
3. Objek dalam Image
Ujicoba selanjutnya adalah tentang objek dalam image. Seringkali dalam image didapatkan objek yang dapat menghalangi wajah.
Diketahui dengan menggunakan algoritma ASM yang sudah dikembangkan maka pendeteksian wajah menjadi lebih akurat walaupun terhalang oleh objek. Walau demikian bagian yang terhalang oleh objek tidak diperbolehkan menutupi lebih dari ¼ jumlah titik feature pada wajah. Hasil pendeteksian wajah dapat dilihat pada gambar 7.
Gambar 7. Pendeteksian pada Wajah yang Terhalang Sebagian
4. Multiple Faces dalam Image
Pada ujicoba dengan beberapa wajah dalam image input, maka diketahui bahwa pendeteksian wajah akan mendeteksi wajah yang terdeteksi lebih dahulu dengan metode haar-like features. Jika program mendapati dua wajah yang terdeteksi bergantian pada tiap frame input maka akan terjadi pergeseran tak tentu pada hasil program. Hasil pendeteksian dengan lebih dari satu wajah dalam image dapat dilihat pada gambar 8.
Gambar 8. Pendeteksian jika Terdapat Lebih dari Satu Wajah
+64% +10% -64%
B. Akurasi Estimasi Pose Kepala
Ujicoba pada pose kepala pengguna dalam program menggunakan algoritma POSIT dimana didapatkan matriks rotasi dan vektor translasi sebagai hasilnya. Hasil matriks rotasi dan vektor translasi yang didapatkan dari algoritma POSIT dapat dikatakan benar walaupun tidak akurat. Hal ini dikarenakan hasil dari pendeteksian titik fitur pada wajah dengan Active Shape Model yang tidak bersifat konstan sehingga menyebabkan hasil yang tidak akurat pada perkiraan pose kepala pengguna.
Hasil error pada perkiraan pose kepala pengguna memiliki kesalahan sampai dengan ± 10 derajat. Hal ini menyebabkan pergeseran titik pada hasil yang sebenarnya sehingga mengakibatkan pergeseran letak frame kacamata pada output program. Namun pergeseran tersebut tidak sampai pada tahap yang mengganggu fungsionalitas program. Contoh pergeseran pada hasil perkiraan pose kepala pengguna dapat dilihat pada gambar 9.
Gambar 9. Pengaplikasian pose kepala pengguna pada program
C. Hasil Pengembangan Program Simulator Frame Kacamata Menggunakan Augmented Reality
Pada ujicoba pengembangan program simulatort didapatkan hasil augmented reality yang cukup layak untuk digunakan dari segi kecepatan dan akurasi. Frame kacamata yang digunakan dibuat menggunakan OpenGL dan diletakkan pada lokasi sesuai dengan hasil pendeteksian wajah. Pose yang dilakukan sebelumnya menggunakan teknik masking. Gambar hasil aplikasi dapat dilihat pada gambar 10.
Gambar 10. Hasil Program Penembangan Simulator dengan AR
IV. KESIMPULAN
Dari hasil analisa terhadap implementasi yang sudah dilakukan, maka dapat ditarik kesimpulan sebagai berikut: 1. Algoritma active shape model dalam implementasinya
memiliki tingkat error yang tidak dapat dihindari
dikarenakan faktor shape model yang digunakan maupun efisiensi algoritma.
2. Aplikasi augmented reality harus didukung pemilihan algoritma yang tepat karena dituntut untuk dapat berjalan secara real-time.
3. Pemilihan image input yang tepat dalam penerapan algoritma active shape model dapat mempengaruhi hasil yang diperoleh. Filtering dan pemilihan tempat pengambilan gambar pada input sebelum dilakukan penerapan algoritma active shape model akan sangat berguna untuk mendapatkan hasil yang lebih baik.
4. Algoritma POSIT memiliki hasil yang sangat bergantung pada titik pada image yang digunakan sebagai input-nya. 5. Dalam pengembangan program simulator, akan lebih baik
apabila dilakukan pada tempat dengan pencahayaan yang baik serta menggunakan webcam yang memiliki fokus dan ketajaman gambar yang baik.
V. REFERENSI
[1] Baker, K. Singular Value Decomposition Tutorial. The Ohio State University. 2005.
[2] Cootes, T. F. Active Shape Models – Smart Snakes. British Machine Vision Conference. 1992.
[3] Cootes, T. F., C.J. Taylor. Statistical Models of Appearance for Computer Vision. University of Manchester. 2004.
[4] Cootes, T. F., C.J. Taylor, D.H. Cooper, J. Graham. Active shape models - their training and application. 1995.
[5] Dementhon, D., Larry S. D. Model-Based Object Pose in 25 Lines of Code. Paper presented at International Journal of Computer Vision. 1995.
[6] Gonzales, R., Woods, R. Digital Image Processing Second Edition. Prentice Hall. 2002.
[7] Katherine, A., G. Arceneaux, A. John. Real Time Face And Facial Feature Detection and Tracking. Paper presented at Midwest Instruction and Computing Symposium. 2010.
[8] Martins, P., J. Batista. Monocular Head Pose Estimation. Paper presented at International Conference on Image Analysis and Recognition. 2008.
[9] Treiber, M. An Introduction to Object Recognition. Springer. 2010.
[10] Viola, Jones. Rapid Object Detection using Boosted Cascade of Simple Features. Paper presented at Computer Vision and Pattern Recognition. 2001.
![gambar [2]. Metode tersebut menggunakan model yang](https://thumb-ap.123doks.com/thumbv2/123dok/1113342.949080/3.612.79.233.571.649/gambar-metode-tersebut-menggunakan-model-yang.webp)
