Perbaikan Estimasi Arah Pandang Mata Terhadap Layar Monitor Dengan Menggunakan Posisi Wajah

Abstrak— Perbaikan estimasi arah pandang dengan menggunakan posisi wajah adalah sistem yang dirancang untuk memeperbaiki esimasi arah pandang dengan menambahkan posisi kepala sebagai salah satu acuannya. Tujuan dari tugas akhir ini adalah memperbaiki akurasi arah arah pandang dengan menggabungkan pergerakan mata dengan pergerakan dari kepala. Permasalahan pertama adalah mendeteksi pupil mata, yaitu proses mendeteksi pupil mata dengan kamera yang dirancang menghadap ke mata. Permasalahan kedua mendeteksi layar monitor, yaitu proses mendeteksi layar monitor dengan kamera yang dirancang di depan dari frame kacamata yang menghadap ke depan. Permasalahan ketiga mengkombinasi pergerakan kepala dan pergerakan pupil mata, yaitu proses perhitungan untuk mendapatkan estimasi arah pandang yang lebih akurat. Tugas akhir ini dirancang dengan enam proses metode citra HSV, citra ROI, grayscaling, smooting contour, dan citra mofologi. Metode perpotongan dua garis digunakan untuk mendeteksi titik tengah layar monitor yang menghasilkan koordinat titik tengah. Perhitungan persentase posisi pointer yang dikendalikan oleh pergerakan mata dan kepala dengan membandingkan titik aktual, yaitu titik yang telah disediakan di layar monitor dengan pembacaan pointer yang mengarah ke titik aktual tersebut. Hasil implementasi sistem menujukkan bahwa sistem tersebut dapat bekerja dengan baik di dalam ruangan dengan persentase error 6 % untuk koordinat x dan 22% untuk koordinat y. Error didapatkan dari membandingkan antara titik aktual dengan titik yang terbaca pada layar monitor.

Kata Kunci— Contour, Citra morfologi, Estimasi arah pandang, Grayscaling, Pergerakan mata, Posisi wajah, Titik potong dua garis, Smooting.

I. PENDAHULUAN

ata dan kepala merupakan dua komponen yang biasanya digunakan dalam komuikasi, khususnya komunikasi secara visual antara dua ojek atau lebih. Mata mempunyai peran sangat penting terutama untuk mengenali objek – objek yang sifatnya visual. Wajah kita juga tidak kalah penting untuk menentukan posisi kepala dan arah pandang. Dengan berbagai kegunaan dari mata dan posisi kepala, di era yang

maju seperti sekarang informasi tersebut bisa digunakan sebagai alat bantu dalam berkomunikasi.Dengan mengekstrak informasi yang ada, mata bisa digunakan untuk menentukan arah pandang. Arah pandang yang dihasilkan dari pergerakan mata ini kurang akurat, untuk itu perlu di tambah acuan lain agar arah pandang menjadi akurat. Posisi kepala bisa digunakan sebagai acuan untuk menentukan estimasi arah pandang agar lebih akurat. Informasi pergeseran kepala ketika menoleh baik ke kanan maupun ke kiri, kemudian di kombinasikan dengan arah pandang mata dapat digunakan untuk mendapatkan estimasi arah pandang yang akurat.Untuk mengatasi masalah tersebut pada tugas akhir ini dirancang sebuah sistem yang dapat menyatukan kedua informasi tersebut. Untuk mendapatkan informasi dari citra mata digunakan kamera yang dirancang menghadap ke mata. Sedangkan untuk mendapatkan informasi posisi kepala menggunakan kamera yang menghadap ke layar monitor. Dua kamera ini diletakkan pada frame kacamata dengan posisi kamera dirancang sesuai dengan kebutuhan. Kedua kamera ini akan mengambil citra mata dan citra layar monitor kemudian dilakukan pengolahan citra dengan komputer untuk mendapatkan informasi titik koordinat mata dan titik koordinat kepala. Informasi tentang titik koordinat mata dan kepala digunakan untuk menggerakkan pointer pada layar monitor, setelah itu dikombinasikan dengan software keyboard virtual

.

Pengontrolan pointer dilakukan menggunakan estimasi arah pandang. Dengan demikian seseorang dapat menulis karakter huruf di layar monitor dengan menggerakan mata dan posisi kepala sebagai salah satu acuannya.

II. LANDASAN TEORI A. Eye Traker

Eye tracking adalah sebuah alat untuk memantau perilaku dari mata kita. Alat ini digunakan untuk mengukur pergerakan mata dan memprediksi titik pandang mata. Eye tracking digunakan untuk memonitoring apa yang orang lihat dengan mata mereka, mengamati apa yang mereka lihat, bagaimana mata bergerak, bagaimana mata menentukan objek visual yang mereka lihat. Banyak dari eye traking modern didasari dari kamera yang mengarah ke mata kita dan menghasilkan citra mata dengan resolusi tinggi. Untuk menambah pencahayaan biasanya ditambah LED Infrared.[1]

Perbaikan Estimasi Arah Pandang Mata

Terhadap Layar Monitor Dengan

Menggunakan Posisi Wajah

Titis Widyanto, Ronny Mardianto, Pujiono, Rudy Dikairono

Jurusan Teknik Elektro, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember (ITS)

Jl. Arief Rahman Hakim, Surabaya 60111

E-mail

:

titiswidyanto@yahoo.co.id

,

ronny@elect-eng.its.ac.id

,

rudydikairono@ee.its.ac.id

B. Eye Model

Eye model di asumsikan sebuah bola mata dengan jari – jari R. Dengan iris terletak di bagian depan bola mata, iris ini seperti cincin melingkar dengan jari – jari r (lihat Gambar 1 (a)) jarak dari pusat mata ke iris adalah d hubungan R, r, dan d (lihat Gambar 1(d)).

𝑅𝑅

2

_{= 𝑟𝑟}

2

_{+ 𝑑𝑑}

2

₍₁₎

Jari – jari iris mata sekita 7 mm dan jari – jari bola mata berkisar 12 mm sampai 13 mm. Oleh karena itu rasio radius iris seseorang dan jari – jari bola mata dalam bidang 3D memiliki perbedaan yang kecil. Dalam mata kita rasio dari rata – rata jari – jari iris seseorang dengan rata – rata jari – jari bola mata seseorang dalam ruang 3D yaitu R/r diasumsikan konstan. Jika r telah ditemukan, baik R dan d da pat dintentukan dengan cara manual dari urutan pelatihan.[6]

Gambar 1 Eye model

C. Gaze Estimation.

Untuk menganalisis pandang mata, mata harus dideteksi dan dilacak terlebih dahulu. Biasanya metode yang dipakai untuk mendeteksi mata adalah deformable template. Metode ini lebih cepat dalam eksekusinya tetapi kurang handal. Dalam sistem ini klasifikasi viola-jones akan mendeteksi mata ketika ketika deformable template gagal dalam mendeteksi bola mata. Fungsi klasifikasi viola- jones terdapat dalam pustakaOpenCV. OpenCVmencari lokasi pusat wajah diikuti dengan mencari lokasi pusat mata.menggunakan kombinasi antara deformable template dan Viola Jones metode, dan lokasi mata terdeteksi. Agar didapat lokasi pupil yang akurat pada kondisi yang berbeda perlu dilakukan treshold (T) nilai ini didapat dari rata – rata nilai pixel (µ) dari citra I. Threhold ditentukan 27% di bawah rata – rata.[5]

µ = _𝑁𝑁1 � 𝐼𝐼𝑖𝑖 𝑁𝑁−1

𝑖𝑖=0

𝑇𝑇 = 0,27 µ (2)

Gambar 2 Metode deteksi pupil

D. Titik Potong Dua Garis.

Dua garis yang tegak lurus saling berpotongan di satu titik, untuk itu perlu di cari persamaanya agar titik tengahnya bisa di ketahui.Pada Untuk menentukan titik potong kedua garis maka di buat persamaan

Gambar 3 Perpotongan dua garis

Garis k persamaannya 𝑦𝑦1= 𝑚𝑚1𝑥𝑥 + 𝑐𝑐1 (3) Garis l persamaannya 𝑦𝑦2= 𝑚𝑚2𝑥𝑥 + 𝑐𝑐2 (4) Jika kedua persamaan bertemu di titik A(𝑥𝑥0, 𝑦𝑦0) maka berlaku persamaan.

𝑦𝑦0= 𝑚𝑚1𝑥𝑥0+ 𝑐𝑐1 (5) 𝑦𝑦0= 𝑚𝑚2𝑥𝑥0+ 𝑐𝑐2 (6) Dari persamaan di atas maka diperoleh.

𝑚𝑚1𝑥𝑥0+ 𝑐𝑐1= 𝑚𝑚2𝑥𝑥0+ 𝑐𝑐2 𝑚𝑚1𝑥𝑥0− 𝑚𝑚2𝑥𝑥0= 𝑐𝑐2− 𝑐𝑐1 𝑥𝑥0(𝑚𝑚1− 𝑚𝑚2) = 𝑐𝑐2− 𝑐𝑐1

𝑥𝑥0= (𝑚𝑚_(𝑐𝑐21_{− 𝑐𝑐}−𝑚𝑚₁2₎) (7) 𝑚𝑚1− 𝑚𝑚2≠ 0

Untuk memperoleh nilai 𝑦𝑦0 subtitusikan nilai 𝑥𝑥0 ke salah satu persamaan di atas. Nilai dari 𝑥𝑥0 𝑑𝑑𝑑𝑑𝑑𝑑 𝑦𝑦0 merupakan nilai tengah dari dua garis yang saling berpotongan dengan garis yang tidak sejajar.[3]

E. Teorema Phytagoras

Teori ini digunakan untuk memperoleh lebar dari layar monitor. dari lebar layar monitor ini bisa di ketahui jarak dari kemera ke layar monitor. Informasi ini nantinya akan digunakan untuk perhitungan dalam menentukan estimasi arah pandang.

Gambar 4 Segitiga siku – siku

Untuk mencari panjang sisi a rumusnya

𝑑𝑑2_{= 𝑐𝑐}2_{− 𝑏𝑏}2_{. (8)} Untuk mencari panjang sisi b rumusnya

𝑏𝑏2_{= 𝑐𝑐}2_{− 𝑑𝑑}2_{. (9)} Sedangkan mencari sisi terpanjang menggunakan rumus 𝑐𝑐2_{= 𝑏𝑏}2_{+ 𝑑𝑑}2_{. (10)}

F. Trigonometri Segitiga Siku – Siku.

Teori ini digunakan untuk mengetahui lebar simpangan dari posisi wajah terhadap titik acuan yaitu berupa titik tengah yang telah ditentukan. Dengan demikian kita dapat mengetahui berapa lebar simpangan kepala yang bisa di toleransi.

Gambar 5 Trigonometri segitiga siku – siku

Persaman rumus untuk menentukan sudutnya bisa ditulis sebagai berkut :

sin 𝛼𝛼 = 𝑦𝑦_𝑟𝑟 (11) cos 𝛼𝛼 = 𝑥𝑥_𝑟𝑟 (12) tan 𝛼𝛼 = 𝑦𝑦_𝑥𝑥 (13)

G. Grayscalling

Merupakan teknik untuk merubah citra warna dengan tiga kanal menjadi citra abu – abu dengan satu kanal. Grayscalling dapat dirumuskan sebagai berikut.

𝐺𝐺𝑟𝑟𝐺𝐺𝑦𝑦(𝑥𝑥, 𝑦𝑦) = 𝑅𝑅(𝑥𝑥,𝑦𝑦)+ 𝐺𝐺(𝑥𝑥,𝑦𝑦)+ 𝐵𝐵(𝑥𝑥,𝑦𝑦)₃ (14) Citra yang telah melewati proses Grayscalling ini menjadi lebih sederhana sehingga lrbih ringan dalam pemrosesan selanjutnya.

H. Smooting.

Proses ini bisa disebut juga proses blur. Fungsi dari smooting adalah untuk mengurangi noise pada citra. Dengan fungsi ini noise – noise kecil akan terlihat melebur dengan dengan pixel – pixel di sekitarnya sehingga kelihatan menghilang. Dengan metode ini pengolahan citra selanjutnya akan lebih mudah karena noise sudah tersamarkan.

I. Image Morfologi

Dalam citra yang kita olah kadang mengandung ketidak sempurnaan. Seperti ketika kita melakukan tresholding masih timbul noise dalam citra. Dengan fungsi image morfologi citra diupayakan dihilangkan ketidak sempurnaanya dengan perhitungan bentuk dan struktur citra. Ini biasanya dilakukan pada teknik Grayscaling.

J. Erosion

Merupakan salah fungsi yang terdapat pada image mofologi. Dengan teknik erosi ini akan menghilangkan detail sekala kecil dari citra biner selain itu teknik ini akan mengurangi ukuran dari daerah objek. Pengurangan citra tersebut akan membuat citra lebih kecil bila dan lebih jelas. Kekurangannya detail dari citra akan hilang karena ukuran citra berubah. K. Dilation

Teknik ini merupakan salah satu fungsi yang ada pada image morfologi. Teknik ini berkebalikan dengan teknik erosi. Pada teknik ini citra akan diperbesar dari kedua sisi yaitu dalam objek dan dari luar objek. Jika ada celah antara satu titik dengan titik berikutnya celah ini akan tertutup dan menyebabkan celeh tersebut menjadi bersatu.

L. Warna HSV

Warna HSV (Hue Saturation Value) merupakan bentuk penskalaan selain dari RGB.

𝑉𝑉 = max(𝑅𝑅, 𝐺𝐺, 𝐵𝐵)

𝑆𝑆 = ((𝑉𝑉 − min( 𝑅𝑅, 𝐺𝐺, 𝐵𝐵)) 𝑉𝑉)⁄ Untuk V ≠ 0, selain itu S = 0

𝐻𝐻 = ⎩ ⎪ ⎨ ⎪ ⎧ (𝐺𝐺 − 𝐵𝐵) ∗60_𝑆𝑆 −> 𝑉𝑉 = 𝑅𝑅 180 + (𝐵𝐵 − 𝑅𝑅) ∗60_𝑆𝑆 −> 𝑉𝑉 = 𝐺𝐺 240 + (𝑅𝑅 − 𝐺𝐺) ∗60_{𝑆𝑆 −> 𝑉𝑉 = 𝐵𝐵 ⎭⎪}⎬ ⎪ ⎫ (15)

M. Contour

Merupakan teknik untuk menyatukan titik – titik citra secara terus menerus dari citra yang memiliki warna atau intensitas citra yang sama. Dengan fitur ini kita dapat mengidentifikasi objek yang memiliki bentuk yang berbeda – beda.

Gambar 7 (a) sebuah citra digital dari beberapa bentuk. (b) Contour

III. PERANCANGAN SISTEM

Secara umum sistem dari perangkat ini menggunakan kamera digital sebagai inputan data baik untuk inputan mata dan inputan arah kepala yang menghadap monitor. Data dari hasil inputan mata berupa koordinat pupil mata yang berupa titik x dan y. Sedangkan dari pergesetan kepala juga di dapat data berupa derajat simpangan kepala dari posisi tengahnya dan juga koordinat simpangan berupa data x dan y. Dari data tersebut kemudian diolah sehingga di dapat estimasi arah pandang mata.

Gambar 8 Ilustrasi Penggunaan alat A. Perangkat Keras

Komponen - komponen yang digunakan dalam sistem ini adalah sebuah motor Notebook. Notebook ini di gunakan untuk memproses citra dari kamera mata dan kamera monitor selain itu notebook ini digunakan untuk interface dengan pengguna. Kamera iTech 5 MPX. Kamera ini digunakan untuk menangkap citra dari mata yang berupa pupil mata. Kamera ini cukup baik untuk menangkap citra jarak dekat dengan ± 8 cm. Agar dalam menangkap citra dari pupil mata dengan jelas ditambahkan LED infrared sebagai tambahan perangkat supaya daerah mata yang di ambil citranya lebih terang dan pengambilan citra tidak terganggu dengan cahaya di sekelilingnya. Kamera Logitech HD Webcam C270, 720p WideAngle. Kamera ini digunakan untuk mendeteksi posisi kepala dengan cara mengambi citra layar monitor yang sudah deberi marker dengan warna ungu. Marker ini digunakan untuk menentukan tepian dari monitor di layar sehingga membentuk persegi panjang dari layar monitor tersebut. Kamera yang digunakan harus mempunyai resolusi yang lebih tinggi dari kamera mata karena dibutuhkan penglihatan yang lebar. Jarak optimal yang dibutuhkan ± 55 cm. Perancangan eye traker dengan menggabungkan kedua kamera, satu kamera

di letakkan menghadap ke arah mata kemudian kamera kedua di letakkan menghadap ke luar menghadap ke layar monitor laptop. Disamping kamera mata ada infrared yang diletakkan menghadap ke mata sebagai cahaya tambahan agar pada daerah mata tidak dipengaruhi cahaya dari luar. Eye traker dipasang pada frame kacamata tanpa lensa dengan kemiringan ± 24˚. Dibuat miring agar tidak mengganggu mata sebelah kanan ketika memandang layar monitor nantinya.

Gambar 9 Perancangan Hardware Eye Traker B. Perangkat Lunak

Pada perancangan software tugas akhir ini menggunakan sotware visual studio 2010 dan bahasa pemrograman C++ dengan library open cv sebagai library dalam pengolahan citra. Software Visual studio 2010 menggunakan fasilitas windows form sebagai interface dengan pengguna.

Gambar 10 Perancangan perangkat lunak

Terdapat dua layar yang digunakan dalam perancangan software ini. Layar sebelah kiri untuk menampilkan citra dari mata sedangkan layar ke dua untuk menampilkan citra dari layar monitor. Pada menu software terdapat setingan manual berupa scroolbar. Menu ini digunakan sebagai setting manual baik untuk citra mata dan monitor. pada citra mata terdapat setting manual berupa scrrolbar tresholding sedangkan pada setting layar monitor terdapat settingan berupa nilai dari value, hue, tresholding, dan nilai saturation. Sedangkan ditengah – tengah software terdapat tombol. Tombol ini digunakan untuk mencari titik tengah dari layar monitor. sehingga simpangan kepala bisa deketahui.

C. Sistem pendeteksi pola layar monitor

D. Sistem pendeteksian simpangan kepala

E. Sistem pendeteksian pola mata

G. Kamera calibration

H. Keyboard Virtual

IV. PENGUJIAN DAN HASIL

Pengujian yang dilakukan pada tugas akhir ini untuk mengetahui akurasi dari respon yang digunakan pada system. Pengujian dimulai dengan pengambilan data eye traker yaitu koordina titik sudut layar monitor dan titik sidut pupil mata. Pengujian meliputi pengujian eye traker, pengujian calibration, pengujian simpangan kepala, pengujian pointer. A. Pengujian eye traker

Gambar 11 eye traker mampu mendeteksi tepian layar monitor

Gambar 11 Hasil citra setelah proses HSV B. Pengujian pointer pada layar monitor.

Pengujian pointer dilakukan dengan mengikuti titik – titik aktual yang ada di layar monitor. Error merupakan selisih antara titik acuan dan pointer pada layar monitor

Tabel 1. Kepala menoleh ke kanan tanpa parameter sudut kepala.

x_aktual y_aktual x_pointer y_pointer x_error y_error

31 18 120 109 89 91 331 18 449 -93 118 111 631 18 792 -5 161 23 931 18 1070 119 139 101 1231 18 1064 119 167 101 31 254 67 134 36 120 331 254 423 182 92 72 631 254 560 180 71 74 931 254 1031 382 100 128 1231 254 1232 382 1 128 31 490 151 445 120 45 331 490 500 470 169 20 631 490 818 495 187 5 931 490 950 482 19 8 1231 490 1284 733 53 243 31 726 67 620 36 106 331 726 397 283 66 443 631 726 455 733 176 7 931 726 798 896 133 170 1231 726 1303 933 72 207 Tabel 2. Kepala menoleh ke kanan dengan parameter sudut kepala.

x_aktual y_aktual x_pointer y_pointer x_error y_error

31 18 48 67 17 49 331 18 354 50 23 32 631 18 636 76 5 58 931 18 929 85 2 67 1231 18 1253 65 22 47 31 254 36 278 5 24 331 254 342 278 11 24 631 254 648 296 17 42 931 254 971 278 40 24 1231 254 1240 313 9 59 31 490 36 497 5 7 331 490 335 490 4 0 631 490 660 497 29 7 931 490 959 506 28 16 1231 490 1240 550 9 60

x_aktual y_aktual x_pointer y_pointer x_error y_error

31 726 27 736 4 10

331 726 330 743 1 17

631 726 642 734 11 8

931 726 853 681 78 45

1231 726 1247 761 16 35

Dari pengujian ini dapat diketahui bahwa eye traker mampu mendapatkan citra mata dengan kontras yang baik antara pupil dengan daerah sekitar mata. Eye traker mampu membedakan antara pupil dengan daerah sekitar mata yang tidak dibutuhkan. Dengan kepala bergeser – geser eye traker cukup stabil untuk mengambil citra mata maupun layar monitor. pada Tabel 1 dan Tabel 2 bisa dibandingkan nilai dari selisih piksel antara pengujian dengan menggunakan posisi kepala dan pengujian yang mengabaikan posisi kepala. Pada Tabel 1 pengujian tanpa mengabaikan posisi kepala dengan rata- rata error x 26% dan error y 54% Sedangkan Tabel 2 pengujian yang menggunakan posisi kepala sebagai salah satu acuannya. Didapatkan error rata – rata nilai x 6% dan error rata – rata y 22%. Jadi dengan menambahkan posisi kepala bisa memperbaiki estimasi arah pandang dari pointer.

V. KESIMPULAN

Dalam Tugas Akhir ini, sistem dapat berjalan dengan baik terbukti dengan perangkar eye traket dapat membedakan pupil mata dengan daerah sekitarnya. Dengan menggunakan posisi kepala sebagai salah satu acuan dalam menentukan estimasi arah pandang dapat membuat akurasi arah pandang lebih lebih akurat. Error yang dihasilkan setelah menggunakan metode ini berkurang dari 26% menjadi 6% untuk sumbu x dan sumbu y dari 54% menjadi y 22%.

DAFTAR PUSTAKA

[1] LC Technologi, “eye traker”, <URL: http://www.eyegaze.com/what-is-eye-tracking/>, 2013.

[2] Rachman, Maulana, “Pengembangan Robot Rubik Dengan Identifikasi Warna Menggunakan Sensor Kamera”, Institut Sepuluh Nopember, 2012.

[3] Bradski G dan Kaebler A,”Learning OpenCV”, O'Reilly Media Amerika Serikat, September 2008.

[4] A.H. Bonnet, “Cause and analysis of bearing failures in electrical motors,” Petro. and Chem. Ind. Conference, pp. 87-95, Sept. 1992. [5] Arai, Kohei and Mardiyanto, Ronny, "Eye-based HCI with full

specification of mouse and keyboard using pupil knowledge in the gaze estimation. Saga University, 2011.

[6] Wang, Jian G dan Sung, Erik “Eye Gaze Estimation From a Single Image of One Eye”, Institute for Infokom Research2003.

[7] Aminudin, “Rancang Bangun Sistem Bantu Komunikasi Verbal Pada Pasien Penderita Stroke Berdasarkan Pergerakan Mata” Institute Sepuluh Nopember, 2013.

[8] Taksiono, M.A, “Rancang Bangun Sistem Penghitung Laju Dan Klasifikasi Berbasis Pengolahan Citra”, Institute Sepuluh Nopember, 2013.

[9] OpenCV 2.4.9.0 documentation “dokumentasi opencv”< URL : http://docs.opencv.org/ >,April 2014.