Deteksi Kedip Mata Berbasis Metode SURF

 

11

Deteksi Kedip Mata Berbasis Metode SURF

Indra Agustian

1*

1

Staf Pengajar Program Studi Teknik Elektro FT Universitas Bengkulu, *Email: indraunib@gmail.com ABSTRAK

This research presents the realtime eye blink detection system based on image processing technique using SURF method. The first process of system is face detection, next, the area resulted from face detection is used for eye detection process, both of detections are supported by Haarcascade Classifier. Eye region resulted from eye detection is optimized for an effective computation process and it is used as region of interest(ROI) for eye blink detection using SURF method. SURF method for eye blink detection leads to a combination of interest point detection and description of eye opened-closed images and matching steps. The experiment and discuss shows that eye blink detection using SURF method his reliable for realtime processing with accuracy 97,6% at normal blink detection and 100% at blink duration detection.

Keywords: eye detection, face detection, blink

detection, haarcascade classifier, SURF.

1.PENDAHULUAN

Salah satu fokus utama penelitian bidang Computer Vision saat ini adalah deteksi gerakan dan gestur tubuh atau sebagian dari bagian tubuh manusia yang dapat dimanfaatkan untuk keperluan bidang HCI (Human-Computer Interface), dan juga biomedis. Deteksi kedip mata merupakan bagian dari gestur wajah yang dapat dimanfaatkan sebagai masukan untuk interaksi manusia dengan komputer, selain itu, deteksi kedip mata dan pola kedipnya bisa dimanfaatkan dalam bidang penelitian kesehatan mata ataupun bidang perilaku manusia.

Deteksi kedip mata pada penelitian-penelitian sebelumnya berbasis metode gradient[1][2], SIFT[3], tapis gabor[4]. Penelitian [1] dan [2] menggunakan perbedaan citra antar frame, penelitian [3] menggunakan optical flow tracking fitur yang diperoleh dari metode SIFT. Penelitian [4] melakukan deteksi wajah dan mata menggunakan Haarcascade Classifier[5][6][7], area hasil deteksi mata dijadikan Region of Interest(ROI) deteksi kedip yang dilakukan dengan metode tapis gabor.

Berbeda dengan penelitian-penelitian di atas, pada penelitian ini, proses deteksi kedipan mata dilakukan dengan berbasis metode SURF[8]. Berbeda dengan

metode SIFT, deteksi interest point, deskripsi dan pencocokan pada metode SURF dilakukan dengan berdasarkan metode integral image[5][6].

2.TINJAUAN PUSTAKA

Penelitian [1] merancang suatu metode klik mouse dengan menggunakan kedip mata dan gerakan alis yang tertangkap kamera. Metode pendeteksian berdasarkan perbedaan atau gradien citra biner antar frame dari masukan kamera. Hasil eksperimen menunjukkan tingkat keakuratan klik sebesar 95.6% dengan deteksi kedip mata, dan 89.0% dengan gerakan alis.

Penelitian [2] merancang sistem deteksi kedip mata melalui analisis gerakan berdasarkan metode pada penelitian [1], yaitu gradien antar frame masukan kamera dengan tambahan open-eye template. Deteksi kedip mata pada penelitian ini menghasilkan tingkat akurasi deteksi sebesar 95,3%.

Penelitian [3] merancang deteksi kedip mata dari citra sumber dengan tingkat kontras yang rendah mendekati tingkat keterangan infrared. Deteksi kedip mata dilakukan berdasarkan perbedaan citra biner antar frame dengan dukungan optical flow tracking dari fitur yang diperoleh melalui metode SIFT untuk mendapatkan ROI deteksi kedip mata. Pengolahan citra memanfaatkan Graphical Processor Unit (GPU) untuk meningkatkan kinerja waktu komputasi. Tingkat akurasi deteksi kedip mata pada penelitian ini sebesar 97%.

Penelitian [4] merancang sistem deteksi kedip mata dengan tapis gabor. Haarcascade classifier digunakan untuk mendeteksi mata, hasil deteksi dijadikan template area mata, selanjutnya area mata ditemukan dengan menggunakan metode template matching dan dilanjutkan dengan tapis gabor untuk mendeteksi kedip mata secara realtime. Tingkat akurasi deteksi kedip mata diklaim mencapai 100%.

Penelitian [5][6][7] merancang suatu metode deteksi objek, yang dikenal juga dengan sebutan sistem deteksi Viola-Jones sesuai dengan nama perancangnya, dan ditambahkan beberapa fitur deteksi oleh Lienhart[6]. Classifier dilatih dengan sampel positif yaitu sampel gambar objek yang hendak dideteksi, dan sampel negatif yaitu sampel gambar lain yang bukan merupakan objek target deteksi, sampel negatif dapat diambil gambar-gambar yang mungkin menjadi latar belakang dari objek target. Kedua sampel positif dan negatif diskala ke

Jurnal Amplifier   12 ukuran yang 24x24). Teknik boosted cla classifier ter strong classif untuk bagia classifier den untuk menen “pasti buka “mungkin o window dikl dideteksi” m jika sub-win yang hendak selanjutnya. dilewati oleh sub-window Peneliti interest poin suatu suatu c (Speeded Up dengan berd image dan m utama yaitu descriptor. digunakan deskriptor pa matcher). Bagian fitur dari pi interest poin khusus, tidak atau hampir ataupun per descriptor ve antara suat berdasarkan diproses sebe Sistem menggunaka Visual Studi pada sistem dilakukan de prosesor inte LCD 14.23x Acer Crystal dengan frame Sistem pada penelit kedip, yang t mata, seperti r Vol. 2 No. 2, No g sama (Vio classifier yan assifier pada rdiri atas seju ifier untuk bag an. Stage di ngan AdaBoo ntukan apaka an obyek ya byek yang h lasifikasi “pas maka bagian dow diklasifik k dideteksi” Ini berarti h sub-window adalah wajah. ian [8] meran nt(discrete im citra sumber, Up Robust Fe dasarkan pada matriks Hessian u: interest p Data yang untuk penc ada sumber c Interest poin iksel-piksel te t. Deskriptor i k sensitif terha r tetap terhad rubahan phot ector merupak tu citra den vektor desk elumnya. 3.MET deteksi mata an bahasa pem io Ultimate 2 operasi Wind engan menggu el core i5, 2G x8 inchi2, reso l Eye 1.3MP e rate operasi deteksi kedip tian ini didah terdiri atas pr i terlihat pada opember 2012 ola-Jones me ng digunakan a fitur Haa umlah stage y gian positif da iperoleh dari ost. Fungsi se ah sub-window ang hendak hendak didete

sti bukan oby tersebut didi kasi sebagai “ maka dilan semakin ban w, semakin be . ncang suatu m mage point) da metode ini di eature). SUR a 2D Haar n. SURF terdi point detector diperoleh da cocokan an citra yang be t descriptor m etangga untuk ini harus mem adap derau, m dap perubaha tometric. Bag kan pencocok ngan citra kriptor/vektor TODOLOGI pada penelit mrograman C 2010 dan Ope dows 7 Home unakan Lapto GB DDR3 M olusi 1366 x 7 yang terinteg rata-rata 10 f p mata SURF hului oleh p roses deteksi w Gambar 1. engambil uku adalah cascad ar-Like. Casc yang mengand an weak class i hasil pelat etiap stage ad w yang diber dideteksi” eksi”. Jika

yek yang hen iskualifikasi. “mungkin- ob njutkan ke s nyak stage y esar kemungk metode pendet an desciptor iberi nama SU RF dikembang wavelet, inte iri atas dua ba r, interest p ari SURF d ntara deskrip rbeda (descrip menyajikan ve k masing-ma miliki karakter memiliki nilai t an geometri gian pencoco kkan interest p lainnya den fitur yang t

tian ini diranc C++ dengan enCV 2.3 Lib Basic. Pengu op Aspire 475 Memory, HD L 768 dan Web grasi pada lap fps

F yang diban pra-proses det wajah dan det

uran de of cade dung sifier tihan dalah rikan atau sub-ndak Dan byek stage yang kinan teksi dari URF gkan egral agian point dapat ptor-iptor ektor asing ristik tetap citra okan point ngan telah cang IDE brary ujian 50G, LED bcam ptop, ngun teksi teksi Gam Gam A. men min Koo dan Haa deta Cla ±3 tapi berd waj perg lebi perg untu dete kea mbar 1. Skema mbar 2. Skema Classif Deteksi Waja Deteksi w nggunakan v nSize = 200 ordinat pusat n 0,4 kali tin arcascade Cla ail proses dete Hasil detek assifier memi piksel setiap is untuk untu dasarkan bes jah antara fr geseran jika n ih besar da geseran ≤ 5 uk fungsi d eksi kedip m adaan diam. utama sistem a proses de fier ah ajah dengan variabel scal 0x200, variab (x, y) ditentu nggi area per assifier. Gam eksi wajah. ksi wajah real

iliki penyimp p framenya, s uk mengurang sar perbedaan rame sekaran nilai salah sat

ari ±3. Se 5 sebagai ko deteksi mata, mata dilakuk eteksi wajah Haarcascad lefactor = 1 bel minNeig ukan sebesar 0 rsegi empat mbar 2 menunj ltime dengan pangan sebesa sehingga dipe gi penyimpang n lokasi koo ng dan akan tu atau kedua hingga ditet onstanta bata , dengan as kan untuk w Haarcascade de Classifier 1.1, variabel ghbors = 2. 0,5 kali lebar hasil deteksi jukkan skema Haarcascade ar ±1 hingga erlukan suatu gan ini, yaitu ordinat pusat n ada respon nilai tersebut tapkan nilai as pergeseran sumsi bawah wajah dalam e r l . r i a e a u u t n t i n h m

  Gambar 3. Di ma Gambar 4. Sk ke B. Deteksi M Diagram proses deteks hasil deteksi mata dengan komputasi y deteksi kedip dengan detek C. Deteksi K Deteksi adalah menc mata tertutu photomectric adalah memb pada keadaa parameter ya terbuka dan diperkuat de bisa dikalibr Skema utam Gambar 4. iagram alir de ata kema SURF y edip Mata m alir pada G si mata sebelu mata digunak n terlebih da yang lebih e p mata dengan ksi wajah. Kedip Mata S i kedip mata cari interest p up pada beb c wajah yang bandingkan a an-keadaan te ang cukup ku n tertutup. U engan membu rasi sebelum ma SURF yang teksi kedip di yang digunak Gambar 3 me um deteksi de kan sebagai R ahulu dioptim efektif. Nilai n Haarcascad SURF dengan SUR point antara m berapa lokas g terdeteksi. L ada dan tidakn

ersebut yang uat untuk men

Untuk langk uat nilai minim

mengaktivas g digunakan

imulai dari de

kan untuk det

enunjukkan d teksi kedip. A ROI deteksi k masi untuk tuj

variabel-vari de Classifier s RF pada dasar mata terbuka si dan orien Langkah pert nya interest p dapat dijad ndefinisikan m kah pertama mal hessian y si proses dete ditunjukkan p teksi teksi detail Area kedip ujuan iabel sama rnya dan ntasi tama point dikan mata ini yang eksi. pada Gam Gam pert pen yan Pro Bru untu yan Unt data akti men dala wak amb seb mem yan tertu atas pen sert min kea bah min   mbar 5. Antarm mbar 6. Citra uj Jika param tama belum c ncocokan(matc ng diketahui s oses pencocok

ute force matc uk mengelim ng kurang tepa tuk melakuka abase keadaan ivasi proses de 4.H Deteksi ha nggunakan at am keadaan d kil wajah, u bang pergerak agai keadaan Penggunaan merlukan kali ng membedak utup. Gambar 5 s panel kali ngambilan tem ta tampilan de Gambar 7 d nHessian dar adaan mata ter hwa deteksi nHessian 164 muka pengguna ji minHessian t meter yang cukup kuat, m cher) setiap in sebagai mata t kan dapat d cher atau Flan minasi pasanga at dengan men an pencocoka n mata terbu eteksi. HASIL DAN P aarcascade turan nilai a diam berdasar untuk keperlu kan koordinat diam. n metode SU ibrasi nilai aw kan antara menunjukkan ibrasi awal mplate mata t eteksi. dan Tabel 1 m i citra mata rbuka dan tert kedip dapat 43-4000, yai I a sistem deteksi terhadap jumlah diperoleh p maka proses d nterest point p terbuka dan m dilakukan den nn matcher d an-pasangan i nggunakan jar an maka dip uka yang diam

EMBAHASAN mata dilaku ambang yang

rkan pergerak uan ini dig

wakil wajah

URF untuk d wal hingga did mata terbuk n antarmuka nilai minHe terbuka(citra menunjukkan a pada Gamb tutup. Dari Ta t berjalan p itu suatu ke ISSN: 2089-2020 13 i kedip mata h interest point pada langkah dilanjutkan ke pada keadaan mata tertutup. ngan metode dan diperbaiki interest point rak euclidian. perlukan citra mbil sebelum N ukan dengan diasumsikan kan koordinat unakan nilai kurang dari 5 deteksi kedip dapatkan hasil ka dan mata yang terdiri essian, panel mata inisial), rentang nilai bar 6 untuk abel 1 terlihat pada rentang eadaan tidak 0 3 h e n . e i t . a m n n t i 5 p l a i l , i k t g k

Jurnal Amplifier   14 Gambar 7. Gr ke mi JUMLAH INTER UNTUK minHess 1635 1636 1637 1638 1639 1640 1641 1642 1643 1644 1645 1646 1647 1648 1649 ... 4000 terdapat inte 1 interest poi Penguji mata kiri, de haarcascade menunjukkan Gambar 8(b point citra m mata inisial. Keadaa dengan terde (minimal 1) interest poin Gambar 9 m dan tutup d r Vol. 2 No. 2, No rafik hasil uj eadaan mata b inHessian(axis) T

REST POINT TERH K DETEKSI KEDIP sian 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 rest point wa int saat mata t ian deteksi ke engan tingkat e(rata-rata 4

n kalibrasi aw b) menunjukk mata yang sed

an ideal dalam eteksinya sejum ) pada saat nt yang coc menunjukkan dengan nilai opember 2012 i jumlah inte uka dan tutup )

TABEL 1

HADAP NILAI MI P DARI CITRA UJI

Interest buka 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 ... 2

aktu mata tertu terbuka(standa dip mata hany t pencahayaan 400 Lux). wal yang dihar

kan hasil pen dang berlangs m deteksi ke mlah pencoco mata terbuka ok pada saa bahwa uji co minHessian erest point(ord p berdasarkan INHESSIAN OPTIM I PADA GAMBAR t Point tutup 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 ... 0

utup dan min dard matching) ya dilakukan p n optimal ope Gambar rapkan, sedang ncocokan inte sung dengan edip mata ad okan interest p a dan tidak at mata tertu oba keadaan b 1800 memen dinat) nilai MAL R 6 imal ). pada erasi 8(a) gkan erest citra dalah point ada utup. buka nuhi Gam Gam pers dete berl ked stan pen poin yan sek dala mat men sign ditu terd dan mat inte tida mat tertu ked min 400 mbar 8. Contoh dengan pasang sekaran mbar 9. Pasang dengan inisial( masing bawah,   syaratan stan eksi kedip ma Untuk bebe langsung bis dipan mata ndard match ncocokan seba nt saja tidak c ng ditemukan arang, maka am keadaan te Gambar 10 tching denga ndiskualifikas nifikan. Sehin ujukan untuk deteksinya pas n pada pengg tching aktif erest point yan ak ada inter

tching maka d utup.

Hasil ekspe dip mata den nHessian opti 0 Lux ditunjuk h kalibrasi SUR n (a)mata tertu gan i dan ii ad ng gan buka-tutup n bagian kanan (i) dan bagian k g-masing: a fro , d lirik kiri, e li ndar matching ata. erapa keadaan a saja terjad yang tidak hing, sehing agai cadangan cukup, yaitu ji n antara ma didefenisika ertutup (good 0 menunjukk an berdasarka si pasangan ngga penggun k meminimal sangan interes gunaannya ak jika standar ng cocok. Pe rest point ya didefinisikan b erimen kedip ngan durasi imal 1800 pa kkan pada Tab

RF dengan min utup dan (b) dalah mata ini

mata minHe n pasangan citr

kiri adalah citr ontal, b lirik irik atas g untuk digu n tertentu pada di suatu kea dapat dilaku gga digunak n jika pendete

ika tidak terda ata inisial d an bahwa m matching). kan bahwa m an jarak euc interest poin naan good ma lisir kemung st point saat m ktivasi kedip rd matching erhatikan Gam ang cocok d bahwa mata d mata norma mata tertutup ada pencahay bel 2 dan Tabe

nHessian 1200 mata terbuka, isial dan mata

ssian = 1800, ra mata adalah ra sekarang (ii) kanan, c lirik unakan dalam a saat operasi adaan deteksi ukan dengan kan metode eksian interest apat pasangan dengan mata mata sekarang metode good clidian dapat t yang tidak atching dapat gkinan masih mata menutup, dengan good menemukan mbar 11, jika dengan good alam keadaan l dan deteksi p pada nilai yaan rata-rata el 3. 0 , a , h ) k m i i n e t n a g d t k t h , d n a d n i i a

  Gambar 10. S p k Gambar 11. D ( Total deteksi Total deteksi Total deteksi Total akurasi DETEKSI Durasi Deteksi kedip Akurasi Deteksi mata tidak m berkedip, de kedip mata m tidak berkedi Dari e sistem detek 97,6% untuk mata tertutup Kesalahan d tingkat pen Ketidaktepat awal dapat m tidak berjalan Standard match pasangan citra kiri adalah citra

Deteksi kedip de (ii) citra sekaran T DETEKSI KED kedip kedip positif sa kedip negatif s T KEDIP MATA DE mata tertutup p positif salah sa i kedip posit mendeteksi ad eteksi kedip mendeteksi ad ip. ksperimen y ksi kedip ma k kedip mata n p dalam duras deteksi yang ncahayaan ya tan mengatur n menyebabkan n dengan baik h dan good m mata adalah in a sekarang(ii) engan good ma ng TABEL 2

DIP MATA NORM

alah alah TABEL 3 ENGAN KEADAAN TERTUTUP 5s alah 0 100% if salah adal danya kedipan negatif salah danya kedipa yang dilakuka ata yang dira normal dan 10 i 5 detik, 10 d terjadi dapat ang terkadan nilai minHess sistem detek k. atch, bagian k nisial(i), dan ba

atch, (i) citra in

MAL 2000 28 12 97,6% N DURASI MATA 10s 1 0 100% 10 lah deteksi k n pada saat m h adalah det an pada saat m

an, total aku ancang menc 00% untuk det detik dan 15 d disebabkan ng tidak st

ian pada kalib ksi kedip mata

kanan agian nisial, A 5s 0 00% kedip mata teksi mata urasi capai teksi detik. oleh tabil. brasi a ini yan dete waj men dete den berj perg Cla den ting 100 5 de [1] [2] [3] [4] [5] [6] [7] [8] Sistem dete ng dirancang eksi wajah, d jah dan det nggunakan m eksi wajah d ngan nilai ≤

jalan pada kea geseran karen assifier. Hasil ngan standar gkat akurasi se 0% untuk dete etik, 10 detik   K. Grauman, “Communicati Analysis in Computer Visi 2, 2001 Michael Chau Blink Detectio Computer Scie Marc Lalonde Teasdale, Den Detection wit Canadian Conf Kohei Aai, R Blink Detectio Particular, Gab Eighth Inter Technology: N P. Viola, M. Boosted Casca Computer Visio P. Viola, J. J. International J 5691, Vol. 57, N R.Lienhart, J.M Features for R International C IEEE, Roches September 200 Herbert Bay, A “Speeded-Up 5.KESIMP eksi kedip ma terdiri atas eteksi mata, d teksi kedip metode Haarc diberikan tapi 5, sehingga p adaan wajah t na fluktuasi p l deteksi ked matching dan ebesar 97,6% eksi keadaan m dan 15 detik. REFERE , M. Betke

on Via Eye Bli Real Time”, on and Pattern , M. Betke, “R on with USB C ence Technical R e, David Byrns nis Laurendea th GPU-Based ference, Compu onny Mardiyan on and Gaze Es

bor Filter Utiliz rnational Con New Generations Jones, “Rapid ade of Simple F on and Pattern Jones, “Robust Journal of Com No. 2, hal. 137-Maydt, 2002, “A Rapid Object D Conference on ter, New York 02

Andreas Ess, Tin Robust Featur I PULAN ata berbasis m tiga proses d dan deteksi k mata diranc cascade Class is koordinat proses deteks terdeteksi tida pendeteksian dip mata yan n good match untuk kedipan mata tertutup ENSI , J. Gips, inks - Detection Proceedings Recognition C Real Time Eye Cameras”, Bos Report No. 200 s, Langis Gag au, “Real-tim d SIFT Trac uter and Robot V

nto, “Compara stimation Metho zed Blink Detec

nference on s, 2011 d Object Detec Features” IEEE Recognition, 20 t Real-Time Fa mputer Vision, -154, May 2004 An Extended S Detection”, Proc n Image Proc k, USA, hal. I nne Tuytelaars, res (SURF)”, ISSN: 2089-2020 15 metode SURF deteksi, yaitu kedip. Deteksi cang dengan sifier. Sistem wakil wajah si selanjutnya ak mengalami Haarcascace ng dilengkapi hing memiliki n normal, dan dalam durasi G. Bradski, n and Duration of the IEEE onference, Vol. e Tracking and ston University 05-12, 2005 non, Normand e Eye Blink cking”, Fourth Vision, 2007. ative Study on ods for HCI, in ction Method”, Information ction Using A Conference on 001 ace Detection”, , ISSN: 0920-4, Set of Haar-like ceedings of the cessing (ICIP), I-900 – I-903, Luc Van Gool, Elsevier, 2008 0 5 F u i n m h a i e i i n i , n E . d y d k h n n , n A n , -e e , , , 8