TRACKING GERAK TANGAN
BERBASIS PYRAMIDAL LUCAS-KANADE
Affan Mahtarami1, Moch. Hariadi2
1,2Jurusan Teknik Elektro, Fakultas Teknologi Industri, ITS Sukolilo, Surabaya
Abstrak
Kebutuhan akan metode interaksi dan komunikasi yang lebih alami antara user dan komputer adalah salah satu tuntutan dari perkembangan teknologi. Metode interaksi pada apilikasi Virtual Reality, Wearable Computer, dan Augmented Reality menyarankan bahwa perangkat interaksi tradisional seperti keyboard, mouse, dan joystik, tidak lagi nyaman digunakan.
Teknik interaksi berbasis visi komputer menjadi kandidat teknik interaksi yang bersifat alami. Teknik ini tidak membutuhkan kontak langsung pengguna dengan peralatan input, melainkan komputer menangkap gerakan pengguna melalui kamera video dan menginterpretasikannya. Salah satu gerakan dari tubuh manusia yang sering digunakan sebagai alat komunikasi adalah gerakan tangan.
Pada tesis ini dilakukan penelitian tracking gerak tangan berbasis kamera tunggal menggunakan algoritma Pyramidal Lucas-Kanade. Tracking dilakukan terhadap marker yang terpasang pada tiap posisi ujung jari dan telapak tangan. Dengan menggunakan tiga buah warna marker, yaitu merah, hijau, dan biru, hasil penelitian menunjukkan tidak terdapat perbedaan signifikan pada hasil tracking terhadap ketiga warna marker tersebut. Selain itu proses re-identifikasi corner dapat meningkatkan jumlah rata-rata marker yang dapat ditracking.
Kata kunci : tracking gerak tangan, teknik interaksi, interaksi manusia dan komputer
1. Pendahuluan
Seiring dengan terus meningkatnya kemajuan teknologi komputer, peranan teknologi komputer dalam mendukung kepentingan manusia juga semakin meningkat. Termasuk salah satunya adalah bidang interaksi manusia dan komputer (IMK), atau sering disebut Human Computer Interaction (HCI).
Perangkat keras interaksi antara manusia dan komputer yang digunakan sekarang ini lebih bersifat mekanis, seperti: keyboard, mouse, dan joystick.
Meskipun peralatan-peralatan tersebut akurat dan handal (reliable), tetapi model interaksi yang dilakukan tidak bersifat alami sebagaimana manusia berinteraksi dengan sesamanya. Penggunaan peralatan-peralatan tersebut untuk mengoperasikan komputer membutuhkan kontak langsung antara user dengan komputer. Kebutuhan akan komunikasi yang lebih alami antara user dan komputer adalah tuntutan dari perkembangan teknologi komputer itu sendiri. Ketika user berinteraksi dengan komputer tidak hanya di depan meja, melainkan dalam lingkungan virtual (Virtual Reality), menggunakan komputer yang terpasang di badan (Wearable Computer), ataupun dengan perangkat Augmented
Reality, maka perangkat-perangkat interaksi tradisional tidak lagi handal untuk digunakan.
Teknik interaksi berbasis visi komputer menjadi kandidat teknik interaksi yang bersifat alami. Teknik ini tidak membutuhkan kontak langsung pengguna dengan peralatan input, melainkan komputer menangkap gerakan pengguna melalui kamera video dan menginterpretasikannya.
Input secara visual dapat memberikan kemampuan penginderaan pada komputer sebagaimana manusia melakukan penginderaan menggunakan mata.
Interaksi antar manusia secara alami tidak membutuhkan mouse atau keyboard, melainkan diantaranya menggunakan tangan, mata, dan telinga untuk mendapatkan informasi dari lingkungan.
Salah satu alternatif anggota badan manusia yang dapat dapat digerakan untuk menghasilkan beragam pose adalah tangan. Manusia secara alami terbiasa menggunakan tangan untuk melakukan komunikasi. Manusia menggerakkan tangan untuk mendapatkan beragam pose. Tiap pose memiliki maksud dan makna tersendiri sesuai dengan kesepakatan umum ataupun kesepakatan diantara personal yang melakukan komunikasi. Untuk dapat menangkap informasi yang diberikan, seseorang harus mampu melihat pose tangan dari lawan
komunikasinya secara benar, sebelum kemudian menginterpretasikan maknanya. Adopsi teknik interaksi menggunakan isarat tangan pada komputer menuntut hal serupa. Sebelum proses interpretasi, komputer pertama kali harus mampu menangkap pose tangan pengguna dengan benar. Metode tracking yang digunakan menjadi salah satu faktor penting untuk memastikan komputer dapat menangkap pose tangan pengguna dengan benar.
Salah satu metode estimasi pose tangan berbasis visual adalah dengan menggunakan ujung jari sebagai fitur yang menjadi titik acuan proses tracking. Metode ini melakukan generalisasi pose tangan 3D menjadi 2D berdasarkan posisi ujung jari relatif terhadap posisi suatu acuan utama pada telapak tangan. Dari informasi tersebut maka sudut rotasi dari tiap-tiap sendi ruas tangan dapat diketahui dengan mengimplementasikan rumusan umum gerak ruas-ruas tangan (Lee, 1995). Terkait dengan metode tracking objek, terdapat beberapa algoritma yang dapat digunakan. Salah satunya adalah metode tracking berbasis optical flow dengan menggunakan algoritma Lucas-Kanade.
2. Rumusan Masalah, Tujuan, dan Manfaat Secara umum, permasalahan yang ingin dipecahkan pada penelitian ini adalah bagaimana melakukan tracking terhadap gerakan tangan pada sebuah sekuen video menggunakan metode optical flow. Dengan mengimplementasikan algoritma optical flow Pyramidal Lucas-Kanade, dan membatasi bagian tangan yang ingin diketahui adalah 6 posisi acuan, yaitu 5 acuan pada ujung jari, dan 1 acuan pada telapak tangan, maka rumusan masalahnya secara khusus adalah bagaimana melakukan tracking terhadap keenam acuan tersebut dengan menggunakan algoritma Optical Flow Pyramidal Lucas-kanade pada sebuah sekuen video.
Gerakan tangan diambil menggunakan sebuah kamera, sehingga data yang diolah berupa sebuah sekuen video. informasi dari posisi-posisi titik acuan yang ditracking tersebut secara umum dapat digunakan sebagai dasar estimasi pose tangan pada tiap frame video. Hasil dari penelitian ini diharapkan dapat diimplementasikan sebagai salah satu teknik interaksi pada beberapa bidang aplikasi, seperti: virtual reality, augmented reality, game komputer, robotika, dan juga dapat dijadikan sebagai dasar aplikasi pengenalan gestur.
3. Kajian Pustaka
Beberapa penelitian telah dilakukan berkaitan dengan deteksi ujung jari dengan implementasi pada beragam aplikasi. Deteksi ujung jari dengan pendekatan teknik korelasi dengan menggunakan mask berbentuk lingkaran dilakukan oleh Koike
(Koike, 2001), Oka (Oka, 2001), dan Letessier (Letessier,2004). Sedangkan deteksi ujung jari menggunakan teknik template matching dilakukan oleh Crowley (Crowley, 1995), dan O’Hagan (O’Hagan, 1997). Pendekatan yang dilakukan oleh Malik (Malik, 2004), Segen (Segen, 1998), dan O’Hagan (O’Hagan, 2002) menggunakan local- maxima bentuk kurva dari batas-luar (boundary) silhuet tangan.
Penggunaan marker dalam deteksi ujung jari juga dilakukan pada beberapa penelitian guna meningkatkan kecepatan pemrosesan. Maggioni et al. (Maggioni, 1998) menggunakan marker berbentuk ellips untuk melakukan estimasi terhadap frame tangan 3D. Metode serupa juga dilakukan oleh Usabiaga (Usabiaga, 2005), namun dengan menggunakan pendekatan multipleview. Sedangkan Kim dan Felner (Kim, 2004) menggunakan marker berwarna putih yang ditempelkan pada ujung jari dengan latar belakang hitam.
4. Model Tangan Manusia
Tangan manusia adalah sebuah struktur mekanik kompleks yang terdiri atas beberapa segmen tulang, ligame-ligamen yang menghubungkan antar segmen tulang secara leluasa, otot-otot yang berperan sebagai motor gerak, tendon yang berperan untuk menghubungkan otot dengan tulang, dan kulit serta saraf-saraf halus yang menyelubungi otot dan tulang. Tulang-tulang saling terhubung pada pesendian dan tidak berubah ukurannya. Otot-otot menghasilkan tenaga penggerak dan menggerakkan sendi-sendi.
Berdasarkan tipe gerakan dan rotasi yang mungkin dilakukan, sendi-sendi pada tangan manusia dapat diklasifikasikan sebagai flexion, twist, directive, atau spherical. Contoh sendi bertipe flexion dengan 1 DOF adalah lutut dan siku, sedangkan contoh sendi bertipe twist dengan 1 DOF adalah sendi pronation dari lengan bawah. Gerakan direktif dari sendi dengan 2 DOF menghasilkan gerakan flexion dengan arah lebih dari 2. Sendi spherical, sebagaimana pada sendi bahu, memiliki 3 DOF dan dapat melakukan gerakan directive dan twist secara simultan.
Gambar 1 mengilustrasikan tipe-tipe sendi pada tangan manusia. Setiap jari (II-V) memiliki empat DOF (dua pada MP, satu pada PIP, dan sati DIP).
Sedangkan ibu jari (I) memiliki lima DOF (dua pada MP, dua pada PIP, dan satu pada DIP). Sendi pada pergelangan tangan dilibatkan karena tangan dipandang sebagai bagian terpisah dari lengan bawah. Berdasar pada klasifikasi gerak sendi tersebut, secara keseluruhan tangan manusia memiliki 27 DOF, termasuk 6 DOF untuk memindah posisi dan mengubah orientasi tangan secara keseluruhan.
Gambar 1. Model Persendian Tangan dan Tipe Gerakannya
5. Pyramidal Lucas-Kanade
Penyelesaian algoritma Lucas-Kanade dengan pendekatan piramida, atau disebut pyramidal Lucas- Kanade diajukan pertama kali oleh Jean-Yves Bouguet (Bouguet, 2000). Pendekatan ini menggunakan prinsip piramida, yaitu bekerja dari detil citra paling rendah hingga detil citra paling tinggi (Gambar 2). Tujuannya adalah agar gerakan yang “besar” dapat diperhitungkan. Sementara asumsi yang digunakan pada algoritma Lucas- Kanade adalah gerakan yang “kecil” dan koheren, sehingga tidak dapat menangkap gerakan yang
“besar”. Solusi untuk dapat menangkap gerakan yang “besar” pada algoritma Lucas-Kanade adalah dengan menggunakan window yang besar. Tetapi penggunaan window yang besar sering kali membuat gerakan yang ditangkap adalah gerakan yang tidak koheren. Algoritma Pyramidal Lucas- Kanade menyelesaikan permasalahan tersebut tanpa menghilangkan asumsi gerakan yang koheren.
Algoritma Pyramidal Lucas-Kanade pertama bekerja pada layer piramida paling tinggi. Kemudian hasilnya digunakan sebagai titik awal untuk bekerja pada layer dibawahnya. Hal ini berlanjut hingga mencapai level paling rendah. Berdasarkan makalah yang diajukan oleh Bouquet (Bouquet, 2000), algoritma Pyramidal Lucas-Kanade dapat dijelaskan sebagai berikut:
Misalkan I dan J adalah dua citra gray scale 2D. Dua nilai I(x) = I(x;y) dan J(x) = J(x;y) adalah nilai gray scale dari dua citra pada lokasi x = [x;y]T, dengan x dan y merupakan koordinat dua pixel dari point citra generik x. Citra I akan direferensikan sebagai citra pertama, dan citra J sebagai citra kedua.
Gambar 2. Pyramidal Optical Flow
Anggap sebuah titik u = [ux uy]T pada citra pertama I. Tujuan dari tracking fitur adalah untuk menemukan lokasi v = u + d = [ux+dxuy+dy]Tpada citra kedua J dengan I(u) dan J(v) adalah serupa.
Vektor d = [dxdy]Tmerupakan kecepatan citra pada x, juga diketahui sebagai aliran optis pada x. Hal ini penting untuk mendefinisikan dugaan kesamaan dalam ketetanggaan 2D. Misalkan x dan y dua integer yang mendefinisikan setengah ukuran dari window integrasi di atas x. Didefinisikan kecepatan citra d sebagai vektor yang meminimasi fungsi yang didefinisikan sebagai berikut:
(1)
Untuk menyelesaikan masalah tersebut, digunakan implementasi pyramidal dari algoritma klasik Lucas-Kanade. Implementasi iteratif dari komputasi aliran optis Lucas-Kanade memiliki keakuratan tracking lokal yang memuaskan.
6. Metode Penelitian
Langkah-langkah yang dilakukan dalam penelitian ini secara umum dapat dibagi menjadi dua kegiatan utama, yaitu pengambilan data, dan pengolahan data. Pengambilan data adalah pekerjaan yang dilakukan pertama kali. Hasilnya adalah sekuen video gerak tangan. Sekuen video tersebt kemudian menjadi input bagi proses pengolahan data. Eksperimen dilakukan terkait dengan penggunaan beberapa warna marker, yaitu merah, hijau, dan biru. Alur pekerjaan diperlihatkan pada gambar 3.
6.1 Pengambilan Data
Tahap pengambilan data dimulai dengan beberapa persiapan. Persiapan-persiapan tersebut meliputi persiapan alat dan tempat. Peralatan yang disiapkan antara lain: sarung tangan, marker, software, dan kamera web-cam. Sarung tangan yang digunakan adalah sarung tangan kain berwarna
putih. Sedangkan marker berwarna merah, hijau, dan biru. Marker dipasangkan pada sarung tangan pada posisi tiap ujung jari dan tengah-pangkal tangan pada bagian telapak. Seting tempat dilakukan berdasarkan kondisi pencahyaan dan latar. Kondisi pencahayaan yang digunakan adalah kondisi pencahayaan ruang (indoor). Sedangkan latar yang digunakan adalah latar dengan warna putih.
Pemilihan warna marker ditentukan berdasarkan chanel-chanel warna RGB (Red, Green, Blue). Sedangkan posisi-posisi marker ditentukan pada ujung-ujung jari dan satu di telapak tangan karena dengan informasi lokasi posisi-posisi tersebut gerakan tangan secara keseluruhan dapat diestimasi. Sedangkan latar putih digunakan agar marker dapat teridentifikasi tanpa harus menggunakan proses segmentasi. Proses pengambilan data dilakukan beberapa kali sehingga didapatkan hasil yang paling memuaskan terkait dengan proses segmentasi dan tracking. Pada saat pengambilan data, tangan dengan memakai sarung tangan yang telah ditempeli marker digerakkan didepan kamera dengan telapak tangan menghadap kamera (Gambar 4). Gerakan yang dibuat meliputi gerakan bergeser, berotasi, jari-jari membuka dan menutup, serta mencengkram.
Gambar 3. Alur Kerja Penelitian
6.2 Pengolahan Data
Dalam tahap ini dibuat sebuah program untuk melakukan tracking terhadap marker pada tiap ujung jari tangan dan satu pada pangkal telapak tangan.
Metode tracking yang digunakan berbasis optical- flow, yaitu algoritma Pyramidal Lucas-Kanade.
Proses tracking diawali dengan identifikasi marker sebagai corner dengan menggunakan algoritma
“Good Feature to Track” Shi-Tomasi. Corner- corner yang teridentifikasi tersebut digunakan sebagai input bagi algoritma Pyramidal Lucas- Kanade untuk dicari area yang sesuai pada frame berikutnya.
7. Hasil dan Pembahasan 7.1 Pengambilan Data
Output dari proses pengambilan data adalah tiga buah sekuen video gerakan tangan, masing- masing untuk marker berwarna merah, hijau, dan biru. Gerakan yang dilakukan tangan meliputi gerakan berputar, bergeser, membuka dan menutup jari, serta mencengkram. Gerakan dilakukan dengan telapak tangan menghadap kamera (frontal view).
Gambar 5 memperlihatkan beberapa frame dari sekuen video tersebut.
7.2 Identifikasi Corner
Identifikasi corner adalah proses yang mengawali proses tracking. Corner yang terdeteksi adalah bagian dari frame yang akan dicari lokasi perpindahannya pada frame berikutnya. Sebagai eksperimen dicoba tracking terhadap sekuen video gerakan tangan terbuka tanpa menggunakan marker.
Hasil proses identifikasi corner pada tangan terbuka, tanpa memakai sarung tangan & marker, menunjukkan bahwa algoritma identifikasi corner Shi-Tomasi berhasil mendeteksi corner-corner hanya pada area tangan, walaupun dengan posisi yang tidak beraturan.
Pada proses identifikasi corner yang dilakukan terhadap sekuen video gerakan tangan bermarker, seting variabel nilai maksimal jumlah corner yang dideteksi disesuaikan dengan jumlah marker yang digunakan, yaitu 6. Diagram pada Gambar 6 menampilkan jumlah corner yang terdeteksi tepat pada marker. Dari diagram-diagram tersebut tampak bahwa untuk keseluruhan frame corner yang terdeteksi tidak selalu tepat pada marker. Hasil deteksi corner tepat pada marker untuk sekuen video gerakan tangan bermarker warna merah memiliki rata-rata 5,68 tiap frame. Sedangkan untuk sekuen video gerakan tangan bermarker warna hijau memiliki rata-rata 5,64 tiap frame. Dan untuk sekuen video gerakan tangan bermarker warna biru memiliki rata-rata 5,51 tiap frame. Ketiga hasil tersebut tidak dapat saling dibandingkan secara tangan
Pengolahan data Identifikasi Corner
Tracking
Sekuen video Hasil tracking
Pengambilan data kamera
Sotware video capture
Sekuen video
Gambar 4. Situasi Pengambilan Data
Gambar 5. Beberapa Frame Sekuen Video Gerak Tangan
Gambar 6. Jumlah corner yang terdeteksi pada tiap frame sekuen video
langsung karena gerakan pada ketiga sekuen video tidak persis sama. Namun demikian kita dapat melihat tipe-tipe kesalahan deteksi corner.
Beberapa deteksi corner yang tidak tepat pada marker jatuh pada area lain dari citra karena marker tidak tertangkap dengan jelas oleh kamera. Hal ini disebabkan karena gerakan yang dilakukan oleh tangan relatif cepat terhadap banyaknya frame per detik yang ditangkap oleh kamera. Selain itu juga disebabkan karena ada area lain dari citra yang memiliki nilai eigen (eigen value) yang lebih tinggi dibandingkan marker untuk diidentifikasi sebagai marker.
7.3 Tracking
Tracking dilakukan terhadap titik-titik yang terdeteksi sebagai corner pada frame pertama.
Gambar 7 menampilkan corner yang terdeteksi pada frame pertama dari ketiga sekuen video. Dari gambar terlihat bahwa ketidaktepatan deteksi corner
frame jumlah
corner
jumlah corner
frame
jumlah corner
frame
terjadi pada frame pertama sekuen video gerak tangan bermarker warna merah dan biru. Pada kedua frame tersebut marker pada posisi ujung jari tengah tidak terdeteksi. Deteksi corner pada frame pertama ini berpengaruh terhadap jumlah marker yang dapat ditracking dengan tepat.
Jumlah marker yang dapat ditracking dengan tepat tiap-tiap frame pada ketiga sekuen video ditunjukkan oleh diagram pada 8. Perhitungan ketepatan tracking berdasarkan pada posisi titik hasil tracking. Jika posisi titik tersebut berada pada area marker maka tracking dianggap tepat pada marker (marker berhasil di tracking). Jika tidak maka tracking dianggap gagal. Dari ketiga diagram tersebut terlihat bahwa marker yang berhasil ditracking jumlahnya tidak tentu dan memiliki kecenderungan semakin sedikit jumlahnya seiring dengan bertambahnya jumlah frame yang ditracking. Jika dianalisa hal tersebut dapat disebabkan karena titik-titik hasil tracking pada suatu frame digunakan sebagai corner bagi proses tracking pada frame berikutnya. Sehingga kesalahan tracking suatu titik pada suatu frame akan berimbas kesalahan pula pada tracking berikutnya. Untuk itu, sebagai eksperimen, dilakukan proses tracking dengan menggunakan proses pengidentifikasian kembali (re-identifikasi) corner setelah proses tracking dilakukan pada sejumlah frame.
Perbandingan rata-rata jumlah marker yang dapat ditracking tiap frame pada proses tracking menggunakan proses re-identifikasi setelah n frame ditampilkan pada Tabel 1 dan Gambar 9.
Gambar 7. Hasil deteksi corner pada frame pertama tiap sekuen video
Gambar 8. Jumlah marker yang dapat ditracking dengan tepat tiap-tiap frame pada ketiga sekuen
video
Gambar 9. Rata-rata jumlah marker yang dapat ditracking pada ketiga sekuen video dengan proses
re-identifikasi corner setelah n frame jumlah
marker
frame
jumlah marker
frame
jumlah marker
frame
n Rata-rata
jumlah marker
Tabel 1. Rata-rata jumlah marker yang dapat ditracking pada ketiga sekuen video dengan proses
re-identifikasi corner setelah n frame
8. Kesimpulan
Dari hasil penelitian yang telah dilakukan, tampak bahwa penggunaan proses re-identifikasi corner setelah tracking dilakukan pada n frame meningkatkan jumlah rata-rata marker yang berhasil ditracking jika dibandingkan tracking tanpa proses re-identifikasi corner. Rata-rata peningkatannya adalah 1,291 untuk marker merah, 1,418 untuk marker hijau, dan 0,747 untuk marker biru. Begitu pula ketika tracking dilakukan dengan berbasis pada identifikasi corner saja. Nilai rata-rata jumlah marker yang berhasil diidentifikasi juga lebih besar, yaitu rata-rata 5,610 dibandingkan 4,319 jika marker ditracking tanpa menggunakan proses re- identifikasi marker. Dengan demikian proses tracking dapat dilakukan hanya dengan menggunakan proses identifikasi corner saja.
Sedangkan jika dibandingkan, penggunaan warna marker berbeda, yaitu merah, hijau, dan biru, pada proses tracking ini tidak membuahkan perbedaan hasil yang signifikan. Nilai selisih rata- rata jumlah marker yang berhasil ditracking terbesar adalah antara marker warna biru dan hijau, yaitu 0,595. Jika dianalisa, perbedaan-perbedaan yang ada lebih disebabkan oleh gerakan-gerakan tangan pada ketiga sekuen video yang tidak persis sama.
Daftar Pustaka:
Baron, J.L., dan Thacker, N.A., (1995), “Tutorial:
Computing 2D and 3D Optical Flow”, Tina Memo Internal No. 2004-12, Manchester, UK
Barron, J., Fleet, D., Beauchemin, S., dan Burkitt, T., (1992), “Performance of Optical Flow Techniques”, Proc. of the IEEEon Computer Vision and Pattern Recognition, hal. 236-242 Black, M.J., (1992), “Robust Incremental Optical
Flow”, Phd Thesis, Departement of Computer Science, Yale University, New Haven, CT, 1992
Bouguet, J.Y., (2000), ”Pyramidal Implementation of The Lucas-Kanade Feature Tracker”, Intel
Corporation, Microprocessor Research Labs, http://www.intel.com/research/opencv/
Bowman, D.A., dan Hodges, L.F., (1999),
“Formalizing the Design, Evaluation, and Application of Interaction Techniques for Immersive Virtual Environments”, Journal of Visual Languages and Computing, Vol. 10, Hal. 37-53
Crawford, C., (2003), Chris Crawford on Game Design, New Riders Publishing, USA.
Crowley, J., Berard, F., dan Coutaz, J., (1995),
“Finger tracking as an input device for augmented reality”, IWAGFR ’95:
International Workshop on Gesture and face recognition, 1995
Davis, J. dan Shah, M., (1994), “Visual Gesture Recognition”, Vision, Image, and Signal Processing, vol. 141, hal. 101-106
Erol, A. et. al., (2007), “Vision-based Hand Pose Estimation: A Review”, Computer Vision and Image Understanding, vol. 108, hal. 52- 73
Galvin, et. al., (1998), “Recovering Motion Fields:
An Evaluation of Eight Optical Flow Algorithms”, Proc. of British Machine Vision Conference, hal. 195-204
Horn, B.K.P. dan Schunk, B.G., (1980),
“Determining Optical Flow”, AI Memo 572, Massachusetes Institute of Technology, USA Hu, C., Liang, L., Ma, S., dan Lu, H., (2000),
“Virtual Mouse—Inputing Device by Hand Gesture Tracking and Recognition”, Proceeding of Third International Conference, Beijing, Cina, 2000
Jo, K.H., Kuno, Y., dan Shirai, Y., (1998),
“Manipulative gesture recognition using task knowledge for human computer interaction”, FG ’98: 3rdInternational Conference on Face and Gesture Recognition, IEEE Computer Society, Washington DC, USA, 1998 Kim, H., dan Felner, D.W., (2004), “Interaction with
hand gesture for a back projection wall”, CGI
’04: Computer Graphics International, IEEE Computer Society, Washigton, USA, 2004 Koike, H., Saito, Y., dan Ozawa, S., (2001),
“Integrating paper and digital information on
n 0 2 5 10 25 50 ~
Marker
Merah 5.680 5.651 5.727 5.644 5.592 5.338 4.314 Marker
Hijau 5.638 5.627 5.584 5.501 5.178 5.119 4.023 Marker
Biru 5.512 5.363 5.347 5.311 5.149 5.510 4.618
enhanceddesk: a method for realtime finger tracking on an augmented desk system”, ACM Transaction on Computer Human Interface. Vol. 8(4), hal. 307-322
Lee, J., dan Kunii, T., (1995), “Model-based Analysis of hand posture”, IEEE Computer Graphics and Applications, Vol. 15, hal. 77- 86.
Letessier, J., dan Berard, F., (2004), “Visual tracking of bare fingers for interactive surfaces”, UIST ’04: 17th Annual ACM Symposium on User Interface Software and Technology, NewYork, USA, 2004
Lucas, B. dan Kanade, T., (1981), “An Iterative Image Registration Technique With An Application to Stereo Vision”, Proc. of DARPA IU Workshop, hal. 121-130
Maggioni, C., (2004), “Gesturecomputer—history, design, and application”, Computer Vision and Human-Machine Interaction, Cambridge, hal. 312-325
Malik, S., dan Laszlo, J., (2004), “Visual touchpad:
a two-handed gestural input device”, ICMI
’04: 6th International Conference on Multimodal Interfaces, ACM Press, NewYork, USA, 2004
Mo, Z., Lewis, J.P., dan Neumann, U.,
“Smartcanvas: a gesture driven intelligent drawing desk system”, IUI ’05: 10th International Conference on Intelligent User Interface, ACM Press, NewYork, USA, 2005 Moeslund, T.B. dan Granum E.,(2001), “A Survey
of Computer Vision-Based Human Motion Capture”, Computer Vision and Image Understanding, Vol. 81, hal.231-268.
Noelker, C., dan Ritter, H., (2002), “Visual Recognition of Continuous Hand Posture”, IEEE Trans. Neural Networks, vol, 15, no. 4, hal. 983-994
O’Hagan, R., dan Zelinsky, A.,(1997), “Finger track – a robust and realtime gesture interface”, AI
’97: 10th Australian Joint Conference on Artificial intelligence, Springer-Verlag, London, UK, 1997
O’Hagan, R., Zelinsky, A.,dan Rougeaux, S., (2002), “ Visual gesture interfaces for virtual environments”, Interacting with Computers, Vol. 4, hal 231-250
Oka, K., Sato, Y., dan Koike, H., (2002), “Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems”, FGR ’02: Fifth IEEE International Conference on Automatic Face and Gesture Recognition, IEEE Computer Society, Washington DC, USA, 2002
Pernkopf, E., (1989), Pernkopf’s Anatomy, Vol. 2, 2nded., Urban & Schwarzenberg
Segen, J., dan Kumar, S., (1998), “Gesture VR:
vision-based 3D interface for spatial interaction”, Sixth ACM International
Conference on Multimedia, ACM Press, NewYork, USA, 1998
Usabiaga, J.H., (2005), “Global hand pose estimation using multiple camera ellipse tracking”, Thesis Master, Department of Computer Science , University Of Nevada, Reno, 1995
