SENTRA I - 187
PENERAPAN TEKNOLOGI SOUND AND VISUAL
TRACKING PADA KINECT SEBAGAI SISTEM KEAMANAN
IDENTIFIKASI USER ACCOUNT
Sukhairi
Magister Teknologi Informasi, UGM / Sleman, DIY Kontak Person:
Sukhairi
Jalan Garboruci, Wahid Hasim, Depok Sleman Yogyakarta, Kode Kota
Telp: 08984483222, E-mail: [email protected]
Abstrak
Penelitian ini, menggunakan teknik sound and visual tracking yang dimiliki oleh perangkat Kinect yaitu kemampuan pengenalan ucapan, dimana sebuah komputer dapat menerima masukan kata yang diucapkan oleh user dan mengenali keberadaan manusia dengan menggunakan model human skeleton yang berdasarkan proses pengolahan citra depth data. Hasil akhir dari penelitian, membuktikan perangkat Kinect dengan fungsi-fungsi yang dimiliki dapat meningkatkan keamanan dari user account terutama masalah identifikasi keberadaan seseorang, cara kerja dengan mengelola informasi mengenai pendeteksian citra manusia dan kemampuan pengenalan suara dari user, sehingga dapat melakukan pencegahan dan pengawasan penggunaan aplikasi pada komputer. Dengan adanya sistem ini, komputer mengharuskan keberadaan seseorang user dalam mengakses aplikasi dan data pada komputer dengan begitu membantu seorang admin mendapatkan informasi seseorang user sudah melakukan log in.
Kata kunci: Teknologi, Sound, Visual, Tracking, Kinect
Pendahuluan
Teknologi Kinect berasal dari teknologi perangkat lunak yang dikembangkan secara internal oleh Rare, anak perusahaan dari Microsoft Game Studios milik Microsoft, dan teknologi kamera oleh perusahaan PrimeSense. Mereka mengembangkan sistem yang dapat mengimplementasikan gerakan secara spesifik, sehingga kontrol secara hands-free dapat dilakukan pada perangkat elektronik menggunakan proyektor infrared dan kamera, serta microchip khusus untuk melacak pergerakan objek dan individu pada bidang tiga dimensi. Sistem 3D scanner tersebut dinamakan Light Coding yang menggunakan variasi dari rekonstruksi gambar 3D.
Sensor Kinect adalah sebuah alat berbentuk batang horizontal yang terhubung dengan alas kecil yang memiliki poros yang dapat berputar dan penempatan sensor Kinect berada di atas televisi. Perangkat ini memiliki kamera RGB, sensor kedalaman, sensor Infrared dan mikrofon yang berjalan di perangkat software khusus, yang menyediakan kemampuan untuk menangkap gerak secara 3D, mengenali wajah dan mengenali suara.
Penelitian perancangan sistem keamanan identifikasi user account menggunakan kerangka kerja perpustakaan Kinect for Windows SDK dengan memiliki manfaat antara lain: membantu dan mempermudah kerja sistem keamanan komputer menjadi lebih akurat, Menghemat biaya yang dikeluarkan untuk membeli perangkat keamanan karena dapat memanfaatkan perangkat Kinect for XBOX dan menguji kemampuannya sebagai sistem kamera mata-mata, tanpa diketahui dan tidak terpikirkan sebagai kamera. Pemanfaatan teknologi dalam Kinect bertujuan untuk: Mengenal kinerja teknologi sound and visual tracking sebagai fungsi security dan menguji keunggulan teknologi ini dalam mengenal gerakan dan suara manusia di bidang keamanan komputer sehingga berperan penting pada perkembangan sistem keamanan komputer yang telah ada menjadi lebih baik lagi.
I - 188 SENTRA
tracking dalam kerangka kerja perpustakaan Kinect for Windows SDK perangkat Kinect mampu mengenali 25 joint point atau titik penghubung antar persendian untuk membangun pengenalan bentuk
human skeleton atau rangka tubuh manusia dengan begitu memungkin terjadi titik penandaan pada saat menjalakan proses visual tracking.
Gambar 1. Prinsip kerja structured-light 3D
Perangkat Kinect juga memiliki empat buah mikrofon yang berfungsi sebagai sensor suara, tiga buah mikrofon berada sebelah kiri dan satu buah mikrofon berada sebelah kanan. Penempatan mikrofon tersebut dengan tata letak yang berbeda agar dapat mengetahui hal-hal sebagai berikut:
a. Mengetahui sumber suara berasal.
b. Mengetahui perbedaan interval waktu suara yang datang. c. Mengetahui arah dari suara yang masuk kedalam Kinect
(2) (3)
Gambar 2. Bentuk Tampilan Sensor Kinect Gambar 3. Diagram Arsitektur Sistem Aplikasi
Arsitektur sistem aplikasi keamanan user account dalam kerangka kerja perpustakaan Kinect for Windows SDK memberikan pengetahuan secara keseluruhan, ada tiga bagian yang berperan penting sebagai berikut.
a. Hardware Kinect
Perangkat Kinect secara wujud terdiri dari sensor kamera, Audio Mic Array, Motor, 3-Axis Accelerometer, AC Adapter dan USB Hub. Pada kamera pada Kinect mempunyai sensor IR Depth, IR Emiter, bertugas untuk menghasilkan data depth image sedangkan sensor Color Camera menghasilkan citra warna. Agar perangkat Kinect dapat menangkap suara berdasarkan arah sumber suara maka dibutuhkan empat buah Audio Mic Array sehingga menghasilkan data audio stream. Pada Motor, 3-Axis Accelerometer membantu menggerakan perangkat Kinect secara horizontal atau naik-turun.
b. Kernel System
Dalam kernel system terjadi identifikasi driver windows untuk Kinect pada bagian proses pemasangan instalasi dari Kinect for Windows SDK dan dukungan driver Kinect lainnya, seperti bagian kernel-mode audio device yang dapat diakses melalui standar Audio APIs pada windows, pengaturan audio dan video Streaming berupa color, depth dan skeleton.
c. Application System.
APPLICATIONS SYSTEM
KERNEL SYSTEM
SENTRA I - 189
Bagian ini terdiri dari NUI API merupakan komponen vital dalam mengelola audio dan video untuk membangun sebuah aplikasi natural user interface yang berguna untuk menghubungkan dengan fitur skeleton tracking, audio, color dan depth imaging. Bagian DMO codec array for Mic
Array berperan untuk menentukan arah sumber suara berada berdasarkan perbedaan antar sensor
mikrofon, sedangkan Windows Core Audio and Speech APIs berperan dalam mengenali suara berupa ucapan suara atau percakapan (grammar).
Gambar 4. Sistem Kerja Identifikasi Perangkat Kinect
Pada gambar 4 dapat diketahui bahwa pada saat seorang user ingin melakukan log in maka menu log in akan terproteksi, sistem ini mengharuskan perangkat Kinect bener-benar terhubung sehingga dapat meneruskan proses identifikasi citra dan suara, jika sistem mengecek tidak terhubungnya perangkat Kinect dengan komputer maka sistem akan menjalankan instruksi log off.
Pada aplikasi identifikasi menghasikan keluaran berupa capture gambar dan rekaman suara user pada saat log in.
Dalam tahapan analisis, penulis menggunakan pendekatan eksperimental, dimana masing-masing pengujian aplikasi dapat dijelaskan sebagai berikut:
a. Pendeteksian Perangkat Kinect
Sebelum sistem operasi windows dapat mengenal keberadaan dari device Kinect perlunya terlebih dahulu menginstalasi Kinect for Windows SDK, selain berisikan driver di dalam SDK
perpustakaan pendukung untuk pengembang aplikasi. Pada aplikasi ini akan melakukan pengecekan data masukkan berupa perangkat Kinect, aplikasi akan melakukan proteksi ketika perangkat Kinect tidak terhubung pada komputer maka program menjalankan perintah log off
sistem operasi secara otomatis. b. Proteksi Sistem Aplikasi
Sistem aplikasi akan melakukan pengamanan yang mengharuskan setiap user mengikuti prosedur-prosedur penggunaan aplikasi keamanan menggunakan perangkat Kinect. Adapun pengaman yang dilakukan menonaktifkan tombol klik kanan pada mouse, menghilangkan icon di desktop, menu start, taskbar dan beberapa pengaturan pada registry sistem operasi.
c. Pendeteksian User Activity
Aktivitas gerakan yang dikenali sebagai manusia akan dideteksi namun jika benda biasa yang bergerak maka aplikasi tidak akan menampilkan gambar apapun pada menu tampilan dan akan menonaktifkan sebagian program aplikasi, dengan begitu dapat mencegah program lain berjalan dengan sendirinya.
d. Penyimpanan Data User
Adapun cara data user disimpan sebagai berikut: 1.Penyimpanan Gambar
Proses penyimpanan gambar user berdasarkan hasil per-frame dari tampilan video oleh sensor RGB camera perangkat Kinect. Resolusi citra yang dihasilkan masih VGA yaitu 640 x 480 pixel. Setiap kali terjadi capture gambar, rata-rata berlangsung selama 0,5 detik dan membutuhkan kapasitas memori antara 60 KB sampai dengan 70 KB memori data dan citra yang dihasilkan berupa format “Jpg”.
I - 190 SENTRA
Perekaman ini memiliki kapasitas memori 40KB/s hingga 60KB/s. hasil rekaman didapat dari empat buah mikrofon dengan masing-masing tiap mikrofon memproses 16-bit audio pada besar sampling rate 16-kHz.
e. Aktivasi Akses Sistem Aplikasi
Ketika identifikasi visual dan suara manusia telah sukses, program akan membuka menu log in.
Metode Penelitian
Metode penelitian yang diterapkan dalam penelitian ini adalah: a. Metode Literatur
Studi pustaka ini, dilakukan untuk menambah pengetahuan dengan literature atau bahan-bahan teori baik berupa buku dan data dari internet.
b. Metode Perancangan dan Pembuatan Sistem aplikasi
Perancangan dan pembuatan sistem meliputi perancangan serta pembuatan sistem perlindungan dan keamanan komputer serta pemasangan pada perangkat Kinect dengan computer dan alat-alat maupun instalasi perangkat lunak dibutuhkan dalam sistem.
c. Metode Pengujian
Pengujian dilakukan untuk mengetahui sistem apakah telah sesuai atau belum. Pengujian sistem mencoba menjalankan kinerja dengan menerapkan Kinect sebagai sistem perlindungan dan keamanan komputer lalu mengoreksi bila terjadi kesalahan.
d. Metode Analisis
Analisis sistem perlindungan dan keamanan untuk mendapatkan informasi berupa keakuratan dalam pengenalan dan identifikasi, berdasarkan pada pengujian sistem pada perangkat Kinect dengan sistem secara keseluruhan.
Hasil Penelitian dan Pembahasan
Pengujian Visual Tracking
1. Pengujian natural user interface (NUI).
Natural user interface merupakan interaksi manusia dengan komputer yang bersifat fisik manusia berupa sentuhan maupun gerakan tangan. Pada sistem aplikasi yang dibuat penulis interaksi gerakan berdasarkan rangka tubuh manusia dalam membatasi penggunaan akses dari komputer. Agar aplikasi dapat bekerja baik dan mengetahui jalan kerja deteksi gerakan berdasarkan rangka tubuh manusia, dibutuhkan beberapa pengujian dasar kinerja aplikasi NUI. Adapun pengujian aplikasi natural user interface sebagai berikut:
i. User tidak berada ditempat.
Pada tahap ini aplikasi berjalan baik, dimana aplikasi tidak menampilkan gambar apapun dan beberapa menu tidak aktif kecuali menu untuk koneksi perangkat Kinect.
ii. User berdiri, berada dan diam
Ketika aplikasi berjalan ketika user berdiri tepat di hadapan perangkat Kinect, sekitar 1-3 detik aplikasi akan menampilkan gambar user dan menu log in akan segera aktif. Pada keadaan ini aplikasi masih bisa mengenali user.
iii. User berdiri, berada dan bergerak
Aplikasi memberikan respons lebih cepat dibandingkan user keadaan diam, hasil yang didapat sangat baik dan dapat mengaktifkan menu log in.
iv. User duduk, berada dan diam
Saat keadaan user duduk dan diam, aplikasi mengalami kendala pendeteksian karena tidak mengetahui kehadiran user, terjadi ketika kondisi user diam dengan tangan lurus ke bawah, sedangkan tangan lebih membentangkan dan berada di atas meja maka aplikasi dapat mengenali citra manusia dengan begitu aplikasi bisa berjalan sebagaimana mestinya.
v. User duduk, berada dan bergerak
SENTRA I - 191
Gambar 5. Hasil Citra Depth dalam Pembentukan Rangka Tubuh Manusia
2. Pengujian gangguan pendeteksian.
Pada pengujian ini berusaha untuk mengetahui hambatan dan batasan dari luar terhadap menurunnya proses pendeteksian seorang user.
i. Pengujian gangguan terhadap aksesoris dan pakaian user.
Gambar 6. Grafik Penggunaan Aksesori dan Pakaian User
Hasil data grafik yang diperoleh berupa gangguan terhadap citra rangka tubuh manusia yang berpengaruh terhadap titik-titik penghubung antar persendian. Pada penggunaan topi, kaca mata, dan sepatu pada titik penghubung persendian yang berjumlah dua puluh titik tidak mengalami penurunan maupun kesalahan dalam mengenali bagian-bagian antar sendi. Sedangkan penggunaan pakaian mukena oleh user memiliki tingkat kesalahan yang paling cukup besar, sebanyak lima belas titik penghubung persendian tidak berhasil mengenali bagian-bagian antar persendian, dengan begitu pakaian mukena sebaiknya dihindari ketika menjalakan aplikasi identifikasi user.
ii. Pengujian terhadap gangguan terhadap sensor.
Tabel 1. Gangguan yang Diterima Sensor Kinect
Gangguan sensor Sensor
RGB
Sensor Depth
Penerangan Terang 100% 100 %
Penerangan Sedang 50% 100%
Penerangan Gelap 10% 100%
Sinar Matahari 100% 50%
Asap 80% 85%
Debu 90% 95%
Kaca Bening 100% 90%
Kaca Gelap 50% 70%
Keterangan : >80% Baik >60% Cukup
>50 % Kurang Baik > 0 % Tidak Baik
I - 192 SENTRA
Pengujian Sound Tracking
1. Pengujian suara
Sensor mikrofon pada perangkat Kinect bekerja dengan baik dalam menyaring suara dan dapat mengetahui arah sumber suara berasal. Perangkat Kinect tidak mampu mengetahui dengan benar arah sumber suara jika sensor mikrofon atau sumber suara terhalang benda yang sifatnya meredam suara.
2. Pengujian speech recognition
Dalam pengujian speech recognition dengan cara seorang user akan mengucapkan kalimat dalam bahasa inggris sesuai dengan perintah yang telah diprogram, hasil pengujian bahwa pada saat user mengucapkan satu kata, aplikasi akan berusaha mencocokkan kata pengucapan user dengan rangkaian kata-kata perintah dalam program, jika suara pengucapan kata itu benar, maka program akan meneruskan ke kata berikutnya sehingga menjadi suatu kalimat eksekusi. Dalam pengujian speech recognition waktu terbaik jarak pengucapan kata pertama dengan kata selanjutnya kisaran 0,5-0,75 detik.
Kesimpulan
1. Perangkat Kinect dengan teknologi sound and visual tracking dapat dirancang menjadi sistem keamanan user account dengan kelebihan sebagai sistem pengawas terselubung berupa hasil
capture gambar dan rekaman suara user saat log-in
2. Pada saat melakukan identifikasi pemilik user account secara visual, peranan terpenting berada pada sensor IR depth jika sensor tersebut tidak bekerja maka sistem aplikasi keamanan secara keseluruhan akan berhenti.
3. Keadaan user pada saat duduk aplikasi identifikasi masih berjalan karena proses pembentuk citra rangka manusia oleh perangkat Kinect masih bisa mengenali bagian kepala hingga ke tangan akan tetapi kondisi user diam dengan tangan berada di bawah meja pembentuk citra rangka manusia tidak terjadi.
4. Dalam pengenalan ucapan user berupa tempo dan logat suara yang diterima oleh sensor mikrofon dapat menyebabkan terjadinya kesalahan masukan berupa kata-kata yang diucapkan.
5. Teknologi Sound and Visual Tracking pada perangkat Kinect dapat dipadukan dengan teknologi keamanan lainnya seperti face detection, dan finger print, sehingga dapat menciptakan sistem proteksi user account handal dan sulit untuk dimanipulasi.
Referensi
[1] Jana, Abhijit. Kinect for Windows SDK Programing Guide. Birmingham: Pact Publishing, 2012. [2] Giorio, Clemente and Massimo Fascinari. Kinect in Motion – Audio and Visual Tracking by
Example. Birmingham: Pact Publishing, 2013.
[3] Webb, Jarrett and James Ashley. Beginning Kinect Programing with the Microsoft Kinect SDK.
New York: Apress, 2012.
[4] Microsoft Corp. Redmond WA. Kinect for Xbox 360. [5] Borenstein, Greg. Making Things See. Canada: O’Relly, 2012
[6] A Wei Qu, Dan Schonfeld. "Real-Time Decentralized Articulated Motion Analysis and Object Tracking From Videos" IEEE Transactions on Image Processing, vol. 16, no. 8, pp. 2129-2138,August 2007, DOI: 10.1109/TIP.2007.899619.
