Virtual Reality dan Leap Motion dalam In

Virtual Reality dan Leap Motion dalam Interaksi

Manusia dan Komputer (IMK) serta Hubungannya

dengan Artificial Neural Network (ANN)

Disusun Oleh:

Nama

:

Rezkya Putri Septiani

Nim

:

13.7832

Kelas

:

4KS1

SEKOLAH TINGGI ILMU STATISTIK

JAKARTA, 2017

Teknologi telah menjadi sesuatu yang tidak bisa dilepaskan dari kehidupan manusia saat ini, teknologi juga telah memegang peran penting di semua aspek kehidupan. Dengan bantuan teknologi, kegiatan manusia akan lebih mudah dikerjakan. Ketergantungan manusia terhadap teknologi membuat banyaknya diciptakan teknologi baru yang lebih canggih. Perkembangan teknologi baru tersebut perlahan-lahan telah banyak menggeser gaya hidup manusia. Hal tersebut membuat manusia lebih banyak berinteraksi dengan teknologi/komputer daripada kehidupan sosialnya. Pergeseran gaya hidup manusia kearah penggunaan teknologi secara masif, membuat banyak perusahaan berlomba-lomba menciptakan teknologi dengan desain UI (User Interface) yang eifisen, baik dan mudah. Hal ini mengakibatkan interaksi antara manusia dan komputer telah menjadi bagian yang penting dalam kehidupan saat ini(Sharma, Chandra, Venkatraman, Mittal, & Singh, 2015)

Desain UI yang efisien dan interaktif akan membuat pengguna komputer merasakan pengalaman yang menyenangkan. Pengalaman menyenangkan dalam menggunakan UI tersebut akan membuat seseorang ingin untuk terus menerus menggunakan komputer/teknologi tersebut. Oleh karena itu, interaksi manusia dan komputer yang alami misalnya hand gesture recognition, leap motion, virtual reality merupakan suatu kebutuhan saat ini (Panwar & Singh Mehra, 2011).

Gambar 1. Interaksi antara Kecerdasan Manusia dan Mesin Pengertian Virtual Reality(VR) dan Leap Motion

Perkembangan interaksi manusia dan komputer saat ini semakin pesat dengan munculnya teknologi Virtual reality (VR) dan leap motion. Virtual reality merupakan sebuah teknologi yang membuat user dapat berinteraksi dengan lingkungan yang ada dalam dunia maya yang disimulasikan oleh komputer sehingga user merasakan efek 3D seolah olah yang kita lihat berada di depan kita (Sharma et al., 2015). Virtual reality dapat membuat user merasakan sensasi nyata dari dunia nyata dari segi penglihatan, pendengaran, gerakan tangan, dan gerakan kaki. Tidak hanya itu, virtual reality saat ini juga telah dikembangkan agar user dapat merasakan sensasi virtual reality dengan menggunakan smartphone.

Perkembangan virtual reality saat ini semakin pesat dengan menggabungkan teknologi leap motion ke dalamnya. Leap motion merupakan alat yang dapat membantu user mengendalikan hanya dengan gerakan tangan maupun jari di udara. Teknologi leap motion ini dapat menggantikan fungsi keyboard dan mouse. Dengan adanya leap motion pada VR ini pengguna bisa langsung melihat kedua tangannya secara virtual dan utuh tanpa membutuhkan controller ekstra. Setiap pergerakan tangan dapat dideteksi dengan baik sehingga pada akhirnya dapat berlangsung jauh lebih alami. Hal ini merupakan salah satu penemuan terbaik dalam interaksi manusia dan komputer.

eksplisit atau spesifikasi persamaan model. Hubungan antara ANN dengan IMK sangat erat terkait dalam hal menghasilkan UI yang interaktif, menghasilkan umpan balik yang sesuai dengan cara kerja otak manusia. Fuzzy logic merupakan salah satu cabang ANN yang sering digunakan untuk menciptakan model-model adaptif untuk interaksi antara manusia dan komputer (Maren, 1991).

Virtual Reality dan Leap Motion pada Interaksi Manusia dan Komputer Hubungan antara IMK dengan virtual reality dan leap motion sangat erat. Hal ini terkait dengan masalah untuk menghasilkan user interface yang baik, efisien, dan menyenangkan. Perkembangan teknologi VR dan leap motion membuat banyak orang mengerti akan pentingnya user interface dalam kemajuan suatu teknologi. VR dan leap motion membuat user masuk ke dalam sensasi nyata dunia maya secara 3D dan dapat berinteraksi dengan komputer selayaknya manusia.

Untuk mewujudkan suasana yang menyerupai dunia nyata, virtual reality menggunakan peralatan-peralatan yang dinamakan glove(leap motion), headset, dan walker.

 Leap Motion adalah peranti masukan yang dapat menangkap gerakan tangan dan mengirimkan informasi gerakan ke sistem virtual reality. Setiap pergerakan tangan akan dapat dideteksi dengan baik.

 Headset adalah peranti yang berfungsi untuk memonitor gerakan kepala. Selain itu, peranti inilah yang memberikan pandangan lingkungan yang semu kepada pemakai sehingga seolah-olah pemakai melihat dunia nyata.  Walker adalah peralatan yang dimaksudkan untuk memantau gerakan

kaki. Peralatan ini dapat digunakan untuk mengatur kaki pemakai agar merasakan beban seperti kalau melangkah dalam dunia nyata. Sebagai contoh, kaki akan terasa berat untuk melangkah ketika pemakai sedang menghadapi dunia semu berupa rawa atau medan berlumpur.

Pada dasarnya, data mining khususnya ANN membuat Virtual Reality (VR) menjadi alat yang sangat kompeten untuk memvisualisasikan data dalam Interaksi Manusia dan Komputer (IMK). Seperti yang telah dijelaskan sebelumnya, dalam membuat sebuah user interface yang canggih, diperlukan integrasi ilmu HCI-KDD (Human Computer Interaction – Knowledge Discovey). Salah satu implementasi integrasi HCI-KDD ini ialah virtual reality dan leap motion. Berikut aplikasi pada Virtual reality yang menggunakan teknologi Leap Motion:

 Ekspresi Wajah

Gambar 2. Pengenalan Ekspresi Wajah pada VR menggunakan ANN  Human Body Tracking (Pelacakan Tubuh Manusia)

Human body tracking menemukan relevansi untuk kebanyakan aplikasi di berbagai bidang dari peningkatan kognitif untuk olahraga hingga rehabilitasi. Ada beberapa pendekatan ANN untuk melacak siluet tubuh manusia (Goffredo et al., 2006), misalnya algoritma Snake (Active Contour Model) di kombinasi dengan ANN (Resilient BP) menggunakan segmentasi dan kontur metode untuk melacak lengan manusia. Di sini, ANN bertindak sebagai prediktor yang meningkatkan akurasi yang gerakan lengan dilacak. Kecepatan dan percepatan setiap titik kontur yang diambil sebagai input ANN, sedangkan output ANN bertindak sebagai masukan untuk SNAKE. Seiring dengan kemajuan dalam algoritma akan mungkin untuk membuat sistem pengenalan tindakan dengan melacak tubuh manusia dengan Kinect (Mart ınez­Zarzuela  et   al.,  2014) . ANN dalam perannya tidak hanya dalam pelacakan tubuh Manusia, tetapi juga di bidang pelacakan tangan dengan menggunakan gloves dan deteksi kaki. Selain itu, terdapat juga teknologi

 Face Detection/tracking (Pelacakan Wajah)

Pelacakan wajah selalu menimbulkan masalah di VR karena tergantung pada orientasi wajah dan pendaran lingkungan. Selain itu, deteksi wajah juga menjadi menantang ketika sensor atau kabel dihubungkan ke Virtual Environment (VE). Dalam kondisi seperti itu, VR membutuhkan frame rate pelacakan tinggi dengan latency rendah untuk mendeteksi wajah. Selanjutnya, algoritma pelatihan harus dilatih atas dasar beberapa wajah di muka. Fase belajar ini membutuhkan waktu (Rowley et al., 1998). Oleh karena itu, kebutuhan untuk algoritma pelatihan cerdas yang dapat membedakan antara wajah dan non wajah muncul (S.Shah et al., 2013). Sebagian besar peneliti menggunakan kembali algoritma pelatihan propagation dengan eigen wajah atau filter Fourier gabor filter atau Fourier gabor dengan proyeksi acak atau algoritma genetika (Kashem et al.,2011). Keuntungan dengan BP adalah bahwa hal itu dapat membedakan antara wajah dan non wajah dengan mudah. Algoritma BP lebih disukai daripada algoritma neural network lainnya karena kemampuannya yang unik untuk meminimalkan kesalahan dan akurasi yang lebih tinggi (Chaundhary et al., 2012).

 Visualization

Data mining membuat VR menjadi alat yang sangat kompeten untuk memvisualisasikan data dalam Interaksi Manusia dan Komputer (IMK). Pengguna dapat berinteraksi dengan data dan memahami potensi tersembunyi dari data secara efektif. Pengguna juga dapat memanipulasi data secara dinamis dan mentransfer ke platform lainnya. Beberapa teknik seperti clustering ANN dapat mengurangi jumlah dimensi dan sangat bermanfaat untuk sistem yang efisien. NN digunakan sebagai fungsi pemetaan ruang untuk menghasilkan ruang VR kualitas tinggi. Data dan simbolik representasi pengetahuan dalam ruang virtual dapat dilakukan dengan menggunakan Samann dan Nonlinear Discriminate Networks

untuk pemetaan supervised dan unsupervised ke feature spaces berdimensi rendah (Valdes et al., 2012).

 Speech Recognition atau Synthesize Voice

melalui penggunaan avatar virtual. ANN MLP digunakan untuk wajah tanpa ekspresi dan wajah yang mengandung ekspresi. Mel Frequency Cepstrum Coefficient (MFCC) adalah vektor fitur audio yang diambil sebagai input dalam MLP. MLP melakukan train audio untuk pemetaan visual dan menggunakan tiga layer perceptron dengan 25 hidden layer (Hong et al., 2002).

 Walkthrough atau Navigasi

ANN memainkan peran penting dalam memprediksi jumlah jalur pada virtual navigasi. Teknik ini menggunakan penggabungan antara ANN dan Model Titik Distribusi. Model ini menggambarkan jumlah jalur yang diambil oleh ANN sebagai input. Output disediakan dalam bentuk kemungkinan jalur maksimum untuk seleksi jalur yang diinginkan. Hal tersebut sangat membantu dalam merancang walkthrough dan dalam memprediksi pengguna bergerak di Virtual Environtment (VE) (Courtney et al., 2013).

 Animation

Animasi melibatkan interaksi dari gerakan avatar, penampilan objek virtual dan variasi kontras. ANN digunakan dalam pembentukan animasi ini. ANN meningkatkan kontras virtual environtment dengan menggunakan HMD. HMD Menggunakan MLP dengan aktivasi sigmoid logistik dan dilatih dengan metode gradien konjugat yang diperkecil dan ANN classifier dalam kerangka model Markov Field Model (Everingham et al., 2003). Pengalaman visual dapat ditinggikan untuk membuat VR lebih mendalam. Teknik ini dapat menjadi bantuan mobilitas untuk orang dengan gangguan visual yang parah. Orang-orang akan bisa mengidentifikasi objek dari gambar yang ditampilkan. Hal ini dimungkinkan untuk menghidupkan avatar manusia dalam VR menggunakan NN.

 Kontroler Karakter Virtual

monoped (berkaki satu), biped (berkaki dua) dan quadruped (berkaki empat) (Marks et al., 2006). ANN memproses informasi sensorik dari tubuh dan dari lingkungan karakter virtual dan memberikan informasi kontroler sebagai output ke aktor. Aksi motor dikontrol oleh umpan balik sensoris dari karakter virtual. Untuk menghasilkan perilaku dalam karakter virtual digunakan Continuous Time Recurrent Neural Network (CTRNN). CTRNN Menggunakan model plastisitas otak untuk melakukan proses learning dari lingkungan (Nogueira et al., 2013).

Daftar Pustaka

[1]   Chaudhary,   U,   dkk.   2012.  Face   recognition   using   pca­bpnn   algorithm. International Journal of Modern Engineering Re­ search (IJMER), vol. 2, pp. 1366–1370.

[2] Courtney,   C.   G.   2013.  Predicting   navigation   performance   with psychophysiological responses to threat in a  virtual environment in Virtual Augmented and Mixed Reality. Designing and Devel­ oping Augmented and Virtual Environments, pp. 129–138, Springer.

[3]  Everingham, M, dkk. 2003. Wearable mobility aid for low vision using scene classification in a markov random field model framework.  Inter­ national Journal of Human­Computer Interaction, vol. 15, no. 2, pp. 231–244.

[5]  Hambli, R. 2006. Real­time deformation of structure using finite element and neural networks in virtual reality applications.  Finite elements in analysis and design, vol. 42, no. 11, pp. 985–991.

[6]  Holzinger, A. 2013. Human – Computer Interaction and Knowledge Discovery ( HCI-KDD ): What Is the Benefit of Bringing Those Two Fields to Work Together ?, 319–328.

body   tracking   with   depth   images.  Advances   in   Computer   Science:   an

International Journal, vol. 3, no. 1, pp. 115–123.

[10] Maren, A. J. 1991. Neural Networks for Enhanced Human-Computer Interactions. IEEE Control Systems, 11(5), 34–36.

[11] Marks, S. 2006. Evolving autonomous locomo­ tion of virtual characters in a simulated   physical   environment   via   neural   networks   and   evolutionary strategies in Proceedings of the Ninth International Conference on Computer Graphics and Artificial Intelligence.

[12]   Nogueira,   B.   2013.  Emergence   of   autonomous   behaviors   of   virtual characters through simulated reproduction  in  Advances in Artificial Life, ECAL, vol. 12, pp. 750–757.

[13] Panwar, M., & Singh Mehra, P. 2011. Hand gesture recognition for human computer interaction, 2(2), 48–50.

[14] Rowley, H. A, dkk. 1998.  Neural network­based face detection,  Pat­ tern Analysis and Machine Intelligence, IEEE Transactions on, vol. 20, no. 1, pp. 23– 38.

[15] Shah, S. 2013. Analytical study of face recognition techniques.