PENDIDIKAN ANAK-ANAK MENGGUNAKAN KINECT
SKRIPSI
NUR AMALIA NASUTION 121402002
PROGRAM STUDI S1 TEKNOLOGI INFORMASI
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
MEDAN
2018
MEDIA INTERAKTIF SISTEM TATA SURYA UNTUK PENDIDIKAN ANAK-ANAK MENGGUNAKAN KINECT
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh Ijazah Sarjana Teknologi Informasi
NUR AMALIA NASUTION 121402002
PROGRAM STUDI S1 TEKNOLOGI INFORMASI
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
MEDAN 2018
PERSETUJUAN
Judul : MEDIA INTERAKTIF SISTEM TATA SURYA UNTUK
PENDIDIKAN ANAK-ANAK MENGGUNAKAN
KINECT
Kategori : SKRIPSI
Nama : NUR AMALIA NASUTION
Nomor Induk Mahasiswa : 121402002
Program Studi : SARJANA (S1) TEKNOLOGI INFORMASI Departemen : TEKNOLOGI INFORMASI
Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA Komisi Pembimbing :
Pembimbing 1 Pembimbing 2
Muhammad Anggia Muchtar,S.T.,MM.IT Romi Fadillah Rahmat,B.Comp.Sc.,M.Sc
NIP. 198001102008011010 NIP. 198603032010121004
Diketahui/disetujui oleh
Program Studi Teknologi Informasi Ketua,
Romi Fadillah Rahmat, B.Comp.Sc., M.Sc NIP. 198603032010121004
ii
PERNYATAAN
MEDIA INTERAKTIF SISTEM TATA SURYA UNTUK PENDIDIKAN ANAK-ANAK MENGGUNAKAN KINECT
SKRIPSI
Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.
Medan, Januari 2018
NUR AMALIA NASUTION 121402002
UCAPAN TERIMA KASIH
ِب ُذوُعَ نَو ِهحيِدحهَ تحسَنَو حهُرِفحغَ تحسَنَو ُهُنح يِعَتحسَنَو ُهُدَمحَنَ َِِّلِلّ َدحمَحلْا َّنِإ َنِسُفح نََ ِِحوُرُُ حِِْ ِلله
َل َيِد َه َلاَف حلِلحضُي حََِْو ُهَل َّلِضُِ َلاَف ُالله ِهِدحهَ ي حَِْ ، َنِل َمحعََ ِت َئِ يَس حَِِْو ُه ِ لَص َّمُهَّللَا ُهُلحوُسََِو ُهُدحبَع اًدَّمَُمُ َّنََ ُدَهحَََُو الله َّلاِإ َهَلِإ َلا حنََ ُدَهحََُ
حْ َِِبَو حمِ لَسَو
ِةَِ َيِقحلا ِمحوَ ي َلَِإ ُهاَدُِبِ ىَدَتحها ََِِْو ِهِبححَصَو ِهِلآ ىَلَعَو ٍدَّمَُمُ ىَلَع
Segala puji bagi Allah, kita memuji-Nya dan meminta pertolongan, pengampunan, dan petunjuk-Nya. Kita berlindung kepada Allah dari kejahatan diri kita dan keburukan amal kita. Barang siapa mendapat dari petunjuk Allah maka tidak akan ada yang menyesatkannya, dan barang siapa yang sesat maka tidak ada pemberi petunjuknya baginya. Aku bersaksi bahwa tidak ada Tuhan selain Allah dan bahwa Muhammad adalah hamba dan Rasul-Nya. Ya Allah, semoga doa dan keselamatan tercurah pada Muhammad dan keluarganya, dan sahabat dan siapa saja yang mendapat petunjuk hingga hari kiamat.
Segala puji bagi Allah SWT dan syukur kehadirat Allah SWT karena rahmat dan izin dari-Nya penulis dapat menyelesaikan penyusunan skripsi ini, sebagai syarat untuk memperoleh gelar Sarjana Komputer, pada Program Studi S1 Teknologi Informasi Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara.
Penulis mengucapkan banyak terima kasih kepada Bapak Prof. Runtung Sitepu, SH., M.Hum selaku Rektor Universitas Sumatera Utara, Bapak Prof. Dr. Opim Salim Sitompul selaku Dekan Fasilkom-TI USU, Bapak Muhammad Anggia Muchtar, ST., MM.IT selaku Ketua Pusat Sistem Informasi Program Studi S1 Teknologi Informasi Universitas Sumatera Utara sekaligus Pembimbing I yang telah memberikan ide dan saran yang bermanfaat, Bapak Romi Fadillah Rahmat B.Comp.Sc., M.Sc selaku Ketua Program Studi S1 Teknologi Informasi Universitas Sumatera Utara sekaligus Pembimbing II yang telah memberikan ilmu, masukan serta saran kepada penulis.
iv
Terima kasih juga kepada Ibu Sarah Purnamawati,.ST., M.Sc selaku Pembanding I dan Bapak Dedy Arisandi, ST., M.Kom selaku Pembanding II.
Ucapan sayang juga saya ucapkan kepada kedua orang tua saya yang telah mendukung, membantu dan mendoakan anaknya. Ya Allah, ampunilah aku dan kedua orang tuaku, sayangilah mereka (Ayah dan Mamak) seperti mereka menyayangiku dengan seluruh hatinya di waktuku kecil hingga dewasa. Terima kasih untuk seluruh keluarga besar saya yang telah mendoakan (Bukde, Pakde, Unde, Uwak, Bapak, Kakak, Abang dan Adik). Terima Kasih kepada sahabat saya (Annisa Nur Indah Sari, Puspita Sari, Fauziah, Khairati Husna, Wahdini Nur Fadillah Siregar dan teman-teman Mafia Stay Cool). Tak lupa jua kepada sahabat-sahabat seperjuangan kuliah (Ramadan Putra Siregar, S.kom., Joko Kurnianto, S.Kom., Safrida Budiarti, S.Kom., Nelam Mariani Nst, S.Kom., Nabila Hutagalung, S.Kom.) yang telah banyak membantu dan mensupport selama masa perkuliahan. Terima kasih juga kepada teman-teman seperjuangan skripsi (Fajriani, S.Kom. dan Mutiara Christy Sianipar, S.Kom.) serta kepada seluruh teman-teman Teknologi Informasi angkatan 2012.
Terima Kasih Banyak untuk semuanya, Semoga Allah SWT melimpahkan berkah kepada semua pihak yang telah memberikan bantuan, perhatian, do’a, serta dukungan kepada penulis dalam menyelesaikan skripsi ini.
Medan, Januari 2018
Penulis
ABSTRAK
Pembelajaran anak-anak menganut pendekanan bermain sambil belajar atau belajar sambil bermain. Dengan bermain anak menggunakan otot tubuhnya, menstimulasi indera-indera tubuhnya dan mengeksplorasi dunia sekitarnya. Dengan bermain, anak-anak menemukan dan mempelajari hal-hal atau keahlian baru dan belajar (learning by doing). Untuk menstimulasi anak dan menjadikan pelajaran menarik perhatian anak, sistem tata surya yang menjadi bagian pelajaran di sekolah dimuat dalam sebuah media interaktif dengan menggunakan kinect.
Dimana anak berperan secara aktif untuk mempelajari sistem tata surya. Sensor kinect mendeteksi 23 persendian anak yang akan digunakan untuk menggerakkan objek 3 dimensi astronot tepat pada tubuh anak (coordinates mapper) dan menggunakan background removal pada gambar untuk memisahkan pixel latar belakang dan pixel anak sehingga anak seolah berada disamping planet. Berdasarkan hasil uji dengan 50 responden anak-anak, didapat hasil efektivitas sistem terhadap anak sebesar 86%.
Kata kunci : Media Interaktif, Tata Surya, Background Removal, Coordinate Mapper, Kinect.
vi
INTERAKTIF MEDIA OF SOLAR SYSTEM FOR CHILDREN’S EDUCATION USING KINECT
ABSTRACK
Children's learning is approaching children to learn by playing or the reverse. The child is using the muscles of his body to stimulate his sense and to explore the world around him by playing.
Also, children will discover and learn new things or skills with learn by doing. The solar system, which is part of one of school lessons is loaded in an interactive media using kinect to stimulate children and get ther attention. Children also could take an active role to learn the solar system. The kinect sensor detects 23 joints of children that would be used to move an astronaut 3D object right on the child’s body (coordinates mapper) and background removal is using to separate between background’s pixel and children's pixel so the children seems to be beside the planet. Based on the test with 50 child respondents, obtained that the effectiveness of the system could reach 86%.
Keywords : Media Interaktif, Solar System, Background Removal, Coordinate Mapper, Kinect.
DAFTAR ISI
Hal.
PERSETUJUAN i
PERNYATAAN ii
UCAPAN TERIMA KASIH iii
ABSTRAK v
ABSTRACT vi
DAFTAR ISI vii
DAFTAR TABEL ix
DAFTAR GAMBAR x
BAB 1 PENDAHULUAN 1
1.1. Latar Belakang 1
1.2. Rumusan Masalah 3
1.3. Batasan Masalah 3
1.4. Tujuan Penelitian 3
1.5. Manfaat Penelitian 3
1.6. Metodologi Penelitian 4
1.7. Sistematika Penulisan 5
BAB 2 LANDASAN TEORI 6
2.1. Media Interaktif 6
2.2. Sistem Tata Surya 8
2.3. Pendidikan Anak Usia Dini 10
2.4. Kinect 12
2.5. Microsoft Kinect SDK 15
2.6. Unity 3D 17
2.7. Penelitian Terdahulu 17
BAB 3 ANALISIS DAN PERANCANGAN 23
3.1. Arsitektur Umum 23
viii
3.2. Data yang Digunakan 24
3.2.1. Joints 24
3.2.2. Objek 3 Dimensi 26
3.2.3. Texturing 27
3.3. Deteksi Skeleton Pengguna 30
3.4. Background Removal 32
3.5. Coordinate Mapper dan Body Joints Orientation 33
3.6. Diagram Aktivitas 35
3.7. Perancangan Antarmuka 38
3.7.1 Opening 38
3.7.2. Tampilan Tata Surya 38
3.7.3. Tampilan Informasi Planet 39
BAB 4 IMPLEMENTASI DAN PENGUJIAN 40
4.1. Kebutuhan Aplikasi 40
4.2. Implementasi Tampilan Antarmuka 41
4.2.1. Tampilan Pembuka 41
4.2.2. Tampilan Tata Surya 41
4.2.3. Tampilan Informasi Planet 42
4.3. Pengujian Aplikasi 43
4.3.1. Rencana Pengujian Sistem 43
4.3.2. Kasus dan Hasil Pengujian Sistem 44
4.3.3. Pengujian Aplikasi Terhadap Tinggi badan 47 4.3.4. Mengukur Tingkat Kesenangan Pengguna (User Satisfaction) 47 4.3.5. Mengukur Tingkat Kegunaan Sistem (User Experience) 49
4.4. Keterbatasan Kinect 50
BAB 5 KESIMPULAN DAN SARAN 51
5.1. Kesimpulan 51
5.2. Saran 51
DAFTAR PUSTAKA 52
DAFTAR TABEL
Tabel 2.1. Penelitian Terdahulu 20
Tabel 3.1. Data Joints Yang Digunakan 25
Tabel3.2. Daftar Texturing Planet 27
Tabel 4.1. Rencana Pengujian Sistem 44
Tabel 4.2. Hasil Pengujian 44
Tabel 4.3. Skala Likert Pada Kuisioner 46
Tabel 4.4. Pengujian Sistem Berdasarkan Tinggi Badan 47
Tabel 4.5. Nilai NPS Dari Pengguna 48
x
DAFTAR GAMBAR
Gambar 2.1. Gambaran Umum Tata Surya 10
Gambar 2.2. Jarak Threshold 13
Gambar 2.3 Spesifikasi dari Sensor Kinect 2 13
Gambar 2.4 Hirarki Persendian (Joints Hierarchy) 14
Gambar 3.1. Arsitektur Umum 24
Gambar 3.2. Model Astronot yang Digunakan 26
Gambar 3.3. Objek Sphere Yang Diberi Texture Matahari 27
Gambar 3.4. Skeleton Tracking dan joints Pengguna 32
Gambar 3.5. Background Removal 33
Gambar 3.6. Pemotongan Objek 3D Untuk Coordinate Mapper 34
Gambar 3.7. Arah Persendian 35
Gambar 3.8. Diagram Aktivitas 37
Gambar 3.9. Rancangan Tampilan Orbit Planet 38
Gambar 3.10. Rancangan Tampilan Informasi Planet 39
Gambar 4.1 Tampilan Pembuka 41
Gambar 4.2 Tampilan Orbit Planet Versi Objek Tiga Dimensi 42 Gambar 4.3 Tampilan Orbit Planet Versi Background Removal 42 Gambar 4.4 Tampilan Informasi Planet Versi Objek Tiga Dimensi 43 Gambar 4.5 Tampilan Informasi Planet Versi Background Removal 43
Gambar 4.6 Grafik Kesetujuan Interaksi dan Gestur 46
Gambar 4.7 Metode NPS (Net Promoter Score) 48
Gambar 4.8 Hasil Metode NPS Terhadap Pengguna 49
BAB 1 PENDAHULUAN
1.1. Latar Belakang
Tata Surya merupakan kumpulan benda langit yang terdiri atas sebuah bintang yang disebut Matahari dan semua objek yang terikat oleh gaya gravitasinya. Objek-objek tersebut termasuk delapan buah planet yang sudah diketahui dengan orbit berbentuk elips, lima planet kerdil/katai, 173 satelit alami yang telah diidentifikasi, dan jutaan benda langit (meteor, asteroid, komet) lainnya. Tata Surya terbagi menjadi Matahari, empat planet bagian dalam, sabuk asteroid, empat planet bagian luar, dan di bagian terluar adalah Sabuk Kuiper dan piringan tersebar.
Usia Emas merupakan alasan pentingnya pendidikan anak usia dini. Anak usia dini oleh Beeker dikelompokkan pada anak yang berusia antara 3-6 tahun, anak usia tersebut biasanya mengikuti program pendidikan dini atau kindergarten. Dalam bukunya, Pendidikan untuk anak-anak harus dipersiapkan secara terencana dan bersifat holistik agar dimasa emas perkembangan anak (Golden Age) mendapatkan distimulasi yang utuh, sehingga mengembangkan berbagai potensi yang dimiliki anak.
Sensor Kinect adalah batang horizontal yang terhubung dengan alas kecil yang memiliki poros yang dapat berputar. Sensor Kinect dirancang untuk diletakkan diatas maupun di bawah TV. Perangkat ini memiliki kamera RGB, sensor kedalaman dan mikrofon yang berjalan di perangkat software khusus, yang menyediakan kemampuan untuk menangkap gerak secara 3D, mengenali wajah dan mengenali suara. Untuk memanfaatkan momentum anak di usia emasnya, penulis membuat media interaktif tentang tata surya menggunakan sensor kinect sehingga anak anak-anak dapat belajar secara langsung dimana anak sebagai pemeran aktif (learning by doing).
Penelitian yang pernah dilakukan oleh Purvi Agarwal et al tahun 2017 yaitu sebuah robot yang dapat digerakan menggunakan sensor Kinect sehingga robot dapat
2
bergerak sesuai pergerakan pengguna. Dengan menggunakan nilai kedalaman yang diambil dari komponen Coordinates Mapping dan lokasi target manusia dari komponen pendeteksi manusia (kinect), robot mampu mengikuti target manusia dan sekaligus memeriksa apakah jarak target dan target manusia.
Pada tahun 2016 Branislav Sobota, Ladislav Jacho, dan Štefan Korečko melakukan penelitian sistem pelatihan dimana avatar dikontrol dengan bantuan gerakan tubuh manusia.
Pengendalian sistem rangka (skeleton) adalah objek. Tujuannya adalah untuk membuat avatar humanoid termasuk sistem transformasi (pergerakan) tertentu dan transformasi didasarkan pada data yang dipilih sensor
Penelitian lainnya dilakukan oleh Ayushi Gahlot et al tahun 2016 yang mendeteksi atau pelacakan satu atau lebih banyak orang yang bergerak di bidang jangkauan sensor, dengan menggunakan data bagian-bagian pelacakan (tracked) pada sensor kinect. Difokuskan pada bagaimana sensor Kinect menangkap informasi 3D dari sebuah adegan dan mengenali tindakan yang dilakukan oleh tubuh manusia dengan mengambil informasi depth image dan pelacakan kerangka secara real-time. Sistem yang dibuat dapat mengenali pergerakan tubuh manusia yaitu pose berdiri, pose duduk dan pose membungkuk.
Andres Traumann, Gholamreza Anbarjafari dan Sergio Escalera pada tahun 2015 membuat sebuah sistem virtual fitting room yang dapat merubah texture dan warna pakaian yang dipakai oleh pengguna menggunakan kinect 2. Metode yang diusulkan disini telah dikembangkan bersama fokus pada aplikasi virtual fitting room. Penelitian ini menggantikan tekstur kemeja dengan tekstur kostum baru dari sebuah file gambar.
Thiago Motta, Manuel Loaiza, Alberto Raposo pada tahun 2014 membuat sebuah penelitian Kinect Projection Mapping dimana menggabungkan antara Augmented Reality dengan Kinect sensor dan proyektor. Dalam konteks penelitian ini, sebuah framework dikembangkan untuk memperhitungkan data kalibrasi dan mencapai pemetaan dinamis menggunakan Microsoft Kinect. Tujuan akhirnya adalah untuk memungkinkan aplikasi grafis untuk memanfaatkan data yang berasal dari Kinect-Kalibrasi proyektor dan menerapkannya ke lingkungan yang nyata.
Pada tahun 2014 G. Yolcu, S. Kazan dan C. Oz melakukan penelitian yang mengusulkan pendekatan pengolahan citra real time untuk memungkinkan pengguna mencoba pakaian virtual di depan cermin maya. Gerakan tangan pengguna memilih pakaian dari daftar di layar.
Setelah itu representasi virtual pengguna mengenakan pakaian virtual yang dipilih muncul di cermin maya.
1.2. Rumusan Masalah
Tata Surya merupakan sekumpulan benda langit yang terikat gaya gravitasi sehingga membentuk suatu sistem. Untuk mempermudah proses belajar anak-anak, dibutuhkan sebuah sistem yang dapat dijadikan media pembelajaran interaktif mengenai Tata Surya dimana anak (pengguna) berperan langsung melalui tindakan dan visual secara realtime (learning by doing).
1.3. Batasan Masalah
Adapun batasan yang dibuat oleh peneliti adalah : 1. Jarak kinect dari lantai minimal 85 cm.
2. Hanya untuk satu pengguna.
3. Sistem berada didalam ruangan.
1.4. Tujuan Penelitian
Tujuan dibuatnya penelitian ini adalah untuk membuat sebuah sistem interaktif dalam pembelajaran sistem tata surya.
1.5. Manfaat Penelitian
Adapun manfaat dari Penelitian ini adalah :
1. Sebagai media pembelajaran interaktif untuk mempelajari sistem Tata Surya.
2. Membantu pembelajaran anak-anak terhadap sistem tata surya.
3. Mempermudah anak-anak (pengguna) dalam mempelajari sistem Tata Surya serta pengguna dapat memiliki pengalaman secara visual.
4
1.6. Metodologi Penelitian
Metodologi penelitian yang digunakan pada penelitian ini adalah:
1. Studi Literatur
Tahap ini merupakan tahap dimana peneliti mengumpulkan bahas referensi melalui buku, jurnal, dan beberapa referensi lainnya mengenai sensor kinect, cara kerja sensor kinect, pemetaan badan (Body Mapper), arah persendian badan (Body Joints Orientation) dan pemisahan latar belakang (Background Removal).
2. Analisis
Tahap ini merupakan tahap dimana melakukan analisis terhadap sensor kinect dan gambaran Tata Surya dari referensi yang telah dikumpulkan untuk mendapatkan pemahaman serta masalah yang terjadi dan cara menyelesaikannya.
3. Perancangan
Tahap ini merupakan tahap dimana pembuatan arsitektur tampilan sistem yang berdasarkan pada analisis studi literatur agar tampilan yang dibuat sesuai sasaran dan mudah digunakan.
4. Implementasi
Tahap ini merupakan tahap pembuatan kode sistem menggunakan Unity dan Visual Studio dengan menggunakan bahasa C#.
5. Pengujian
Tahap ini merupakan tahap dimana melakukan uji-coba terhadap kode program yang telah dibuat serta memastikan fungsi program berjalan dengan baik dan sesuai perancangan sistem.
6. Penyusunan Laporan
Tahap ini merupakan tahap dokumentasi dari sistem yang dibuat berdasarkan tahap sebelumnya.
1.7. Sistematika penulisan
Sistematika penulisan dari skripsi ini terdiri dari lima bagian utama sebagai berikut:
Bab 1 Pendahuluan
Bab ini berisi latar belakang, rumusan masalah, batasan masalah, tujuan penelitian, manfaat penelitian, metodologi penelitian, dan sistematika penulisan.
Bab 2: Landasan Teori
Bab ini berisi teori-teori yang digunakan sebagai pemahaman permasalahan yang dibahas pada penelitian ini. Teori-teori yang akan dibahas seputar Tata Surya, anak usia dini dan kinect.
Bab 3: Analisis dan Perancangan
Bab ini berisi analisis dan penerapan sensor kinect untuk mendeteksi gerakan manusia berdasarkan gerak tubuh serta berisi arsitektur umum, 3D, Texturing, Coordinate Mapper, Background Removal, Body Joints Orientation, diagram aktivitas dan rancangan tampilan sistem sebagai acuan dalam pembuatan sistem.
Bab 4: Implementasi dan Pengujian
Bab ini berisi pembahasan tentang implementasi dari analisis dan perancangan yang disusun pada Bab 3 dan pengujian apakah hasil yang didapatkan sesuai dengan yang diharapkan.
Bab 5: Kesimpulan Dan Saran
Bab ini berisi kesimpulan dari keseluruhan uraian bab-bab sebelumnya dan saran-saran yang diajukan untuk pengembangan penelitian selanjutnya.
BAB 2
LANDASAN TEORI
Bab ini membahas tentang teori penunjang dan penelitian sebelumnya yang berhubungan dengan penerapan metode coordinates mapper dan body joint orientation untuk pengenalan tata surya.
2.1 Media Interaktif
Media interaktif adalah metode komunikasi dimana output program bergantung pada input pengguna, dan input pengguna pada gilirannya mempengaruhi keluaran program.
Media interaktif melibatkan pengguna dan berinteraksi dengannya dengan cara yang tidak dilakukan media non-interaktif. Situs web dan video game adalah dua jenis media interaktif yang umum. Film dan kebanyakan acara TV umumnya tidak dianggap media interaktif; Namun, menunjukkan bahwa membutuhkan partisipasi penonton dapat dianggap sebagai media interaktif. Media sosial adalah contohnya. Situs menggunakan grafis dan teks untuk memungkinkan pengguna berbagi foto dan informasi tentang diri mereka sendiri, mengobrol dan bermain game. Video games adalah jenis media interaktif lainnya. Pemain menggunakan kontroler untuk merespons isyarat visual dan suara di layar yang dihasilkan oleh program komputer (Investopedia, 2018).
Media interaktif adalah integrasi media digital termasuk kombinasi teks elektronik, grafik, gambar bergerak, dan suara, menjadi terstruktur di dalam lingkungan komputerisasi digital yang memungkinkan orang berinteraksi dengan data untuk tujuan yang tepat. Lingkungan digital bisa meliputi Internet, telekomunikasi dan televisi digital interaktif. Tak heran sulit bagi pendatang baru untuk mengerti. Yang penting konsep yang harus dipegang adalah 'interaktif' dan 'media' di berbagai bidang 'Saluran pengiriman' atau 'platform' (Elaine, 2002)
Media interaktif terdiri dari 12 tipe (Spacey, 2017) diantaranya yaitu : 1. Aplikasi Perangkat Lunak
Perangkat lunak dirancang sebagai alat untuk pengguna seperti platform manajemen pengetahuan. Aplikasi adalah perangkat lunak yang dirancang untuk digunakan oleh orang. Ini berbeda dengan sistem yang terutama ditujukan untuk mengimplementasikan otomasi, kontrol dan pengolahan data yang tidak memerlukan antarmuka pengguna.
2. Aplikasi
Aplikasi adalah perangkat lunak yang melakukan fungsi tunggal untuk pengguna.
Istilahnya berawal dari aplikasi kecil yang dirancang untuk ponsel pintar awal. Saat ini,
"aplikasi" hampir identik dengan perangkat lunak untuk perangkat seluler.
3. Permainan
Menghibur dan menarik perangkat lunak yang mungkin menyerupai dunia digital.
Bentuk permainan atau olahraga, terutama yang kompetitif dimainkan sesuai peraturan dan diputuskan oleh keterampilan, kekuatan, atau keberuntungan
4. Virtual Reality
Pengalaman digital yang membuat pengguna merasa seolah-olah sedang menjelajahi dunia yang merupakan konstruksi digital atau merupakan kembar digital dari kenyataan fisik.
5. Pervasive Game
Pervasive Game adalah permainan yang menggunakan lokasi dunia nyata dalam permainan game. Misalnya, orang mungkin berinteraksi dengan karakter game virtual di lokasi dunia nyata menggunakan perangkat seluler. Dalam banyak kasus, Pervasive Game adalah permainan multi-pemain yang mungkin melibatkan pertemuan fisik untuk menyelesaikan tahap permainan. Ini juga memungkinkan untuk secara acak bertemu dengan pemain lain yang berada dalam pengejaran serupa di dunia nyata
6. Video Interaktif
Video dan televisi dengan fitur interaktif seperti streaming video yang dapat dinikmati oleh khalayak.
7. Publikasi
Publikasi seperti situs web yang memungkinkan pengguna menavigasi, berkomunikasi dan berpartisipasi.
8. Sosial Media
Komunitas digital yang memungkinkan media dinavigasi, dibagi dan dibuat.
8 9. Seni
10. Iklan
Periklanan digital, outdoor dan in-store yang menampilkan elemen interaktif seperti poster digital yang bereaksi terhadap orang-orang yang berada dalam kedekatannya.
11. Theme Park
Tempat wisata taman hiburan yang memadukan media seperti film dengan unsur fisik seperti roller coaster
12. Sinema
Sinema interaktif yang memungkinkan penonton berperan dalam film tersebut. Secara teori, film bisa seperti permainan.
2.2 Sistem Tata Surya
Tata surya terdiri dari Matahari; delapan planet resmi, setidaknya tiga "planet kerdil", lebih dari 130 satelit di planet, sejumlah besar tubuh kecil (komet dan asteroid), dan media antarplanet. (Mungkin juga ada lebih banyak lagi satelit planet yang belum ditemukan) (Nineplanets, 2014)
Sistem tata surya bagian dalam berisi Matahari, Merkurius, Venus, Bumi dan Mars. Sabuk asteroid utama terletak di antara orbit Mars dan Jupiter. Planet-planet luar di tata surya adalah Jupiter, Saturnus, Uranus, dan Neptunus. Hal pertama yang harus diperhatikan adalah tata surya kebanyakan ruang kosong. Planetnya sangat kecil dibandingkan dengan ruang di antara keduanya. Bahkan terlalu besar untuk digunakan dalam skala yang tepat sehubungan dengan ukuran orbitnya. Berdasarkan jaraknya dari Matahari (EnchantedLearning, 2016), kedelapan planet Tata Surya ialah Merkurius (57,9 juta km), Venus (108,2 juta km), Bumi (149,6 juta km), Mars (227,9 juta km), Yupiter (778.3 juta km), Saturnus (1,427.0 juta km), Uranus (2,871.0 juta km), dan Neptunus (4,497.1 juta km).
Tata surya kita terdiri dari matahari, delapan planet resmi, beberapa planet kerdil, dan ratusan satelit planet, atau bulan. Ini juga mengandung komet, asteroid, dan awan gas. Matahari adalah pusat tata surya. segala sesuatu yang lain di tata surya berjalan mengelilingi atau mengorbit matahari. merkuri, venus, bumi dan mars adalah planet dalam dan berbatu. Mereka terbuat dari bahan keras. Planet luar adalah jupiter, saturn, uranus dan neptune. Mereka dikenal sebagai raksasa gas dan kebanyakan terbuat dari gas. Planet luar ratusan kali lebih besar dari bumi (Cooper, 2016).
Orbit planet adalah elips dengan Matahari pada satu fokus, meskipun semua kecuali Merkurius hampir melingkar. Orbit planet kurang lebih sama di bidang yang sama (disebut ekliptika dan didefinisikan oleh bidang orbit bumi). Ekliptika cenderung hanya 7 derajat dari bidang ekuator Matahari. Mereka semua mengorbit ke arah yang sama (berlawanan arah jarum jam dari bawah kutub utara Sun); Semua kecuali Venus dan Uranus.
Hukum Gerakan Planet Kepler menjabarkan bahwa orbit dari objek-objek Tata Surya sekeliling Matahari bergerak mengikuti bentuk elips dengan Matahari sebagai salah satu titik fokusnya. Objek yang berjarak lebih dekat dari Matahari (sumbu semi-mayor-nya lebih kecil) memiliki tahun waktu yang lebih pendek. Pada orbit elips, jarak antara objek dengan Matahari bervariasi sepanjang tahun. Jarak terdekat antara objek dengan Matahari dinamai perihelion, sedangkan jarak terjauh dari Matahari dinamai aphelion. Semua objek Tata Surya bergerak tercepat di titik perihelion dan terlambat di titik aphelion. Orbit planet-planet bisa dibilang hampir berbentuk lingkaran, sedangkan komet, asteroid dan objek sabuk Kuiper kebanyakan orbitnya berbentuk elips.
Untuk mempermudah representasi, kebanyakan diagram Tata Surya menunjukan jarak antara orbit yang sama antara satu dengan lainnya. Pada kenyataannya, dengan beberapa perkecualian, semakin jauh letak sebuah planet atau sabuk dari Matahari, semakin besar jarak antara objek itu dengan jalur edaran orbit sebelumnya. Sebagai contoh, Venus terletak sekitar sekitar 0,33 satuan astronomi (SA) lebih dari Merkurius, sedangkan Saturnus adalah 4,3 SA dari Yupiter, dan Neptunus terletak 10,5 SA dari Uranus. Beberapa upaya telah dicoba untuk menentukan korelasi jarak antar orbit ini (hukum Titus-Bode), tetapi sejauh ini tidak satu teori pun telah diterima.
Hampir semua planet-planet di Tata Surya juga memiliki sistem sekunder. Kebanyakan adalah benda pengorbit alami yang disebut satelit. Beberapa benda ini memiliki ukuran lebih besar dari planet. Hampir semua satelit alami yang paling besar terletak di orbit sinkron, dengan satu sisi satelit berpaling ke arah planet induknya secara permanen. Empat planet terbesar juga memliki cincin yang berisi partikel-partikel kecil yang mengorbit secara serempak.
10
Gambar 2.1. Gambaran Umum Tata Surya (Cooper, 2016)
Gambar 2.1 merupakan gambaran umum dari sistem Tata Surya, dengan gambar ini kita dapat belajar dan memvisualisasikan sistem Tata Surya.
2.3 Pendidikan Anak Usia Dini
Di Indonesia pengertian anak usia dini ditujukan kepada anak yang berusia 0-6 tahun, seperti dalam Undang-undang Republik Indonesia Nomor 20 tahun 2003 tentang Sistem Pendidikan Nasional pada Pasal 1 ayat 14 yang menyatakan pendidikan anak usia dini adalah pendidikan yang diperuntukkan bagi anak sejak lahir sampai usia 6 tahun. Sedangkan Anak usia dini menurut NAEYC (National Association for The Education of Young Children), adalah anak yang berusia antara 0 sampai 8 tahun yang mendapatkan layanan pendidikan di taman penitipan anak, penitipan anak dalam keluarga (family child care home), pendidikan prasekolah baik negeri maupun swasta, taman kanak-kanak (TK) dan sekolah dasar (SD).
Soemiarti (2003), menyebutnya anak prasekolah, yang di Indonesia biasanya mengikuti program di Tempat Penitipan Anak, Pendidikan pada masa anak-anak, dan Taman Kanak- kanak. Pendidikan pada masa anak-anak merupakan pendidikan yang paling fundamental karena perkembangan anak di masa selanjutnya sangat ditentukan oleh berbagai stimulasi bermakna yang diberikan sejak usia dini.
Vogotsky berpendapat bahwa bermain dan aktifitas yang bersifat konkrit dapat memberikan momentum alami bagi anak untuk belajar sesuatu yang sesuai dengan tahap perkembangan umurnya (Age Appropriate), dan kebutuhan spesifik anak (Individual Needs).
Bermain adalah cara yang paling efektif untuk mematangkan perkembangan anak pada usia pra-sekolah (Pre-operatioanal thinking), dan pada masa sekolah dasar (Concrete operatioanal thinking).
Pendekatan dalam pendidikan anak usia dini diantaranya : 1. Berorientasi pada kebutuhan anak
Sesuai dengan perkembangan zaman saat ini, dibutuhkan kegiatan pembelajan yang memberikan kemampuan (skill) anak dari segi IPTEK serta dapat menguasai lebih dari satu bahasa. Kegiatan pembelajaran pada anak usia dini juga senantiasa berorientasi kepada kebutuhan anak untuk mendapatkan layanan pendidikan, kesehatan, dan gizi yang dilaksanakan secara integratif dan holistik.
2. Berorientasi pada perkembangan anak
Perkembangan merupakan suatu proses yang bersifat kumulatif, artinya perkembangan terdahulu akan menjadi dasar bagi perkembangan selanjutnya. Oleh sebab itu, apabila terjadi hambatan pada perkembangan terdahulu maka perkembangan selanjutnya cenderung akan mendapatkan hambatan (Jamaris, 2006)
3. Anak usia dini belajar melalui bermain
Mengutip pernyataan Mayesty (1990) bagi seorang anak, bermain adalah suatu kegiatan yang mereka lakukan sepanjang hari karena bagi anak bermain adalah hidup dan hidup adalah bermain. Anak usia dini tidak membedakan antara bermain, belajar, dan bekerja.
Anak-anak umumnya sangat menikmati permainan dan akan terus melakukannya di manapun mereka memiliki kesempatan. Pembelajaran anak usia dini menganut pendekanan bermain sambil belajar atau belajar sambil bermain. Dengan bermain anak menggunakan otot tubuhnya, menstimulasi indera-indera tubuhnya, mengeksplorasi dunia sekitarnya, menemukan seperti apa diri mereka sendiri. Dengan bermain, anak- anak menemukan dan mempelajari hal-hal atau keahlian baru dan belajar (learn) kapan harus menggunakan keahlian tersebut, serta memuaskan apa yang menjadi kebutuhannya (need). Lewat bermain, fisik anak akan terlatih, kemampuan kognitif dan kemampuan berinteraksi dengan orang lain akan berkembang.
4. Pembelajaran aktif, kreatif, efektif, dan menyenangkan (PAKEM) 5. Pembelajaran terpadu
12 Collin dan Hazel (1991) menyatakan bahwa pembelajaran terpadu merupakan suatu bentuk pembelajaran yang memadukan peristiwa peristiwa otentik (authentic events) melalui pemilihan tema yang dapat mendorong rasa keinginan anak (driving force) untuk memecahkan masalah melalui pemilihan pendekatan eksplorasi atau investigasi (inquiry approach).
6. Pengembangan keterampilan hidup
Pembelajaran life skill biasanya disebut juga dengan kecakapan hidup ini dalam praktik di kelas haruslah menggunakan metode bervariatif, antara lain metode bernyanyi, bercerita, bermain peran, demonstrasi, penugasan. Keterlibatan anak dalam berbagai kegiatan membuat mereka aktif bergerak dan berpikir.
Terdapat sejumlah prinsip pembelajaran pada pendidikan anak usia dini, diantaranya : 1. Anak sebagai pembelajar aktif
2. Anak belajar melalui sensori dan panca indera 3. Anak membangun pengetahuan sendiri
4. Anak berpikir melalui benda konkrit 5. Anak belajar dari lingkungan
2.4 Kinect
Microsoft Kinect adalah sebuah perangkat yang menggunakan gerakan penggunanya sebagai kontroler. Microsoft Kinect dibangun dari perangkat lunak teknologi yang dikembangkan secara internal oleh Rare, anak perusahaan dari Microsoft Game Studios milik Microsoft.
Pengembang sensor kamera pada Microsoft Kinect dikembangkan oleh pengembang Israel, PrimeSense. PrimeSense mengembangkan sistem yang dapat mengintepretasikan gestur secara spesifik, sehingga kontrol secara hands-free dapat dilakukan pada perangkat elektronik menggunakan proyektor infrared dan kamera, serta microchip khusus untuk melacak pergerakan objek dan individu pada bidang tiga dimensi. Sistem 3D scanner tersebut dinamakan Light Coding yang menggunakan variasi dari rekonstruksi gambar 3D.
Kinect diluncurkan di Amerika Utara pada tanggal 4 November 2010, di Eropa pada tanggal 10 November 2010, di New Zealand, Australia dan Singapura pada tanggal 18 November 2010 dan di Jepang pada tanggal 22 November 2010.
Kinect merupakan sebuah depth camera yang berbeda dengan kamera biasa dan berfungsi untuk menangkap jarak dari suatu objek pada suatu ruangan. Kecepatan kinect dapat
dihitung dengan sebuah inputan berupa posisi objek (Catuhe, 2012). Nilai inputan diperoleh dari Skeleton Tracking atau Depth Tracking. Cara mendapatkan inputan tersebut dengan membuat sebuah threshold.
Gambar 2.2. Jarak Threshold (wira, 2014).
Gambar 2.2 merupakan sebuah jarak dimana Titik U sebagai posisi yaitu User berdiri dan titik K adalah posisi Kinect, sedangkan titik U1 sebagai marker awal dan U2 sebagai marker akhir. (Wira, 2014)
Gambar 2.3 Spesifikasi dari Sensor Kinect 2 (Gour, 2016)
Gambar 2.3 merupakan spesifikasi dari sensor kinect 2 yang terdiri dari RGB Camera, 3D Depth Sensor, dan Multi Microphore Array. Kamera RGB merupakan fitur yang digunakan untuk pengenalan wajah dan deteksi lainnya dengan mendeteksi tiga komponen warna yaitu Red, Green, dan Blue. Kamera mirip webcam ini dapat menangkap video dengan warna 32bit pada 30frames/detik dengan resolusi 1920 x 1080.
Kinect perangkat sensor gerak yang terutama digunakan untuk keperluan Gaming.
Microsoft mengembangkan banyak aplikasi yang menyediakan antarmuka untuk Kinect.
Microsoft mengembangkan windows SDK dengan versi 2.0 terbaru. Kinect untuk Windows V2 memiliki banyak perbaikan dari versi sebelumnya. Kinect versi terbaru meningkatkan spesifikasi teknis dan pelacakan sistem pemindahan fisik dan bekerja dengan kamera kedalaman 512 × 424 dengan kemampuan untuk merasakan kedalaman frekuensi 30 Hz dan resolusi 1920 × 1080, Frame rate 60 FPS dan Latency 60 Ms. Color Camera Captures Video
14 1080p pada 30 Hz dan pemancar infra merah memiliki kemampuan serupa. Window SDK menyediakan alat untuk mengembangkan aplikasi Kinect yang memungkinkan windows berisi pemindaian dan pemodelan 3D- Object (Gour, 2016).
Kinect Skeletal tracking berfungsi melacak titik sendi utama tubuh manusia dengan memanfaatkan fitur depth sensor untuk memetakan objek-objek berdasarkan jarak yang akan dibandingkan dengan data training. Data training tersebut dibuat menggunakan 100.000 frame gambar manusia yang diambil dari posisi yang berbeda-beda pada saat berdiri, oleh karena itu Kinect dapat mendeteksi kaki manusia ketika duduk (Hartono, 2015).
Gambar 2.4 menunjukan skeleton atau titik-titik sendi yang terdapat pada tubuh manusia, terdapat 25 titik sendi yang dapat dideteksi oleh sensor kinect yaitu SpineBase, SpineMid, SpineShoulder, Neck, Head, ShoulderLeft, ElbowLeft, WristLeft, HandLeft, ShoulderRight, ElbowRight, WristRight, HandRight, ThumbRight, HipLeft, KneeLeft, AnkleLeft, FootLeft, HipRight, KneeRight, AnkleRight, FootRight, HandTipLeft, ThumbLeft, HandtipRight dan titik-titik ini kemudian dihubungkan sehingga membentuk sebuah kerangka.
Gambar 2.4 Hirarki Persendian (joints hierarchy) (Hoover, 2017)
2.5 Microsoft Kinect SDK
Kinect for windows SDK merupakan toolkit pemograman untuk developer aplikasi yang menyediakan kemampuan-kemampuan Kinect bagi para developer yang akan membuat aplikasi dengan C++, C# maupun Visual Basic. Kinect SDK versi 2 merupakan versi terbaru dari versi pertama. Adapun fitur yang disediakan oleh SDK 2 ini, antara lain :
1. Peningkatan pelacakan kerangka (skeleton)
Ketajaman yang disempurnakan dari kamera kedalaman, dikombinasikan dengan perbaikan pada perangkat lunak, telah menghasilkan sejumlah perkembangan pelacakan skeleton. Selain sekarang melacak sebanyak enam kerangka lengkap (dibandingkan dua sensor asli), dan melacak 25 sambungan per orang (dibandingkan dengan 20 dengan sensor aslinya), posisi yang dilacak lebih akurat secara anatomi dan stabil - dan jangkauan pelacakan lebih luas Ini memungkinkan dan menyederhanakan banyak skenario, termasuk avateering yang lebih stabil, evaluasi posisi tubuh yang lebih akurat, interaksi yang lebih tajam, dan keterlibatan penonton yang lebih banyak dalam skenario interaktif.
2. Kedalaman yang lebih tinggi
Dengan keakuratan yang lebih tinggi dan tingkat noise yang meningkat secara signifikan, sensor v2 memberi Anda visualisasi 3D yang lebih baik, kemampuan yang meningkat untuk melihat objek yang lebih kecil dan semua objek lebih jelas, dan pelacakan kerangka yang lebih stabil.
3. Video HD 1080p
Kamera warna menangkap video 1080p yang indah dan dapat ditampilkan dalam resolusi yang sama dengan layar tampilan, memungkinkan berbagai skenario hebat. Selain meningkatkan komunikasi video dan aplikasi analisis video, ini memberikan masukan bagus untuk membangun skenario realitas dan peningkatan kualitas tinggi, sinyal digital, dan lainnya.
4. Kemampuan inframerah aktif yang baru
Selain membiarkan sensor Kinect for Windows v2 terlihat dalam kegelapan, kemampuan inframerah (inframerah) baru menghasilkan tampilan pencahayaan-independen, yang membuat pembelajaran mesin atau tugas berbasis komputer lebih mudah dilakukan - karena Anda tidak perlu memperhitungkan atau memodelkan variasi berbasis pencahayaan. Dan sekarang Anda bisa menggunakan IR dan warna pada saat bersamaan.
16 Kami menantikan banyak penggunaan baru dan inovatif yang akan dikembangkan masyarakat untuk menggunakan kemampuan mendasar ini.
5. Bidang pandang yang lebih luas / diperluas
Bidang pandang yang diperluas memungkinkan area yang lebih besar dari sebuah adegan untuk ditangkap oleh kamera. Akibatnya, pengguna bisa lebih dekat ke kamera dan masih dalam tampilan, dan kamera ini efektif di atas area yang lebih luas.
Selain fitur kunci sensor baru, Kinect for Windows SDK 2.0 mencakup:
1. Orientasi kerangka, tangan, dan sambungan yang ditingkatkan: Dengan kemampuan untuk melacak sebanyak enam orang dan 25 sendi rangka per orang, termasuk sambungan baru untuk ujung tangan, ibu jari, dan pusat bahu serta pemahaman yang lebih baik tentang jaringan ikat yang lembut dan posisi tubuh. mendapatkan posisi yang lebih akurat secara anatomis untuk interaksi yang tajam dan avateering yang lebih akurat.
Peningkatan kemampuan ini menghasilkan avatar yang lebih hidup dan membuka skenario baru dan lebih baik dalam kebugaran, kesehatan, pendidikan dan pelatihan, hiburan, game, film, komunikasi, dan banyak lagi.
2. Dukungan untuk lingkungan pengembangan baru: Dukungan New Unity menyediakan dukungan kualitas yang lebih cepat, hemat biaya, dan berkualitas tinggi untuk pengembangan lintas platform, yang memungkinkan pengembang membuat aplikasi mereka untuk Windows Store dengan menggunakan alat yang sudah mereka ketahui.
3. Peralatan Powerfull: Berkat fitur perekaman dan pemutaran Kinect Studio yang disempurnakan, pengembang dapat berkembang saat dalam perjalanan, tanpa perlu memiliki sensor Kinect dengan mereka setiap saat. Dan Gesture Builder memungkinkan pengembang membuat isyarat adat mereka sendiri yang dikenali dan dikenali sistem untuk menulis kode dengan menggunakan pembelajaran mesin. Fitur ini meningkatkan produktivitas dan menekan biaya.
4. Pelacakan wajah tingkat lanjut: Dengan peningkatan resolusi yang signifikan, aplikasi dapat menangkap wajah dengan mesh 2.000 titik yang terlihat lebih sesuai dengan kehidupan. Ini berarti avatar akan terlihat lebih hidup.
5. Dukungan multi-aplikasi simultan: Dukungan multi-aplikasi baru memungkinkan lebih dari satu aplikasi mengakses satu sensor secara bersamaan. Ini berarti Anda bisa memiliki aplikasi intelijen bisnis yang berjalan bersamaan saat pelatihan atau pengalaman ritel atau penelitian yang berjalan, memungkinkan Anda mendapatkan analisis secara real time.
2.6 Unity 3D
Unity adalah software penyusun yang terintegrasi untuk membuat Game 3D atau konten interaktif lain seperti visualisasi arsitektur atau konten 3D interaktif lainnya. Unity Berjalan di Microsoft Windows dan Mac OS dan dapat mengembangakan game yang berjalan di Windows, Mac, Xbox 360, PlayStation3, Web, Wii, iOS, AnDrone dan baru-baru ini Flash . Dengan kata lain, fungsi Unity disini sebagai software pembangun aplikasi dan coding editor pada aplikasi yang akan dibuat. Unity 3D berperan dalam menciptakan obyek maya 3D dan proses rendering grafis sama seperti yang dilakukan pada lingkungan antarmuka Unity 3D.
Mesh merupakan bentuk dasar dari obyek 3D. Pembuatan mesh tidak dilakukan pada Unity. Sementara GameObjects adalah kontainer untuk semua komponen lainnya. Semua obyek dalam permainan disebut game objects. Material digunakan dan dihubungkan dengan mesh atau renderer partikel yang melekat pada game object. Material berhubungan dengan penyaji Mesh atau partikel yang melekat pada GameObject tersebut. Mereka memainkan bagian penting dalam mendefinisikan bagaimana obyek ditampilkan. Mesh atau partikel Tidak dapat ditampilkan tanpa material karena material meliputi referensi untuk shader yang digunakan untuk membuat Mesh atau Partikel. Material digunakan untuk menempatkan Tekstur ke GameObjects.
2.7 Penelitihan Terdahulu
Berbagai penelitian telah dilakukan untuk menyempurnakan, menggabungkan, dan bahkan menemukan teknik rekomendasi baru. Penulis menggunakan penelitian yang telah dibuat sebelumnya sebagai rujukan maupun pertimbangan metode yang tepat untuk digunakan dalam permasalahan penelitian ini. Penulis menggunakan beberapa metode rekomendasi yang penulis gunakan diantaranya:.
Penelitian yang pernah dilakukan oleh Purvi Agarwal et al tahun 2017 yaitu sebuah robot yang dapat digerakan menggunakan sensor Kinect sehingga robot dapat bergerak sesuai pergerakan pengguna. Dengan menggunakan nilai kedalaman yang diambil dari komponen Coordinates Mapping dan lokasi target manusia dari komponen pendeteksi manusia (kinect), robot mampu mengikuti target manusia dan sekaligus memeriksa apakah jarak target dan target manusia. Nilai range Klasifikasi batas pergerakan Robot yaitu 2-4 meter gerakan maju, 1.5-2 meter gerakan berhenti dan 0.5-1.5 meter gerakan mundur.
Pada tahun 2016 Branislav Sobota, Ladislav Jacho, dan Štefan Korečko melakukan penelitian sistem pelatihan dimana avatar dikontrol dengan bantuan gerakan tubuh manusia.
18 Pengendalian sistem rangka (skeleton) adalah objek. Tujuannya adalah untuk membuat avatar humanoid termasuk sistem transformasi (pergerakan) tertentu dan transformasi didasarkan pada data yang dipilih sensor. Gerakan avatar berdasarkan rekaman gerakan tubuh manusia dan seperti menggunakan avatar untuk melatih pengguna manusia. Meski avatarnya dibuat mirip dengan manusia dengan penampilan, perilaku, pemikiran, perasaan dan fitur lainnya.
Pengguna manusia dapat memilih avatar dan baju yang akan dikenakan oleh avatar dan avatar dapat bergerak sesuai gerakan pengguna manusia. Disebut juga dengan penerapan virtual fitting room yang dikembangkan untuk aplikasi berbasis Windows dengan kemungkinan untuk mencoba berbagai pakaian di avatar 3D secara responsif terhadap pergerakan pengguna. Sistem yang dibuat dikembangkan menggunakan Microsoft .NET Framework versi 4.0 dan Microsoft Visual Studio 2013. Aplikasi ini menggunakan dua piranti lunak termasuk Kinect SDK yang mendukung metode ekstraksi tubuh manusia. Penerapan fitting room seharusnya bisa mencapai dua fungsi inti dari tampilan pengguna. Yang pertama pengguna memilih model avatar.
Terdapat pilihan pakaian yang diinginkan dari koleksi yang ada. Dalam hal ini bahan kain dipetakan pada model avatar, yang responsif terhadap pergerakan pengguna. Pengguna menavigasi koleksi menggunakan isyarat tangan (gesek ke kiri dan gesek ke kanan).
Antarmuka pengguna grafis termasuk tombol di layer overlay. Interaksi dimulai jika pengguna memegang tangan untuk sementara waktu, seperti yang diketahui dari aplikasi dengan dukungan Kinect. Tindakan ini ditafsirkan ke sistem sebagai klik.
Penelitian lainnya dilakukan oleh Ayushi Gahlot et al tahun 2016 yang mendeteksi atau pelacakan satu atau lebih banyak orang yang bergerak di bidang jangkauan sensor, dengan menggunakan data bagian-bagian pelacakan (tracked) pada sensor kinect. Difokuskan pada bagaimana sensor Kinect menangkap informasi 3D dari sebuah adegan dan mengenali tindakan yang dilakukan oleh tubuh manusia dengan mengambil informasi depth image dan pelacakan kerangka secara real-time. Sistem yang dibuat dapat mengenali pergerakan tubuh manusia yaitu pose berdiri, pose duduk dan pose membungkuk.
Andres Traumann, Gholamreza Anbarjafari dan Sergio Escalera pada tahun 2015 membuat sebuah sistem virtual fitting room yang dapat merubah texture dan warna pakaian yang dipakai oleh pengguna menggunakan kinect 2. Metode yang diusulkan disini telah dikembangkan bersama fokus pada aplikasi virtual fitting room. Penelitian ini menggantikan tekstur kemeja dengan tekstur kostum baru dari sebuah file gambar. Hal ini dibuat dengan menggunakan kamera Microsoft Kinect 2 untuk mendapatkan informasi mendalam (depth image) tentang scene.Dalam penelitian ini segmentasi kemeja telah dilakukan menggunakan
informasi kedalaman (depth) Kinect untuk menghilangkan latar belakang secara efektif dan secara manual menandai beberapa batas dari garmen dan tubuh. Koordinat tekstur dihitung menggunakan informasi tentang koordinat dunia nyata objek yang sesuai dengan koordinat piksel pada gambar. Dengan hanya mempertimbangkan koordinat X dan Y dunia nyata saat membuat peta, menciptakan perspektif yang sangat realistis. Efek dan hasil keseluruhan terlihat sangat realistis. Estimasi pencahayaan dicapai dengan menggunakan pemerataan informasi pencahayaan dari gambar aslinya. Perkiraan Pencahayaannya digunakan untuk menaungi warna tekstur gambar yang baru dan dapatkan hasil yang realistis dimana beberapa bagian permukaan berada dalam bayangan sementara bagian lainnya sangat terang.
Thiago Motta, Manuel Loaiza, Alberto Raposo pada tahun 2014 membuat sebuah penelitian Kinect Projection Mapping dimana menggabungkan antara Augmented Reality dengan Kinect sensor dan proyektor. Dalam konteks penelitian ini, sebuah framework dikembangkan untuk memperhitungkan data kalibrasi dan mencapai pemetaan dinamis menggunakan Microsoft Kinect. Tujuan akhirnya adalah untuk memungkinkan aplikasi grafis untuk memanfaatkan data yang berasal dari Kinect-Kalibrasi proyektor dan menerapkannya ke lingkungan yang nyata, menciptakan visualisasi Augmented Reality dari adegan yang ditangkap di dalam runtime.
Pada tahun 2014 G. Yolcu, S. Kazan dan C. Oz melakukan penelitian yang mengusulkan pendekatan pengolahan citra real time untuk memungkinkan pengguna mencoba pakaian virtual di depan cermin maya. Gerakan tangan pengguna memilih pakaian dari daftar di layar.
Setelah itu representasi virtual pengguna mengenakan pakaian virtual yang dipilih muncul di cermin maya. Untuk menciptakan efek yang lebih realistis, sistem ini memperhitungkan berbagai gambar pakaian sesuai dengan pose dan gerakan manusia yang berbeda. Selain itu, mengembangkan algoritma untuk mencocokkan semua gerakan antara pakaian virtual dan manusia. Dalam penelitian ini, mendapatkan keuntungan dari Microsoft Kinect SDK untuk mengikuti gerakan pengguna, mengkoordinasikan alat pencocokan pakaian yang sesuai dan memberikan efek sortir mendalam pada tubuh manusia dan pakaiannya. Selain percobaan pakaian, proyek cermin virtual juga digunakan untuk kacamata, perhiasan, tas tangan dan lainnya. sistem berfokus pada menempatkan garmen dengan benar pada kerangkanya. Kinect memastikan hasil optimal. Kinect juga memungkinkan akses ke data citra berwarna secara real time. Untuk menempatkan barang pakaian virtual pada pengguna, pertama diubah ukuran citra garmen virtual berdasarkan jarak antara sumbu x bahu dan antara sumbu y pusat pinggul dan pusat bahu.
20
Penelitian yang dilakukan oleh Lan Ziquan pada tahun 2012 yaitu berupa virtual fitting room menggunakan sensor kinect. Dimana pengguna dapat memilih pakaian berupa dress wanita tanpa lengan dan dapat menyimpan hasil foto pengguna dengan pakaian virtual yang telah dipilihnya. Proses pembuatan sistem menggunakan data image dress yang sudah dipisahkan dengan gambar latar belakangnya (background removal). Kinect merekan gerakan pengguna dan melacak bagian head, shoulder center, shoulder left, shoulder right dan hip center. Gambar (image) yang sudah di edit di petakan kebagian tersebut sehingga pengguna terlihat seperti memakai pakaian yang berbeda.
Tabel 2.1 Penelitihan Terdahulu
No Judul Peneliti Keterangan
1. 1. Human Follower Robot Using Kinect
Purvi Agarwal et al (2017)
Menggunakan sensor Kinect sebagai pengendali robot. Dimana pengguna bergerak di depan kinect dan kinect mengubahnya sebagai controller pergerakan robot. Robot dapat bergerak maju, mundur dan berhenti.
2. 2. Application of human body movements on the avatars model for the purpose of virtual training system
Branislav Sobota, Ladislav Jacho, dan Štefan Korečko (2016)
Merekam gerakan tubuh manusia untuk menggerakkan avatar. Seperti motion capture sehingga avatar bergerak sesuai pergerakan pengguna. Pengguna juga dapat memilih pakaian yang akan dikenakan avatar. Dengan menggenggam tangan kinect akan menangkapnya sebagai tindakan pemilihan atau klik dan gerakan navigasi dengan menggeser tangan ke kanan dan ke kiri
Tabel 2.1 Penelitihan Terdahulu (Lanjutan)
No Judul Peneliti Keterangan
3. 3. Skeleton based Human Action Recognition using Kinect
Ayushi Gahlot et al (2016)
Melacak pergerakan tubuh manusia menggunakan body tracking yang ada pada kinect. Dan mengindentifikasi gerakan tubuh manusia sebagai tindakan yg diklasifikasikan sebagai gerakan berdiri, duduk dan membungkuk.
4. 4. A New Retexturing Method for Virtual Fitting Room Using Kinect 2 Camera
Andres Traumann, Gholamreza
Anbarjafari, Sergio Escalera
(2015)
Sebuah sistem virtual fitting room yang dapat merubah texture dan warna pakaian yang dipakai oleh pengguna menggunakan kinect 2. Metode yang diusulkan disini telah dikembangkan bersama fokus pada aplikasi virtual fitting room. Penelitian ini menggantikan tekstur kemeja dengan tekstur kostum baru dari sebuah file gambar.
5. 5. Kinect Projection Mapping
Thiago Motta, Manuel Loaiza, Alberto Raposo (2014)
Aplikasi ini memanfaatkan kinect sebagai media visualisasi bersama dengan proyektor. Kinect bertugas mendeteksi pergerakan pengguna dan memetakannya di tubuh pengguna.
Proyektor bertugas memproyeksi visual ke pengguna sehingga object visual menyatu dengan pengguna secara realtime dan terlihat nyata.
22
Tabel 2.1 Penelitihan Terdahulu (Lanjutan)
No Judul Peneliti Keterangan
6. 6.
Real Time Virtual Mirror Using Kinect
G. Yolcu, S. Kazan dan C. Oz
(2014)
Sistem berupa proyek virtual fitting room. Namun, selain percobaan pakaian, proyek cermin virtual juga digunakan untuk kacamata, perhiasan, tas tangan dan lainnya. sistem berfokus pada menempatkan garmen dengan benar pada kerangkanya.
Kinect memastikan hasil optimal.
Kinect juga memungkinkan akses ke data citra berwarna secara real time.
Untuk menempatkan barang pakaian virtual pada pengguna, pertama diubah ukuran citra garmen virtual berdasarkan jarak antara sumbu x bahu dan antara sumbu y pusat pinggul dan pusat bahu.
7. 7.
Augmented Reality: Virtual fitting room using Kinect
Lan Ziquan (2012)
Sistem yang dibuat merupakan sistem fitting room untuk mencocokkan pakaian secara virtual. Pakaian yang tersedia berupa dress tanpa lengan dan pengguna dapat menyimpan foto dirinya dengan pakaian virtual.
Pakaian virtual berupa foto 2D yang sudah dipisahkan dari background dan di petakan pada spine center (shoulder left dan shoulder right joint) dan hip center.
ANALISIS DAN PERANCANGAN
Pada bab ini membahas tentang data yang digunakan, penerapan metode dan analisis perancangan sistem terhadap implementasi kinect sensor dalam melakukan proses pendeteksian user. Tahapan yang dibahas pada bab ini ada dua, yaitu tahap analis dan tahap perancangan sistem. Adapun dalam tahap analis akan membahas mengenai analisis terhadap metode yang digunakan, sedangkan pada tahap perancangan sistem akan membahas perancangan tampilan antarmuka.
3.1 Arsitektur Umum
Metode yang diajukan penulis terdiri dari beberapa proses. Adapan proses yang akan dilakukan adalah sebagai berikut. langkah awal dalam pengerjaan sistem adalah dengan menghubungkan sistem dengan sensor kinect. Terdapat beberapa proses di dalam sistem, yang pertama yaitu sistem akan mendeteksi keberadaan user yang berada didalam ruang lingkup kinect, kemudian mengubahnya dalam bentuk skeleton dengan memanfaatkan fungsi SDK yang telah ada di Kinect SDK dan pemisahan latar belakang dengan user (Background Removal) kemudian medeteksi joint user. Setelah joint terdeteksi maka GameObject (Astronot) dipetakan (Coordinates Mapper) ke setiap persendian (joint) user dan pergerakan disesuaikan dengan pergerakan sendi tersebut (Body Joint Orientation). Adapun arsitektur umum yang mendeskripsikan setiap metodologi pada penelitian ini ditunjukkan pada Gambar 3.1
24
Gambar 3.1. Arsitektur Umum
3.2 Data yang digunakan
Dalam sistem ini, penulis mengambil data dari gerakan tangan dan gerakan tubuh user yang berasal dari skeleton user ketika bergerak di depan sensor kinect. Beberapa hal yang diperhatikan dalam pembuatan sistem ini adalah :
1. Jarak sensor kinect dari lantai.
2. Jarak sensor kinect dengan user 3. Jumlah user di dalam sistem
Dalam pembuatan sistem ini, penulis menggunakan jarak ± 70 cm dari lantai dan minimal ± 1 meter dari kinect, sistem hanya bisa mendeteksi satu user.
3.2.1 Joints
Dari 25 joints (pada Gambar 2.4) yang terdeteksi, sistem mengambil 23 joints yaitu :
Tabel 3.1 Data joints yang digunakan Urutan Joints Nama Joint Jenis Joints
0 Spine base SpineBase
3 Head Head
4 Shoulder left ShoulderLeft
5 Elbow left ElbowLeft
6 Wrist left WristLeft
7 Hand left HandLeft
8 Shoulder right ShoulderRight
9 Elbow right ElbowRight
10 Wrist right WristRight
11 Hand right HandRight
12 Hip left HipLeft
13 Knee left KneeLeft
14 Ankle left AnkleLeft
15 Foot left FootLeft
16 Hip Right HipRight
17 Knee right KneeRight
18 Ankle right AnkleRight
19 Foot right FootRight
20 Spine shoulder SpineShoulder 21 Hand tip left HandTipLeft
22 Thumb left ThumbLeft
23 Hand tip right HandTipRight
24 Thumb right ThumbRight
Tabel 3.1 menjelaskan data joint yang digunakan untuk body mapper dan body Orientation dalam sistem, joint tersebut terdapat pada library kinect SDK. Joint ini yang akan digunakan untuk user interaction.
26
3.2.2 Objek 3 Dimensi
Proses ini adalah proses pembuatan model objek dalam bentuk 3D di komputer. Model berupa karakter (makhluk hidup), seperti manusia, hewan, atau tumbuhan; atau berupa benda mati, seperti rumah, mobil, peralatan, dan lain-lain. Model harus dibuat dengan mendetail dan sesuai dengan ukuran dan skala pada sktesa desain/model yang telah ditentukan sehingga objek model akan tampak ideal dan proporsional untuk dilihat.
Dalam hal ini digunakan objek astronot. Untuk membuat astronot, penulis menggunakan Blender. Untuk membuat objek astronot, ketika membuka Blender terdapat objek cube, dari objek cube inilah akan dibuat astronot. Untuk mempermudah pembuatan objek astronot, penulis menggunakan sebuah image blueprint manusia sebagai acuan pembuatan karakter dengan pose T. Objek cube tersebut di bentuk menggunakan tools Loop Cut and Slice berdasarkan bentuk blueprint untuk mendapatkan pose dasar manusia. Setelah pose dasar manusia terbentuk, dari objek dasar ini di kostumkan lagi untuk mendapatkan objek astronot.
Gambar 3.2 model astronot yang digunakan
Untuk objek tiga dimensi matahari dan planet lainnya menggunakan objek sphere yang diberi texture seperti pada tabel 3.2. Namun ukuran sphere berbeda-beda untuk setiap planet. Untuk planet saturnus dibuat sebuah cincin menggunakan torus yang dipipihkan.
Gambar 3.3 Objek sphere yang diberi texture matahari 3.2.3 Texturing
Proses ini adalah proses pembuatan dan pemberian warna dan material (texture) pada objek yang telah dimodelkan sebelumnya sehingga akan tampak suatu kesan yang nyata. Pemberian material atau texture pada objek 3D akan mendefinisikan rupa dan jenis bahan dari objek 3D. Material atau texture dapat berupa foto atau gambar yang dibuat dengan aplikasi software 3D. Berikut daftar tabel texture yang digunakan :
Tabel 3.2 Daftar Texturing Planet (Sumber : NASA)
Nama Objek Texture Image
Matahari
28
Tabel 3.2 Daftar Texturing Planet (Sumber : NASA) (Lanjutan)
Nama Objek Texture Image
Merkurius
Venus
Bumi
Tabel 3.2 Daftar Texturing Planet (Sumber : NASA) (Lanjutan)
Nama Objek Texture Image
Bulan
Mars
Yupiter
Saturnus
30
Tabel 3.2 Daftar Texturing Planet (Sumber : NASA) (Lanjutan)
Nama Objek Texture Image
Cincin Saturnus
Uranus
Neptunus
3.3 Deteksi Skeleton Pengguna
Kerangka (Skeleton) dalam frame dapat memiliki status pelacakan "Tracked" atau
"Position Only". Kerangka yang dilacak memberikan informasi rinci tentang posisi di sudut pandang kamera yang terdiri dari dua puluh lima sendi tubuh pengguna.
Kerangka dengan status pelacakan "Position Only" memiliki informasi tentang posisi pengguna, namun tidak ada rincian tentang sendi. Aplikasi dapat menentukan kerangka yang akan dilacak, menggunakan ID pelacakan seperti ditunjukkan pada bagian Pelacakan Pengguna Aktif.Untuk kerangka yang dilacak (tracked), sebuah array sendi menyediakan posisi dua puluh lima sendi manusia yang dikenal di luar angkasa. Misalnya, aplikasi bisa menggunakan sendi tangan untuk memandu kursor di layar atau cukup menarik posisi tubuh pengguna di layar. Persendian juga memiliki
status pelacakan: "Tracked" untuk sambungan yang terlihat jelas, “inferred” bila sambungan tidak terlihat dengan jelas dan Kinect akan menyimpulkan posisinya, atau
"non-tracked", misalnya untuk persendian bagian bawah dalam pelacakan ketika mode duduk.
Secara default, pelacakan kerangka akan memilih dua pengguna pertama.
Perilaku ini konsisten (tidak acak), namun tidak didorong oleh kriteria tertentu. di aplikasi yang diterapkan menggunakan kriteria tertentu, menggantikan perilaku default dan menentukan logika khusus untuk memilih pengguna yang akan dilacak.
Pengguna yg akan dilacak yaitu pengguna yang sedang mengangkat tangannya.
Untuk melakukannya, memilih yang sesuai dengan kebutuhan dan meneruskan ID Tracked ke Track Skeleton untuk Track secara penuh. Setelah memiliki kontrol terhadap pengguna untuk ditrack, sistem pelacakan kerangka tidak akan dikendalikan kembali jika pengguna keluar dari layar, terserah pada aplikasi untuk memilih pengguna baru untuk dilacak. Perhatikan bahwa jika pengguna keluar dari jangkauan sensor kinect dan kembali, dia akan menerima ID pelacakan baru yang dipilih secara acak. ID baru tidak akan terkait dengan yang dimiliki saat keluar dari jangkaun sensor kinect. Dan dapat memilih untuk melacak hanya satu kerangka atau tidak ada kerangka sama sekali dengan mengirimkan ID pelacakan null ke kerangka pelacakan API.
Setelah skeleton pengguna didapatkan tahap selanjutnya yaitu pengambilan persendian (joints) pengguna. Sehingga didapat seperti gambar berikut.
32
Gambar 3.4 Skeleton Tracking dan joints Pengguna 3.4 Background Removal
Background removal merupakan tahap pemisahan antara pixel pengguna dan pixel latar belakang. Ketika kita akan menghapus latar belakang, kita perlu menjaga piksel yang membentuk pengguna dan menghapus hal lain yang bukan milik pengguna.
Kamera kedalaman sensor Kinect sangat berguna untuk menentukan tubuh pengguna.
Namun, kita perlu mencari nilai warna RGB (Red, Green, Blue), bukan jarak yang jauh. Kita perlu menentukan nilai RGB yang sesuai dengan nilai kedalaman pengguna. Menggunakan Kinect, setiap titik di ruang memiliki informasi berikut:
Nilai warna: Merah (Red) + Hijau (Green) + Biru (Blue). Nilai Kedalaman: Jarak dari sensor.
Kamera kedalaman (depth camera) memberi kita nilai kedalaman dan kamera RGB memberi kita nilai warna. Memetakan nilai tersebut menggunakan CoordinateMapper. CoordinateMapper adalah properti Kinect yang berguna yang menentukan nilai warna mana yang sesuai dengan setiap jarak jauh (dan sebaliknya).
Perlu diketahui bahwa frame RGB (1920 × 1080) lebih lebar dari pada frame kedalaman (512 × 424). Akibatnya, tidak setiap piksel warna memiliki pemetaan kedalaman yang sesuai. Namun, pelacakan badan dilakukan terutama dengan
menggunakan sensor kedalaman, jadi tidak perlu khawatir dengan nilai yang hilang.
Background removal memiliki hasil seperti green screen.
Gambar 3.5 Background Removal 3.5 Coordinate Mapper dan Body Joints Orientation
Tugas Coordinate Mapper adalah mengidentifikasi apakah titik dari ruang 3D sesuai dengan titik di ruang 2D warna atau kedalaman (depth) dan sebaliknya.
CoordinateMapper adalah bagian dari kelas KinectSensor. Di dalam kinect terdapat Ruang kamera (Camera Space) yang mengacu pada sistem koordinat 3D yang digunakan oleh Kinect. Sistem koordinat didefinisikan sebagai berikut: Asal (x = 0, y
= 0, z = 0) terletak di pusat sensor IR pada Kinect, X tumbuh ke kiri sensor, Y tumbuh ke atas sensor (perhatikan bahwa arah ini didasarkan pada kemiringan sensor), Z tumbuh di arah sensor yang dihadapi dan 1 unit = 1 meter.
Ruang kedalaman (Depth Space) adalah istilah yang digunakan untuk menggambarkan lokasi 2D pada citra kedalaman (depth). Anggap ini sebagai lokasi baris / kolom dari sebuah pixel dimana x adalah kolom dan y adalah barisnya. Jadi x
= 0, y = 0 sesuai dengan sudut kiri atas gambar dan x = 511, y = 423 (lebar-1, tinggi- 1) adalah sudut kanan bawah gambar. Dalam beberapa kasus, nilai z diperlukan untuk memetakan ruang dalam. Untuk kasus ini, cukup contoh gambar kedalaman pada baris
34
/ kolom yang dimaksud, dan gunakan nilai tersebut (yang kedalamannya dalam milimeter) secara langsung sebagai z.
Operasi yang umum dilakukan pada gambar mendalam (depth image) adalah menghasilkan titik 3D di tempat kejadian (titik target). Dalam kasus ini, tidak akan memproyeksikan dari ruang kedalaman (depth Space) ke ruang kamera (camera space). Gunakan salah satu fungsi berbasis array (MapDepthPointsToCameraSpace) atau ambil tabel pemetaan (GetDepthFrameToCameraSpaceTable) dan lakukan multiply sendiri.
Setelah skeleton dan joints pengguna didapatkan, tugas selanjutnya yaitu memetakan objek 3D ke dalam koordinat persendian (joints). Dalam hal ini sangat diperlukan membagi objek 3D sesuai jenis persendian (joints) yang dipetakan.
Persendian pengguna dapat di akses dengan BodyJoint handleft = body.Joints[JointType.HandLeft]; dan dilakukan untuk setiap jenis persendian yang akan diakses.
Gambar 3.6 Pemotongan Objek 3D untuk Coordinate Mapper
Body Joint Orientation digunakan agar pergerakan objek 3D yang sudah dipetakan bergerak sesuai jenis persendian yang dipetakan. Kinect membaca nilai orientasi persendian sebagai sebuah quaternion. Sebuah quaternion adalah seperangkat 4 nilai: X, Y, Z, dan W. Kinect SDK mengkapsulasi quaternion ke dalam struktur yang disebut Vector4. Kita perlu mengubah quaternion ini (Vector4) menjadi satu set dari 3 nilai numerik. Dengan menggunakan quaternion Orientation, kita dapat menghitung rotasi sendi di sekitar sumbu X, Y, dan Z. Rotasi di sekitar sumbu X
disebut Pitch, rotasi di sekitar sumbu Y disebut Yaw dan rotasi di sekitar sumbu Z disebut Roll. Body joints orientation dapat dipanggil dengan BodyJointOrientation handLeftRot = body.JointsOrientations[JointType.HandLeft];
Gambar 3.7 Arah Persendian (Pterneas, 2017)
3.6 Diagram Aktivitas
Diagram aktivitas merupakan gambaran yang terjadi selama sistem berjalan serta menjelaskan bagaimana alur sistem dimulai, proses, dan keputusan akhir yang didapat.
Berikut diagram aktivitas :
Gambar 3.8 menjelaskan proses aktivitas sistem. Pertama, pengguna menjalankan aplikasi dan memeriksa sambungan Kinect sensor. Jika kinect tidak terhubung maka akan kembali ke tampilan awal dan jika kinect terhubung sistem menampilkan tampilan awal pengguna (user interface). Setelah tampilan terbuka maka sistem mendeteksi apakah ada pengguna yang berada di dalam jangkauan kinect.
Jika tidak ada pengguna yang terdeteksi maka tampilan tetap tidak berubah. Sistem mendeteksi pengguna namun untuk menjalankan sistem, sistem hanya mendeteksi pengguna dengan mengangkat kedua tangan keatas. Pengguna yang mengangkat tangannya keatas di lacak sebagai pemain. Pemain yang terdeteksi setiap pergerakan tubuh dan badannya dilacak (track) dan tangan pemain di lacak sebagai kursor untuk menajalankan sistem. Kursor akan bergerak sesuai gerakan tangan pengguna,
