DESAIN DAN PENGEMBANGAN VISUALISASI DATA DAN MACHINE
9.9 WEBXR: MEMBANGUN VISUALISASI DATA UNTUK WEB
WebXR telah memperkenalkan beberapa kerangka kerja web selama beberapa tahun terakhir, mulai dari React 360 Facebook (sebelumnya dikenal sebagai ReactVR, berdasarkan kerangka kerja frontend ReactJS yang menonjol) dan A-Frame yang lebih populer, untuk membangun pengalaman Virtual Reality. A-Frame, dibuat oleh Diego Marcos dan Kevin Ngo (dengan dukungan Mozilla), menjadi kerangka kerja populer di komunitas kursus terbuka.
Pengembang web telah membuat visualisasi data dengan ReactJS, d3.JS (pustaka visualisasi data masuk yang dibuat oleh Mike Bostock). Setiap insinyur perangkat lunak frontend yang memulai dengan sedikit pengalaman dalam VR dapat mulai membuat visualisasi data dengan data sumber terbuka. Pada Gambar 9-6, data dalam JavaScript Object Notation (JSON) disematkan ke dalam Scene A-Frame yang dimuat ke halaman web. Ini belum tentu dianggap sebagai "visualisasi data besar", tetapi visualisasi data, yang dapat dilihat pengguna dalam headset VR di dalam browser.
Tantangan Visualisasi Data di XR
Di seluruh spektrum komputasi spasial, konsep input adalah salah satu masalah desain yang paling menarik, unik, dan mutakhir. Suara kurang fokus karena kurangnya kedewasaan dengan NLP canggih dari Siri dan Cortana yang mampu menarik kumpulan data besar secara real time saat ini, yang banyak diantisipasi untuk berubah di tahun-tahun mendatang.
Keterbatasan saat ini (tetapi juga mengantisipasi evolusi yang akan datang) dalam pengontrol, haptics, dan suara yang ingin diatasi oleh para insinyur dan perancang perangkat lunak dengan eksperimen dan solusi baru. Meskipun fokus di sini kurang pada suara, controller di VR, dan
kemajuan dalam teknik visi komputer untuk meningkatkan haptics di AR, keduanya sekarang memberikan keterjangkauan bagi pengguna yang tidak mungkin dilakukan di VR selama beberapa dekade terakhir, dan AR selama beberapa tahun terakhir. . Evolusi dalam HCI ini menimbulkan tantangan baru bagi desainer dan insinyur perangkat lunak dalam teknologi imersif dan baru, dengan berbagai kasus penggunaan untuk AR, VR, atau MR dalam spektrum XR.
Berikut adalah beberapa tantangan di seluruh spektrum komputasi spasial khusus untuk setiap jenis platform mengingat keterbatasan dan interaksinya yang kami harapkan akan berubah di masa depan seiring kemajuan media secara keseluruhan:
AR
Ada dua jenis yang perlu dipertimbangkan di sini: MobileAR (hampir tidak ada interaksi, jadi tidak masuk akal untuk melakukan banyak hal di sini) dan PCAR (masih tidak nyaman secara ergonomis dan belum siap komersial untuk sebagian besar HMD).
VR
VR membatasi pengguna dari dunia nyata dan menempatkan mereka di lingkungan tertutup saat berada di HMD. Karena itu, banyak desainer dan konsumen UX merasa bahwa HMD tidak dapat digunakan dan tidak dapat diakses. Sebagian dari ini karena keterbatasan teknis dengan optik meskipun diklaim siap untuk konsumen. Karena tantangan aksesibilitas ini dalam ergonomi, banyak aplikasi memiliki pengalaman yang lebih pendek untuk menghindari kelelahan.
Contoh Kasus Penggunaan Industri Visualisasi Data dari Visualisasi Data
Di bagian ini, saya memberikan referensi ke beberapa contoh visualisasi data yang dirancang dengan baik yang memuat kumpulan data besar secara real time dalam AR dan VR tetapi tetap bukan tanpa batasan desainnya sendiri.
Gambar 9-7 menunjukkan visualisasi data IBM, yang memanfaatkan kerangka data sumber terbuka, Apache Spark untuk memuat data (termasuk data sumber terbuka, khususnya analisis Sentimen Twitter) secara real time.
Dalam ceramahnya di GDC 2017 “Immersive Data Visualization: AR in the Workplace,”
Rosstin Murphy, mantan IBM, mempresentasikan penelitiannya tentang penggunaan AR untuk memvisualisasikan, menganalisis, dan memanipulasi data besar di tempat kerja.
Tujuannya adalah untuk melakukan hal berikut:
[Gunakan] AR untuk menambah kotak peralatan ilmuwan data dan meningkatkan kecepatan dan kedalaman analisis mereka. Menjelajahi interaksi VR dalam konteks bisnis menunjukkan harapan, tetapi mengungkapkan tantangan objektif terhadap VR di lingkungan kerja. Tantangan ini termasuk biaya waktu untuk beralih antara peralatan VR dan mouse dan keyboard, menyulap lingkungan virtual 3D bersama antarmuka desktop 2D konvensional, dan memilih model controller perangkat keras yang tepat dan algoritme interaksi 3D...Teknologi AR, meskipun masih dalam tahap awal, elegan memecahkan banyak masalah.
Lebih khusus lagi, dalam perjuangan Murphy dengan ergonomi dan kemudahan penggunaan saat ia bertransisi dari notebook Jupyter di desktop PC-nya pada kenyataannya untuk
mengubah nilai data yang mengetik di keyboard sambil mengenakan headset Hololens di kepalanya. Bobot Hololens yang berat adalah penghalang masuk bagi banyak orang untuk menganggap HMD dapat digunakan. Manipulasi langsung karena kurangnya UI terintegrasi dengan Cortana (suara) dan menu visual lainnya (UI dalam AR) untuk menyesuaikan data, dan pembatasan manipulasi data masih agak tidak langsung karena Murphy membuat perubahan ini di desktop. Hal ini membuat kondisi AR saat ini (yang kami harapkan akan berubah di masa mendatang) sulit untuk diadopsi oleh pengguna.
Gambar 9-6. Zac Canter memplot data suhu permukaan laut di WebXR menggunakan A- Frame
Rekonstruksi 3D dan Manipulasi Langsung Data Dunia Nyata: Struktur Anatomi di XR Banyak visualisasi data adalah rekonstruksi 3D yang memuat data secara real time yang datang dalam bentuk struktur anatomi, yang dapat langsung dimanipulasi dan diedit dalam komputasi spasial. Interaksi komputasi spasial yang berbeda ini meningkatkan efisiensi keseluruhan alur kerja untuk berbagai vertikal B2B.
Gambar 9-7. Visualisasi data IBM di Microsoft Hololens menggunakan kerangka data sumber terbuka
Gambar 9-8. Contoh visualisasi data yang dibuat oleh Rosstin Murphy saat dia berada di IBM, yang melapisi data pada peta
Sebagai bagian dari University of California, San Francisco, pemimpin dan ahli saraf Adam Gazzaley dan Tim Mullen, di laboratorium Gazzaley, Neuroscope, menciptakan visualisasi yang disebut "Otak Kaca" yang sering digunakan dalam demonstrasi berbagai modul untuk Meta 2 AR HMD.
Melihat Lebih Dekat Otak Kaca
Memanfaatkan Unity3D, visualisasi data Glass Brain terdiri dari struktur otak, baik arsitektur jaringan dan saluran serat, yang diperoleh dari pemindaian otak resolusi tinggi (MRI dan Diffusion Tensor Imaging [MRI-DTI]). Aktivitas otak real-time dan interaksi fungsional antar jaringan ditumpangkan pada struktur otak menggunakan high-density electroencephalography (EEG). Ini adalah contoh yang bagus dari pemuatan visualisasi data secara real time. Visualisasi yang ditangkap, yang dapat Anda lihat pada Gambar 9-9, adalah milik pemain perkusi Mickey Hart.
Gambar 9-9. Glass Brain sering muncul dalam demonstrasi Meta 2 oleh pendiri dan CEO, ahli saraf Meron Gribetz (informasi lebih lanjut tersedia di Neuroscape University of California
San Francisco)