Berbagai manfaat yang dihadirkan oleh teknologi AR dan VR merupakan hasil yang diinginkan dari suatu aktivitas komunikasi bisnis. Bagian ketiga hanya terdiri dari satu bab yang akan menjelaskan peralatan dan spesifikasi yang dapat digunakan untuk membuat teknologi AR dan VR.
DESAIN DAN SENI DI REALITAS DIGITAL
BAGAIMANA MANUSIA BERINTERAKSI DENGAN KOMPUTER
PENDAHULUAN
Lapisan abstraksi dapat memiliki banyak bentuk: metafora antarmuka pengguna grafis, kata-kata yang diucapkan dari pemrosesan bahasa alami (NLP), pengenalan objek dari visi komputer, dan, yang paling sederhana dan paling umum, input keyboard dan kursor sehari-hari, yang merupakan hal yang dilakukan kebanyakan orang. berinteraksi dengan komputer setiap hari.
MODALITAS MELALUI ABAD: PRA-ABAD KEDUA PULUH
Orang-orang menemukan dan menciptakan kembali keyboard karena berbagai alasan; misalnya, untuk melawan pemalsuan, untuk membantu saudara perempuan yang buta dan buku-buku yang lebih baik. Seperti disebutkan sebelumnya, proto-komputer memiliki motivasi yang sama menariknya: komputer membutuhkan data fisik yang sangat stabil, dan tidak nyaman bagi manusia untuk menghasilkan data yang stabil.
MODALITAS MELALUI ZAMAN: MELALUI PERANG DUNIA II
Pada tahun 1963, perangkat lunak grafis pertama yang memungkinkan pengguna menggambar di layar MIT Lincoln Laboratory TX-2, Sketchpad, dibuat oleh Ivan Sutherland di MIT. Pada tahun 1968, Doug Engelbart siap mendemonstrasikan pekerjaan yang dilakukan laboratoriumnya, Augmentation Research Center, di Stanford Research Institute sejak tahun 1963.
MODALITAS SEPANJANG ZAMAN: MINIATURISASI KOMPUTER
Namun seperti ponsel pintar di awal tahun 2000an, kita dapat melihat jalur yang jelas dari perangkat keras masa kini menuju masa depan komputasi spasial. Namun, sebelum kita membahas perangkat keras saat ini, mari kita lihat perkembangan dari PC pada awal tahun 1980an hingga jenis komputer yang paling umum saat ini: ponsel pintar.
MENGAPA KITA BARU MELEWATI SEMUA INI?
MODALITAS VISUAL Kelebihan: Kelebihan
MODALITAS FISIK Kelebihan: Kelebihan
Cocok untuk tampilan kamera terbatas atau situasi lain di mana pengguna terpaksa melihat ke suatu tempat.
MODALITAS AUDIO Kelebihan: Kelebihan
Yang pertama umumnya adalah fase keterjangkauan atau penemuan, di mana pengguna mengetahui apa yang dapat mereka lakukan. Tahap ketiga adalah tahap umpan balik atau konfirmasi, di mana komputer mengkonfirmasi masukan dengan merespons dalam beberapa cara.
MODALITAS BARU
Konsep ini sering dikacaukan dengan pelacakan tangan, namun pengenalan pose tangan merupakan bidang penelitian tersendiri. Pelacakan tangan dan pengenalan gerakan tangan seharusnya menghasilkan perubahan yang menarik dan agak berlawanan dengan intuisi dalam cara orang berpikir saat berinteraksi dengan komputer.
SUARA
Sebuah cara bagi individu untuk mengajari komputer apa yang mereka ingin mereka perhatikan atau abaikan. Alternatif terhadap sistem yang dipersonalisasi dan terlatih sebagian besar adalah apa yang kita miliki saat ini: serangkaian postur tangan yang telah ditentukan sebelumnya dan dirancang khusus untuk tindakan tertentu.
CONTROLLER DAN PERIFERAL FISIK LAINNYA
MERANCANG UNTUK INDRA KITA BUKAN UNTUK PERANGKAT DATA
- MEMBAYANGKAN MASA DEPAN
- TEKNOLOGI SENSORIK
- PERAN MASA DEPAN DESAINER DAN TIM
- PERAN WANITA DALAM AI
- DESAIN SENSORIK
- LIMA PRINSIP SENSORIK
- Pengalaman Intuitif Bersifat Multisensori
- Desain Menjadi Sifat Fisik
- Desain untuk yang Tak Terkendali
- Buka Kunci Kekuatan Kolaborasi Spasial
- KISAH ADOBE AR
- KESIMPULAN
Orang-orang yang merancang sistem komputasi spasial saat ini akan memberikan dampak langsung pada dunia di sekitar kita di masa depan. Desain sensorik adalah bahasa desain yang diadaptasi dan terinspirasi oleh manusia di seluruh industri untuk komputasi spasial.
BAGAIMANA EXTENDED REALITY MENGUBAH SENI DIGITAL
Ini akan menjadi panduan Anda untuk menciptakan pengalaman VR terbaik yang dapat Anda tawarkan untuk menjaga kenyamanan pengguna. Kesimpulan terbesarnya adalah alat dan teknik selalu berubah; menjadi seniman digital yang sukses berarti menjadi pembelajar seumur hidup, mempelajari alat dan teknik baru, dan sering kali merintis teknik tersebut sendiri dan membagikannya kepada komunitas.
VIRTUAL REALITY (VR) UNTUK SENI
CARA MEMBUAT SENI 3D YANG LEBIH ALAMI
Tidak jauh dari tempat tim Google mengerjakan Tilt Brush, sebenarnya ada tim lain yang mengerjakan pendekatan berbeda terhadap lukisan VR sebagai bagian dari Oculus, yang disebut Oculus Story Studio. Animasi khususnya adalah tempat dimana Quill bersinar dan memungkinkan generasi seniman dan animator 2D untuk bekerja dalam 3D dengan cara yang sangat familiar dengan hasil yang benar-benar ajaib.
VR UNTUK ANIMASI
Dengan pemahatan virtual, seniman selalu bekerja dengan volume 3D dengan cara yang sangat organik, mencetak dan membentuk tanah liat virtual, lalu menerapkan warna dan tekstur padanya. Namun, yang lebih baik lagi, sekarang mereka dapat membuat instalasi seukuran planet yang tidak mungkin dilakukan di dunia nyata.
OPTIMISASI 3D ART
- PENGANTAR
- TOPOLOGI SENSORIK
- BAKING
- MENGGAMBAR PANGGILAN
- MENGGUNAKAN ALAT VR UNTUK MEMBUAT SENI 3D
- MEMPEROLEH MODEL 3D VERSUS MEMBUATNYA DARI AWAL
- RINGKASAN
Individu yang membuat konten untuk film dan rendering memiliki hak istimewa untuk membuat model 3D dengan jumlah poli tinggi. Mari lanjutkan dengan tinjauan komprehensif tentang apa yang harus diperiksa saat membuat model 3D untuk VR dan AR.
HARDWARE, SLAM, TRACKING
Ada banyak cara untuk melakukan SLAM, dan pelacakan hanyalah salah satu komponen dari sistem SLAM yang komprehensif. Saat tulisan ini dibuat, sistem SLAM Tango atau Hololens memiliki lebih banyak fitur daripada odometri, seperti pemetaan yang lebih canggih, rekonstruksi 3D, dan dukungan sensor kedalaman.
MEMBUAT AUGMENTED REALITY (AR) BEKERJA
SEJARAH SINGKAT AR
Sistem SLAM seluler (PTAM) pertama dikembangkan sekitar tahun 2007 di Oxford Active Computing Lab oleh Georg Klein, yang kemudian membangun sistem VIO untuk Hololens. Qi sekarang memimpin tim AR di Snap di London bersama Ed Rosten (lulusan Cambridge lainnya yang mengembangkan detektor fitur FAST yang digunakan di sebagian besar sistem SLAM).
BAGAIMANA DAN MENGAPA MEMILIH PLATFORM AR
Manajer teknik Vuforia, Eitan Pilipski, sekarang memimpin rekayasa perangkat lunak AR di Snap, bekerja dengan Qi Pan, yang belajar di Cambridge bersama Gerhard dan Georg dan kemudian berangkat ke Vuforia. Anggota kunci tim peneliti di Oxford, Cambridge (misalnya David Molyneaux) dan Imperial College (lab Profesor Andy Davison, tempat Richard Newcombe, HaukeStrasdat, dan lainnya belajar) mengembangkan lebih lanjut D-SLAM dan memperluas sistem pelacakan Kinect, dan sekarang memimpin tim pelacak di Oculus dan Magic Leap.
KINERJA ADALAH STATISTIK
Setiap perubahan cahaya dalam pemandangan (awan yang melewati matahari, lampu neon yang berkedip-kedip, dll.) mengubah urutan foton yang mengenai sensor, dan sekarang sensor tersebut memiliki piksel berbeda yang sesuai dengan titik di dunia nyata. Segala sesuatu yang berhubungan dengan kinerja computer vision adalah masalah statistik; ini adalah dunia nyata yang bukan biner.
MENGINTEGRASIKAN PERANGKAT KERAS DAN PERANGKAT LUNAK
Seperti yang ditunjukkan Gambar 5-2, semuanya masih bergantung pada apakah perangkat keras dan perangkat lunak bekerja secara harmonis untuk mengurangi kesalahan dengan cara terbaik. Karena ketergantungan yang besar pada perangkat keras dan perangkat lunak, hampir mustahil bagi pengembang perangkat lunak untuk membangun sistem yang hebat tanpa dukungan mendalam dari OEM untuk membangun perangkat keras yang tepat.
MASA DEPAN TRACKING
Lensa RGB stereo atau lensa fisheye membantu melihat tampilan lebih besar sehingga berpotensi memiliki lebih banyak fitur optik (misalnya, lensa biasa dapat melihat dinding putih, namun fisheye juga dapat melihat langit-langit berpola dan karpet di dalam bingkai — Magic Leap dan Hololens mengambil pendekatan ini) dan dapat memperoleh informasi mendalam dengan biaya komputasi yang lebih rendah dibandingkan VIO, meskipun VIO melakukannya secara tepat pada BOM dan biaya daya yang lebih rendah. Pada titik ini, hampir tidak ada perbedaan antara pelacakan untuk AR dan pelacakan untuk mobil tanpa pengemudi, kecuali sistem AR melakukannya dengan sensor yang lebih sedikit dan daya yang lebih sedikit.
MASA DEPAN AR KOMPUTER VISION
Rekonstruksi 3D bekerja dengan menangkap titik awan padat dari tempat kejadian (saat ini dengan kamera kedalaman) dan kemudian mengubahnya menjadi jaring, memasukkan jaring "tak terlihat" ke Unity (bersama dengan koordinat dunia nyata), lalu melapisi jaring dunia nyata tepat di atasnya. dunia nyata seperti yang terlihat di kamera. Ini adalah aplikasi pertama yang menunjukkan interaksi fisik antara konten virtual dan nyata pada perangkat keras seluler mainstream.
MAPPING
Setiap garis pada gambar yang ditunjukkan pada Gambar 5-11 adalah jalan pada peta SLAM besar ini. Membuat perangkat seluler menjalankan AR di mana pun dan di mana pun di dunia merupakan masalah besar dalam pemetaan SLAM.
PLATFORM
Ini terdiri dari desain referensi perangkat keras (RGB, fisheye, kamera kedalaman dan beberapa spesifikasi CPU/GPU) dan tumpukan perangkat lunak yang menyediakan VIO (deteksi gerakan), pemetaan jarang (pembelajaran area) dan rekonstruksi 3D padat (persepsi kedalaman). Jawabannya adalah ARKit tidak lebih baik dari Hololens, tetapi perangkat keras Hololens tidak tersedia secara luas.
PERTIMBANGAN PENGEMBANGAN LAINNYA
Semuanya merupakan infrastruktur yang sama dan dibangun di atas teknologi pendukung yang sama. Bagaimana cara mengidentifikasi objek - bagaimana kucing virtual saya mengetahui bahwa gumpalan itu sebenarnya adalah sofa, dan dia harus menjauh dari sofa.
CLOUD AR
Agar aplikasi AR benar-benar terhubung dengan dunia, aplikasi tersebut harus mampu melakukan tiga hal. Untuk menghubungkan aplikasi AR kami satu sama lain dan dengan dunia, kami memerlukan infrastruktur untuk melakukannya.
GAMBARAN LEBIH BESAR—PRIVASI DAN DATA AR CLOUD
Ini adalah deskriptor fitur yang dibuat untuk setiap titik di point cloud (sejauh data 6D.ai yang dihosting di cloud dapat direkayasa ulang menggunakan .science terbaru yang tersedia saat ini bersama dengan sumber daya komputasi yang besar). Ini adalah konsep teoretis, karena setiap sistem pengukuran memiliki sedikit penyimpangan dari kebenaran dasarnya (misalnya, bahkan pengukuran laser pun memiliki kesalahan mikron).
MEMBUAT AUGMENTED REALITY (AR) DAN VIRTUAL REALITY (VR)
Kemudian, di Bab 7, Vasanth Mohan dari FusedVR melihat lebih dalam taktik dan strategi pengembangan lintas platform saat dia memandu Anda melalui beberapa tutorial. Di Bab 8, Harvey Ball dan Clorama Dorvilias melengkapi pengujian kami dengan pelajaran sejarah singkat dan penelusuran VRTK, sebuah proyek sumber terbuka yang dimaksudkan untuk mendorong pengembangan lintas platform.
TEORI LINTAS PLATFORM AUGMENTED REALITY DAN VIRTUAL REALITY
- PERAN MESIN GAME
- MEMAHAMI GRAFIK 3D
- KAMERA VIRTUAL
- CONTOH DUNIA NYATA
Perlu diperhatikan bahwa saat ini belum ada standar industri yang ditetapkan untuk pengembangan VR dan AR lintas platform. Melihat perkembangan lintas platform yang paling umum dalam VR dan AR, Unity saat ini memiliki jangkauan terluas.
VIRTUAL REALITY TOOLKIT (VRTK) OPEN SOURCE FRAMEWORK
- APA ITU VRTK DAN MENGAPA ORANG MENGGUNAKANNYA?
- SEJARAH SINGKAT VRTK
- VRTK V4
- MASA DEPAN VRTK
- KEBERHASILAH VRTK
- MEMULAI DENGAN VRTK V4
- MENYIAPKAN PROYEK
- MENJALANKAN TES
- CONTOH SCENE
- CARA “MEMERIKSA” REPOSITORI CONTOH VRTK V4
Git clone --recurse-submodules https://github.com/thestonefox/VRTK.git git submodule init && git submodule update. Unduh paket VRTK.Unity.Core dari GitHub, lalu seret dan lepas Folder Aset ke proyek Unity 3D Anda.
TIGA PRAKTEK TERBAIK AUGMENTED REALITY DAN VIRTUAL REALITY
- PENANGANAN LOKOMOSI
- GERAKAN LINIER (ALIAS GERAKAN TRACKPAD)
- TELEPORT MOTION
- LOCOMOTION DI AR
- MODE RAKSASA (ATAU SEMUT)
- PENGGUNAAN AUDIO YANG EFEKTIF
- AUDIO DALAM VR
- PARADIGMA INTERAKSI UMUM
- INVENTARIS UNTUK VR
- AUGMENTED REALITY RAYCASTS
- KESIMPULAN
Salah satu cara untuk menghindari hal ini dengan AR adalah dengan menggunakan trik visual yang mengubah persepsi skala – dan ini sebenarnya cukup mudah untuk dicapai. Setelah mengekspor rekaman, Anda dapat menggunakannya di Unity Audio atau program AR pilihan Anda.
MENINGKATKAN REPRESENTASI DATA
VISUALISASI DATA ARTIFICIAL INTELLIGENCE (AI) DALAM KOMPUTASI SPASIAL
AI dapat digunakan untuk menghasilkan konten yang mendukung seniman teknologi 3D dalam proses pengembangan game, seperti yang terlihat dalam pembicaraan Nvidia di Game Developer Conference (GDC) 2017 “Zoom, Enhance, Synthesize. Peningkatan Sihir dan Sintesis Material Menggunakan Pembelajaran Mendalam,” Algoritme Pembelajaran Mendalam seperti transfer gaya digunakan dalam pembuatan film 360 derajat Facebook, seperti yang terlihat di Festival Film Tribeca 2017.
DESAIN DAN PENGEMBANGAN VISUALISASI DATA DAN MACHINE
PENGANTAR
MEMAHAMI VISUALISASI DATA
Mengacu pada kerangka kerja dari peneliti deep learning,6 pencipta visualisasi data dan pembelajaran mesin dalam komputasi spasial harus mengeksplorasi lima W itu. Identifikasi tujuannya, tanyakan pada diri Anda mengapa visualisasi data atau pembelajaran mesin ini masuk akal dalam komputasi spasial dibandingkan komputasi lainnya.
EVOLUSI DESAIN VISUALISASI DATA DENGAN MUNCULNYA XR
Meskipun hal ini benar, beberapa praktik terbaik desain visualisasi data (yang terutama dirancang untuk kertas, desktop, dan media seluler) mungkin dianggap ketinggalan jaman dan tidak semuanya dapat langsung diterapkan di media spektrum XR, karena praktik tersebut terutama mempertimbangkan desain untuk ruang 2D dengan pengguna datar antarmuka ( UI). ), bahkan dengan data 3D atau satu jendela atau layar. Visualisasi data dapat "digamifikasi" ke dalam platform VR seluler (lihat Gambar 9-2) di ARKit dan MapBox.
DATA 2D DAN 3D DIREPRESENTASIKAN DALAM XR
Oleh karena itu, visualisasi data 3D dalam komputasi spasial harus didorong, namun dengan mempertimbangkan prinsip desain yang tepat. Komputasi spasial membantu mempercepat produktivitas pengguna dan menemukan wawasan baru yang tidak mungkin diperoleh jika mereka hanya berinteraksi dengan data dalam 2D di desktop dan seluler.
ANIMASI
Komputasi spasial memungkinkan berbagai mekanisme untuk manipulasi data langsung dan menawarkan peluang bagi pencipta komputasi spasial untuk mempelajari paradigma desain baru di HCI agar lebih memungkinkan pemahaman yang lebih mendalam tentang kognisi manusia dan meningkatkan kemampuan untuk memahami dan mengekspresikan wawasan data baru kepada pemirsa atau pengguna. Virtualitics dan sistem 10K (gbr. 9-3) memiliki peta yang dirancang dengan baik yang merupakan visualisasi data XR yang sama baiknya dalam konteks seperti 3D non-spasial lainnya (deck.GL, dll.).
KEGAGALAN DALAM DESAIN VISUALISASI DATA
Banyak aplikasi visualisasi data di XR tidak menggunakan ruang 3D dan sering kali memiliki UI datar. Sayangnya, banyak aplikasi visualisasi data fintech yang tidak mengikuti konsep desain tersebut dan membuat pengguna kebingungan.
REPRESENTASI DATA, INFOGRAFIS, DAN INTERAKSI
JENIS VISUALISASI DATA
Seringkali, eksperimen "indah" dalam visualisasi data hampir tidak memenuhi syarat sebagai visualisasi data dan malah lebih merupakan ekspresi artistik. Jalur menuju pembuatan visualisasi data pengembangan asli dan web melibatkan prapemrosesan data (yang sering kali merupakan pekerjaan membosankan yang dilakukan di kalangan insinyur data, terutama untuk pencitraan di bidang medis).
WEBXR: MEMBANGUN VISUALISASI DATA UNTUK WEB
Rekonstruksi 3D Langsung dan Manipulasi Data Dunia Nyata: Struktur Anatomi di XR Banyak visualisasi data merupakan rekonstruksi 3D yang berisi data real-time yang berbentuk struktur anatomi yang dapat langsung dimanipulasi dan diedit dalam komputasi spasial. Contoh visualisasi data yang dibuat Rosstin Murphy saat berada di IBM, melapisi data pada peta.
MODUL VR PENCITRAAN MEDIS SURG TVA
Sebagai bagian dari Universitas California, San Francisco, ahli saraf utama Adam Gazzaley dan Tim Mullen di laboratorium Gazzaley, Neuroscope, menciptakan visualisasi yang disebut "Glass Brain" yang sering digunakan dalam demonstrasi berbagai modul untuk Meta 2 AR HMD. Glass Brain sering ditampilkan dalam demonstrasi Meta 2 oleh pendiri dan CEO ahli saraf Meron Gribetz (informasi lebih lanjut tersedia di University of California Neuroscape. San Francisco).
HOLODEK MEDIS—DICOM
Di Kaggle (sekarang dimiliki oleh Google) dan di berbagai bidang lainnya (bergantung pada vertikal teknologi), Anda dapat menemukan banyak sekali kumpulan data yang memungkinkan pengembang baru membuat visualisasi data yang bermakna. Sekarang kita memiliki kerangka kerja untuk membuat visualisasi data yang baik di berbagai tipe data, platform, dan HMD, kita dapat mempelajari cara membuat visualisasi data dinamis dalam komputasi spasial.
