KEKUATAN AUGMENTED - Digital Library Univ STEKOM

Berbagai manfaat yang dihadirkan oleh teknologi AR dan VR merupakan hasil yang diinginkan dari suatu aktivitas komunikasi bisnis. Bagian ketiga hanya terdiri dari satu bab yang akan menjelaskan peralatan dan spesifikasi yang dapat digunakan untuk membuat teknologi AR dan VR.

MEMULAI PEMROGRAMAN WINDOWS MIXED REALITY

Pengantar: Masa Depan Holografik

Memastikan PC Anda

HoloLens, Emulator, atau Hardware Mixed Reality

Menguji dengan HoloLens

Pengujian dengan Emulasi

HoloLens dan Hardware Windows Mixed Reality

Tracking Luar-Dalam dan Spatial Mapping

Sound Spatial

Mengunduh dan Menginstal Tool Software

Menginstal Visual Studio

Menginstal Unity

Mengunduh HoloToolkit

Ringkasan

UNITY CRASH

• Apa Itu Unity?
• Tingkat Unity Gratis vs. Berbayar
• Aplikasi Unity Pertama Anda
• Ringkasan

MEMBANGUN PENGALAMAN HOLOGRAPHIC

Pengembangan Mixed Reality

Sebelum kita mulai membuat hologram pertama kita, kita perlu memastikan bahwa Unity siap untuk Pengembangan Mixed Reality. Ini hanyalah beberapa contoh pengaturan yang perlu diubah dalam persiapan Unity for Mixed Reality Development.

Hologram Pertama Anda

Jendela pop-up akan muncul di mana Anda dapat memasukkan alamat IP HoloLens Anda. Aplikasi Anda sekarang terinstal di HoloLens - artinya Anda akan melihatnya muncul di daftar aplikasi Anda sebagai Holo World (jika Anda menamakannya Holo World, seperti yang saya lakukan dalam tutorial ini).

Uji Aplikasi Anda Menggunakan Jarak Jauh Holografik

Untuk alamat IP mesin jarak jauh, masukkan alamat IP yang Anda lihat muncul di HoloLens Anda (pastikan pemutar Aplikasi Jarak Jauh Holografik sedang berjalan). Seperti yang Anda lihat, remote holografik adalah cara yang sangat cepat dan efisien untuk menguji aplikasi Anda di HoloLens Anda. Di bagian ini, kita akan membahas cara menggunakan simulasi holografik di Unity saat menguji aplikasi Anda.

Pendekatan lain untuk menguji aplikasi Anda dengan cepat (saat tidak perlu menggunakan perangkat HoloLens) disebut simulasi holografik. Seperti yang dibahas di Bab 1, simulasi holografik memungkinkan Anda menggunakan pengontrol, seperti pengontrol Xbox One, untuk berkeliling dan mengontrol aplikasi Anda dari dalam Unity. Jika aplikasi Anda tidak merespons pengontrol, pastikan untuk memeriksa apakah jendela permainan Anda memiliki fokus dengan mengekliknya.

Ringkasan

Jika Anda belum melakukannya, pastikan untuk menyiapkan Unity for Mixed Reality Development seperti yang dijelaskan di bab berikutnya. Menerapkan perintah suara di Windows Mixed Reality relatif sederhana, namun sangat meningkatkan pengalaman pengguna aplikasi Anda. Dalam bab ini, Anda akan mempelajari cara menggunakan salah satu fitur paling menonjol dari headset Windows Mixed Reality seperti HoloLens: Pemetaan Spasial.

Jika Anda belum melakukannya, pastikan untuk menyiapkan Unity Development for Mixed Reality seperti yang dijelaskan di bab sebelumnya. Jika Anda belum melakukannya, pastikan Anda menyiapkan Unity Development for Mixed Reality seperti yang dijelaskan di Bab 4. Di bagian ini, saya akan memandu Anda melalui tutorial tentang cara kerja Pemetaan Spasial dalam aplikasi Mixed Reality.

HOLOTOOLKIT

• Apa itu HoloToolkit?
• Pengaturan HoloToolkit
• Komponen HoloToolkit
• HoloToolkit: input
• Menjalankan Tes
• HoloToolkit: Berbagi
• HoloToolkit: Spatial Mapping
• HoloToolkit: Utilitas
• HoloToolkit: Bangun
• HoloToolkit Online
• Dua Repositori HoloToolkit
• Apa Itu GitHub?
• Dokumentasi dan Toolkit Help
• Ringkasan

BERINTERAKSI DENGAN HOLOGRAM

• Metode input
• Tutorial Gaze
• Tutorial Gestur
• Tutorial Perintah Voice
• Praktik Terbaik untuk Perintah Voice
• Ringkasan

MENGGUNAKAN MAPPING SPASIAL

• Apa itu Spatial Mapping?
• Tutorial Spatial Mapping
• Tutorial Menemukan Bidang Spasial
• Tutorial Oklusi
• Tutorial Pemahaman Spasial
• Anchor Spasial dan Kegigihan
• Cara Menggunakan Anchor Spasial
• Kegigihan Hologram
• Catatan tentang Berbagi Anchor
• Ringkasan

SPATIAL SOUND

• Tutorial Sound Spatial
• Pertimbangan Desain Sound Spatial
• Kapan Menggunakan Sound Spatial
• Apa yang Harus Dihindari Saat Menggunakan Sound Spatial
• Ringkasan

TUMBUH LAYAKNYA DEVELOPER HOLOGRAPHIC

Apa yang Membuat Aplikasi Menakjubkan?

Pengalaman yang diterbitkan Microsoft berhasil menunjukkan dengan baik apa yang mungkin dilakukan dengan HoloLens. Program seperti Fragment, RoboRaid, HoloStudio, HoloTours, Actiongram, dan Galaxy Explorer memberikan pengalaman tak terlupakan kepada pengguna. Aplikasi ini berjalan dengan lancar, memanfaatkan sepenuhnya audio spasial dan Pemetaan Spasial, serta memanfaatkan corak dan warna dengan sangat baik.

Ia memanfaatkan sepenuhnya audio spasial dan Pemetaan Spasial sehingga hologram terasa seolah-olah benar-benar berada di lingkungan pengguna. Meskipun Microsoft dan beberapa studio Mixed Reality telah merilis apa yang saya anggap sebagai pengalaman yang menakjubkan, saya ingin mengulangi salah satu asumsi besar buku ini, yaitu bahwa kita semua masih sangat awal dalam mendefinisikan praktik terbaik. Saat menonton film ini, Anda akan menemukan banyak ide hebat tentang apa yang dapat Anda lakukan untuk membuat hologram tampak menakjubkan.

Optimasi dan Performa

Beberapa tip dan trik yang saya soroti dalam bab ini tidak boleh dilihat sebagai pencapaian puncak, melainkan sebagai titik awal minimal untuk perbaikan. Banyak pengembang realitas campuran (termasuk saya sendiri) mengambil inspirasi dari film dengan banyak efek khusus, seperti film fiksi ilmiah. Anda akan melihat warna dan tekstur yang menakjubkan, contoh animasi dan transisi yang lancar, serta efek suara yang dibuat dengan baik.

Catatan Karena holoLens adalah komputer holografik yang berdiri sendiri (tidak tersambung ke PC yang lebih kuat), ia memiliki lebih banyak batasan kinerja dibandingkan headset realitas campuran yang tersambung. Saya merekomendasikan pengujian pada komputer dengan spesifikasi minimum untuk pemantauan kinerja saat mengembangkan headset realitas campuran.

Cara Memantau Kinerja

Setelah Anda masuk ke Portal Perangkat Windows, navigasikan ke Kinerja Sistem di bilah menu kiri. Pastikan untuk mengukur daya sistem saat perangkat tidak sedang mengisi daya, karena perangkat tidak akan diukur saat mengisi daya. Jika Anda mengembangkan aplikasi 2D yang akan berjalan di dalam shell Windows, frame rate akan menjadi frame rate shell, bukan aplikasi 2D Anda.

Meskipun mempertahankan FPS yang tinggi itu penting, penting juga untuk mempertimbangkan tolok ukur sebelumnya saat mengoptimalkan aplikasi Anda. FPS, namun aplikasi Anda sangat menuntut metrik lainnya, perangkat Anda mungkin terlalu panas, yang akan menyebabkan aplikasi Anda dihentikan. Alat hebat lainnya untuk memantau kinerja aplikasi Anda selama Pengembangan adalah templat FPDSDisplay yang disertakan dalam HoloToolkit.

Praktik Terbaik untuk Performa

Mulai Memantau dan Mengoptimalkan Sejak Awal

Anda dapat melihat bahwa apel dengan kutub tinggi terlihat jauh lebih halus dan realistis dibandingkan model dengan kutub rendah. Di baris tengah Gambar 8-3, saya telah mengaktifkan wireframe sehingga Anda dapat memvisualisasikan masing-masing segitiga yang membentuk setiap model 3D. Apel poli rendah di bilah atas menggunakan shader difus lama, yang membuatnya terlihat membosankan, namun memungkinkan kinerja yang jauh lebih baik.

Di baris bawah, saya menukar shader di antara dua apel untuk mengilustrasikan bahwa shader dapat menyempurnakan tampilan model poli rendah dan sebaliknya. Level of Rendering Detail (LOD) adalah teknik performa di mana Anda mengurangi jumlah poligon dan menampilkan objek yang jauh dari tampilan. Anda dapat menambahkan tingkat detail yang berbeda dengan mengklik kanan bilah warna, menyeret setiap bilah untuk mengatur jarak dari kamera, dan menambahkan jumlah model poligon dan shader yang berbeda untuk setiap LOD.

Gunakan Culling

Aktifkan Rendering Instans Satu-Pass

Optimalkan Shader

Biasanya, visualisasi objek khusus apa pun yang ingin Anda capai dalam pengalaman Anda akan memerlukan shader yang menguras kinerja. Contoh visualisasi objek khusus mencakup permukaan logam atau cermin yang sangat reflektif, objek kaca atau transparan, dan efek mengkilap atau neon pada objek. Banyak buku telah ditulis mengenai subjek ini, dan pengembang tingkat lanjut tentu perlu menulis shader khusus untuk melakukan visualisasi tertentu sambil mempertahankan kinerja yang baik.

Untuk tips dan panduan lanjutan saat bekerja dengan atau menulis shader Anda sendiri, dokumentasi Mixed Reality Microsoft memiliki banyak saran shader yang bagus di https://developer.microsoft.com/en-us/windows/mixed- .

Simplygon

Subyek shader dan optimalisasi shader merupakan salah satu topik penting dalam industri pemodelan dan grafis 3D. Banyak buku telah ditulis mengenai subjek ini, dan pengembang tingkat lanjut pasti perlu menulis shader khusus untuk menjalankan visualisasi tertentu sambil mempertahankan kinerja yang baik. Untuk tips dan panduan lanjutan dalam bekerja dengan atau menulis shader Anda sendiri, dokumentasi Mixed Reality Microsoft memiliki banyak saran shader yang bagus di https://developer.microsoft.com/en-us/windows/mixed-. realitas/kinerja_rekomendasi_for_hololens_apps. Microsoft pada tahun 2016) yang memungkinkan pengguna mengurangi jumlah poligon dan mengurangi kompleksitas tekstur model 3D tanpa mempengaruhi tampilan visual model secara signifikan.

Dengan Simplygon, Anda dapat mengubah model 3D yang besar dan kompleks menjadi model poli rendah cantik yang berperforma baik di HoloLens.

Holographic Remoting

Stabilization Plane

Jarak Pesawat Default: Jarak dari kamera tempat pesawat akan melayang jika tidak ada objek target yang ditentukan atau diidentifikasi. Jika Anda ingin mengatur kotak stabilisasi secara manual pada objek target melalui skrip, Anda dapat menggunakan fungsi SetFocusPointForFrame(). Melewati variabel-variabel ini ke fungsi SetFocusPointForFrame() memungkinkan kotak stabilisasi ditempatkan di tempat yang diinginkan.

Misalnya, jika konten Anda berbentuk bidang (gambar 2D, teks, bidang UI, atau permukaan datar lainnya), sejajarkan bidang stabilisasi dengan permukaan 2D Anda. Tempatkan bidang stabilisasi pada objek yang jauh dari kamera, karena objek tersebut cenderung lebih tidak stabil. Tidak ada gunanya menyia-nyiakan sumber daya stabilisasi yang berharga pada objek yang tidak dapat Anda lihat.

Desain dan Keajaiban

Praktik Terbaik untuk Desain

Spatial Mapping

Aplikasi yang diterbitkan oleh Microsoft seperti Fragments atau Young Conker menggunakan warna-warna cerah dan efek pencahayaan untuk menghidupkan kisi-kisi Peta Spasial. Shader khusus yang digunakan dalam Fragments dan Young Conker tidak tersedia untuk pengembang saat tulisan ini dibuat, tetapi Anda dapat mengunduh shader serupa untuk digunakan dalam aplikasi Anda sendiri. Salah satu contoh favorit saya dapat ditemukan di http://smeenk.com/hololens-scanning-effect-in-unity/, lengkap dengan contoh kerja yang dapat Anda unduh di GitHub.

Jarak dari Pengguna

Bayangan

Bayangan negatif menambahkan sedikit cahaya atau cahaya di sekitar objek Anda dan kemudian menghilangkan cahaya di tempat bayangan biasanya muncul.

Voice

Teks Tajam

Bounding Box

Toolbar

Warna

Pengalaman Desain yang Harus Dihindari

Sumber daya tambahan

Menambahkan Sihir: Vuforia

Tinjau daftar Azure Cognitive Services untuk jenis sumber daya yang tersedia: https://azure.microsoft.com/en-us/services/cognitive-services/. Bagian ini memberikan panduan singkat tentang cara mengunduh dan mengatur pengalaman yang didukung oleh Vuforia. Unduh contoh Kacamata Digital untuk Unity dari situs web Vuforia, seperti yang ditunjukkan pada Gambar 8-17, dari https://developer.vuforia.com/downloads/samples.

Pastikan Anda memilih paket HoloLens yang Anda unduh dan bukan paket ARVR atau StereoRendering yang juga disertakan dalam file yang Anda unduh dari website Vuforia. Saat Anda meluncurkan aplikasi Vuforia, Anda akan melihat teko 3D muncul di atas cetakan petroglif Anda. Pastikan untuk mendaftar akun Vuforia untuk mengakses kemampuan menambahkan target gambar kustom Anda sendiri dan mempelajari lebih lanjut tentang platform ini.

Proyek Capstone

Setelah Anda menyelesaikan langkah 1, Anda akan melihat item menu HoloToolkit di bilah menu, seperti yang ditunjukkan pada Gambar 8-19. Selanjutnya, cari InputManager di panel Project dan seret elemen perakitan InputManager dari hasil pencarian ke objek Game Managers di hierarki Anda, seperti yang ditunjukkan pada Gambar 8-21. Untuk membuka Asset Store, buka Window ➤ Asset Store di bilah menu, seperti yang ditunjukkan pada Gambar 8-26.

Di panel Project, navigasikan ke folder Lavabrick dan seret material Lavabrick ke bola, seperti yang ditunjukkan pada Gambar 8-32. Untuk mengaktifkan pemetaan spasial, temukan snap-in SpatialMapping yang disertakan dalam HoloToolkit dan seret ke objek Game Managers Anda, seperti yang ditunjukkan pada Gambar 8-35. Pada komponen Sumber Audio, Anda perlu mengatur tiga parameter, seperti yang ditunjukkan pada Gambar 8-38.

Ringkasan

Pembaruan untuk aplikasi dan pengalaman Mixed Reality yang diterbitkan oleh Microsoft (seperti Actiongram, RoboRaid, dan lainnya) diposting di sini. Tim HoloDevelpers Slack adalah tim pengembang Slack "semi-resmi" untuk segala hal tentang HoloLens dan Windows Mixed Reality. Ini adalah tempat di mana pengembang dapat berbagi pengalaman, mengajukan pertanyaan, dan berbicara tentang Windows Mixed Reality.

Di bagian ini, saya memperkenalkan komunitas dan grup online HoloLens dan Windows Mixed Reality lainnya yang dapat Anda ikuti. Kami berbicara tentang dua yang pertama: Forum Pengembang Windows Mixed Reality resmi Microsoft dan tim HoloDevelopers Slack. Pastikan untuk memeriksa Meetup.com untuk melihat apakah ada grup Windows Mixed Reality di dekat Anda.

MENGUBAH HOLOGRAM MENJADI UANG

• Memublikasikan Aplikasi Anda ke Windows
• Freelancing
• Menemukan Peluang Freelance Mixed Reality
• Meningkatkan Peluang Anda untuk Memenangkan Kontrak
• Peluang Masa Depan Hari Ini
• Ringkasan

SUMBER DAYA KOMUNITAS

• Forum Resmi Mixed Reality Microsoft
• Tim Slack Developer Holo
• Apa Itu Slack?
• Apa itu Tim Slack HoloDevelopers?
• Cara Bergabung dengan Tim Slack HoloDevelopers
• Berpartisipasi dalam Tim Slack HoloDevelopers
• Komunitas dan Sumber Daya Online Lainnya
• Grup Facebook Developer HoloLens
• Forum HoloLens Unity dan Unity
• Youtube
• Event dan Pertemuan Lokal
• Hackathon
• Event Industri Terkemuka
• Ringkasan