MEMBUAT AUGMENTED REALITY (AR) BEKERJA
5.9 PERTIMBANGAN PENGEMBANGAN LAINNYA
Bagaimana dengan Tango, Hololens, Vuforia, dan Lainnya?
Jadi, Tango adalah merek (sudah dikalahkan oleh Google), bukan produk. Ini terdiri dari desain referensi perangkat keras (RGB, fisheye, kamera kedalaman, dan beberapa spesifikasi CPU/GPU) dan tumpukan perangkat lunak yang menyediakan VIO (tracking gerak), pemetaan jarang (pembelajaran area), dan rekonstruksi 3D padat (persepsi kedalaman).
Hololens (dan Magic Leap) memiliki tumpukan perangkat lunak yang persis sama, tetapi mencakup beberapa chip pemrosesan sinyal digital dasar (DSP), yang mereka sebut sebagai Unit Pemrosesan Holografik, untuk membongkar pemrosesan dari CPU/GPU dan menghemat daya. Desain chip yang lebih baru dari Qualcomm akan memiliki fungsi ini di dalamnya, menghilangkan kebutuhan untuk pemrograman DSP khusus dan mengurangi biaya perangkat keras di masa mendatang. Vuforia hampir sama lagi, tetapi perangkat kerasnya independen.
Masing-masing menggunakan jenis sistem VIO yang sama. Baik Hololens, Magic Leap, maupun Tango tidak menggunakan kamera kedalaman untuk tracking (meskipun saya yakin mereka mulai mengintegrasikannya untuk membantu dalam beberapa kasus sudut). Jadi mengapa ARKit begitu bagus? Jawabannya adalah bahwa ARKit tidak benar-benar lebih baik daripada Hololens, tetapi perangkat keras Hololens tidak tersedia secara luas.
Jadi, pada akhirnya, alasan ARKit lebih baik adalah karena Apple mampu melakukan pekerjaan untuk memasangkan algoritma VIO dengan erat ke sensor dan menghabiskan banyak waktu untuk mengkalibrasinya untuk menghilangkan kesalahan dan ketidakpastian dalam perhitungan pose.
Perlu dicatat bahwa ada banyak alternatif untuk sistem OEM besar. Ada banyak pelacak akademis (misalnya, ORB Slam bagus dan OpenCV memiliki beberapa opsi) tetapi hampir semuanya hanya optik (mono RGB, atau stereo, dan/atau berbasis kamera kedalaman;
beberapa menggunakan peta jarang, beberapa padat, beberapa peta kedalaman, dan yang lainnya menggunakan data semi-langsung dari sensor—ada banyak cara untuk menguliti kucing ini. Ada sejumlah startup yang bekerja pada sistem tracking. Augmented Pixels memiliki satu yang berkinerja baik, tetapi pada akhirnya hari, setiap sistem VIO membutuhkan pemodelan dan kalibrasi perangkat keras untuk bersaing.
Kedua pendekatan tersebut tampak dari demonstrasi awal memberikan hasil yang serupa. Secara subyektif, demonstrasi Google terlihat sedikit lebih baik bagi saya, tetapi itu mungkin karena pengembang Tango telah mengerjakannya lebih lama daripada ARKit dirilis.
Namun, Google telah menunjukkan apa yang akan segera hadir (17:11 dalam video ini), yaitu kemampuan untuk menyesuaikan bayangan dan pantulan virtual secara dinamis dengan pergerakan cahaya dunia nyata. Ini akan memberikan dorongan besar di mana kami secara tidak sadar percaya bahwa kontennya "benar-benar ada."
Multiplayer AR
Sebelumnya dalam bab ini, kami telah memeriksa apa yang membuat aplikasi AR smartphone hebat dan mengapa ARKit dan ARCore telah memecahkan masalah teknis yang sangat sulit (tracking luar-dalam 6DOF yang kuat) dan menciptakan platform untuk AR untuk akhirnya mencapai penggunaan umum (masih beberapa tahun). jauh untuk adopsi luas, tetapi banyak ceruk besar untuk aplikasi hari ini IMO). Pengembang sekarang bekerja untuk meningkatkan kurva belajar dari aplikasi kentut ke aplikasi yang berguna (meskipun putra saya yang berusia sembilan tahun menganggap aplikasi kentut cukup berguna, terima kasih). Satu- satunya fitur yang saya tanyakan lebih banyak orang daripada yang lain adalah multipemain.
Istilah "multipemain" sebenarnya keliru, karena yang kami maksud adalah kemampuan untuk berbagi pengalaman AR Anda dengan orang lain, atau banyak orang lain, secara real time. Jadi, menyebutnya "multipengguna", "Berbagi AR", "AR Sosial", dan "Komunikasi AR" adalah istilah yang sama baiknya, tetapi multipemain tampaknya tetap berlaku sekarang, mungkin karena sebagian besar alat AR 3D berasal dari latar belakang game, dan itulah istilah yang digunakan gamer. Perhatikan bahwa Anda dapat melakukan multipemain secara asinkron, tetapi itu seperti bermain catur dengan sahabat pena. Selain itu, saya tidak sabar menunggu alat yang lebih baru untuk datang ke AR yang selaras dengan alur kerja dari disiplin desain yang lebih tradisional (arsitek, desainer produk, desainer UX, dll.) karena saya pikir itu akan mendorong dorongan besar untuk utilitas aplikasi AR. Tapi itu untuk buku lain.
Gambar 5-23. ARCore dan ARKit memberikan perkiraan (sederhana) real-time dari cahaya di tempat kejadian
Sehingga pengembang dapat langsung menyesuaikan pencahayaan simulasi agar sesuai dengan dunia nyata (dan mungkin memicu animasi pada saat yang sama)
Saya pribadi percaya bahwa AR tidak akan benar-benar memengaruhi semua kehidupan kita sehari-hari sampai AR memungkinkan kita berkomunikasi dan berbagi dengan cara baru dan menarik yang belum pernah mungkin dilakukan sebelumnya. Jenis komunikasi ini membutuhkan multipemain waktu nyata. Secara pribadi, saya pikir istilah multiplayer game-centric membatasi pemikiran kita tentang betapa pentingnya kemampuan ini sebenarnya. Multiplayer AR telah dimungkinkan selama bertahun-tahun (kami membangun aplikasi AR multipemain di Dekko pada 2011), tetapi relokasi UX selalu menjadi kendala besar.
Jadi, jika multipemain adalah fitur utama yang diminta orang, mengapa kami tidak memilikinya? Jawabannya, seperti banyak fungsi AR, berarti menyelami teknologi visi komputer yang memungkinkan AR. (Kami juga memerlukan jaringan latensi rendah, pemeliharaan model dunia yang konsisten, berbagi audio dan video, dan metafora interaksi kolaboratif, juga, tetapi bagian ini berfokus pada tantangan visi komputer, yang belum benar- benar terpecahkan.) Multiplayer AR hari ini agak seperti tracking posisi 6DOF beberapa tahun yang lalu. Ini tidak terlalu sulit untuk dilakukan dengan cara yang kasar, tetapi rintangan UX yang dihasilkan terlalu tinggi bagi konsumen. Mendapatkan UX multipemain tingkat konsumen ternyata menjadi masalah teknis yang sulit. Ada banyak teknologi yang memungkinkan multipemain, tetapi yang perlu diperhatikan adalah teman lama kita: relokasi.
Aspek non-intuitif lainnya dari multipemain adalah bahwa ia memerlukan beberapa infrastruktur di cloud agar berfungsi dengan baik.
Gambar 5-24. Game “The Machines” yang didemonstrasikan Apple pada keynote-nya menggunakan sistem multipemain sederhana yang dikembangkan sendiri (demonstrasi yang
bagus, tetapi bukan cloud AR)
Gambar 5-25. Hal semacam ini tidak mungkin terjadi tanpa AR cloud
Bagaimana Orang Terhubung Melalui AR?
Bagaimana kami mendukung banyak pengguna untuk berbagi pengalaman?
Bagaimana kita melihat barang virtual yang sama pada saat yang sama, tidak peduli perangkat apa yang kita pegang atau pakai, ketika kita berada di tempat yang sama (atau tidak)? Anda dapat memilih istilah yang sudah dikenal untuk menggambarkan kemampuan ini berdasarkan apa yang sudah Anda ketahui: aplikasi “multipemain” untuk pemain game, atau aplikasi “sosial”
atau aplikasi “berkomunikasi”. Ini semua infrastruktur yang sama di bawah tenda dan dibangun di atas teknologi yang memungkinkan yang sama. Lokalisasi yang sangat kuat, streaming pose dan status sistem 6DOF, jahitan mesh 3D, dan pembaruan mesh yang bersumber dari kerumunan adalah semua masalah teknis yang harus diselesaikan di sini.
Jangan lupakan tantangan tingkat aplikasi seperti hak akses, autentikasi, dan sebagainya (walaupun sekarang sebagian besar merupakan masalah teknis).
Bagaimana Aplikasi AR Terhubung ke Dunia dan Mengetahui Di Mana Mereka Sebenarnya?
GPS bukanlah solusi yang cukup baik—bahkan GPS yang akan datang yang akurat untuk satu kaki. Bagaimana kita membuat AR bekerja di luar di area yang luas? Bagaimana kita menentukan lokasi kita baik dalam koordinat absolut (lintang dan bujur) dan juga relatif terhadap struktur yang ada hingga presisi subpiksel? Bagaimana kita mencapai ini baik di dalam maupun di luar? Bagaimana kami memastikan konten tetap berada di tempatnya, bahkan berhari-hari atau bertahun-tahun kemudian? Bagaimana kita mengelola begitu banyak data? Lokalisasi terhadap koordinat absolut adalah masalah teknis yang sangat sulit untuk dipecahkan di sini.
Gambar 5-26. Agar ponsel Anda mengetahui hal ini saat Anda berjalan melewatinya sambil menangkap dan mengelola struktur data 3D yang terlibat, diperlukan cloud AR
Bagaimana Aplikasi AR Memahami dan Terhubung ke Berbagai Hal di Dunia Nyata?
Bagaimana aplikasi kami memahami struktur 3D atau geometri dunia (bentuk benda);
misalnya, bagaimana Pokémon saya tahu bahwa ia dapat bersembunyi di belakang atau memantul ke dalam struktur seperti kubus besar yang ditampilkan di layar ponsel cerdas saya (Gambar 5-26). Bagaimana cara mengidentifikasi benda-benda itu—bagaimana kucing virtual saya tahu bahwa gumpalan itu sebenarnya adalah sofa, dan dia harus menjauh dari sofa?
Rekonstruksi 3D padat pada perangkat waktu nyata, segmentasi Scene 3D waktu nyata, klasifikasi objek 3D, pengisian ulang pemrosesan lokal dengan model yang dilatih cloud adalah tantangan di sini.
Seperti banyak di AR, tidak sulit untuk membangun sesuatu yang menunjukkan dengan baik, tetapi sangat sulit untuk membangun sesuatu yang bekerja dengan baik dalam kondisi dunia nyata. Anda mungkin akan sering mendengar tentang cloud AR dalam beberapa bulan mendatang: jika Anda bingung, itu bukan Anda, melainkan mereka.
Tepat ketika Anda berpikir Anda memahami perbedaan antara AR, VR, dan MR, semuanya menjadi lebih dalam. Vendor akan menggunakan istilah identik yang berarti hal yang sama sekali berbeda, seperti berikut:
Multiplayer AR
Ini bisa merujuk pada cara murni tingkat permainan untuk melacak apa yang dilakukan setiap pemain dalam game itu sendiri tanpa visi komputer atau kesadaran spasial. Atau, itu bisa merujuk pada cara untuk memecahkan beberapa masalah pelokalan visi komputer yang sangat sulit. Atau, kedua hal di atas. Atau mereka bisa berarti sesuatu yang lain sama sekali.
Outdoor AR
Ini mungkin hanya berarti aplikasi ARKit yang memiliki aset konten besar yang terlihat terbaik di luar, atau bisa berarti sesuatu yang mendekati sistem pemetaan 3D kendaraan otonom global.
Rekognisi
Ini mungkin berarti secara manual mengonfigurasi satu penanda atau gambar yang dapat dikenali aplikasi Anda. Atau, itu mungkin berarti mesin klasifikasi objek 3D global yang didukung pembelajaran mesin tujuan umum secara real-time.