MEMBUAT AUGMENTED REALITY (AR) BEKERJA
5.10 CLOUD AR
Ini mungkin hanya berarti aplikasi ARKit yang memiliki aset konten besar yang terlihat terbaik di luar, atau bisa berarti sesuatu yang mendekati sistem pemetaan 3D kendaraan otonom global.
Rekognisi
Ini mungkin berarti secara manual mengonfigurasi satu penanda atau gambar yang dapat dikenali aplikasi Anda. Atau, itu mungkin berarti mesin klasifikasi objek 3D global yang didukung pembelajaran mesin tujuan umum secara real-time.
Akankah satu perusahaan akhirnya memiliki (sebagian besar keuntungan) itu? Sejarah mengatakan mungkin. Apakah akan menjadi perusahaan baru? Juga mungkin. Sama seperti pada tahun 1997, tidak terbayangkan jika Microsoft kehilangan posisinya, pada tahun 2019 tampaknya tidak mungkin Google atau Facebook akan kehilangan posisinya. Tapi tidak ada yang dijamin. Saya akan mencoba memaparkan argumen yang mendukung masing-masing dari tiga pihak yang bermain di sini (pemegang saham, startup, web terbuka) di bagian terakhir bab ini.
Gambar 5-27. cloud AR dapat dikelompokkan menjadi dua lapisan: bagian cloud yang bagus untuk membantu aplikasi, dan bagian yang harus dimiliki, yang tanpanya aplikasi tidak akan
berfungsi sama sekali
Sebelumnya, kami menjelajahi cara kerja ARKit dan ARCore. Kami membahas apa yang tersedia hari ini dan bagaimana kami sampai di sini. Di bagian yang akan datang, kita melihat apa yang hilang dari ARKit dan ARCore dan bagaimana bagian yang hilang itu akan bekerja.
Jadi, Apa Itu AR Cloud?
Untuk melampaui ARKit dan ARCore, kita perlu mulai berpikir melampaui diri kita sendiri. Bagaimana orang lain di perangkat AR jenis lain bergabung dengan kami dan berkomunikasi dengan kami di AR? Bagaimana cara kerja aplikasi kami di area yang lebih besar dari ruang tamu kami? Bagaimana aplikasi kami memahami dan berinteraksi dengan dunia?
Bagaimana kita bisa meninggalkan konten untuk ditemukan dan digunakan orang lain? Untuk memberikan kemampuan ini, kami membutuhkan infrastruktur perangkat lunak berbasis cloud untuk AR.
Awan AR dapat dianggap sebagai model skala 1:1 yang dapat dibaca mesin dari dunia nyata. Perangkat AR kami adalah antarmuka waktu nyata ke dunia virtual paralel ini, yang dihamparkan dengan sempurna ke dunia fisik. Menyenangkan, tapi ingat: ini adalah rilis v1.0.
Mengapa Semua "Meh" dari Pers untuk ARKit dan ARCore?
Ketika ARKit diumumkan di WWDC tahun ini, kepala eksekutif Apple Tim Cook menggembar-gemborkan augmented reality, mengatakan kepada para analis, "Ini adalah salah satu hal besar yang akan kita lihat kembali dan kagumi pada awalnya." Beberapa bulan berlalu. Pengembang bekerja dengan rajin pada hal besar berikutnya, tetapi reaksi terhadap ARKit pada keynote peluncuran iPhone adalah, "meh." Mengapa itu? Itu karena ARKit dan ARCore saat ini berada di versi 1.0. Mereka hanya memberi pengembang tiga alat AR yang sangat sederhana:
Pose 6DOF ponsel, dengan koordinat baru setiap sesi
Sebuah pesawat tanah parsial dan kecil
Rata-rata sederhana dari pencahayaan pemandangan
Dalam kegembiraan kami melihat salah satu masalah teknis yang paling sulit dipecahkan (pose 6DOF yang kuat dari sistem VIO yang solid) dan Tim Cook mengucapkan kata "augmented"
dan "realitas" bersama di atas panggung, kami mengabaikan bahwa Anda benar-benar tidak dapat membangun apa pun terlalu mengesankan hanya dengan tiga alat itu. Masalah terbesar mereka adalah orang mengharapkan aplikasi luar biasa sebelum set lengkap alat untuk membangunnya ada. Namun, itu bukan jika, tetapi kapan kita salah.
Apa yang Hilang untuk Membuat Aplikasi AR yang Hebat?
Singkatnya, AR-first, mobile second. Clay Bavor menyebut bagian yang hilang dari ekosistem AR sebagai jaringan ikat, yang menurut saya merupakan metafora yang bagus.
Dalam posting blog saya tentang desain produk AR, saya menyoroti bahwa satu-satunya alasan keberadaan aplikasi AR (dibandingkan dengan aplikasi smartphone biasa) adalah jika aplikasi tersebut memiliki interaksi atau koneksi dengan dunia nyata—dengan orang, tempat, atau benda fisik.
Agar aplikasi AR benar-benar terhubung ke dunia, ada tiga hal yang harus dapat dilakukan. Tanpa koneksi ini, itu tidak akan pernah benar-benar menjadi AR asli. Kemampuan ini hanya dimungkinkan dengan dukungan cloud AR.
Apakah Cloud Seluler Saat Ini Sesuai dengan Pekerjaan?
Ketika saya bekerja di infrastruktur telekomunikasi, ada sedikit kebenaran seperti zen yang berbunyi, "Tidak ada cloud, itu hanya komputer orang lain." Kami selalu bekerja dengan pasangan tembaga atau untaian serat (atau spektrum radio) yang secara fisik menghubungkan satu komputer ke komputer lain, bahkan di seluruh dunia. Ini bukan sihir, hanya sulit. Apa yang membuat infrastruktur cloud AR berbeda dari cloud saat ini, yang mendukung web dan aplikasi seluler kami, adalah bahwa AR (seperti mobil dan drone dan robot self-driving) adalah sistem waktu nyata. Siapa pun yang pernah bekerja di bidang telekomunikasi (atau infrastruktur game MMO fastswitch) sangat memahami bahwa infrastruktur real-time dan infrastruktur asinkron adalah dua hal yang sama sekali berbeda.
Jadi, meskipun banyak bagian dari cloud AR akan melibatkan hosting data besar dan melayani API web dan melatih model pembelajaran mesin—seperti halnya cloud saat ini—
perlu ada pemikiran ulang yang sangat besar tentang bagaimana kami mendukung aplikasi
waktu nyata dan interaksi AR dalam skala masif. Kasus penggunaan AR dasar seperti streaming model 3D langsung dari kamar kami saat kami "AR Skype"; memperbarui data dan aplikasi yang terhubung ke berbagai hal, disajikan saat saya lewat di angkutan umum; mengalirkan data (grafis kaya) kepada saya yang berubah tergantung ke mana mata saya melihat, atau siapa yang berjalan di dekat saya; dan memelihara dan memperbarui status aplikasi waktu nyata dari setiap orang dan aplikasi dalam kerumunan besar di sebuah konser. Tanpa UX jenis ini, tidak ada gunanya AR. Mari kita tetap menggunakan aplikasi smartphone. Mendukung ini untuk akhirnya miliaran orang akan menjadi peluang besar. Jaringan 5G akan memainkan peran besar dan dirancang hanya untuk kasus penggunaan ini. Jika sejarah adalah panduan, beberapa, jika bukan sebagian besar, pemain lama saat ini yang memiliki investasi besar dalam infrastruktur cloud saat ini tidak akan mencopot investasi tersebut untuk beradaptasi dengan dunia baru ini.
Apakah ARKit (atau ARCore) Tidak Berguna Tanpa AR Cloud?
Pada akhirnya, terserah kepada pengguna aplikasi AR untuk memutuskan ini. "Tidak berguna" adalah pilihan kata yang provokatif. Sejauh ini, satu bulan, berdasarkan metrik awal, pengguna condong ke arah "hampir tidak berguna." Mereka mungkin hal baru yang menyenangkan yang membuat Anda tersenyum ketika Anda membagikannya. Mungkin jika Anda membeli sofa, Anda akan mencobanya terlebih dahulu. Tapi ini bukan aplikasi penting yang digunakan sehari-hari yang menentukan platform baru. Untuk itu, kita membutuhkan aplikasi AR-native. Aplikasi yang benar-benar terhubung dengan dunia nyata. Dan untuk menghubungkan aplikasi AR kami satu sama lain dan dunia, kami membutuhkan infrastruktur untuk melakukannya. Kami membutuhkan cloud AR.
AR Cloud dini
Sejak konferensi WWDC Apple pada tahun 2017, yang meluncurkan senjata awal untuk AR konsumen dengan peluncuran ARKit, kami telah melihat setiap platform besar mengumumkan strategi AR: ARCore Google; platform kamera Facebook; Amazon Sumeria;
dan Microsoft terus membangun ekosistem Mixed Realitynya. Kami juga telah melihat ribuan pengembang bereksperimen dengan aplikasi AR tetapi sangat sedikit yang diserap oleh konsumen. Pada bulan September 2017, saya memperkirakan bahwa aplikasi AR akan berjuang untuk interaksi tanpa cloud AR, dan ini memang benar. Namun, kami sekarang menyaksikan fajar layanan cloud yang akan membuka kemampuan menarik untuk pengembang AR, tetapi hanya jika penyedia cloud mendapatkan UX mereka dengan benar. Ini bukan tentang menjadi yang pertama ke pasar, tetapi yang pertama mencapai UX tingkat konsumen.
Ada yang ingat AR sebelum ARKit dan ARCore? Secara teknis berhasil, tetapi UX-nya kikuk. Anda memerlukan spidol yang dicetak atau untuk memegang dan memindahkan telepon dengan hati-hati untuk memulai, dan kemudian itu bekerja dengan cukup baik. Video demonstrasi yang bagus dibuat untuk menunjukkan pengalaman kerja terakhir, yang memukau orang-orang. Hasilnya: penyerapan nol. Memecahkan masalah teknis (walaupun masalah teknis yang cukup sulit) ternyata sangat berbeda dengan mencapai UX yang dapat digunakan konsumen. Baru setelah ARKit diluncurkan, UX "hanya berfungsi" untuk AR dasar
tersedia (dan ini 10 tahun setelah SLAM Seluler ditemukan di Oxford Active Vision Lab, yang dipimpin oleh Victor Prisacariu, salah satu pendiri 6D.ai saya) .
Kami memasuki waktu yang sama dengan cloud AR. Istilah ini muncul dalam percakapan September 2017 yang saya lakukan dengan Ori Inbar sebagai cara untuk menggambarkan serangkaian masalah infrastruktur visi komputer yang perlu dipecahkan agar aplikasi AR menjadi menarik. Setelah sejumlah perusahaan rintisan awal melihat nilai dalam istilah (dan, yang lebih penting, nilai dari pemecahan masalah ini), kami sekarang melihat platform AR terbesar mulai mengadopsi bahasa ini sebagai pengakuan atas masalah yang sangat penting. Saya mendengar desas-desus yang kuat bahwa Google tidak akan menjadi perusahaan bernilai miliaran rupiah terakhir yang mengadopsi bahasa cloud AR pada tahun 2018.
Multiplayer AR (dan fitur cloud AR secara umum) memiliki tantangan yang sama dengan 6DOF AR dasar: kecuali UX dipaku, pengembang awal akan bersenang-senang membangun dan membuat video demonstrasi, tetapi pengguna tidak akan diganggu untuk menggunakannya. Saya telah membangun sistem AR multipemain beberapa kali selama 10 tahun terakhir dan bekerja dengan desainer UX di tim saya untuk menguji pengguna aspek SLAM dari UX dengan cukup ekstensif. Tidak sulit untuk mengetahui apa yang dibutuhkan UX untuk disampaikan:
Ketahuilah bahwa orang tidak akan melompat melalui rintangan. Aplikasi tidak perlu meminta Pemain 2, 3, 4, dan seterusnya untuk "datang dan berdiri di sebelah saya"
atau "ketik beberapa info". Sinkronisasi sistem SLAM hanya perlu bekerja dari mana pun pengguna berdiri ketika mereka ingin bergabung; yaitu, dari setiap sudut relatif atau jarak antara pemain.
Hilangkan atau minimalkan "pra-pemindaian", terutama jika pengguna tidak mengerti mengapa itu diperlukan atau menerima umpan balik yang diberikan tentang apakah mereka melakukannya dengan benar.
Setelah sistem disinkronkan (yaitu, direlokasi ke dalam set koordinat dunia bersama), konten harus memiliki keselarasan yang akurat. Ini berarti bahwa kedua sistem setuju bahwa titik x,y,z maya yang sama sama persis dengan titik yang sama di dunia nyata.
Secara umum, perbedaan beberapa sentimeter di antara perangkat dapat diterima dalam hal persepsi pengguna. Namun, ketika (akhirnya) oklusi mesh dibagikan, kesalahan penyelarasan apa pun sangat terlihat karena konten "terpotong" tepat sebelum melewati di belakang objek fisik. Penting untuk dicatat bahwa pelacak ARCore dan ARKit yang mendasari akurat hanya sekitar tiga hingga lima sentimeter, jadi mendapatkan penyelarasan yang lebih baik daripada yang saat ini tidak mungkin dilakukan untuk sistem relocalizer multipemain.
Pengguna tidak perlu menunggu. Sinkronisasi sistem koordinat harus instan dan tidak ada klik. Idealnya, instan berarti sepersekian detik, tetapi seperti yang akan dikatakan oleh perancang aplikasi seluler mana pun, pengguna akan bersabar hingga dua hingga tiga detik sebelum merasa sistemnya terlalu lambat.
Pengalaman multipemain harus bekerja lintas platform, dan UX harus konsisten di seluruh perangkat.
Penatagunaan data itu penting. Stewardship mengacu pada “pengelolaan yang hati- hati dan bertanggung jawab atas sesuatu yang dipercayakan kepada seseorang,” dan ini adalah kata yang kami gunakan di 6D.ai ketika kami memikirkan data cloud AR.
Pengguna mempercayakannya kepada kami. Ini adalah masalah yang berkembang karena orang mulai memahami bahwa data mereka yang disimpan dapat digunakan untuk hal-hal yang tidak dijelaskan di muka atau dapat diretas dan digunakan secara kriminal. Namun, orang-orang juga pada umumnya menerima tawaran bahwa "Saya akan membagikan beberapa data jika saya mendapat manfaat sebagai balasannya."
Masalah muncul ketika perusahaan menyesatkan atau tidak kompeten sehubungan dengan tawar-menawar ini daripada transparan.
Jadi, mengesampingkan semua aspek level aplikasi dari UI multipemain (seperti tombol lobi dan daftar pemilih untuk memilih untuk bergabung dengan game), bagian sinkronisasi SLAM bukan hanya kotak centang, ini adalah UX dalam dirinya sendiri. . Jika UX itu tidak memberikan
"hanya berfungsi," pengguna bahkan tidak akan repot-repot untuk mencapai level aplikasi untuk kedua kalinya. Mereka akan mencoba sekali karena penasaran, yang berarti bahwa pengamat pasar tidak harus memperhatikan unduhan aplikasi AR atau pengguna terdaftar, tetapi untuk mengulangi penggunaan.
Gambar 5-28. Data gambar yang dapat dilihat oleh manusia tidak boleh keluar dari ponsel
Memungkinkan pengembang untuk membangun aplikasi AR yang menarik adalah hal yang perlu difokuskan oleh perusahaan cloud AR, dengan memecahkan masalah teknis yang menantang untuk mengaktifkan aplikasi AR-First yang asli dari AR. Ini berarti (seperti yang telah saya pelajari beberapa kali dengan menyakitkan) bahwa UX didahulukan. Meskipun kami adalah perusahaan visi komputer teknologi dalam, UX dari cara kerja sistem visi komputer tersebut adalah yang terpenting, bukan apakah sistem tersebut berfungsi sama sekali.