MEMBUAT AUGMENTED REALITY (AR) BEKERJA
5.11 GAMBARAN LEBIH BESAR—PRIVASI DAN DATA AR CLOUD
"dapat dikenali" ” data yang diambil adalah. Kami percaya ini akan membutuhkan pendekatan semantik baru untuk segmentasi data 3D dan identifikasi spasial untuk memberikan pengguna tingkat kontrol yang sesuai atas data mereka; ini adalah area yang sedang dieksplorasi oleh kelompok penelitian Oxford kami.
Gambar 5-29 menyajikan titik-cloud sparse untuk pemandangan di Gambar 5-28 (sistem kami memilih titik-titik sparse semi-acak, bukan sudut dan tepi geometris, yang tidak dapat digabungkan ke dalam ruang geometris yang dapat dikenali).
Bagian kedua dari teka-teki adalah "deskriptor fitur", yang disimpan oleh kami dan juga Google di cloud. Google sebelumnya telah mengatakan bahwa file Tango ADF, yang menjadi dasar ARCore, dapat membuat deskriptor fitur visualnya direkayasa balik dengan pembelajaran mendalam kembali menjadi gambar yang dapat dikenali manusia (Gambar 5- 30) (dari dokumentasi ADF Tango — “ada di prinsip yang memungkinkan untuk menulis algoritma yang dapat merekonstruksi gambar yang dapat dilihat"). Perhatikan bahwa saya tidak tahu apakah ARCore mengubah spesifikasi jangkar dari ADF Tango cukup untuk mengubah fakta ini, tetapi Google telah menjelaskan bahwa ARCore didasarkan pada Tango, dan mengubah struktur data deskriptor fitur adalah perubahan yang cukup mendasar pada algoritme.
Ini sangat penting karena agar konten AR benar-benar persisten, perlu ada model data dunia nyata yang dihosting cloud yang persisten. Dan satu-satunya cara untuk mencapai ini secara komersial adalah agar pengguna akhir mengetahui bahwa deskripsi dunia nyata itu bersifat pribadi dan anonim. Selain itu, saya percaya akses ke data cloud harus dibatasi dengan mengharuskan pengguna secara fisik berdiri di tempat yang dijelaskan secara matematis data, sebelum menerapkan peta ke aplikasi.
Gambar 5-30. Ini adalah deskriptor fitur yang dihasilkan untuk setiap titik di point-cloud (sejauh data yang dihosting cloud 6D.ai dapat direkayasa balik, berdasarkan penerapan sains
terbaru yang tersedia saat ini bersama dengan sumber daya komputasi yang besar)
Realitas mengenai data cloud AR ini menciptakan masalah pasar struktural untuk semua perusahaan platform AR utama saat ini, mengingat model bisnis Google dan Facebook (dan lainnya) dibangun dengan menerapkan data yang mereka kumpulkan untuk melayani iklan Anda dengan lebih baik. Platform seperti Apple dan Microsoft adalah silo dan karenanya tidak akan menawarkan solusi lintas platform. Mereka juga tidak akan memprioritaskan solusi cloud yang memungkinkan solusi P2P di perangkat yang dipatenkan.
Satu faktor yang saya anggap remeh adalah pengembang dan mitra besar memahami dengan jelas nilai data yang dihasilkan oleh aplikasi mereka, dan mereka tidak ingin memberikan data tersebut ke platform besar untuk dimonetisasi oleh organisasi tersebut.
Mereka ingin membawa semuanya di rumah (seperti yang dilakukan Niantic) atau bekerja dengan mitra yang lebih kecil yang dapat memberikan paritas teknologi dengan platform besar (bukan tugas kecil) dan yang juga dapat menjamin privasi dan penyelarasan model bisnis.
AR dipandang terlalu penting untuk memberikan fondasi data. Ini adalah keuntungan pasar struktural yang dimiliki oleh startup cloud AR, dan ini merupakan tanda yang menggembirakan untuk masa depan kami yang dapat diperkirakan.
Saat ARKit mengumumkan awal AR pada tahun 2017, kami yakin Cloud Anchors Google mengumumkan awal dari cloud AR. Aplikasi AR akan menjadi jauh lebih menarik, tetapi hanya jika penyedia cloud AR memberikan UX visi komputer yang “berfungsi” dan mengatasi beberapa masalah privasi yang menantang dan unik.
Glosarium
Ini bukan deskripsi teknis yang tepat dari istilah-istilah ini; jika Anda membutuhkannya, Anda dapat menemukannya di Wikipedia dan dokumen teknis online yang tak terhitung jumlahnya. Sebaliknya, ini adalah upaya untuk menyederhanakan istilah agar dapat dimengerti oleh khalayak umum.
SLAM (simultaneous location and mapping)
Ini adalah istilah luas yang mengacu pada sekelompok subsistem teknis yang membantu perangkat AR (dan robot) menentukan di mana ia berada di dunia. Ini mencakup hal-hal seperti melacak posisi Anda dari bingkai ke bingkai (VIO hanyalah salah satu jenis tracking) serta membangun peta ruang khusus yang dapat dibaca mesin untuk mengingat di mana Anda berada dalam jangka panjang (dan relokasi jika Anda tersesat). SLAM biasanya visual dan berbasis di sekitar kamera plus sensor lain, tetapi dimungkinkan untuk membangun sistem SLAM tanpa kamera, hanya menggunakan (misalnya) sinyal radio seperti WiFi.
VIO (visual inertial odometry)
Suatu bentuk tracking yang mengambil input dari kamera dan sensor inersia untuk melacak posisi perangkat secara real-time.
6DOF (6 degrees of freedom)
Mengacu pada posisi (x,y,z koordinat) dan orientasi (pitch, yaw, roll) perangkat, bersama- sama disebut sebagai pose Anda. Ini bisa dalam koordinat relatif (di mana saya relatif terhadap tempat saya memulai) atau koordinat absolut (mis., lintang, bujur, ketinggian, dll.).
Kebenaran dasar
Pose Anda yang "benar" mutlak. Biasanya diukur terhadap data yang disurvei atau diukur menggunakan sistem yang sangat akurat. Ini adalah konsep teoretis, karena setiap sistem pengukuran memiliki beberapa kesalahan kecil dari kebenaran dasar (misalnya, bahkan pengukuran berbasis laser memiliki kesalahan mikron). Tujuannya adalah agar sistem AR cukup dekat dengan kebenaran dasar yang tidak dapat diperhatikan manusia. Sebagian besar dari kita memperlakukan GPS sebagai kebenaran dasar, tetapi kita semua pernah mengalami betapa tidak akuratnya itu, dan sistem AR harus jauh lebih akurat.
IMU (ertial measurement unit)
Istilah yang mengacu pada kombinasi akselerometer dan giroskop di ponsel Anda, yang memberikan pengukuran yang dapat digabungkan dengan output kamera untuk membantu tracking.
SIFT
Deskripsi fitur yang akurat dan kuat untuk sistem SLAM untuk mengenali titik dalam ruang. Ini adalah kombinasi dari koordinat 3D ditambah deskripsi piksel di sekitar titik itu (misalnya, warna dan pencahayaan) sehingga sistem dapat mengenalinya lagi di bingkai berikutnya.
Point-cloud
Point-cloud 3D di ruang angkasa. Perhatikan bahwa ini tidak termasuk deskriptor fitur, yang diperlukan untuk relokasi dan penggunaan dalam sistem SLAM. Banyak orang salah berasumsi bahwa point-cloud adalah semua yang diperlukan untuk sistem SLAM. Sebagai gantinya, mereka membutuhkan peta, yang merupakan kombinasi dari point-cloud dan deskriptor fitur (ditambah mungkin beberapa metadata)
Kalman filter
Sebuah algoritma matematika yang memprediksi nomor berikutnya dalam seri berdasarkan input yang tidak dapat diandalkan. Ini adalah cara input dari IMU dan kamera digabungkan menjadi pose dan memprediksi beberapa frame ke depan untuk memperhitungkan waktu pemrosesan. Perhatikan bahwa tidak ada yang namanya "filter Kalman"; ada banyak jenis kompleksitas yang berbeda-beda dan setiap sistem AR akan menggunakan versi mereka sendiri yang dirancang sendiri.