人機交互歷來是消費電子創新的重點區域,始終向更加高效、更低學習成本、更加自然的方向演進。盤點消費電子前進道路上的里程碑,我們發現,真正被用戶認可并買單,引發需求端換機熱潮的標志性創新,總是集中在人機交互領域,并圍繞輸入輸出體驗的提升而展開:電容觸控、Retina屏、大尺寸屏幕、3D玻璃、指紋識別、快充、3D Touch、OLED、雙攝……背后的邏輯在于,人機交互是最容易為消費者感知,也是最直接決定用戶體驗的環節;而產品內部(如芯片、PCB、被動元件等)雖然同樣重要,卻不易被消費者感知。
目前跟蹤定位技術的主流路徑是SLAM(即時定位與地圖構建)。SLAM根據攝像頭、慣性傳感器捕獲的視覺/運動信息,在計算自身位置的同時構建關于空間的全局地圖。受制于計算量,AR中應用的主要是基于稀疏點的視覺SLAM,其步驟包括圖像捕獲-特征點提取-與全局地圖比對-位姿計算-地圖更新。伴隨用戶在空間中的運動,可以觀察到一些相同特征點在不同時間點的三維坐標,根據坐標逆變換原理計算用戶在空間所處位置、運動軌跡,并將這些特征點作為空間場景的結構化信息存儲起來成為全局地圖,隨著用戶的移動范圍擴大,全局地圖包含的場景信息愈發豐富,最終成為用戶對環境的全面感知。輔以機器學習技術,將不僅能夠判斷前方有障礙物,還能夠識別出它是一面墻亦或一張桌子。在增強現實中,虛擬物體與空間場景中的坐標成一一映射關系,SLAM得出的位置信息幫助我們判斷圖像渲染的視角,對空間場景的理解使得影像投射符合物理規律(例如全局地圖顯示前方有大量障礙物,一個虛擬的地球儀不應出現在障礙物內部)。
3D成像所獲取的深度信息對SLAM必不可少。SLAM從二維圖片到三維空間的映射需要深度信息,所有基于SLAM的AR專用硬件或解決方案都搭載了3D成像。微軟發布的HoloLens頭顯配備了四臺攝像頭,可以實時計算空間深度圖,進而通過其擁有的KinectFusion專利技術(本質上是基于Kinect深度圖的SLAM技術)實現精準的位置定位與跟蹤;聯想與谷歌聯合開發的Phab 2 Pro手機,基于Tango的SLAM技術,該手機配備的深度攝像頭和動作追蹤攝像頭能夠對現實空間進行三維建模,為各類AR體驗奠定了硬件基礎。Magic Leap同樣借助基于視覺的稀疏點SLAM解決定位與環境感知問題,因此也必然會搭載3D成像。可以說,3D成像正是AR不可或缺的輸入方式。