智能建造理論與實踐 課件 4.9節(jié) 增強現(xiàn)實技術(shù)

第四章智能建造技術(shù)與應(yīng)用4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實概述增強現(xiàn)實的定義增強現(xiàn)實（AugmentedReality，簡稱AR）技術(shù)是一種基于計算機實時計算和多傳感器融合，將現(xiàn)實世界與虛擬信息結(jié)合起來的技術(shù)。對人的視覺、聽覺、嗅覺、觸覺等感受進行模擬和再輸出，并將虛擬信息疊加到真實信息上，給人提供超越真實世界的感受體驗具有虛實結(jié)合、實時交互、3D定位等顯著特性4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實概述增強現(xiàn)實的起源20世紀50、60年代20世紀90年代20142015至2016AR技術(shù)的起源，可追溯到20世紀五、六十年代由于當時的AR技術(shù)價格較高，并且具有自身延遲較長，設(shè)備計算能力有限等缺陷，導(dǎo)致這些AR游戲產(chǎn)品以失敗收尾，第一次AR熱潮就此消退Facebook以20億美元收購Oculus后，類似的AR熱再次襲來AR領(lǐng)域共進行了225筆風險投資，投資額達到了35億美元，原有的領(lǐng)域擴展到多個新領(lǐng)域，如城市規(guī)劃、虛擬仿真教學、手術(shù)診療、文化遺產(chǎn)保護等4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實關(guān)鍵技術(shù)跟蹤注冊技術(shù)虛擬對象生成技術(shù)顯示技術(shù)增強現(xiàn)實應(yīng)用還依賴于設(shè)備的顯示技術(shù)，為了達到逼真的展示效果，高效率的顯示技術(shù)和顯示設(shè)備必不可少增強現(xiàn)實的目標是把虛擬世界套在現(xiàn)實世界并進行互動需要保證所生成的虛擬物體真實感和實時性強移動設(shè)備攝像頭與虛擬信息的位置需要相對應(yīng)，這就需要通過跟蹤技術(shù)來實現(xiàn)4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——顯示技術(shù)圖4-56光學透射式頭盔顯示器和視頻透射式頭盔顯示器1）近眼式顯示設(shè)備

近視眼顯示設(shè)備主要是指頭盔顯示器。頭盔顯示器主要分為兩種：光學透射式頭盔顯示器和視頻透射式頭盔顯示器。如果按照顯示器件數(shù)量，也可以劃分為單目頭盔顯示器和雙目頭盔顯示器。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——顯示技術(shù)2）手持式顯示設(shè)備

手持式顯示設(shè)備，顧名思義就是拿在手上的顯示設(shè)備。最常見的就是我們的智能手機和平板電腦。這類設(shè)備具有很好的便攜性，是一種天然的AR設(shè)備。它們有攝像頭作為圖像輸入設(shè)備，有自帶的處理器，有顯示單元，具備了進行AR開發(fā)的所有條件。在目前市面上，很多增強現(xiàn)實APP都是圍繞這類設(shè)備開發(fā)的。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——顯示技術(shù)3）固定式顯示設(shè)備

給桌面級顯示器添加一個網(wǎng)絡(luò)攝像頭，就可以完成AR任務(wù)了。該攝像頭可以捕捉空間中的圖像，然后估計攝像頭的位置和姿態(tài)，最后計算生成虛擬信息，并進行虛實融合，輸出到桌面顯示器上。虛擬鏡子，這是利用攝像頭對著人進行拍攝，然后輸出到一個類似于鏡子的大型顯示器上，給人一種照鏡子的感覺。同時，還可以進行虛擬換裝，或者添加一些虛擬物件，達到AR效果。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——顯示技術(shù)4）投影式顯示設(shè)備投影機是一種重要的虛擬現(xiàn)實和增強現(xiàn)實設(shè)備。最常見的基于投影的增強現(xiàn)實系統(tǒng)是在展會上的各種絢麗的投影展品，包括虛擬地球、汽車表面投影等。這類系統(tǒng)屬于空間增強現(xiàn)實系統(tǒng)。另外，柱幕、球幕、環(huán)幕投影也可以歸為基于投影的空間增強現(xiàn)實。投影機還可以用于構(gòu)建CAVE系統(tǒng)。手持式投影機結(jié)合圖像捕捉設(shè)備，還可以建立動態(tài)的空間增強現(xiàn)實系統(tǒng)。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——跟蹤技術(shù)1）固定式跟蹤系統(tǒng)機械跟蹤器超聲波跟蹤器電磁跟蹤器通過控制機械臂各個關(guān)節(jié)的轉(zhuǎn)動來跟蹤機械臂末端的空間位置，精度可以控制得比較高通過一個固定的發(fā)射源發(fā)射出三維正交的電磁場，接收端通過檢測接收到的電磁場的方向和強度來確定位置通過測量一個聲音脈沖從發(fā)射源到傳感器的飛行時間來測量距離。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——跟蹤技術(shù)2）移動式傳感器

GPS，全稱是全球定位系統(tǒng)。這個系統(tǒng)在智能手機上應(yīng)用很普遍。它通過接收多顆衛(wèi)星信號來確定當前所處的位置。對于戶外大范圍增強現(xiàn)實有著重要意義。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——跟蹤技術(shù)3）光學跟蹤技術(shù)跟蹤模式照明種類有些跟蹤需要對被跟蹤的目標預(yù)先建模，例如一些圖像跟蹤工具箱。有的則不需要提前建模，例如同步定位與跟蹤技術(shù)（SLAM）人工標志與自然特征有些跟蹤系統(tǒng)不需要自主添加光源，只是利用環(huán)境光，稱為被動照明；有些跟蹤需要主動發(fā)射某種照明光線，來實現(xiàn)其跟蹤，稱為主動照明。人工標志指的是人造的用于跟蹤的圖像標志等。自然特征指的是自然環(huán)境中本身就有的特征，不是人為放置用來跟蹤的特征。互補式融合競爭式融合協(xié)作式融合傳感器融合4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——標定和注冊

跟蹤、標定和注冊是AR系統(tǒng)研究的三個核心問題，下面將從標定及注冊的相關(guān)類型及涉及的技術(shù)等方面進行介紹這兩個問題攝像機標定①標定內(nèi)參數(shù)在使用中必須先標定攝像頭的內(nèi)參數(shù)②校正鏡頭畸變鏡頭畸變可以分為徑向畸變和切向畸變兩種。它們也都可以通過標定來確定畸變參數(shù)虛擬信息是通過攝像頭捕捉環(huán)境，建立跟蹤注冊信息，然后渲染輸出到頭盔顯示器上。這個回路的處理時間導(dǎo)致虛擬信息的渲染比頭部轉(zhuǎn)動會有延遲顯示器標定注冊①單點主動對準法這個方法要求用戶佩戴頭盔顯示器，并且將屏幕上的一些十字光標與真實世界中的物體進行多次對齊，多次對齊需要通過頭部轉(zhuǎn)動完成②使用瞄準轉(zhuǎn)置該方法需要將瞄準裝置與顯示器上的十字叉絲對準4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——視覺一致性幾何一致性幾何一致性還要求在時間變化中保證幾何一致。虛實遮擋也要保持一致。必須使用額外的傳感器，探測出真實物體的空間位置，然后決定哪些虛擬圖像是應(yīng)該被遮擋起來的。光照一致性渲染的虛擬物體怎樣保持與真實環(huán)境一致的光照效果，也是需要注意的。通過某個方式獲得真實環(huán)境中的光源分布，然后在虛擬世界中模擬這個光照效果。4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實研究內(nèi)容分解——交互技術(shù)設(shè)備交互肢體交互手勢交互語音交互觸摸交互眼動交互腦機接口4.9增強現(xiàn)實技術(shù)——增強現(xiàn)實技術(shù)概述增強現(xiàn)實中的可視化，主要是對場景中的物體進行標注和解釋。對于標注和解釋的合理性和正確性，需要經(jīng)過仔細探究。需要對數(shù)據(jù)進行過濾，考慮兩個方面的問題：第一，標注的合理性；