基于特征點(diǎn)的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法研究_圖文

1、天津大學(xué)博士學(xué)位論文基于特征點(diǎn)的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法研究姓名：李旭東申請(qǐng)學(xué)位級(jí)別：博士專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：孫濟(jì)洲20081001摘要增強(qiáng)現(xiàn)實(shí)技術(shù)是計(jì)算機(jī)圖形學(xué)的熱門研究領(lǐng)域，作為虛擬現(xiàn)實(shí)技術(shù)的一個(gè)新的分支，越來越受到重視，并且已經(jīng)在醫(yī)學(xué)、娛樂和軍事等領(lǐng)域中開始了廣泛的應(yīng)用。在增強(qiáng)現(xiàn)實(shí)技術(shù)中，注冊(cè)技術(shù)一直是研究的重點(diǎn)，也是關(guān)系到增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展前景的關(guān)鍵。在增強(qiáng)現(xiàn)實(shí)的注冊(cè)技術(shù)中，還存在很多問題需要解決。本文主要就基于視頻的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的三維注冊(cè)所面臨的關(guān)鍵問題進(jìn)行了深入的研究。其中，增強(qiáng)現(xiàn)實(shí)系統(tǒng)的初始化是系統(tǒng)正常工作的基礎(chǔ)。但是在初始化過程中會(huì)面臨由于空間點(diǎn)數(shù)據(jù)不準(zhǔn)確所引起的較大誤差

2、，將會(huì)導(dǎo)致初始化的失敗。針對(duì)這個(gè)問題，本文在原有攝像機(jī)的定標(biāo)算法的基礎(chǔ)上，提出了新的計(jì)算攝像機(jī)參數(shù)和變換矩陣的計(jì)算方法，有效的控制了誤差的分布，提高了攝像機(jī)定標(biāo)的準(zhǔn)確性。特征識(shí)別是虛擬物體能夠準(zhǔn)確疊加到真實(shí)場(chǎng)景中的關(guān)鍵，傳統(tǒng)的特征識(shí)別算法在特征圖形被部分遮擋的情況下會(huì)出現(xiàn)識(shí)別失敗。本文提出了基于單應(yīng)性矩陣的三維注冊(cè)算法，可以在特征圖形內(nèi)部圖案被遮擋的條件下進(jìn)行三維注冊(cè)。本文還提出了多特征點(diǎn)和三角點(diǎn)注冊(cè)算法，可以使系統(tǒng)在特征圖形的角點(diǎn)被遮擋的條件下進(jìn)行三維注冊(cè)。本文提出了兩種特征點(diǎn)結(jié)合紋理的三維注冊(cè)方法。兩種方法分別使用單應(yīng)性矩陣和紋理特征模板來完成在特征圖形不可見的情況下使用紋理進(jìn)行三維注冊(cè)的

3、方法，提高了系統(tǒng)的穩(wěn)定性。特征跟蹤是保證虛擬物體能夠持續(xù)穩(wěn)定地進(jìn)行三維注冊(cè)的關(guān)鍵，傳統(tǒng)的特征跟蹤算法由于搜索窗口大小固定，在特征圖形進(jìn)行某些特殊運(yùn)動(dòng)的情況下會(huì)出現(xiàn)跟蹤失敗，導(dǎo)致系統(tǒng)運(yùn)行效率降低。針對(duì)這個(gè)問題，本文提出了一種具有自適應(yīng)性的特征跟蹤算法，該算法可以根據(jù)特征圖形的運(yùn)動(dòng)方式自動(dòng)的調(diào)整搜索窗口的大小，在特征圖形快速運(yùn)動(dòng)和大幅度縮放的條件下，可以持續(xù)的保持特征跟蹤的正常進(jìn)行，提高了系統(tǒng)的運(yùn)行效率。關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)三維注冊(cè)特征識(shí)別特征跟蹤）鋤：饑可印印瑪吼九缸吼訂】【如妙鋤仃仃缸咖哪呵劬印罌鑼培，傲，嘶匆缸疵橢恤乜訇印，鋤印婦培噸訕，仃觚仃，廿培仃瑪鋤棖斌時(shí)（：觚舯咄鋤，位，慨【獨(dú)創(chuàng)性聲明本

4、人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作和取得的研究成果，除了文中特別加以標(biāo)注和致謝之處外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得苤鲞盤堂或其他教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說明并表示了謝意。學(xué)位論文作者簽名多考小夢(mèng)車簽字只期：力穆年，月土同學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解墨鲞盤堂有關(guān)保留、使用學(xué)位論文的規(guī)定。特授權(quán)苤鲞盤堂可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，并采用影印、縮印或掃描等復(fù)制手段保存、匯編以供查閱和借閱。同意學(xué)校向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和

5、磁盤。（保密的學(xué)位論文在解密后適用本授權(quán)說明）學(xué)位論文作者簽名：套牿型簽字同期：溯年工月同導(dǎo)師簽名：簽字日期：同第章堵論第一章緒論研究的背景與意義虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)虛擬現(xiàn)實(shí)（）技術(shù)是交互沉浸想象的總集成，其關(guān)鍵技術(shù)所支撐的多維信息空間使參與者產(chǎn)生高度逼真的“現(xiàn)實(shí)”感覺。虛擬現(xiàn)實(shí)系統(tǒng)的最大特點(diǎn)就是參與者能與計(jì)算機(jī)生成的虛擬環(huán)境進(jìn)行自然的交互，能用人類自然的技能和感知能力與虛擬世界中的對(duì)象進(jìn)行交互作用。增強(qiáng)現(xiàn)實(shí)（）是虛擬現(xiàn)實(shí)（）技術(shù)的一種變體。虛擬現(xiàn)實(shí)技術(shù)將用戶沉浸在一個(gè)完全虛擬的環(huán)境中，用戶將無法看到他周圍的現(xiàn)實(shí)世界，與其相反，增強(qiáng)現(xiàn)實(shí)將允許用戶看到他周圍的現(xiàn)實(shí)世界，并且間時(shí)會(huì)看到疊加或者合成到

6、現(xiàn)實(shí)世界之中的虛擬物體。由此可以看出，增強(qiáng)現(xiàn)實(shí)技術(shù)是對(duì)現(xiàn)實(shí)世界進(jìn)行增加，而不是完全的替代它。在理想的情況下，用戶所看到的真實(shí)物體與虛擬物體應(yīng)該準(zhǔn)確的融合到一起。圖給出了一個(gè)增強(qiáng)現(xiàn)實(shí)場(chǎng)景的例子。圖中的房間里有一張真實(shí)的桌子和真實(shí)的電話，同時(shí)房間中還有一盞虛擬的臺(tái)燈和兩把虛擬的椅子。增強(qiáng)現(xiàn)實(shí)可以被認(rèn)為是介于完全虛擬和完全現(xiàn)實(shí)之間的一種中間體。圖增強(qiáng)現(xiàn)實(shí)場(chǎng)景示例曲叫】將增強(qiáng)現(xiàn)實(shí)技術(shù)定義為具有了以下三個(gè)特性的系統(tǒng)）混和了虛擬物體和現(xiàn)實(shí)世界；）能夠進(jìn)行實(shí)時(shí)的互動(dòng)；）進(jìn)行三維的注冊(cè)。第一章緒論在這個(gè)定義中并沒有包括電影特效和二維疊加?，F(xiàn)代的電影技術(shù)可以幾乎完美的將虛擬物體融合到現(xiàn)實(shí)世界中，并且這種融合也是

7、在三維環(huán)境下進(jìn)行的。但是，電影特效是在后期制作的基礎(chǔ)上完成的，并不能夠進(jìn)行實(shí)時(shí)的互動(dòng)。而對(duì)實(shí)時(shí)視頻進(jìn)行虛擬物體的二維疊加可以滿足實(shí)時(shí)交互的要求，但是其并不是在三維環(huán)境下進(jìn)行的。所以，以上兩種情況都不屬于增強(qiáng)現(xiàn)實(shí)技術(shù)的范圍。增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)成為了計(jì)算機(jī)圖形學(xué)領(lǐng)域的一個(gè)研究熱點(diǎn)，越來越受到廣大研究人員重視，并且隨著研究的深入，跨專業(yè)甚至跨學(xué)科的知識(shí)的引入已經(jīng)越來越重要。三維注冊(cè)技術(shù)三維注冊(cè)】是指通過計(jì)算機(jī)圖形學(xué)分析，獲取三維空間中具體物體的準(zhǔn)確的三維空間坐標(biāo)，然后根據(jù)獲取的三維坐標(biāo)將由計(jì)算機(jī)生成的虛擬物體綁定拼接到真實(shí)的三維空間中去，以達(dá)到真實(shí)環(huán)境和虛擬物體的準(zhǔn)確無縫融合。注冊(cè)是增強(qiáng)現(xiàn)實(shí)技術(shù)中的最

8、重要的技術(shù)環(huán)節(jié)，是目前阻礙增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展的最重要的問題。如果真實(shí)場(chǎng)景中的物體和虛擬物體不能夠很好的被綁定拼接，那么真實(shí)和虛擬并存的假相就會(huì)被使用者揭穿。如果失去了準(zhǔn)確注冊(cè)的能力，增強(qiáng)現(xiàn)實(shí)技術(shù)會(huì)被很多應(yīng)用領(lǐng)域拒之門外。許多增強(qiáng)現(xiàn)實(shí)系統(tǒng)都在設(shè)計(jì)時(shí)都假設(shè)視點(diǎn)或者物體是靜止的。就算有些系統(tǒng)允許移動(dòng)視點(diǎn)和物體，它們?nèi)匀灰笠苿?dòng)處于一個(gè)嚴(yán)格限制的范圍之中，比如在一個(gè)固定的場(chǎng)景范圍內(nèi)進(jìn)行移動(dòng)。并且只有在經(jīng)過特殊處理的物體上才能進(jìn)行注冊(cè)（比如該物體上添加一些可以識(shí)別的標(biāo)識(shí)或者對(duì)該物體的幾何結(jié)構(gòu)進(jìn)行建模），而場(chǎng)景中的其他沒有處理過的物體都不能顯示任何虛擬的效果，因?yàn)橄到y(tǒng)無法知道虛擬物體與那些沒有任何可以識(shí)別的

9、標(biāo)識(shí)的物體之間是何種對(duì)應(yīng)關(guān)系。由此可以看出，三維注冊(cè)技術(shù)是把握增強(qiáng)現(xiàn)實(shí)技術(shù)研究深入進(jìn)行的命脈，任何增強(qiáng)現(xiàn)實(shí)系統(tǒng)都需要在一個(gè)穩(wěn)定、快速、有效的三維注冊(cè)技術(shù)的支持下才能成功。增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用現(xiàn)狀增強(qiáng)現(xiàn)實(shí)技術(shù)可以增強(qiáng)使用者對(duì)真實(shí)世界的感知能力并且提高與其的交互能力。虛擬物體可以為用戶提供一些依靠其自身所無法感知的信息。這些由虛擬物體所提供的信息可以幫助使用者完成他在現(xiàn)實(shí)世界的工作。這也正是計(jì)算機(jī)技第一章緒論術(shù)所需要達(dá)到的目的之：通過使用計(jì)算機(jī)來使人類更容易地完成工作。目前為止，增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)在至少六個(gè)領(lǐng)域進(jìn)彳亍了應(yīng)用：醫(yī)學(xué)虛擬成像口，、設(shè)備維護(hù)和修理、自動(dòng)注釋、機(jī)器人路徑規(guī)劃、娛樂以及軍用飛行器導(dǎo)

10、航和瞄準(zhǔn)。下面所列的一系列應(yīng)用展示了增強(qiáng)現(xiàn)實(shí)技術(shù)在這些領(lǐng)域的些代表性的應(yīng)用實(shí)例。、醫(yī)學(xué)在這個(gè)領(lǐng)域中。的一個(gè)研究小組開發(fā)了一個(gè)基于超聲波成像的增強(qiáng)現(xiàn)實(shí)系統(tǒng)。該系統(tǒng)通過超聲波探測(cè)器掃描一個(gè)孕婦的子宮，形成胎兒的三維圖像。借助該圖像，醫(yī)生可以判斷胎兒的胎動(dòng)、胎位是否正常。該系統(tǒng)雖近又被用于一次切除膝關(guān)節(jié)腫瘤的手術(shù)】。、設(shè)備維護(hù)和修理咖小組開發(fā)了一個(gè)用來維護(hù)和修理激光打印機(jī)的應(yīng)用系統(tǒng)【。波音公司正在在這一領(lǐng)域，有些研究小組已經(jīng)提供了一些原型系統(tǒng)。哥倫比亞大學(xué)的利用增強(qiáng)現(xiàn)實(shí)技術(shù)為飛機(jī)機(jī)械師開發(fā)一套可穿戴系統(tǒng)，將飛機(jī)的所有說明都儲(chǔ)存在該系統(tǒng)中。而波音公司所正在使用的維修系統(tǒng)需要占用幾個(gè)車間以存放所有的資料

11、和設(shè)備。如果該可穿戴系統(tǒng)開發(fā)成功不但可以縮短維護(hù)時(shí)間，而且可以大大降低維護(hù)成本。、虛擬注解和成像在歐洲計(jì)算機(jī)工業(yè)研究中，（）開發(fā)的系統(tǒng)中，用戶可以通過指示引擎的某一部分來使增強(qiáng)現(xiàn)實(shí)系統(tǒng)顯示該部分的名稱。圖顯示了哥倫比亞太學(xué)的研究人員開發(fā)的用來顯示使用者私人信息的增強(qiáng)現(xiàn)實(shí)系統(tǒng)】，通過疊加在視窗上的提示信息，可以了解該人員的具體位置和其他個(gè)人信息。圖針對(duì)私人信息的增強(qiáng)現(xiàn)實(shí)系統(tǒng)、機(jī)器人路徑規(guī)劃對(duì)機(jī)器人進(jìn)行遠(yuǎn)距離遙控一直是一個(gè)非常困難的問題，以為通訊中會(huì)產(chǎn)生比較長的延遲。在這種情況下，一種有效的解決方式就是通過預(yù)先測(cè)試本地的虛擬機(jī)器人來實(shí)時(shí)地獲得某個(gè)操作的運(yùn)行結(jié)果。一旦測(cè)試通過，就可以把該操作指令發(fā)送

12、給遠(yuǎn)程機(jī)器人來實(shí)際執(zhí)行。這樣可以很大程度避免由延遲而導(dǎo)致的誤操作產(chǎn)生。觸犯系統(tǒng)證明了通過立體地虛擬測(cè)試可以準(zhǔn)確的進(jìn)行機(jī)器人的路徑規(guī)劃。、娛樂和軍用飛行器在會(huì)議上，幾個(gè)技術(shù)人員演示了一種可以將演員和虛擬背景進(jìn)行實(shí)時(shí)三維合成的系統(tǒng)。例如，將演員和一個(gè)虛擬的圓環(huán)合成在一起，圓環(huán)的前部遮擋住演員，同時(shí)后部又被演員所遮擋。的項(xiàng)目正在研究能讓虛擬環(huán)境中的虛擬生物對(duì)用戶的行為做出反應(yīng)。很多年以來，戰(zhàn)斗機(jī)和軍用直升機(jī)飛行員一直在使用一種頭盔瞄準(zhǔn)具。該設(shè)備將物體的矢量圖形和真實(shí)世界合成起來，可以為飛行員進(jìn)行導(dǎo)航。此外，還可以用來對(duì)目標(biāo)進(jìn)行瞄準(zhǔn)。例如，直升機(jī)的機(jī)炮是與飛行員的頭盔相連的，飛行員可以簡單地通過注視一

13、個(gè)物體而將機(jī)炮瞄準(zhǔn)該物體。研究現(xiàn)狀和面臨的主要問題研究現(xiàn)狀增強(qiáng)現(xiàn)實(shí)技術(shù)研究領(lǐng)域的主要研究課題是場(chǎng)景的三維注冊(cè)問題，這也是當(dāng)前增強(qiáng)現(xiàn)實(shí)研究領(lǐng)域的核心問題。解決三維注冊(cè)問題的方法目前主要有四大類：在場(chǎng)景中放置計(jì)算機(jī)可識(shí)別的特征標(biāo)識(shí)物】，通過計(jì)算機(jī)對(duì)特征點(diǎn)的識(shí)別來提取虛擬物體在真實(shí)場(chǎng)景中的三維注冊(cè)信息；對(duì)已知的真實(shí)場(chǎng)景進(jìn)行三維建模】，在所建立的場(chǎng)景模型的基礎(chǔ)上獲得虛擬物體在真實(shí)場(chǎng)景中的三維注冊(cè)信息；根據(jù)環(huán)境中的自然特征點(diǎn)【，提取對(duì)虛擬物體進(jìn)行三維注冊(cè)所需的信息；在場(chǎng)景中放置電磁感應(yīng)裝置，系統(tǒng)通過對(duì)電磁感應(yīng)裝置的信息的處理，可以獲取進(jìn)行三維注冊(cè)所需的空間位置信息。四種方法各有其優(yōu)缺點(diǎn)。第一種方法的主要

14、優(yōu)點(diǎn)是增強(qiáng)現(xiàn)實(shí)環(huán)境的建立快速，計(jì)算機(jī)不需要通過學(xué)習(xí)就可以識(shí)別特征點(diǎn)，速度快，效果穩(wěn)定。缺點(diǎn)是特征標(biāo)識(shí)物的嚴(yán)重被遮擋或者特征標(biāo)識(shí)物使用高速的移動(dòng)方式（例如高速平移或者大幅度縮放）都會(huì)導(dǎo)致三維注冊(cè)的失敗。第二種方式的優(yōu)點(diǎn)是一旦真實(shí)場(chǎng)景的三維建模工作完成，由于場(chǎng)景信息的準(zhǔn)確性和可靠性，顯然可以取得最好和最準(zhǔn)確的三維注冊(cè)信息，并且不會(huì)受類似特征標(biāo)識(shí)物被遮擋這一類的問題影響。缺點(diǎn)是真實(shí)場(chǎng)景的建模比較復(fù)雜，特別是復(fù)雜層次的場(chǎng)景，建模比較困難，這也是影響這種三維注冊(cè)方式應(yīng)用范圍的主要原因之一。第三種方式可以通過計(jì)算機(jī)學(xué)習(xí)的方法提取自然特征點(diǎn)的三維注冊(cè)信息，不依賴于固定的特征標(biāo)識(shí)物。其原理是首先需要獲得某些供

15、參考的自然特征物的關(guān)鍵幀圖像，在三維注冊(cè)時(shí)，選取某個(gè)自然特征物與當(dāng)前攝像機(jī)的相對(duì)位置最接近的關(guān)鍵幀作為參考幀，從而獲取三維注冊(cè)信息。缺點(diǎn)是獲得的三維注冊(cè)信息的精確度顯然與關(guān)鍵幀有關(guān)。由于攝像機(jī)的運(yùn)動(dòng)是隨機(jī)的，若想獲得相對(duì)準(zhǔn)確的注冊(cè)信息，則必須提前取得盡可能多的不同位置的某個(gè)特征物的關(guān)鍵幀，且數(shù)量越多，實(shí)際使用時(shí)所獲得的注冊(cè)信息越準(zhǔn)確；但在另一方面，關(guān)鍵幀越多，系統(tǒng)在對(duì)比時(shí)需要進(jìn)行的查詢工作也就會(huì)越多，這必然會(huì)影響系統(tǒng)的反應(yīng)速度，這也是此種三維注冊(cè)方法的缺點(diǎn)之一。第四種方式的最大優(yōu)點(diǎn)就是可以通過處理電磁感應(yīng)裝置的信息獲取物體在空間中的絕對(duì)位置信息，與之相對(duì)應(yīng)的，第一種和第二種方式都只能獲得物體的

16、相對(duì)位置信息，第三種方式在添加其他輔助設(shè)備（例如定位裝置）的前提下也可以獲得絕對(duì)位置信息。這個(gè)方式的缺點(diǎn)也是顯而易見的，那就是由于需要放置電磁感應(yīng)裝置，必然會(huì)影響增強(qiáng)現(xiàn)實(shí)系統(tǒng)的應(yīng)用范圍。面臨的主要問題通過以上的分析可以看出，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)三維注冊(cè)技術(shù)的四種主流方式各有自己的優(yōu)缺點(diǎn)。本文主要針對(duì)基于特征點(diǎn)的注冊(cè)算法和特征點(diǎn)與自然紋理相結(jié)合的注冊(cè)方法進(jìn)行研究，對(duì)真實(shí)場(chǎng)景進(jìn)行建模的三維注冊(cè)研究和使用電子感應(yīng)裝置方式的三維注冊(cè)研究不在本文的研究范疇之內(nèi)。在這兩種三維注冊(cè)技術(shù)中，分別存在如下的問題需要解決：、攝像機(jī)定標(biāo)的求解過程中出現(xiàn)的誤差。攝像機(jī)定標(biāo)是增強(qiáng)現(xiàn)實(shí)系統(tǒng)初始化的重要環(huán)節(jié)，是系統(tǒng)能夠準(zhǔn)確運(yùn)行的基

17、礎(chǔ)。其中對(duì)于攝像機(jī)內(nèi)外參數(shù)的計(jì)算以及對(duì)三維變換矩陣的求解是問題的關(guān)鍵所在，關(guān)系到整個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)能否有一個(gè)準(zhǔn)確運(yùn)行的基礎(chǔ)。但是在求解的過程中，由于給定的，個(gè)空間點(diǎn)的坐標(biāo)不可避免的會(huì)存在誤差，這時(shí)根據(jù)最小二乘法所求解出的三維變換矩陣就會(huì)存在比較大的誤差，直接影響系統(tǒng)進(jìn)行三維注冊(cè)的準(zhǔn)確性。、使用特征點(diǎn)進(jìn)行三維注冊(cè)的方法的一個(gè)關(guān)鍵問題是特征點(diǎn)檢測(cè)的穩(wěn)定性。如果在檢測(cè)過程中特征點(diǎn)的某個(gè)部分被遮擋，當(dāng)遮擋程度非常嚴(yán)重時(shí)，就會(huì)導(dǎo)致特征點(diǎn)失去可用性，從而導(dǎo)致特征點(diǎn)的檢測(cè)失敗，進(jìn)而使三維注冊(cè)無法進(jìn)行，影響增強(qiáng)現(xiàn)實(shí)系統(tǒng)運(yùn)行的穩(wěn)定性。、特征跟蹤是保證虛擬物體可以準(zhǔn)確并且連續(xù)地注冊(cè)到真實(shí)場(chǎng)景中的關(guān)鍵步驟。但是在特征

18、跟蹤過程中，特征點(diǎn)的移動(dòng)方式會(huì)大大影響特征跟蹤算法的運(yùn)行效果和可靠性。因?yàn)閭鹘y(tǒng)的特征跟蹤方法都默認(rèn)的設(shè)置了一個(gè)固定大小的搜索窗口，所以如果特征點(diǎn)使用大幅度的縮放或者快速移動(dòng)的運(yùn)動(dòng)方式，那么就會(huì)使搜索窗口失去目標(biāo)，進(jìn)而導(dǎo)致特征跟蹤失敗，使系統(tǒng)需要重新進(jìn)行初始化，重新識(shí)別特征點(diǎn)，由此導(dǎo)致了系統(tǒng)運(yùn)行效率的降低。、特征圖形的有效性研究。使用特征標(biāo)識(shí)物進(jìn)行三維注冊(cè)的方式的關(guān)鍵組成部分是所使用的特征圖形，所以必須對(duì)特征圖形的有效性標(biāo)準(zhǔn)進(jìn)行研究，從而在應(yīng)用中對(duì)特征圖形的選取工作進(jìn)行規(guī)范和指導(dǎo)，進(jìn)而使特征圖形的識(shí)別以及特征點(diǎn)的檢測(cè)更加快速和有效。本文的主要研究工作和創(chuàng)新針對(duì)在增強(qiáng)現(xiàn)實(shí)的三維注冊(cè)技術(shù)研究中所面臨

19、的若干問題，本文主要進(jìn)行了以下五個(gè)方面的研究工作并且進(jìn)行了創(chuàng)新。、攝像機(jī)定標(biāo)過程中的內(nèi)外參數(shù)和三維變換矩陣的求解是關(guān)鍵環(huán)節(jié)，關(guān)系著增強(qiáng)現(xiàn)實(shí)系統(tǒng)初始化的成功與否，但空間點(diǎn)位置信息的誤差經(jīng)常會(huì)導(dǎo)致計(jì)算結(jié)果出現(xiàn)很大誤差。針對(duì)這個(gè)問題，本文在現(xiàn)有的攝像機(jī)內(nèi)外參數(shù)及三維變換矩陣的求解方法的基礎(chǔ)上，提出了改進(jìn)的三維變換矩陣及參數(shù)的求解方法。該方法大大減少了由于計(jì)算過程中所使用的空間點(diǎn)的位置信息的誤差所導(dǎo)致的最終虛擬物體疊加的誤差，提高了攝像機(jī)定標(biāo)和三維變換矩陣求解的準(zhǔn)確性和可靠性。、在特征圖形的內(nèi)部圖案被遮擋時(shí)，特征圖形的識(shí)別匹配工作將會(huì)受到嚴(yán)重的影響。本文提出了通過使用單應(yīng)性矩陣的性質(zhì)進(jìn)行三維注冊(cè)的方法

20、，該方法在特征圖形的非角點(diǎn)被遮擋的情況下可以提供很好的穩(wěn)定性和魯棒性。、在特征圖形的角點(diǎn)被遮擋的情況下，本文提出了兩種解決方法。）通過使用多個(gè)特征圖形，使各特征圖形之間形成互相補(bǔ)充的關(guān)系。在其中某一特征圖形被遮擋的情況下，通過對(duì)其余特征圖形的識(shí)別，可以輔助完成對(duì)被遮擋的特征圖形的三維注冊(cè)工作。）在使用單一特征圖形進(jìn)行三維注冊(cè)的應(yīng)用中，為了保持特征圖形在特征識(shí)別過程中能夠有效的被識(shí)別出來，必須能夠始終保持有一定數(shù)量的特征圖形的邊緣角點(diǎn)能夠被提取出來。傳統(tǒng)的識(shí)別方式需要使用至少個(gè)特征圖形的角點(diǎn)來識(shí)別特征圖形，進(jìn)而定位特征點(diǎn)。針對(duì)這個(gè)問題，本文在現(xiàn)有特征圖形識(shí)別算法的基礎(chǔ)上，提出了改進(jìn)的特征圖形識(shí)別

21、算法。該算法能夠使在特征圖形識(shí)別過程中所需要的特征圖形的角點(diǎn)的最少數(shù)量降低到個(gè)，魯棒性更好，從而提高了特征圖形的識(shí)別率，提高了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的運(yùn)行穩(wěn)定性。、針對(duì)單一使用特征點(diǎn)進(jìn)行三維注冊(cè)的缺點(diǎn)，本文引入了利用自然紋理進(jìn)行輔助三維注冊(cè)的方法，提出了一種使用單一特征點(diǎn)結(jié)合自然紋理進(jìn)行三維注冊(cè)的方法，該方法在特征點(diǎn)或者自然紋理被遮擋的情況下都可以提供很好的注冊(cè)穩(wěn)定性，提高了三維注冊(cè)的健壯性。、特征跟蹤過程中，特征圖形的快速移動(dòng)和大幅度縮放會(huì)嚴(yán)重影響特征跟蹤的進(jìn)行，會(huì)導(dǎo)致特征跟蹤失敗，進(jìn)而需要重新進(jìn)行特征圖形識(shí)別，影響了特征跟蹤的效率，從而影響了增強(qiáng)現(xiàn)實(shí)系統(tǒng)的運(yùn)行效率。針對(duì)這個(gè)問題，本文提出了一種自適應(yīng)

22、的特征跟蹤方法，這種方法在特征圖形高速移動(dòng)和大幅度縮放時(shí)，仍然可以保持特征跟蹤工作的有效進(jìn)行，從而可以提高增強(qiáng)現(xiàn)實(shí)系統(tǒng)運(yùn)行的效率和可靠性。、在以特征點(diǎn)為基礎(chǔ)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，選取什么樣的特征圖形是關(guān)系到特征識(shí)別和特征跟蹤等環(huán)節(jié)的效率的關(guān)鍵問題。針對(duì)這個(gè)問題，本文討論了特征圖形的選取標(biāo)準(zhǔn)，并且對(duì)特征圖形的有效性進(jìn)行了相關(guān)研究。論文的結(jié)構(gòu)第一章，介紹了本文的研究背景、研究目的和意義，指出了目前研究課題所面臨的主要問題和本文了主要研究工作和創(chuàng)新。第二章，介紹了與論文研究工作相關(guān)的背景知識(shí)和技術(shù)基礎(chǔ)。第三章，針對(duì)在增強(qiáng)現(xiàn)實(shí)系統(tǒng)初始過程中的定標(biāo)算法不準(zhǔn)確的問題以及在特征圖形非角點(diǎn)被遮擋的情況下的三維注冊(cè)

23、問題，論述了本文在定標(biāo)算法改進(jìn)和使用單應(yīng)性矩陣解決特征圖形非角點(diǎn)被遮擋情況下的注煅問題方面所進(jìn)行的研究工作，并且對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。第四章，針對(duì)在特征圖形的角點(diǎn)被遮擋的情況下三維注冊(cè)所面臨的問題，論述了本文在使用多特征點(diǎn)輔助注冊(cè)和改進(jìn)的使用三個(gè)角點(diǎn)進(jìn)行三維注冊(cè)的方法方面的研究工作，并且對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。第五章，針對(duì)單一使用特征點(diǎn)進(jìn)行注冊(cè)的缺點(diǎn)，論述了本文在使用特征點(diǎn)結(jié)合自然紋理進(jìn)行三維注冊(cè)方面進(jìn)行的研究工作，并且對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。第六章，針對(duì)在特征跟蹤過程中出現(xiàn)的跟蹤不穩(wěn)定問題，論述了本文提出的自適應(yīng)的特征跟蹤算法，并且論述了本文在特征圖形的有效性方面進(jìn)行的研究。第七章，對(duì)本文的研究工作進(jìn)

24、行總結(jié)，并對(duì)未來的研究工作進(jìn)行展望。第二章相關(guān)基礎(chǔ)研究第二章相關(guān)基礎(chǔ)研究本章論述與增強(qiáng)現(xiàn)實(shí)系統(tǒng)以及三維注冊(cè)相關(guān)的理論和方法基礎(chǔ)。第一節(jié)對(duì)現(xiàn)有的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)現(xiàn)方案進(jìn)行了綜述，并且重點(diǎn)對(duì)光學(xué)型增強(qiáng)現(xiàn)實(shí)系統(tǒng)與視頻型增強(qiáng)現(xiàn)實(shí)系統(tǒng)進(jìn)行了比較和論述。第二節(jié)對(duì)三維注冊(cè)技術(shù)進(jìn)行了論述，其中重點(diǎn)討論了導(dǎo)致三維注冊(cè)環(huán)節(jié)失敗的各種原因，為后續(xù)的三維注冊(cè)改進(jìn)工作提供理論基礎(chǔ)。第三節(jié)對(duì)使用特征點(diǎn)進(jìn)行三維注冊(cè)的技術(shù)可行性進(jìn)行了討論。第四節(jié)對(duì)單應(yīng)性矩陣進(jìn)行了介紹。增強(qiáng)現(xiàn)實(shí)系統(tǒng)的架構(gòu)方案在設(shè)計(jì)增強(qiáng)現(xiàn)實(shí)系統(tǒng)時(shí)的一個(gè)最基本地問題是如何來組合真實(shí)環(huán)境和虛擬物體。有兩種可供選擇的方案：光學(xué)技術(shù)和視頻技術(shù)，】。每種方案都各有利弊，

25、并且在使用不同的方案同時(shí)就限制了所能夠使用的三維注冊(cè)方式的種類。在這一節(jié)本文將對(duì)這兩種技術(shù)方案進(jìn)行討論和比較。光學(xué)透視頭盔型系統(tǒng)光學(xué)透視型頭盔顯示器可以將虛擬和真實(shí)組合到一起。以往的標(biāo)準(zhǔn)的封閉式頭盔顯示器讓使用者不能直接地看到周圍地任何真實(shí)物體。與之相反，透視型頭盔顯示器可以允許使用者直接看到周圍的真實(shí)環(huán)境，再使用視覺或者視頻技術(shù)將虛擬物體疊加在真實(shí)環(huán)境中。光學(xué)透視頭盔顯示器通過在使用者眼睛前方放置光學(xué)合成器來工作。這個(gè)光學(xué)合成器是半透明材質(zhì)的，所以用戶可以直接看到真實(shí)的環(huán)境景物。同時(shí)，它有具有一定的反射能力，可以將由頭盔中的投影儀所產(chǎn)生的虛擬物體反射到用戶的眼睛里。圖表示了光學(xué)透視型頭盔的原

26、理圖。第二章相關(guān)基礎(chǔ)研究真實(shí)場(chǎng)景÷；透望凳糞學(xué)；合成器：虛線框內(nèi)為頭盔組成部件肚礬引?！啊彪?#168;圖光學(xué)型頭盔概念結(jié)構(gòu)光學(xué)合成器通常會(huì)減少由外界射入用戶眼睛中的光線。某些更加精密的合成器可以選擇讓某些波長范圍的光線進(jìn)入使用者的眼睛。事實(shí)上，目前的大部分光學(xué)透視頭盔都會(huì)減少來自真實(shí)世界的光線，所以它們?cè)贁嚯姷臅r(shí)候就像一副太陽眼鏡一樣。光學(xué)透視頭盔型系統(tǒng)一般都采用前文中我們所介紹的第四種三維注冊(cè)方式，即在頭盔上附加電磁感應(yīng)裝置，系統(tǒng)通過對(duì)所收到的信息的計(jì)算獲取使用者頭部在場(chǎng)景中的位置信息，并且使用該信息進(jìn)行三維注冊(cè)。很顯然，由于在這種系統(tǒng)的組成部分中沒有攝像機(jī)，系統(tǒng)無法獲取真實(shí)場(chǎng)景

27、的視頻信息，也就無法通過識(shí)別和跟蹤特征物體來進(jìn)行三維注冊(cè)。視頻頭盔型系統(tǒng)與光學(xué)型頭盔相反，視頻型頭盔顯示器由一個(gè)封閉式的頭盔和一到兩個(gè)放置在頭盔上的攝像機(jī)組成。由攝像機(jī)來提供用戶真實(shí)環(huán)境的圖像【。虛擬物體的圖像由場(chǎng)景生成設(shè)備產(chǎn)生，然后和由攝像機(jī)拍攝的圖像合成起來。合成后的視頻則由封閉式頭盔中放置在使用者眼睛前方的小型顯示器顯示給用戶。圖表示視頻型頭盔的原理圖。第二章相關(guān)基礎(chǔ)研究真實(shí)場(chǎng)景視頻虛圖視頻型頭盔原理圖基于顯示器的視頻型系統(tǒng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)除了使用頭盔式設(shè)備以外，還可以使用以顯示器為基礎(chǔ)的組成結(jié)構(gòu)。圖顯示一個(gè)以顯示器為基礎(chǔ)的系統(tǒng)的構(gòu)成。在這種結(jié)構(gòu)中，由一至兩個(gè)攝像機(jī)拍攝真實(shí)環(huán)境。攝像機(jī)既可以

28、固定，也可以處于運(yùn)動(dòng)狀態(tài)，比如放置在一個(gè)運(yùn)動(dòng)中的機(jī)器人上，但是攝像機(jī)的位置必須能夠被監(jiān)測(cè)到。真實(shí)世界和虛擬圖像的合成過程與視頻型頭盔基本一致，合成后的圖像顯示在使用者面前的顯示器上。有時(shí)候，圖像可以以立體的方式投影在顯示器上，這時(shí)用戶則必須佩戴立體眼鏡才能看到立體的圖像。圖以顯示器為基礎(chǔ)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)組成視頻型增強(qiáng)現(xiàn)實(shí)系統(tǒng)除了可以使用光學(xué)型系統(tǒng)的電磁感應(yīng)裝置作為三維注冊(cè)的信息源以外，由于可以通過攝像機(jī)獲取真實(shí)場(chǎng)景的視頻流數(shù)據(jù)，所以可以通過對(duì)視頻流數(shù)據(jù)的處理，應(yīng)用計(jì)算機(jī)圖形學(xué)的技術(shù)手段，得到虛擬物體在真實(shí)場(chǎng)景中的三維注冊(cè)信息。光學(xué)型與視頻型系統(tǒng)的比較光學(xué)型系統(tǒng)的優(yōu)點(diǎn)首先，對(duì)光學(xué)型系統(tǒng)進(jìn)行分析討論

29、。光學(xué)型系統(tǒng)有以下一些視頻型系統(tǒng)所不具備的優(yōu)點(diǎn)：、簡單性：光學(xué)合成相比視頻合成要簡單一些。在光學(xué)方式中，只需要考慮虛擬圖像一條視頻流。真實(shí)景物是直接透過合成器被看到的，并且延遲非常的小。另一方面，視頻合成方式必需要同時(shí)處理真實(shí)和虛擬兩種單獨(dú)的視頻流，它們每一種都會(huì)帶來大約十幾毫秒的延遲。真實(shí)和虛擬兩種視頻流必須要很好的同步到一起，否則會(huì)得到很不理想的結(jié)果。并且，光學(xué)合成器不會(huì)對(duì)真實(shí)景物產(chǎn)生很大的變形。而視頻攝像機(jī)所拍攝的圖像幾乎都會(huì)對(duì)景物造成變形，并且這種變形必需要進(jìn)行補(bǔ)償。、分辨率：視頻方式中的顯示設(shè)備會(huì)限制用戶所看到的真實(shí)和虛擬物體的分辨率。在目前的技術(shù)下，顯示器的分辨率要遠(yuǎn)遠(yuǎn)低于眼睛中虹

30、膜的分辨率。光學(xué)方式也會(huì)以設(shè)備的分辨率顯示虛擬物體，但是對(duì)于真實(shí)世界則沒有任何改變。由此，視頻方式降低的真實(shí)世界的分辨率，而光學(xué)方式則沒有。、安全性：視頻型頭盔歸根結(jié)底是經(jīng)過改造的封閉型頭盔，一旦斷電，使用者將什么都看不見了。這在某些應(yīng)用中是非常不安全的。與之對(duì)比，當(dāng)光學(xué)頭盔斷電時(shí)，用戶失去的僅僅是虛擬圖像，而不會(huì)是整個(gè)視覺，這時(shí)頭盔就變成了一副比較重的太陽眼睛，用戶已然可以看到周圍的世界。、沒有視覺偏移：使用視頻型頭盔，用戶所看到的真實(shí)環(huán)境是由頭盔上的攝像機(jī)拍攝的。但是，在大多數(shù)情況下，攝像機(jī)并沒有位于眼睛所在的真實(shí)位置，這就產(chǎn)生了攝像機(jī)和眼睛之間的視覺偏移。而且兩個(gè)攝像機(jī)之間的距離也可能與

31、使用者眼睛的瞳孔之間的距離不同。這些偏移都會(huì)使用戶的感覺產(chǎn)生偏差。光學(xué)型頭盔在這方面所面臨的問題就要小得多。視頻型系統(tǒng)的優(yōu)點(diǎn)接下來，對(duì)視頻型系統(tǒng)進(jìn)行討論。使用視頻合成也提供了一些光學(xué)合成所沒有的優(yōu)點(diǎn)：、合成策略的多樣性：到目前為止，沒有一種光學(xué)型頭盔可以有選擇性的阻擋真實(shí)景物的光線。這就導(dǎo)致虛擬物體將永遠(yuǎn)是半透明的浮在真實(shí)景物上的，這就大大降低了合成后圖像的真實(shí)性。但是對(duì)于視頻方式，合成策略就變得非常靈活了。因?yàn)檎鎸?shí)和虛擬圖像都是以數(shù)字信號(hào)的形式存在的，視頻設(shè)備可以逐個(gè)象素的選擇采用真實(shí)圖形還是虛擬圖像或者兩者同時(shí)存在。正因?yàn)槿绱?，視頻方式所產(chǎn)生的圖像會(huì)比光學(xué)方式產(chǎn)生的圖像真實(shí)的多。、寬闊的可

32、視范圍：攝像機(jī)所拍攝的景物的變形是視頻方式面臨的問題。但是由于圖像都是數(shù)字形式的，可以利用圖像處理技術(shù)對(duì)變形的部分進(jìn)行修正和補(bǔ)償。雖然這個(gè)步驟非常消耗計(jì)算資源，但是隨著計(jì)算機(jī)工作速度的提升，這一點(diǎn)將會(huì)變得很容易克服。而光學(xué)方式無法產(chǎn)生寬闊的可視范圍，并且由于真實(shí)景物是由使用者直接看到的，并不是數(shù)字形式的圖像，所以產(chǎn)生的變形很難進(jìn)行補(bǔ)償。這一點(diǎn)是由光學(xué)方式的設(shè)計(jì)結(jié)構(gòu)決定的。、真實(shí)和虛擬景物的延遲可以進(jìn)行匹配：由于視頻方式中的真實(shí)景物圖像和虛擬圖像都是數(shù)字圖像，我們可以認(rèn)為調(diào)整真實(shí)圖像的放映速度以適應(yīng)處理虛擬物體圖像所消耗的延遲時(shí)間。而由于光學(xué)方式中的真實(shí)景物是直接由使用者看到的，所以無法與虛擬物

33、體的顯示延遲進(jìn)行匹配。、額外的注冊(cè)策略：在光學(xué)方式中，系統(tǒng)所得到的用戶頭部位置信息僅僅來自于頭盔上的跟蹤器。而視頻方式則提供了另外一種信息源真實(shí)景物的數(shù)字圖像。數(shù)字圖像意味著視頻方式可以采用光學(xué)方式所無法使用其他注冊(cè)策略。、容易將真實(shí)和虛擬物體的光照強(qiáng)度進(jìn)行匹配?？傊鈱W(xué)型系統(tǒng)和視頻型系統(tǒng)各自都有不可替代的作用，具體選擇哪種方式要根據(jù)應(yīng)用的需求來決定。例如大多數(shù)設(shè)備裝配和維修應(yīng)用使用光學(xué)方式，這樣可以降低成本并且保證安全性。而大多數(shù)醫(yī)學(xué)領(lǐng)域的應(yīng)用選擇視頻方式，因?yàn)樗梢蕴峁┫鄬?duì)很好的合成效果和準(zhǔn)確的注冊(cè)。經(jīng)過上述對(duì)兩種增強(qiáng)現(xiàn)實(shí)系統(tǒng)結(jié)構(gòu)的分析的對(duì)比可以看到，兩種方式的系統(tǒng)都有各自的優(yōu)點(diǎn)。由于在

34、本文的研究工作中，由于主要研究的是如何提高基于特征點(diǎn)的三維注冊(cè)方式的可靠性和穩(wěn)定性，而對(duì)特征圖形的跟蹤和對(duì)特征點(diǎn)的提取都需要使用真實(shí)場(chǎng)景的視頻流，所以視頻型增強(qiáng)現(xiàn)實(shí)系統(tǒng)就成為研究工作中所使用的系統(tǒng)的首選方式，并且選取攝像機(jī)加顯示器的系統(tǒng)架構(gòu)作為本文研究工作的基本系統(tǒng)架構(gòu)。三維注冊(cè)三維注冊(cè)技術(shù)是本文研究的重點(diǎn)之一。正如緒論中提到的，注冊(cè)問題在增強(qiáng)現(xiàn)實(shí)技術(shù)中占有舉足輕重的地位，注冊(cè)的準(zhǔn)確程度關(guān)系著增強(qiáng)現(xiàn)實(shí)系統(tǒng)的成敗。下面對(duì)三維注冊(cè)相關(guān)的研究工作進(jìn)行簡單的介紹。有一個(gè)實(shí)驗(yàn)可以演示出究竟增強(qiáng)現(xiàn)實(shí)需要怎樣的注冊(cè)精度。取一枚硬幣，并且把他舉在距離自己一臂遠(yuǎn)的地方。這時(shí)硬幣的直徑會(huì)覆蓋大約至度的圓弧。相比之

35、下，一輪滿月的直徑覆蓋大約度的圓弧。現(xiàn)在想象一個(gè)虛擬物體覆蓋在一個(gè)真實(shí)物體之上，但是偏移了大約度。你會(huì)發(fā)現(xiàn)這個(gè)偏移是非常容易發(fā)現(xiàn)的。由此，注冊(cè)的精確度應(yīng)該在幾分之一度的水平上。錯(cuò)誤允許出現(xiàn)的上限根據(jù)每個(gè)人的分辨能力各有不同。注冊(cè)問題也存在于虛擬現(xiàn)實(shí)技術(shù)中，但是它不會(huì)嚴(yán)重的影響到整個(gè)系統(tǒng)的可用性。因?yàn)樘摂M現(xiàn)實(shí)中的注冊(cè)偏差是不容易被使用者發(fā)現(xiàn)的。例如，一個(gè)用戶佩戴一個(gè)封閉式的頭盔顯示器，他在場(chǎng)景中放置一只杯子，這時(shí)會(huì)在頭盔中的顯示器上看到一只虛擬的杯子。如果虛擬的杯子的位置偏離了真正的位置毫米，由于封閉式的頭盔的作用，他也許根本發(fā)現(xiàn)不了。如果這個(gè)偏差出現(xiàn)在一個(gè)佩戴光學(xué)透視頭盔顯示器的使用者身上，那

36、么毫米的偏離將會(huì)變得非常的明顯，這種程度的偏差是不能被應(yīng)用所接受的。由于對(duì)精度的極高要求和大量錯(cuò)誤源的存在，增強(qiáng)現(xiàn)實(shí)中的注冊(cè)錯(cuò)誤很難被完全控制住。產(chǎn)生錯(cuò)誤的原因可以被分為兩大類】：、靜態(tài)錯(cuò)誤：靜態(tài)錯(cuò)誤是指當(dāng)用戶的視點(diǎn)和環(huán)境中的物體都保持靜止的情況下造成注冊(cè)誤差的錯(cuò)誤。、動(dòng)態(tài)錯(cuò)誤：動(dòng)態(tài)錯(cuò)誤是指在系統(tǒng)靜止時(shí)不出現(xiàn)，而一旦系統(tǒng)發(fā)生運(yùn)動(dòng)就會(huì)造成注冊(cè)誤差的錯(cuò)誤。在當(dāng)今的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，動(dòng)態(tài)錯(cuò)誤的存在所導(dǎo)致的問題是目前三維注冊(cè)領(lǐng)域研究所要解決的主要問題。但是同時(shí)必須指出的是，靜態(tài)錯(cuò)誤也是不可忽視的。在本文的研究中，主要將針對(duì)由于這兩種錯(cuò)誤所導(dǎo)致的注冊(cè)失敗進(jìn)行研究，提出新的方法。其中針對(duì)導(dǎo)致靜態(tài)錯(cuò)誤的原因進(jìn)

37、行了一項(xiàng)改進(jìn)，針對(duì)導(dǎo)致動(dòng)態(tài)錯(cuò)誤的原因進(jìn)行了兩項(xiàng)改進(jìn)。下面將會(huì)討論靜態(tài)錯(cuò)誤和動(dòng)態(tài)錯(cuò)誤產(chǎn)生的原因，從而為解決或者減小這兩種錯(cuò)誤提供理論參考。第二章相關(guān)基礎(chǔ)研究靜態(tài)錯(cuò)誤產(chǎn)生靜態(tài)錯(cuò)誤的四個(gè)主要因素是：光學(xué)變形跟蹤系統(tǒng)發(fā)生的錯(cuò)誤機(jī)械裝置的偏差錯(cuò)誤的觀測(cè)參數(shù)由于光學(xué)因素產(chǎn)生的變形無論是記錄真實(shí)世界的攝像機(jī)還是用于顯示的光學(xué)屏幕，形變都普遍的存在于這些攝像機(jī)和鏡頭系統(tǒng)中。由于形變的大小是從光軸到這一點(diǎn)的距離的函數(shù)（），所以可視范圍越大的設(shè)備更就越容易受這種錯(cuò)誤的影響。在光軸附近幾乎沒有什么形變，隨著距離光軸越來越遠(yuǎn)，形變也越來越明顯。例如這時(shí)直線會(huì)變成一條曲線。在光學(xué)透視頭盔這種可視范圍相對(duì)較小的設(shè)備上，幾

38、乎不會(huì)出現(xiàn)光學(xué)變形。另外，當(dāng)將虛擬物體融合到真實(shí)環(huán)境中時(shí)，由于顯示設(shè)備而造成虛擬物體出現(xiàn)光學(xué)形變也會(huì)造成靜態(tài)注冊(cè)錯(cuò)誤。光學(xué)變形一般都屬于系統(tǒng)錯(cuò)誤，它可以被捕獲并且被補(bǔ)償。當(dāng)然定位這種錯(cuò)誤的過程可能很復(fù)雜，但是在現(xiàn)在的技術(shù)條件下是可以做到的。解決方法之一是使用數(shù)字式補(bǔ)償。這種技術(shù)通過將真實(shí)場(chǎng)景和虛擬物體的數(shù)字圖像進(jìn)行拉伸來完成。補(bǔ)償所需要的計(jì)算資源是比較昂貴的，要想達(dá)到實(shí)時(shí)的要求通常需要特殊的硬件?！空J(rèn)為由于計(jì)算變形補(bǔ)償而產(chǎn)生的系統(tǒng)延遲所導(dǎo)致的注冊(cè)錯(cuò)誤往往比變形本身所導(dǎo)致的錯(cuò)誤更大，這將導(dǎo)致補(bǔ)償操作得不償失，但是隨著硬件技術(shù)的發(fā)展，這種補(bǔ)償方式的可用性也將大大提高。跟蹤系統(tǒng)發(fā)生的錯(cuò)誤由跟蹤和探測(cè)

39、系統(tǒng)的數(shù)據(jù)所導(dǎo)致的錯(cuò)誤是所有靜態(tài)錯(cuò)誤里面最嚴(yán)重的。而且這種錯(cuò)誤通常是很難發(fā)現(xiàn)和消除的。因?yàn)檫@需要另外一套比跟蹤系統(tǒng)本身更精確的三維標(biāo)尺來監(jiān)測(cè)跟蹤系統(tǒng)。另外這些錯(cuò)誤一般都是非系統(tǒng)錯(cuò)誤并且難以描述。目前幾乎所有商業(yè)化的跟蹤系統(tǒng)都只能近似的滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)對(duì)于精確度的要求。第二章相關(guān)基礎(chǔ)研究機(jī)械裝置的偏差機(jī)械裝置的偏差是由于系統(tǒng)模型或者硬件說明與真實(shí)物理系統(tǒng)的差異而導(dǎo)致的。例如，光學(xué)透視頭盔顯示器中的合成器、鏡片和顯示器之間的距離或者方向和設(shè)計(jì)不符。如果設(shè)備連接不牢固，當(dāng)用戶移動(dòng)的時(shí)候也會(huì)產(chǎn)生偏差，造成錯(cuò)誤。偏差會(huì)微小的改變虛擬物體的位置和方向，這是很難進(jìn)行補(bǔ)償?shù)摹Ｋ员苊鈾C(jī)械裝置偏差的最有效的辦法

40、就是在安裝設(shè)備的時(shí)候盡量準(zhǔn)確。錯(cuò)誤的觀測(cè)參數(shù)錯(cuò)誤的觀測(cè)參數(shù)是導(dǎo)致靜態(tài)注冊(cè)錯(cuò)誤的最后一個(gè)主要原因。它可以看成是一種特殊的機(jī)械偏差錯(cuò)誤，并且可以用定標(biāo)技術(shù)來解決它。觀測(cè)參數(shù)定義了如何將頭部或者攝像機(jī)的位置信息轉(zhuǎn)換成觀測(cè)矩陣，而場(chǎng)景生成器就是根據(jù)觀測(cè)矩陣來繪制虛擬物體的。錯(cuò)誤的觀測(cè)參數(shù)會(huì)導(dǎo)致系統(tǒng)靜態(tài)錯(cuò)誤。例如位于頭盔上的跟蹤器。如果跟蹤器和人眼之間的垂直距離參數(shù)過小，那么將導(dǎo)致被繪制出來的虛擬物體都會(huì)比它們本來的位置要低。在有些系統(tǒng)里，觀測(cè)參數(shù)是通過手動(dòng)調(diào)節(jié)來決定的。如果周圍環(huán)境和參照物保持靜止，這種方式可以得到令人滿意的結(jié)果。但是，只有一個(gè)有經(jīng)驗(yàn)的使用者才能夠準(zhǔn)確的調(diào)節(jié)這些參數(shù)，并且通常得到的結(jié)果

41、對(duì)于多個(gè)視點(diǎn)的情況則是不夠健壯的。當(dāng)然，單視點(diǎn)比分散的寬闊范圍內(nèi)的多視點(diǎn)應(yīng)用更容易得到好的注冊(cè)結(jié)果。通常是在一個(gè)視點(diǎn)的到了滿意的注冊(cè)結(jié)果，但是當(dāng)用戶走到另外一個(gè)視點(diǎn)的時(shí)候，注冊(cè)結(jié)果就會(huì)由于觀測(cè)參數(shù)的錯(cuò)誤而出現(xiàn)很大的偏差。這就意味著對(duì)于不同的觀測(cè)情況應(yīng)該具有不同的一組觀測(cè)參數(shù)。本文的研究工作的內(nèi)容之一就是對(duì)由于觀測(cè)參數(shù)的錯(cuò)誤所導(dǎo)致的注冊(cè)錯(cuò)誤問題進(jìn)行的改進(jìn)，將在第三章對(duì)改進(jìn)的方式進(jìn)行具體的論述。動(dòng)態(tài)錯(cuò)誤動(dòng)態(tài)錯(cuò)誤】可以由系統(tǒng)延遲或者網(wǎng)絡(luò)延遲所導(dǎo)致，也可以由真實(shí)場(chǎng)景中被跟蹤物體的移動(dòng)所導(dǎo)致。延遲產(chǎn)生的原因很簡單，因?yàn)檎麄€(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的每一個(gè)部件都需要一定的時(shí)間來處理自己的工作。比如跟蹤子系統(tǒng)的延遲，可

42、能進(jìn)行的數(shù)據(jù)通信的時(shí)間，場(chǎng)景生成器用于繪制虛擬圖形的時(shí)間，將緩沖區(qū)中的圖形顯示到顯示器上的時(shí)間都會(huì)增加系統(tǒng)的端到端延遲。在現(xiàn)存的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，毫秒的延遲時(shí)間是第二章相關(guān)基礎(chǔ)研究普遍存在的。如果系統(tǒng)結(jié)構(gòu)簡單，延遲就會(huì)小一些。如果系統(tǒng)需要加載很多數(shù)據(jù)或者系統(tǒng)運(yùn)行于網(wǎng)絡(luò)環(huán)境中，那么延遲有時(shí)會(huì)增加到毫秒甚至更多。系統(tǒng)延遲會(huì)嚴(yán)重的影響增強(qiáng)現(xiàn)實(shí)系統(tǒng)最后顯示的圖像的真實(shí)性，因?yàn)樘摂M物體總是不能正確的注冊(cè)到它應(yīng)該處于的位置上。它是導(dǎo)致系統(tǒng)注冊(cè)失敗的主要原因。同樣，真實(shí)場(chǎng)景中被跟蹤物體的移動(dòng)也會(huì)導(dǎo)致動(dòng)態(tài)錯(cuò)誤，進(jìn)而導(dǎo)致三維注冊(cè)失敗。在本文的研究工作中，針對(duì)由于這種原因所導(dǎo)致的注冊(cè)失敗問題進(jìn)行了兩項(xiàng)改進(jìn)工作：、由

43、于被跟蹤的特征圖形在運(yùn)動(dòng)中被遮擋所導(dǎo)致的注冊(cè)錯(cuò)誤；、由于被跟蹤的特征圖形發(fā)生高速移動(dòng)和大幅度縮放所導(dǎo)致的注冊(cè)錯(cuò)誤。本文的第三章將對(duì)這兩種改進(jìn)方法進(jìn)行詳細(xì)的論述?；谔卣鼽c(diǎn)的注冊(cè)技術(shù)【和啪指出如果僅依靠跟蹤系統(tǒng)的信息來進(jìn)行注冊(cè)，那么將意味著整個(gè)系統(tǒng)是一個(gè)“開路式”系統(tǒng)。系統(tǒng)收不到任何反饋，所以不知道真實(shí)和虛擬究竟相差多遠(yuǎn)。這樣的系統(tǒng)自然沒有辦法獲得很好的真實(shí)和虛擬圖像的匹配。視頻方式的增強(qiáng)現(xiàn)實(shí)系統(tǒng)可以通過使用圖像處理技術(shù)和計(jì)算機(jī)視覺技術(shù)來輔助進(jìn)行注冊(cè)。由于視頻方式中的真實(shí)場(chǎng)景的圖像是數(shù)字方式的，所以就有可能從圖像中獲得真實(shí)環(huán)境的某些特征來加強(qiáng)注冊(cè)的準(zhǔn)確性。這種系統(tǒng)稱為“閉路式系統(tǒng)，數(shù)字圖像可以為

44、系統(tǒng)提供足夠的反饋。可以在真實(shí)環(huán)境中添加一些特征點(diǎn)，這些特征點(diǎn)可以是，也可以是某些圖形。系統(tǒng)應(yīng)該預(yù)先知道特征參照物在真實(shí)環(huán)境中的位置和樣子。圖像處理技術(shù)檢測(cè)到這些特征點(diǎn)的位置，然后可以根據(jù)這些信息改善注冊(cè)的準(zhǔn)確性。同時(shí)，使用特征點(diǎn)作為唯一的跟蹤參考信息的方案也是可行的，并且將作為本文的研究工作中所使用的主要方法。這種方法通過特征點(diǎn)來決定真實(shí)環(huán)境中的物體與攝像機(jī)之間的相對(duì)投影關(guān)系。當(dāng)然，這種方法只能提供相對(duì)的位置關(guān)系，對(duì)于那些需要得到真實(shí)物體和攝像機(jī)的絕對(duì)位置的應(yīng)用，就必須使用其他方法來輔助（例如添加電磁感應(yīng)裝置）。絕對(duì)位置信息主要用來顯示那些沒有被攝像機(jī)跟蹤并且沒有定位到特定真實(shí)物體上面的虛擬

45、物體。單應(yīng)性矩陣單應(yīng)性矩陣在視頻圖像分析中有著廣泛的應(yīng)用。事實(shí)上，平面的單應(yīng)性矩陣第二章相關(guān)基礎(chǔ)研究日的定義包含了個(gè)方面的含義：、空間平面上的點(diǎn)【工，】到圖像平面上的點(diǎn)之間的映射關(guān)系，即厶（仂）（一）其中，是攝像機(jī)內(nèi)部參數(shù)矩陣，其是一個(gè)上三角矩陣；（，）是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系之間的變換，其中尺（，吃，巧），眨，氣分別為三個(gè)坐標(biāo)軸方向的旋轉(zhuǎn)分量，為平移分量；，為空間平面在世界坐標(biāo)系下的法向量，也即空間平面在世界坐標(biāo)系下的方程為咒。當(dāng)空間平面為世界坐標(biāo)系的平面時(shí)，式（）可以簡化為日；：。，吃，；【。）圖空間平面上點(diǎn)到圖像平面上點(diǎn)的映射關(guān)系、兩幅圖像中對(duì)應(yīng)于同一空間平面的圖像對(duì)應(yīng)點(diǎn)之間的映射關(guān)系

46、，如圖所示。由文獻(xiàn)可知，如果兩幅圖像所對(duì)應(yīng)的攝像機(jī)坐標(biāo)系之間的變換為（，），攝像機(jī)內(nèi)部參數(shù)矩陣為，空間平面在世界坐標(biāo)系下的方程為聆，則兩幅圖像中對(duì)應(yīng)點(diǎn)（）之間的單應(yīng)性矩陣為聊月砌（加）一，（）第二章相關(guān)基礎(chǔ)研究圖兩幅圖像對(duì)應(yīng)于空間平面同一點(diǎn)之間的映射關(guān)系當(dāng)空間平面為特征圖形所在平面時(shí)，可以將特征圖形上的點(diǎn)在兩幅圖像上的對(duì)應(yīng)點(diǎn)關(guān)系使用單應(yīng)性矩陣表示，即，砌。本文算法將使用單應(yīng)性矩陣的定義的這兩個(gè)含義，輔助以特征點(diǎn)為基礎(chǔ)的方式進(jìn)行空間三維注冊(cè)。第三章非角點(diǎn)被遮擋情況下的三維注冊(cè)第三章非角點(diǎn)被遮擋情況下的三維注冊(cè)在本文的第一章緒論中，我們已經(jīng)指出了目前增強(qiáng)現(xiàn)實(shí)三維注冊(cè)技術(shù)所面臨的若干問題。其中由于攝

47、像機(jī)定標(biāo)過程中引入的誤差導(dǎo)致的變換矩陣求解不準(zhǔn)確的問題以及在特征圖形的非角點(diǎn)部分被遮擋的情況下的特征識(shí)別算法的不穩(wěn)定的問題將在本章中進(jìn)行論述和解決。本章的組織方法如下：首先在第一節(jié)，將介紹本文的研究過程中使用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)的系統(tǒng)框架。第二節(jié)將對(duì)在系統(tǒng)初始化步驟中本文提出的改進(jìn)算法進(jìn)行論述，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。第三節(jié)將對(duì)在特征圖形非角點(diǎn)被遮擋的情況下本文所提出的新算法進(jìn)行詳細(xì)論述，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。第四節(jié)對(duì)本章內(nèi)容進(jìn)行總結(jié)。系統(tǒng)設(shè)計(jì)框架經(jīng)過第二章的論述，我們可以將增強(qiáng)現(xiàn)實(shí)系統(tǒng)分成兩大類：使用光學(xué)透視成像的系統(tǒng)和使用視頻技術(shù)成像的系統(tǒng)。在使用視頻技術(shù)的系統(tǒng)中，又根據(jù)系統(tǒng)所使用的跟蹤注冊(cè)設(shè)備的

48、不同分為兩類：使用電子跟蹤設(shè)備（例如電磁感應(yīng)探測(cè)器）的系統(tǒng)和使用特征點(diǎn)識(shí)別來進(jìn)行自動(dòng)跟蹤的系統(tǒng)。其中使用特征點(diǎn)識(shí)別來進(jìn)行自動(dòng)跟蹤的增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有很好的普及和應(yīng)用前景，所以對(duì)該系統(tǒng)的研究就顯得非常具有價(jià)值。本文研究所使用的系統(tǒng)采用的是使用特征點(diǎn)識(shí)別來進(jìn)行自動(dòng)跟蹤注冊(cè)的視頻增強(qiáng)現(xiàn)實(shí)系統(tǒng)。系統(tǒng)理論模型增強(qiáng)現(xiàn)實(shí)系統(tǒng)由若干硬件設(shè)備和軟件組成，為了簡化系統(tǒng)的設(shè)計(jì)過程，我們將整個(gè)增強(qiáng)現(xiàn)實(shí)系統(tǒng)劃分成四個(gè)子系統(tǒng)：圖像采集子系統(tǒng)，特征識(shí)別子系統(tǒng)，場(chǎng)景生成子系統(tǒng)和顯示子系統(tǒng)。圖顯示了系統(tǒng)的理論框架模型。其中攝像機(jī)屬于圖像采集子系統(tǒng)，特征識(shí)別單元和特征跟蹤單元屬于特征識(shí)別子系統(tǒng)，場(chǎng)景生成計(jì)算單元屬于場(chǎng)景生成子系統(tǒng)，

49、圖像合成計(jì)算單元和顯示器屬于顯示子系統(tǒng)。第三章角點(diǎn)被遮擋情的維圈系統(tǒng)理論模型系統(tǒng)運(yùn)行流程系統(tǒng)首先需要預(yù)定義要進(jìn)行匹配的模板；系統(tǒng)啟動(dòng)，開始捕獲視頻；特征點(diǎn)檢測(cè)模塊啟動(dòng)，檢測(cè)圖像信號(hào)中出現(xiàn)的特征點(diǎn)若檢測(cè)成功則進(jìn)入跟蹤模塊：若檢測(cè)失敗，則返回第步繼續(xù)檢測(cè)特征點(diǎn)；啟動(dòng)特征點(diǎn)跟蹤模塊提取特征點(diǎn)邊角變化信息；若跟蹤成功，則進(jìn)入相對(duì)位置計(jì)算模塊：若跟蹤失敗，則返回第步，重新檢壩特征點(diǎn)，計(jì)算攝像機(jī)與特征點(diǎn)的相對(duì)位置關(guān)系；根據(jù)位置關(guān)系疊加虛擬物體；返回第步繼續(xù)運(yùn)行，或者結(jié)束。圖為系統(tǒng)流程圖：第三章非角點(diǎn)被遮擋情況下的三維注冊(cè)否圖系統(tǒng)運(yùn)行流程圖系統(tǒng)初始化及變換矩陣計(jì)算方法改進(jìn)在本節(jié)，將重點(diǎn)闡述系統(tǒng)初始化的原理和