增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義

第二章基于視覺增強(qiáng)現(xiàn)實(shí)系統(tǒng)框架2.1系統(tǒng)框架2.2系統(tǒng)模塊介紹2.3圖像采集與處理模塊2.4三維模型繪制模塊

2.5標(biāo)識識別模塊2.6三維注冊模塊2.7深度檢測模塊2.8虛實(shí)融合模塊2.9動作交互模塊增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第1頁2.1系統(tǒng)框架

增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第2頁2.2系統(tǒng)模塊介紹

系統(tǒng)由9個主要子模塊組成：圖像采集子模塊數(shù)字圖像處理子模塊注冊定位子模塊標(biāo)識識別子模塊，深度檢測子模塊圖形渲染子模塊用戶交互子模塊虛實(shí)融合子模塊多媒體控制子模塊增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第3頁2.2系統(tǒng)模塊介紹圖像采集子模塊從圖像輸入設(shè)備中采集視頻流，從視頻流中獲取視頻圖像。數(shù)字圖像處理子模塊為三維注冊子模塊和虛實(shí)結(jié)合子模塊提供非常主要基礎(chǔ)數(shù)據(jù)。它詳細(xì)功效是經(jīng)過圖像分割，邊緣檢測等圖像處理方法對采集圖像進(jìn)行處理，從工作環(huán)境背景中識別出預(yù)先在環(huán)境中設(shè)置用于定位標(biāo)志。標(biāo)識識別子模塊依據(jù)模式匹配算法，使系統(tǒng)從攝像機(jī)視頻圖像中正確識別出預(yù)先設(shè)計好標(biāo)識物，同時給出標(biāo)識物ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)一部分，以使得圖形顯示子模塊將預(yù)先設(shè)計好三維模型正確顯示在特定位置上。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第4頁2.2系統(tǒng)模塊介紹注冊定標(biāo)子模塊以圖像檢測模塊輸出結(jié)果為數(shù)據(jù)輸入，經(jīng)過相機(jī)標(biāo)定內(nèi)部參數(shù)算法和相機(jī)標(biāo)定外部參數(shù)算法，將程序中所用到標(biāo)識三維位置和姿態(tài)計算出來，最終相機(jī)外部參數(shù)作為輸出結(jié)果輸入到虛實(shí)結(jié)合子模塊，用openGL等軟件中虛擬相機(jī)模擬真實(shí)世界中相機(jī)，產(chǎn)生良好虛實(shí)環(huán)境無縫融合場景。深度檢測子模塊檢測特定空間點(diǎn)深度信息。為了判斷系統(tǒng)中渲染虛擬物體與真實(shí)環(huán)境中物體遮擋關(guān)系，系統(tǒng)中需要計算虛擬物體與真實(shí)場景中物體深度信息，經(jīng)過比較它們深度信息，確定虛擬物體與真實(shí)場景中物體遮擋關(guān)系，實(shí)現(xiàn)系統(tǒng)中真實(shí)場景與虛擬物體遮擋一致性，同時經(jīng)過檢測真實(shí)場景中用戶手勢等交互動作，完成用戶與場景中虛擬物體自然交互。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第5頁2.2系統(tǒng)模塊介紹圖形繪制子模塊實(shí)現(xiàn)對虛擬三維模型實(shí)時動態(tài)渲染。虛實(shí)融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外視覺效果，如光照、前景色彩增加等也在模塊中實(shí)現(xiàn)。為了到達(dá)逼真虛實(shí)融合效果，正確顯示虛擬物體和真實(shí)物體遮擋關(guān)系，需要將深度檢測模塊輸出結(jié)果作為輸入傳入虛實(shí)結(jié)合子?？欤搶?shí)結(jié)合子模塊依據(jù)真實(shí)場景中物體與虛擬物體遮擋關(guān)系進(jìn)行虛擬場景與真實(shí)場景無縫融合。用戶交互子模塊為用戶提供兩種與虛擬三維模型進(jìn)行直接交互方式。多媒體控制模塊模擬系統(tǒng)環(huán)境中產(chǎn)生各種各樣聲音元素，同時把視頻文件播放出來。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第6頁2.3圖像采集與處理模塊圖像采集模塊主要功效是從圖像輸入設(shè)備中采集視頻流，從視頻流中獲取視頻圖像。增強(qiáng)現(xiàn)實(shí)系統(tǒng)圖像采集應(yīng)該滿足實(shí)時性、準(zhǔn)確性要求。當(dāng)前性能較高CCD攝像頭都能夠滿足系統(tǒng)對圖像精度和獲取速度要求。微軟DirectX開發(fā)包中Direetshow模塊，是微軟企業(yè)公布在Windows環(huán)境下運(yùn)行一個流媒體處理體系，是DirectX組成部分之一。Directshow支持很各種多媒體格式，包含慣用ASF，MPEG，AVI，MP3，WAV等。當(dāng)系統(tǒng)安裝有硬件加速設(shè)備時候，Directshow能夠自動檢測并使用硬件加速設(shè)備。一樣，它也支持沒有硬件加速設(shè)備系統(tǒng)。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第7頁2.3圖像采集與處理模塊增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第8頁2.3圖像采集與處理模塊在基于計算機(jī)視覺系統(tǒng)工程中，數(shù)字圖像處理子模塊為三維注冊子模塊和虛實(shí)結(jié)合子模塊提供非常主要基礎(chǔ)數(shù)據(jù)。它詳細(xì)功效是經(jīng)過圖像分割、邊緣檢測等圖像處理方法對采集圖像進(jìn)行處理，從工作環(huán)境背景中識別出預(yù)先在環(huán)境中設(shè)置用于定位標(biāo)志。數(shù)字圖像處理子模塊性能優(yōu)劣直接影響系統(tǒng)在三維注冊階段實(shí)時性和虛擬結(jié)合模塊中無縫融合準(zhǔn)確性。數(shù)字圖像處理子模塊三個主要過程是圖像預(yù)處理與圖像分割，邊緣檢測和提取系統(tǒng)感興趣特征點(diǎn)。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第9頁2.3圖像采集與處理模塊詳細(xì)實(shí)現(xiàn)在第三章詳細(xì)介紹增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第10頁2.4三維模型繪制模塊能夠用DirectX、游戲引擎中繪制三維模型語句和渲染語句來繪制三維模型，但所繪制模型相對簡單。用3DsMAX、Maya來繪制三維模型，然后導(dǎo)出到增強(qiáng)現(xiàn)實(shí)程序開發(fā)環(huán)境。三維模型運(yùn)動控制由增強(qiáng)現(xiàn)實(shí)程序開發(fā)環(huán)境中程序?qū)崿F(xiàn)，但人物運(yùn)動序列等看能夠在3DsMAX、Maya中建好后導(dǎo)出。模型復(fù)制能夠用程序?qū)崿F(xiàn)。詳細(xì)繪制方法在第四章中詳細(xì)介紹增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第11頁2.5標(biāo)識識別模塊在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，經(jīng)過圖像分割、邊緣檢測和輪廓提取之后，我們就能夠把以上步驟結(jié)果用于標(biāo)識識別子模塊依據(jù)模式匹配算法，使系統(tǒng)從攝像機(jī)視頻圖像中正確識別出預(yù)先設(shè)計好標(biāo)識，同時給出標(biāo)識ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)一部分，以使得圖形顯示子模塊將預(yù)先設(shè)計好三維模型正確顯示在特定標(biāo)識上，實(shí)現(xiàn)對真實(shí)環(huán)境增強(qiáng)。標(biāo)識分為兩類，一類是人工設(shè)定好標(biāo)識，一類是場景中自然具備。人工設(shè)定好標(biāo)識普通由含有一定寬度黑色封閉矩形框和內(nèi)部各種圖形或文字兩部分組成。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第12頁2.5標(biāo)識識別模塊對于人工設(shè)定好標(biāo)識經(jīng)過對視頻中每一幀圖像運(yùn)用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判斷視頻圖像中是否含有封閉黑色矩形框。匹配連通區(qū)域中四邊形結(jié)構(gòu)，記錄視頻圖像中全部標(biāo)識所在區(qū)域和坐標(biāo)。分別提取各個標(biāo)識四邊形邊緣像素坐標(biāo)，找出四邊形標(biāo)識四個頂點(diǎn)坐標(biāo)，計算出標(biāo)識邊緣直線方程(屏幕坐標(biāo))。由于系統(tǒng)中使用標(biāo)識記是事先設(shè)計有規(guī)則標(biāo)識，所以能夠快速獲得檢測結(jié)果。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第13頁2.5標(biāo)識識別模塊對于人工設(shè)定好標(biāo)識標(biāo)識所代表詳細(xì)信息用標(biāo)識內(nèi)部圖形或文字表示，如表示何種目標(biāo)或在此應(yīng)顯示何種虛擬物體。具體標(biāo)識內(nèi)部圖像能夠依據(jù)需要手動選擇任意圖像作為標(biāo)識物，能夠經(jīng)過幾個圖元組合自動生成工程中所需要標(biāo)識。進(jìn)行模板匹配，來實(shí)現(xiàn)標(biāo)識識別。在做標(biāo)識匹配前，需要進(jìn)行圖像正規(guī)化。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第14頁2.5標(biāo)識識別模塊圖像正規(guī)化系統(tǒng)中采集圖像攝像頭在采集圖像時候處于隨機(jī)位置，即從任何角度任何位置拍攝都能夠，那么，攝像頭鏡面不一定與標(biāo)識物平面是平行，攝像頭光軸也并不一定是垂直于標(biāo)識物。所以采集到圖像也是不規(guī)則，標(biāo)識物外輪廓發(fā)生了一定變形，這些變形包含平移、旋轉(zhuǎn)、縮放仿射變形等。為了用預(yù)先制作模版和圖像進(jìn)行匹配，從而識別標(biāo)識物ID號碼，需要對圖像進(jìn)行幾何變換，使圖像正規(guī)化增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第15頁2.5標(biāo)識識別模塊圖像正規(guī)化將從攝像頭獲取標(biāo)識圖像轉(zhuǎn)變?yōu)閿z像頭和圖像是正對著，攝像頭光心垂直于標(biāo)識物時拍攝視頻圖像。普通情況下，因?yàn)橛蓴z像機(jī)引發(fā)這種圖像變換是仿射變換。通常情況下，這種變換是線性，即能夠保持線段直線性、距離化、平行性不變。在圖像線性變形假設(shè)條件下，變形圖像點(diǎn)坐標(biāo)(X,Y)與原圖像上點(diǎn)坐標(biāo)(x,y)之間關(guān)系是:增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第16頁2.5標(biāo)識識別模塊其中，C為3*3矩陣，這個矩陣第三列對平面圖像沒有影響，所以只要確定了變形圖像上3個點(diǎn)以及在沒有變形圖像上與它們對應(yīng)3個點(diǎn)坐標(biāo)，就能夠代入方程組，求出方程中六個未知數(shù)。也就是求得了變形圖像和未變形圖像之間對應(yīng)關(guān)系。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第17頁2.5標(biāo)識識別模塊模板匹配圖像匹配技術(shù)是數(shù)字圖像處理領(lǐng)域一項(xiàng)主要研究。依據(jù)已知模式(模板圖)，到另一幅圖中搜索相匹配子圖像過程，稱為模板匹配。模板就是一幅已知小圖像，詳細(xì)地說模板匹配過程是在一幅大圖像中搜尋目標(biāo)，己知該圖中有要找目標(biāo)，經(jīng)過一定算法能夠在圖中找到目標(biāo)，確定其坐標(biāo)位置。圖像模板匹配技術(shù)能夠分成直接基于灰度值方法以及基于特征提取方法兩大類。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第18頁2.5標(biāo)識識別模塊一幅圖像與另一幅圖像靠近程度需要一個尺度來描述，在數(shù)學(xué)上慣用向量范數(shù)做為一個尺度。假設(shè)輸入圖像為M，已知圖像為T，它們之間相同度能夠用下式衡量：其中，d是一個距離標(biāo)量，表示兩個向量之間距離。經(jīng)過在圖像中尋找使d值最小區(qū)域，確定被尋找圖像T在輸入圖像中位置等信息。為了預(yù)防出現(xiàn)匹配錯誤情況，普通會在應(yīng)用中設(shè)置一個閥值，當(dāng)d小于某個閥值時，認(rèn)為兩幅圖像有一定可比相同度，當(dāng)d大于某個閥值時，認(rèn)為兩幅圖像不含有可比相同度，不參加d值比較。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第19頁2.5標(biāo)識識別模塊因?yàn)樵谂臄z圖像時候，會因?yàn)楣庹諒?qiáng)度不一樣，獲取圖像在灰度級分布上會不一樣，這種情況使得兩張原本形狀相同圖像被檢測為不相同。為了防止這種情況，實(shí)際應(yīng)用中使用兩個向量夾角這個標(biāo)準(zhǔn)來衡量兩個圖像相同度，公式以下:系統(tǒng)中采取標(biāo)準(zhǔn)相同度來進(jìn)行模版匹配。所采取特征是圖像標(biāo)識物區(qū)域面積比幾何特征。面積比計算比較簡單，實(shí)時性好;同時在圖像進(jìn)行線性變換過程中面積比特征不會改變。在對系統(tǒng)標(biāo)識物事先設(shè)定好情況下會有較高精度。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第20頁2.6三維注冊模塊增強(qiáng)現(xiàn)實(shí)系統(tǒng)必須能夠?qū)崟r地檢測出觀察者(或攝像機(jī))相對于真實(shí)場景位置和方向角，以及成像系統(tǒng)(攝像機(jī))內(nèi)部參數(shù)(焦距和像元高寬比等)依據(jù)這些信息來實(shí)時確定所要添加虛擬信息在真實(shí)空間中映射位置，并將這些信息實(shí)時顯示在圖象中正確位置。在用戶看來，不論從任何角度觀察，都應(yīng)該使虛擬物體與真實(shí)場景保持三維歐氏空間幾何一致性。這就是AR中虛實(shí)注冊(Registration)所要完成任務(wù)。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第21頁2.6三維注冊模塊三維注冊子模塊以圖像檢測模塊輸出結(jié)果為數(shù)據(jù)輸入，經(jīng)過相機(jī)標(biāo)定內(nèi)部參數(shù)算法和相機(jī)標(biāo)定外部參數(shù)算法，將程序中所用到標(biāo)識三維位置和姿態(tài)計算出來。相機(jī)外部參數(shù)作為輸出結(jié)果輸入到虛實(shí)融合子模塊，用DirectX或openGL中虛擬相機(jī)模擬真實(shí)世界中相機(jī)，產(chǎn)生良好虛實(shí)環(huán)境無縫融合場景。將三維虛擬動畫模型渲染到特定標(biāo)識物上，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)效果。該模塊詳細(xì)設(shè)計和詳細(xì)算法在第五章有詳細(xì)討論。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第22頁2.7深度檢測模塊為了判斷系統(tǒng)中渲染虛擬物體與真實(shí)環(huán)境中物體遮擋關(guān)系，系統(tǒng)中需要計算虛擬物體與真實(shí)場景中物體深度信息，經(jīng)過比較它們深度信息，確定虛擬物體與真實(shí)場景中物體遮擋關(guān)系，實(shí)現(xiàn)系統(tǒng)中真實(shí)場景與虛擬物體遮擋一致性由計算機(jī)視覺相機(jī)標(biāo)定技術(shù)能夠知道，一幅圖像中一個點(diǎn)確定空間中一條直線與這個點(diǎn)相對應(yīng)，為了在系統(tǒng)中求取圖像上一點(diǎn)深度信息，需要兩幅圖像或多幅圖像。計算一個點(diǎn)在多幅圖像上深度信息直線方程，然后聯(lián)方程，用最小二乘法計算出圖像點(diǎn)深度信息。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第23頁2.7深度檢測模塊深度檢測模塊流程圖增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第24頁2.8虛實(shí)融合模塊虛實(shí)融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外視覺效果，如光照、前景色彩增加等也在模塊中實(shí)現(xiàn)。在系統(tǒng)中，為了到達(dá)逼真虛實(shí)融合效果，正確顯示虛擬物體和真實(shí)物體遮擋關(guān)系，需要將深度檢測模塊輸出結(jié)果作為輸入傳入虛實(shí)結(jié)合子?？欤搶?shí)結(jié)合子模塊依據(jù)真實(shí)場景中物體與虛擬物體遮擋關(guān)系進(jìn)行虛擬場景與真實(shí)場景無縫融合。虛實(shí)融合模塊處理虛擬物體與真實(shí)物體之間遮擋關(guān)系詳細(xì)步驟以下:增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第25頁2.8虛實(shí)融合模塊假如物體在監(jiān)控區(qū)域，將物體深度信息和監(jiān)控區(qū)域中虛擬物體深度信息進(jìn)行比較。假如真實(shí)場景中物體深度大于虛擬投影三維模型深度信息，從固定攝像機(jī)視角看，真實(shí)場景中物體與虛擬物體空間位置關(guān)系是真實(shí)場景物體在后，虛擬物體在前，那么就直接將三維虛擬模型投影在標(biāo)識物上。假如真實(shí)場景中物體深度小于虛擬投影三維模型深度信息，真實(shí)場景物體在前，虛擬物體在后，那么就將三維虛擬模型投影在標(biāo)識物上之后，將高斯摳圖得到真實(shí)物體圖像渲染到虛擬三維模型之上，顯示真實(shí)物體與虛擬物體遮擋關(guān)系。增強(qiáng)現(xiàn)實(shí)技術(shù)之基于視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)培訓(xùn)講義第26頁2.8虛實(shí)融合模塊虛實(shí)融合模塊要將光照、陰影、前景