增強現(xiàn)實技術(第二章)

第二章基于視覺的加強現(xiàn)實系統(tǒng)框架2.1系統(tǒng)框架2.2系統(tǒng)的模塊引見2.3圖像采集與處置模塊2.4三維模型繪制模塊2.5標識識別模塊2.6三維注冊模塊2.7深度檢測模塊2.8真假交融模塊2.9動作交互模塊2.1系統(tǒng)框架

2.2系統(tǒng)的模塊引見

系統(tǒng)由9個主要的子模塊組成：圖像采集子模塊數(shù)字圖像處置子模塊注冊定位子模塊標識識別子模塊，深度檢測子模塊圖形渲染子模塊用戶交互子模塊真假交融子模塊多媒體控制子模塊2.2系統(tǒng)的模塊引見圖像采集子模塊從圖像輸入設備中采集視頻流，從視頻流中獲取視頻圖像。數(shù)字圖像處置子模塊為三維注冊子模塊和真假結合子模塊提供非常重要的根底數(shù)據(jù)。它的詳細功能是經(jīng)過圖像分割，邊緣檢測等圖像處置方法對采集的圖像進展處置，從任務環(huán)境背景中識別出預先在環(huán)境中設置的用于定位的標志。標識識別子模塊根據(jù)方式匹配算法，使系統(tǒng)從攝像機的視頻圖像中正確的識別出預先設計好的標志物，同時給出標志物的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)的一部分，以使得圖形顯示子模塊將預先設計好的三維模型正確的顯示在特定的位置上。2.2系統(tǒng)的模塊引見注冊定標子模塊以圖像檢測模塊的輸出結果為數(shù)據(jù)的輸入，經(jīng)過相機標定內部參數(shù)的算法和相機標定的外部參數(shù)的算法，將程序中所用到標志的三維位置和姿態(tài)計算出來，最后相機的外部參數(shù)作為輸出結果輸入到真假結合子模塊，用openGL等軟件中的虛擬相機模擬真實世界中的相機，產(chǎn)生良好的真假環(huán)境無縫交融的場景。深度檢測子模塊檢測特定空間點的深度信息。為了判別系統(tǒng)中渲染的虛擬物體與真實環(huán)境中物體的遮擋關系，系統(tǒng)中需求計算虛擬物體與真實場景中物體的深度信息，經(jīng)過比較它們的深度信息，確定虛擬物體與真實場景中物體的遮擋關系，實現(xiàn)系統(tǒng)中真實場景與虛擬物體遮擋一致性，同時經(jīng)過檢測真實場景中用戶的手勢等交互動作，完成用戶與場景中虛擬物體的自然交互。2.2系統(tǒng)的模塊引見圖形繪制子模塊實現(xiàn)對虛擬三維模型實時動態(tài)的渲染。真假交融模塊主要完成前景和虛景交融、遮擋處置、邊緣交融等任務。額外的視覺效果，如光照、前風光彩添加等也在模塊中實現(xiàn)。為了到達逼真的真假交融的效果，正確顯示虛擬物體和真實物體的遮擋關系，需求將深度檢測模塊的輸出結果作為輸入傳入真假結合子?？?，真假結合子模塊根據(jù)真實場景中的物體與虛擬物體的遮擋關系進展虛擬場景與真實場景的無縫交融。用戶交互子模塊為用戶提供兩種與虛擬三維模型進展直接交互的方式。多媒體控制模塊模擬系統(tǒng)環(huán)境中產(chǎn)生的各種各樣的聲音元素，同時把視頻文件播放出來。2.3圖像采集與處置模塊圖像采集模塊主要功能是從圖像輸入設備中采集視頻流，從視頻流中獲取視頻圖像。加強現(xiàn)實系統(tǒng)圖像的采集應該滿足實時性、準確性的要求。目前性能較高的CCD攝像頭都可以滿足系統(tǒng)對圖像精度和獲取速度的要求。微軟DirectX開發(fā)包中的Direetshow模塊，是微軟公司發(fā)布的在Windows環(huán)境下運轉的一種流媒體處置體系，是DirectX的組成部分之一。Directshow支持很多種多媒體格式，包括常用的ASF，MPEG，AVI，MP3，WAV等。當系統(tǒng)安裝有硬件加速設備的時候，Directshow可以自動檢測并運用硬件加速設備。同樣，它也支持沒有硬件加速設備的系統(tǒng)。2.3圖像采集與處置模塊2.3圖像采集與處置模塊在基于計算機視覺的系統(tǒng)工程中，數(shù)字圖像處置子模塊為三維注冊子模塊和真假結合子模塊提供非常重要的根底數(shù)據(jù)。它的詳細功能是經(jīng)過圖像分割、邊緣檢測等圖像處置方法對采集的圖像進展處置，從任務環(huán)境背景中識別出預先在環(huán)境中設置的用于定位的標志。數(shù)字圖像處置子模塊的性能優(yōu)劣直接影響系統(tǒng)在三維注冊階段的實時性和虛擬結合模塊中無縫交融的準確性。數(shù)字圖像處置子模塊的三個主要過程是圖像預處置與圖像分割，邊緣檢測和提取系統(tǒng)感興趣的特征點。2.3圖像采集與處置模塊詳細實如今第三章詳細引見2.4三維模型繪制模塊可以用DirectX、游戲引擎中的繪制三維模型語句和渲染語句來繪制三維模型，但所繪制的模型相對簡單。用3DsMAX、Maya來繪制三維模型，然后導出到加強現(xiàn)實程序開發(fā)環(huán)境。三維模型的運動控制由加強現(xiàn)實程序開發(fā)環(huán)境中的程序實現(xiàn)，但人物運動序列等看可以在3DsMAX、Maya中建好后導出。模型的復制可以用程序實現(xiàn)。詳細繪制方法在第四章中詳細引見2.5標識識別模塊在加強現(xiàn)實系統(tǒng)中，經(jīng)過圖像分割、邊緣檢測和輪廓提取之后，我們就可以把以上步驟的結果用于標識識別子模塊根據(jù)方式匹配算法，使系統(tǒng)從攝像機的視頻圖像中正確的識別出預先設計好的標識，同時給出標識的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入?yún)?shù)的一部分，以使得圖形顯示子模塊將預先設計好的三維模型正確的顯示在特定的標志上，實現(xiàn)對真實環(huán)境的加強。標識分為兩類，一類是人工設定好的標識，一類是場景中自然具備的。人工設定好的標識普通由具有一定寬度的黑色封鎖的矩形框和內部的各種圖形或文字兩部分構成。2.5標識識別模塊對于人工設定好的標識經(jīng)過對視頻中的每一幀圖像運用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判別視頻圖像中能否含有封鎖的黑色矩形框。匹配連通區(qū)域中的四邊形構造，記錄視頻圖像中一切標識所在區(qū)域和坐標。分別提取各個標識四邊形的邊緣像素坐標，找出四邊形標識四個頂點坐標，計算出標識邊緣的直線方程(屏幕坐標)。由于系統(tǒng)中運用的標識記是事先設計的有規(guī)那么的標識，所以可以快速獲得檢測結果。2.5標識識別模塊對于人工設定好的標識標識所代表的詳細信息用標識內部的圖形或文字表示，如表示何種目的或在此應顯示何種虛擬物體。詳細的標識內部圖像可以根據(jù)需求手動選擇恣意的圖像作為標識物，可以經(jīng)過幾種圖元的組合自動生成工程中所需求標識。進展模板匹配，來實現(xiàn)標識識別。在做標識匹配前，需求進展圖像正規(guī)化。2.5標識識別模塊圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時候處于隨機的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標識物的平面是平行的，攝像頭的光軸也并不一定是垂直于標識物。所以采集到的圖像也是不規(guī)那么的，標識物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉、縮放仿射變形等。為了用預先制造的模版和圖像進展匹配，從而識別標識物的ID號碼，需求對圖像進展幾何變換，使圖像正規(guī)化2.5標識識別模塊圖像正規(guī)化將從攝像頭獲取的標識圖像轉變?yōu)閿z像頭和圖像是正對著的，攝像頭的光心垂直于標識物時拍攝的視頻圖像。普通情況下，由于由攝像機引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即可以堅持線段的直線性、間隔化、平行性不變。在圖像線性變形的假設條件下，變形圖像點的坐標(X,Y)與原圖像上點的坐標(x,y)之間的關系是:2.5標識識別模塊其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，所以只需確定了變形圖像上的3個點以及在沒有變形圖像上與它們對應的3個點的坐標，就可以代入方程組，求出方程中的六個未知數(shù)。也就是求得了變形圖像和未變形圖像之間的對應關系。2.5標識識別模塊模板匹配圖像匹配技術是數(shù)字圖像處置領域的一項重要研討。根據(jù)知方式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅知的小圖像，詳細地說模板匹配的過程是在一幅大圖像中搜索目的，己知該圖中有要找的目的，經(jīng)過一定的算法可以在圖中找到目的，確定其坐標位置。圖像的模板匹配技術可以分成直接基于灰度值的方法以及基于特征提取的方法兩大類。2.5標識識別模塊一幅圖像與另一幅圖像接近的程度需求一個尺度來描畫，在數(shù)學上常用向量的范數(shù)做為一個尺度。假設輸入圖像為M，知圖像為T，它們之間的類似度可以用下式衡量：其中，d是一個間隔標量，表示兩個向量之間的間隔。經(jīng)過在圖像中尋覓使d值最小的區(qū)域，確定被尋覓的圖像T在輸入圖像中的位置等信息。為了防止出現(xiàn)匹配錯誤的情況，普通會在運用中設置一個閥值，當d小于某個閥值時，以為兩幅圖像有一定可比的類似度，當d大于某個閥值時，以為兩幅圖像不具有可比的類似度，不參與d值的比較。2.5標識識別模塊由于在拍攝圖像的時候，會由于光照強度不同，獲取的圖像在灰度級的分布上會不同，這種情況使得兩張本來外形類似的圖像被檢測為不類似。為了防止這種情況，實踐運用中運用兩個向量的夾角這個規(guī)范來衡量兩個圖像的類似度，公式如下:系統(tǒng)中采用規(guī)范類似度來進展模版匹配。所采用的特征是圖像的標識物區(qū)域的面積比幾何特征。面積比計算比較簡單，實時性好;同時在圖像進展線性變換的過程中面積比特征不會改動。在對系統(tǒng)的標識物事先設定好的情況下會有較高的精度。2.6三維注冊模塊加強現(xiàn)實系統(tǒng)必需可以實時地檢測出觀測者(或攝像機)相對于真實場景的位置和方向角，以及成像系統(tǒng)(攝像機)的內部參數(shù)(焦距和像元高寬比等)根據(jù)這些信息來實時確定所要添加的虛擬信息在真實空間中的映射位置，并將這些信息實時顯示在圖象中的正確位置。在用戶看來，無論從任何角度察看，都應該使虛擬物體與真實場景堅持三維歐氏空間的幾何一致性。這就是AR中的真假注冊(Registration)所要完成的義務。2.6三維注冊模塊三維注冊子模塊以圖像檢測模塊的輸出結果為數(shù)據(jù)的輸入，經(jīng)過相機標定內部參數(shù)的算法和相機標定的外部參數(shù)的算法，將程序中所用到標志的三維位置和姿態(tài)計算出來。相機的外部參數(shù)作為輸出結果輸入到真假交融子模塊，用DirectX或openGL中的虛擬相機模擬真實世界中的相機，產(chǎn)生良好的真假環(huán)境無縫交融的場景。將三維的虛擬動畫模型渲染到特定的標識物上，實現(xiàn)加強現(xiàn)實的效果。該模塊的詳細設計和詳細的算法在第五章有詳細的討論。2.7深度檢測模塊為了判別系統(tǒng)中渲染的虛擬物體與真實環(huán)境中物體的遮擋關系，系統(tǒng)中需求計算虛擬物體與真實場景中物體的深度信息，經(jīng)過比較它們的深度信息，確定虛擬物體與真實場景中物體的遮擋關系，實現(xiàn)系統(tǒng)中真實場景與虛擬物體遮擋一致性由計算機視覺的相機標定技術可以知道，一幅圖像中的一個點確定空間中一條直線與這個點相對應，為了在系統(tǒng)中求取圖像上一點的深度信息，需求兩幅圖像或多幅圖像。計算一個點在多幅圖像上深度信息的直線方程，然后聯(lián)方程，用最小二乘法計算出圖像點的深度信息。2.7深度檢測模塊深度檢測模塊的流程圖2.8真假交融模塊真假交融模塊主要完成前景和虛景交融、遮擋處置、邊緣交融等任務。額外的視覺效果，如光照、前風光彩添加等也在模塊中實現(xiàn)。在系統(tǒng)中，為了到達逼真的真假交融的效果，正確顯示虛擬物體和真實物體的遮擋關系，需求將深度檢測模塊的輸出結果作為輸入傳入真假結合子?？欤婕俳Y合子模塊根據(jù)真實場景中的物體與虛擬物體的遮擋關系進展虛擬場景與真實場景的無縫交融。真假交融模塊處置虛擬物體與真實物體之間的遮擋關系的詳細步驟如下:2.8真假交融模塊假設物體在監(jiān)控區(qū)域，將物體的深度信息和監(jiān)控區(qū)域中虛擬物體的深度信息進展比較。假設真實場景中物體的深度大于虛擬投影三維模型的深度信息，從固定攝像機的視角看，真實場景中的物體與虛擬物體的空間位置關系是真實場景的物體在后，虛擬物體在前，那么就直接將三維虛擬的模型投影在標志物上。假設真實場景中物體的深度小于虛擬投影的三維模型的深度信息，真實場景的物體在前，虛擬物體在后，那么就將三維虛擬的模型投影在標志物上之后，將高斯摳圖得到的真實物體的圖像渲染到虛擬三維模型之上，顯示真實物體與虛擬物體的遮擋關系。2.8真假交融模塊