D感知與目標(biāo)位姿計(jì)算課件

Chapter103DSensingandObjectPoseComputation第十章3D感知與目標(biāo)位姿計(jì)算Chapter103DSensingandObje舉例多攝像機(jī)測(cè)量系統(tǒng)通過(guò)計(jì)算機(jī)視覺(jué)來(lái)識(shí)別目標(biāo)并確定目標(biāo)位置舉例多攝像機(jī)測(cè)量系統(tǒng)通過(guò)計(jì)算機(jī)視覺(jué)來(lái)識(shí)別目標(biāo)并確定目標(biāo)位置通過(guò)立體視覺(jué)求深度放置兩臺(tái)攝像機(jī)，使它們的X軸重合，Y軸和Z軸分別相互平行。Y軸垂直于紙面。右側(cè)攝像機(jī)的原點(diǎn)或投影中心的偏移量為b，b是立體視覺(jué)系統(tǒng)的基線(baseline)。目標(biāo)點(diǎn)P在左圖像中對(duì)應(yīng)點(diǎn)為Pl，在右圖像中對(duì)應(yīng)點(diǎn)為Pr，可以確定點(diǎn)P位于光線LPl和RPr的交點(diǎn)處。根據(jù)相似三角形：通過(guò)立體視覺(jué)求深度放置兩臺(tái)攝像機(jī)，使它們的X軸重合，Y軸和Z通過(guò)立體視覺(jué)求深度因?yàn)樽鴺?biāo)yl和yr相同。所以點(diǎn)P的兩個(gè)未知坐標(biāo)x和z可以表示為：d=xl-xr定義：當(dāng)同一個(gè)3D點(diǎn)投影到不同的兩臺(tái)攝像機(jī)圖像上時(shí)，對(duì)應(yīng)點(diǎn)在圖像上的位置差稱為視差(disparity)。注意：到點(diǎn)P的距離隨著視差的減小而增加，隨著視差的增大而減小。隨著視差趨近零時(shí)，距離趨近無(wú)窮。通過(guò)立體視覺(jué)求深度因?yàn)樽鴺?biāo)yl和yr相同。所以點(diǎn)P的兩個(gè)未知建立對(duì)應(yīng)關(guān)系1）交叉相關(guān)

對(duì)于已知圖像I1(立體圖像對(duì)中的第一幅圖像)中的點(diǎn)P1，假設(shè)在圖像I2(立體圖像對(duì)中第二幅圖像)中存在某個(gè)固定區(qū)域，在該區(qū)域中一定可以找到與P1對(duì)應(yīng)的點(diǎn)P2.

區(qū)域的大小由拍攝這些圖像的攝像機(jī)設(shè)備信息決定。對(duì)于圖像I1的像素P1，搜索I2上的選定區(qū)域，對(duì)P1和P2的鄰域進(jìn)行交叉相關(guān)運(yùn)算，把交叉相關(guān)影響最大的像素，作為P1的最佳匹配點(diǎn)，并用該像素尋找對(duì)應(yīng)3D點(diǎn)的深度。建立對(duì)應(yīng)關(guān)系1）交叉相關(guān)對(duì)于圖像I1的像素P1，搜索I2上的2）圖符匹配和相關(guān)約束

在一幅圖像中尋找與另一幅圖像特征相匹配的特征。典型特征有連接類型、線段或區(qū)域?？梢圆捎靡恢滦詷?biāo)記尋找匹配。部件集合P是第一幅圖像I1中的特征集合。標(biāo)記集L是第二幅圖像I2的特征集合。P上的空間關(guān)系RP要與L上的空間關(guān)系RL相同。建立對(duì)應(yīng)關(guān)系采用連接點(diǎn)關(guān)系對(duì)特征進(jìn)行匹配圖中的L連接和箭頭連接是可能的匹配點(diǎn)。一般避免使用T連接，因?yàn)樗鼈兺ǔＪ钦趽醯慕Y(jié)果，而不是3D結(jié)構(gòu)的實(shí)際特征。2）圖符匹配和相關(guān)約束建立對(duì)應(yīng)關(guān)系采用連接點(diǎn)關(guān)系對(duì)特征進(jìn)行匹2）圖符匹配和相關(guān)約束

存在問(wèn)題：

1)并非第一幅圖像中所有特征都可以在第二幅圖像中檢測(cè)到.2)從第一幅圖像特征到第二幅圖像特征映射后，連接點(diǎn)的對(duì)應(yīng)關(guān)系產(chǎn)生的是一個(gè)稀疏深度映射，不能完全表示三維信息.

解決方法：

1)允許出現(xiàn)一定的誤差，尋找一種最小誤差映射，或利用連續(xù)松弛法得到近似解.2)在求得的稀疏深度映射點(diǎn)上進(jìn)行線性插值運(yùn)算，使稀疏深度映射變得稠密.建立對(duì)應(yīng)關(guān)系2）圖符匹配和相關(guān)約束建立對(duì)應(yīng)關(guān)系3)外極線約束

兩圖像面位于同一平面并且與基線平行。已知圖像I1中的點(diǎn)P1=(x1,y1)，則圖像I2中的對(duì)應(yīng)點(diǎn)P2=(x2,y2)將與P1位于相同的掃描線上，也就是y1=y2。這對(duì)圖像為標(biāo)準(zhǔn)圖像對(duì)。建立對(duì)應(yīng)關(guān)系標(biāo)準(zhǔn)圖像對(duì)的外極線幾何。3D點(diǎn)P在圖像I1中的投影為P1，在圖像I2中的投影為P2，二幅圖像位于同一平面，與兩攝像機(jī)間的基線平行。光軸垂直于基線并相互平行。3)外極線約束建立對(duì)應(yīng)關(guān)系標(biāo)準(zhǔn)圖像對(duì)的外極線幾何。3D點(diǎn)P在3)外極線約束

建立對(duì)應(yīng)關(guān)系定義：包含3D點(diǎn)P、兩個(gè)光心(或攝像機(jī))C1和C2，以及P在兩幅圖像中的投影點(diǎn)P1和P2的平面稱為外極面(epipolarplane).定義：外極面與兩幅圖像平面I1和I2的交線e1和e2稱為外極線(epipolarline).定義：立體圖像對(duì)的外極點(diǎn)(epipole)就是所有外極線的交點(diǎn).3)外極線約束建立對(duì)應(yīng)關(guān)系定義：包含3D點(diǎn)P、兩個(gè)光心(或攝4）順序約束已知場(chǎng)景中兩個(gè)點(diǎn)和它們?cè)趦煞鶊D像中的投影點(diǎn)。如果這兩點(diǎn)位于場(chǎng)景中的連續(xù)表面上，那么在每幅圖像中，它們以相同的順序位于外極線上。5）誤差與場(chǎng)景覆蓋場(chǎng)景覆蓋與計(jì)算深度誤差間尋求平衡。如果基線很短，確定圖像點(diǎn)P1和P2的位置時(shí)誤差就較小，但在計(jì)算3D點(diǎn)P的深度時(shí)誤差就較大。增大基線可以改進(jìn)搜索精度，但隨攝像機(jī)彼此遠(yuǎn)離，圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系將丟失。建議兩臺(tái)攝像機(jī)光軸間最好是45度角。建立對(duì)應(yīng)關(guān)系4）順序約束建立對(duì)應(yīng)關(guān)系一般體視結(jié)構(gòu)兩臺(tái)攝像機(jī)C1和C2觀察相同的3D工作區(qū)。工件上的點(diǎn)P在第一幅圖像中的投影為1P，在第二幅圖中的投影為2P。兩臺(tái)攝像機(jī)觀察工作臺(tái)上相同的工件區(qū)時(shí)，工作臺(tái)就是一個(gè)完整的3D世界，并且有自己的世界坐標(biāo)系W。工作區(qū)中3D點(diǎn)wP=[wPx,wPy,wPz]的位置，可以通過(guò)兩條投影線wP1O和wP2O的交點(diǎn)確定。一般體視結(jié)構(gòu)兩臺(tái)攝像機(jī)C1和C2觀察相同的3D工作區(qū)。工件上為了進(jìn)行立體視覺(jué)計(jì)算，需要已知下列條件：要知道攝像機(jī)C1在工作區(qū)W中的位姿，以及攝像機(jī)的一些內(nèi)部參數(shù)，如焦距。這些信息用攝像機(jī)矩陣(cameramatrix)來(lái)表示，對(duì)每個(gè)圖像點(diǎn)1P通過(guò)該矩陣確定3D空間中的一條光線。要知道C2在工作區(qū)W中的位姿以及它的內(nèi)部參數(shù)。要找出3D點(diǎn)與兩個(gè)2D圖像點(diǎn)(wP,1P,2P)之間的對(duì)應(yīng)關(guān)系。要有公式來(lái)計(jì)算兩條投影線wP1O和wP2O的交點(diǎn)wP。一般體視結(jié)構(gòu)為了進(jìn)行立體視覺(jué)計(jì)算，需要已知下列條件：一般體視結(jié)構(gòu)基于多攝像機(jī)的3D點(diǎn)計(jì)算根據(jù)兩個(gè)像點(diǎn)[r1,c1]和[r2,c2]算出未知的3D點(diǎn)[x,y,z]，兩個(gè)像點(diǎn)由標(biāo)定好的兩臺(tái)攝像機(jī)攝取。去掉齊次坐標(biāo)s和t,可以得到含3個(gè)未知數(shù)的4個(gè)線性方程。4個(gè)方程中任意3個(gè)聯(lián)立都可以求出未知點(diǎn)[x,y,z]，但求出的坐標(biāo)值會(huì)產(chǎn)生微小的差異?；诙鄶z像機(jī)的3D點(diǎn)計(jì)算根據(jù)兩個(gè)像點(diǎn)[r1,c1]和[r2,問(wèn)題：因?yàn)閿z像機(jī)模型和圖像點(diǎn)的近似誤差，兩臺(tái)攝像機(jī)的投影線并沒(méi)有在數(shù)學(xué)的3D空間相交于一點(diǎn)。解決方案：計(jì)算這兩條空間斜交投影線之間的最短距離，也就是計(jì)算它們公垂線段的長(zhǎng)度。如果公垂線比較短，就取公垂線的中點(diǎn)作為兩條投影線的交點(diǎn)。如果公垂線比較長(zhǎng)，就要判定在進(jìn)行像點(diǎn)對(duì)應(yīng)計(jì)算時(shí)出現(xiàn)了問(wèn)題?；诙鄶z像機(jī)的3D點(diǎn)計(jì)算P1和P2是一條直線上的兩個(gè)點(diǎn)，而Q1和Q2是另外一條直線上的兩個(gè)點(diǎn)。u1和u2是沿兩條直線的單位向量。向量V=P1+a1u1-（Q1+a2u2）就是連續(xù)兩條直線的最短距離向量，其中a1和a2是兩個(gè)要確定的比例系數(shù)。問(wèn)題：因?yàn)閿z像機(jī)模型和圖像點(diǎn)的近似誤差，兩臺(tái)攝像機(jī)的投影線并利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個(gè)含未知數(shù)a1和a2的線性方程：利用消元法或者行列式法可以很容易解出a1和a2。如果‖sV‖小于某個(gè)閾值，就認(rèn)為兩條直線相交于點(diǎn)[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]?；诙鄶z像機(jī)的3D點(diǎn)計(jì)算利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個(gè)含未知3D目標(biāo)重建目標(biāo)建模的過(guò)程可分為四個(gè)步驟：

1）3D數(shù)據(jù)獲取

一般需要8-10張不同角度的視圖來(lái)獲得一系列物體表面的深度數(shù)據(jù)。

2）圖像配準(zhǔn)

將深度數(shù)據(jù)轉(zhuǎn)換到一個(gè)3D坐標(biāo)系的過(guò)程為圖像配準(zhǔn)過(guò)程。

3）表面重建

將3D點(diǎn)云用3D網(wǎng)格及格點(diǎn)間聯(lián)系表示；用一組3D體素表示目標(biāo)的整個(gè)體積。

4）優(yōu)化

平滑表面等過(guò)程3D目標(biāo)重建目標(biāo)建模的過(guò)程可分為四個(gè)步驟：視圖配準(zhǔn)問(wèn)題提出：為了覆蓋物體的整個(gè)表面，必須根據(jù)多幅視圖得到深度數(shù)據(jù)。解決方法：視圖1到視圖2的變換，要么通過(guò)精確的機(jī)械運(yùn)動(dòng)得到，要么通過(guò)圖像對(duì)應(yīng)求出。從圖像對(duì)應(yīng)求?。合喈?dāng)于完成從一幅視圖映射到另一幅視圖的剛性變換。將其轉(zhuǎn)換到同一坐標(biāo)系下。

1）可以借助3D特征如角點(diǎn)和線段特征自動(dòng)完成，基于特征得到3D-3D的對(duì)應(yīng)點(diǎn)，從而計(jì)算出變換關(guān)系。

2）利用交互方式，允許用戶在一對(duì)目標(biāo)圖像上選擇對(duì)應(yīng)點(diǎn)。視圖配準(zhǔn)問(wèn)題提出：為了覆蓋物體的整個(gè)表面，必須根據(jù)多幅視圖得視圖配準(zhǔn)(左上)對(duì)兩組深度數(shù)據(jù)進(jìn)行配準(zhǔn)(右上)用戶交互選取4個(gè)對(duì)應(yīng)點(diǎn)(右下)存在少量偏差的初始變換(左下)幾次迭代后，兩組深度數(shù)據(jù)得到很好的對(duì)齊最近點(diǎn)迭代法：得到初始變換，通過(guò)迭代方法，使對(duì)應(yīng)3D點(diǎn)之間的距離之和最小化。視圖配準(zhǔn)(左上)對(duì)兩組深度數(shù)據(jù)進(jìn)行配準(zhǔn)最近點(diǎn)迭代法：得到初始表面重建目標(biāo)：希望重建目標(biāo)與實(shí)際物體在外形上盡可能相似并且保持其拓?fù)浣Y(jié)構(gòu)。(a)配準(zhǔn)的椅子深度數(shù)據(jù)(b)重建過(guò)程出現(xiàn)的問(wèn)題(c)具有正確拓?fù)浣Y(jié)構(gòu)的粗略網(wǎng)格模型表面重建目標(biāo)：希望重建目標(biāo)與實(shí)際物體在外形上盡可能相似并且保圖片:

可以作為建模的靈感來(lái)源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片的三維重建圖片:可以作為建模的靈感來(lái)源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片基本流程基本流程部件一致性分割

[Xuetal.2010]InputmodelsetModelsinpartcorrespondence預(yù)分析候選模型集部件一致性分割[Xuetal.2010]預(yù)分析候選模形變控制單元

[Zhengetal.2011]控制單元:

長(zhǎng)方形和廣義圓柱體相互關(guān)系:

對(duì)稱,連接,etc.預(yù)分析候選模型集形變控制單元[Zhengetal.2011]預(yù)分析候第一步:模型驅(qū)動(dòng)的圖像空間結(jié)構(gòu)分析基于單幅圖片的三維重建第一步:基于單幅圖片的三維重建檢索代表模型模型驅(qū)動(dòng)的標(biāo)號(hào)分割圖割法模型驅(qū)動(dòng)的特征空間結(jié)構(gòu)分析檢索代表模型模型驅(qū)動(dòng)的標(biāo)號(hào)分割圖割法模型驅(qū)動(dòng)的特征空間結(jié)構(gòu)分基于單幅圖片的三維重建第二步:候選模型檢索基于單幅圖片的三維重建第二步:QueryTop5retrievedresults全局描述子檢索候選模型檢索全局描述子檢索候選模型檢索QueryTop5retrievedresults部件級(jí)描述子候選模型也可任意選擇候選模型檢索部件級(jí)描述子候選模型也可任意選擇候選模型檢索關(guān)鍵第三步:輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變基于單幅圖片的三維重建關(guān)鍵第三步:基于單幅圖片的三維重建輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)控制優(yōu)化輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)控制優(yōu)化輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimization輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)控制優(yōu)化潛質(zhì)幾何形變Beforeoptimizat輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimizationFinalgeometry輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptInitialcontrollerreconstructionFront-view結(jié)構(gòu)優(yōu)化InitialcontrollerFront-view結(jié)單獨(dú)控制對(duì)稱交互控制對(duì)稱鄰近約束最初構(gòu)造iterative最終結(jié)構(gòu)結(jié)構(gòu)優(yōu)化單獨(dú)控制對(duì)稱交互控制對(duì)稱鄰近約束最初構(gòu)造iterative最結(jié)果結(jié)果?結(jié)果?結(jié)果原始數(shù)據(jù)噪聲點(diǎn)云數(shù)據(jù)未分割有遮擋工具:

MicrosoftKinect實(shí)時(shí)提供深度和圖像信息小而便宜42數(shù)據(jù)獲取原始數(shù)據(jù)工具:MicrosoftKinect實(shí)時(shí)42數(shù)據(jù)學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translationalrotational43室內(nèi)場(chǎng)景重構(gòu)識(shí)別:

用學(xué)習(xí)到的模型在場(chǎng)景中識(shí)別物體學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translation44室內(nèi)場(chǎng)景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型用不同基元進(jìn)行基本模型表示44室內(nèi)場(chǎng)景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本基元長(zhǎng)方體、圓柱體、輻射狀構(gòu)造連通性剛性旋轉(zhuǎn)平移附屬關(guān)系位置信息contacttranslationalrotational45基本模型表示基元contacttranslationalrotation地平面和書桌物體單獨(dú)聚類部件通過(guò)一致性分類分割與其類似，后面還需修正46點(diǎn)云數(shù)據(jù)分層表示地平面和書桌46點(diǎn)云數(shù)據(jù)分層表示初始分配部件vs.基元簡(jiǎn)單的對(duì)比高度，法矢量，大小魯棒的形變低漏報(bào)精細(xì)分配部件vs.模型迭代的解決位置、形變和分割低漏報(bào)parts47室內(nèi)場(chǎng)景重構(gòu)-識(shí)別階段初始分配部件vs.基元parts47室內(nèi)場(chǎng)景重構(gòu)-識(shí)別階初始分配部件vs.基元節(jié)點(diǎn)精細(xì)分配部件vs.模型InputpointsInitialobjectsModelsmatchedRefinedobjectsobjectspartsmatched48室內(nèi)場(chǎng)景重構(gòu)-識(shí)別階段初始分配部件vs.基元節(jié)點(diǎn)InputpointsIniRecognitionspeed:about200msperobject49合成場(chǎng)景Recognitionspeed:about200m50合成場(chǎng)景50合成場(chǎng)景51合成場(chǎng)景51合成場(chǎng)景丟失數(shù)據(jù)遮擋,材質(zhì),…最初分割容易出錯(cuò)雜亂的目標(biāo)被合并為一個(gè)物體視角選擇影響物體分割，在某個(gè)視角下，物體成片狀52限制丟失數(shù)據(jù)52限制大作業(yè)內(nèi)容根據(jù)自己興趣，提交與視覺(jué)相關(guān)的綜述論文。比如可以寫圖像分割、三維建模的相關(guān)論文。提交作業(yè)形式郵件附件要命名為“學(xué)號(hào)+姓名”。截止日期

2016年07月01日提交郵箱

zhangyannju@;大作業(yè)內(nèi)容謝謝謝謝1、有時(shí)候讀書是一種巧妙地避開思考的方法。12月-2212月-22Friday,December9,20222、閱讀一切好書如同和過(guò)去最杰出的人談話。17:08:0717:08:0717:0812/9/20225:08:07PM3、越是沒(méi)有本領(lǐng)的就越加自命不凡。12月-2217:08:0717:08Dec-2209-Dec-224、越是無(wú)能的人，越喜歡挑剔別人的錯(cuò)兒。17:08:0717:08:0717:08Friday,December9,20225、知人者智，自知者明。勝人者有力，自勝者強(qiáng)。12月-2212月-2217:08:0717:08:07December9,20226、意志堅(jiān)強(qiáng)的人能把世界放在手中像泥塊一樣任意揉捏。09十二月20225:08:07下午17:08:0712月-227、最具挑戰(zhàn)性的挑戰(zhàn)莫過(guò)于提升自我。。十二月225:08下午12月-2217:08December9,20228、業(yè)余生活要有意義，不要越軌。2022/12/917:08:0717:08:0709December20229、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。5:08:07下午5:08下午17:08:0712月-2210、你要做多大的事情，就該承受多大的壓力。12/9/20225:08:07PM17:08:0709-12月-2211、自己要先看得起自己，別人才會(huì)看得起你。12/9/20225:08PM12/9/20225:08PM12月-2212月-2212、這一秒不放棄，下一秒就會(huì)有希望。09-Dec-2209December202212月-2213、無(wú)論才能知識(shí)多么卓著，如果缺乏熱情，則無(wú)異紙上畫餅充饑，無(wú)補(bǔ)于事。Friday,December9,202209-Dec-2212月-2214、我只是自己不放過(guò)自己而已，現(xiàn)在我不會(huì)再逼自己眷戀了。12月-2217:08:0709December202217:08謝謝大家1、有時(shí)候讀書是一種巧妙地避開思考的方法。12月-2212月55Chapter103DSensingandObjectPoseComputation第十章3D感知與目標(biāo)位姿計(jì)算Chapter103DSensingandObje舉例多攝像機(jī)測(cè)量系統(tǒng)通過(guò)計(jì)算機(jī)視覺(jué)來(lái)識(shí)別目標(biāo)并確定目標(biāo)位置舉例多攝像機(jī)測(cè)量系統(tǒng)通過(guò)計(jì)算機(jī)視覺(jué)來(lái)識(shí)別目標(biāo)并確定目標(biāo)位置通過(guò)立體視覺(jué)求深度放置兩臺(tái)攝像機(jī)，使它們的X軸重合，Y軸和Z軸分別相互平行。Y軸垂直于紙面。右側(cè)攝像機(jī)的原點(diǎn)或投影中心的偏移量為b，b是立體視覺(jué)系統(tǒng)的基線(baseline)。目標(biāo)點(diǎn)P在左圖像中對(duì)應(yīng)點(diǎn)為Pl，在右圖像中對(duì)應(yīng)點(diǎn)為Pr，可以確定點(diǎn)P位于光線LPl和RPr的交點(diǎn)處。根據(jù)相似三角形：通過(guò)立體視覺(jué)求深度放置兩臺(tái)攝像機(jī)，使它們的X軸重合，Y軸和Z通過(guò)立體視覺(jué)求深度因?yàn)樽鴺?biāo)yl和yr相同。所以點(diǎn)P的兩個(gè)未知坐標(biāo)x和z可以表示為：d=xl-xr定義：當(dāng)同一個(gè)3D點(diǎn)投影到不同的兩臺(tái)攝像機(jī)圖像上時(shí)，對(duì)應(yīng)點(diǎn)在圖像上的位置差稱為視差(disparity)。注意：到點(diǎn)P的距離隨著視差的減小而增加，隨著視差的增大而減小。隨著視差趨近零時(shí)，距離趨近無(wú)窮。通過(guò)立體視覺(jué)求深度因?yàn)樽鴺?biāo)yl和yr相同。所以點(diǎn)P的兩個(gè)未知建立對(duì)應(yīng)關(guān)系1）交叉相關(guān)

對(duì)于已知圖像I1(立體圖像對(duì)中的第一幅圖像)中的點(diǎn)P1，假設(shè)在圖像I2(立體圖像對(duì)中第二幅圖像)中存在某個(gè)固定區(qū)域，在該區(qū)域中一定可以找到與P1對(duì)應(yīng)的點(diǎn)P2.

區(qū)域的大小由拍攝這些圖像的攝像機(jī)設(shè)備信息決定。對(duì)于圖像I1的像素P1，搜索I2上的選定區(qū)域，對(duì)P1和P2的鄰域進(jìn)行交叉相關(guān)運(yùn)算，把交叉相關(guān)影響最大的像素，作為P1的最佳匹配點(diǎn)，并用該像素尋找對(duì)應(yīng)3D點(diǎn)的深度。建立對(duì)應(yīng)關(guān)系1）交叉相關(guān)對(duì)于圖像I1的像素P1，搜索I2上的2）圖符匹配和相關(guān)約束

在一幅圖像中尋找與另一幅圖像特征相匹配的特征。典型特征有連接類型、線段或區(qū)域?？梢圆捎靡恢滦詷?biāo)記尋找匹配。部件集合P是第一幅圖像I1中的特征集合。標(biāo)記集L是第二幅圖像I2的特征集合。P上的空間關(guān)系RP要與L上的空間關(guān)系RL相同。建立對(duì)應(yīng)關(guān)系采用連接點(diǎn)關(guān)系對(duì)特征進(jìn)行匹配圖中的L連接和箭頭連接是可能的匹配點(diǎn)。一般避免使用T連接，因?yàn)樗鼈兺ǔＪ钦趽醯慕Y(jié)果，而不是3D結(jié)構(gòu)的實(shí)際特征。2）圖符匹配和相關(guān)約束建立對(duì)應(yīng)關(guān)系采用連接點(diǎn)關(guān)系對(duì)特征進(jìn)行匹2）圖符匹配和相關(guān)約束

存在問(wèn)題：

1)并非第一幅圖像中所有特征都可以在第二幅圖像中檢測(cè)到.2)從第一幅圖像特征到第二幅圖像特征映射后，連接點(diǎn)的對(duì)應(yīng)關(guān)系產(chǎn)生的是一個(gè)稀疏深度映射，不能完全表示三維信息.

解決方法：

1)允許出現(xiàn)一定的誤差，尋找一種最小誤差映射，或利用連續(xù)松弛法得到近似解.2)在求得的稀疏深度映射點(diǎn)上進(jìn)行線性插值運(yùn)算，使稀疏深度映射變得稠密.建立對(duì)應(yīng)關(guān)系2）圖符匹配和相關(guān)約束建立對(duì)應(yīng)關(guān)系3)外極線約束

兩圖像面位于同一平面并且與基線平行。已知圖像I1中的點(diǎn)P1=(x1,y1)，則圖像I2中的對(duì)應(yīng)點(diǎn)P2=(x2,y2)將與P1位于相同的掃描線上，也就是y1=y2。這對(duì)圖像為標(biāo)準(zhǔn)圖像對(duì)。建立對(duì)應(yīng)關(guān)系標(biāo)準(zhǔn)圖像對(duì)的外極線幾何。3D點(diǎn)P在圖像I1中的投影為P1，在圖像I2中的投影為P2，二幅圖像位于同一平面，與兩攝像機(jī)間的基線平行。光軸垂直于基線并相互平行。3)外極線約束建立對(duì)應(yīng)關(guān)系標(biāo)準(zhǔn)圖像對(duì)的外極線幾何。3D點(diǎn)P在3)外極線約束

建立對(duì)應(yīng)關(guān)系定義：包含3D點(diǎn)P、兩個(gè)光心(或攝像機(jī))C1和C2，以及P在兩幅圖像中的投影點(diǎn)P1和P2的平面稱為外極面(epipolarplane).定義：外極面與兩幅圖像平面I1和I2的交線e1和e2稱為外極線(epipolarline).定義：立體圖像對(duì)的外極點(diǎn)(epipole)就是所有外極線的交點(diǎn).3)外極線約束建立對(duì)應(yīng)關(guān)系定義：包含3D點(diǎn)P、兩個(gè)光心(或攝4）順序約束已知場(chǎng)景中兩個(gè)點(diǎn)和它們?cè)趦煞鶊D像中的投影點(diǎn)。如果這兩點(diǎn)位于場(chǎng)景中的連續(xù)表面上，那么在每幅圖像中，它們以相同的順序位于外極線上。5）誤差與場(chǎng)景覆蓋場(chǎng)景覆蓋與計(jì)算深度誤差間尋求平衡。如果基線很短，確定圖像點(diǎn)P1和P2的位置時(shí)誤差就較小，但在計(jì)算3D點(diǎn)P的深度時(shí)誤差就較大。增大基線可以改進(jìn)搜索精度，但隨攝像機(jī)彼此遠(yuǎn)離，圖像點(diǎn)之間的對(duì)應(yīng)關(guān)系將丟失。建議兩臺(tái)攝像機(jī)光軸間最好是45度角。建立對(duì)應(yīng)關(guān)系4）順序約束建立對(duì)應(yīng)關(guān)系一般體視結(jié)構(gòu)兩臺(tái)攝像機(jī)C1和C2觀察相同的3D工作區(qū)。工件上的點(diǎn)P在第一幅圖像中的投影為1P，在第二幅圖中的投影為2P。兩臺(tái)攝像機(jī)觀察工作臺(tái)上相同的工件區(qū)時(shí)，工作臺(tái)就是一個(gè)完整的3D世界，并且有自己的世界坐標(biāo)系W。工作區(qū)中3D點(diǎn)wP=[wPx,wPy,wPz]的位置，可以通過(guò)兩條投影線wP1O和wP2O的交點(diǎn)確定。一般體視結(jié)構(gòu)兩臺(tái)攝像機(jī)C1和C2觀察相同的3D工作區(qū)。工件上為了進(jìn)行立體視覺(jué)計(jì)算，需要已知下列條件：要知道攝像機(jī)C1在工作區(qū)W中的位姿，以及攝像機(jī)的一些內(nèi)部參數(shù)，如焦距。這些信息用攝像機(jī)矩陣(cameramatrix)來(lái)表示，對(duì)每個(gè)圖像點(diǎn)1P通過(guò)該矩陣確定3D空間中的一條光線。要知道C2在工作區(qū)W中的位姿以及它的內(nèi)部參數(shù)。要找出3D點(diǎn)與兩個(gè)2D圖像點(diǎn)(wP,1P,2P)之間的對(duì)應(yīng)關(guān)系。要有公式來(lái)計(jì)算兩條投影線wP1O和wP2O的交點(diǎn)wP。一般體視結(jié)構(gòu)為了進(jìn)行立體視覺(jué)計(jì)算，需要已知下列條件：一般體視結(jié)構(gòu)基于多攝像機(jī)的3D點(diǎn)計(jì)算根據(jù)兩個(gè)像點(diǎn)[r1,c1]和[r2,c2]算出未知的3D點(diǎn)[x,y,z]，兩個(gè)像點(diǎn)由標(biāo)定好的兩臺(tái)攝像機(jī)攝取。去掉齊次坐標(biāo)s和t,可以得到含3個(gè)未知數(shù)的4個(gè)線性方程。4個(gè)方程中任意3個(gè)聯(lián)立都可以求出未知點(diǎn)[x,y,z]，但求出的坐標(biāo)值會(huì)產(chǎn)生微小的差異?；诙鄶z像機(jī)的3D點(diǎn)計(jì)算根據(jù)兩個(gè)像點(diǎn)[r1,c1]和[r2,問(wèn)題：因?yàn)閿z像機(jī)模型和圖像點(diǎn)的近似誤差，兩臺(tái)攝像機(jī)的投影線并沒(méi)有在數(shù)學(xué)的3D空間相交于一點(diǎn)。解決方案：計(jì)算這兩條空間斜交投影線之間的最短距離，也就是計(jì)算它們公垂線段的長(zhǎng)度。如果公垂線比較短，就取公垂線的中點(diǎn)作為兩條投影線的交點(diǎn)。如果公垂線比較長(zhǎng)，就要判定在進(jìn)行像點(diǎn)對(duì)應(yīng)計(jì)算時(shí)出現(xiàn)了問(wèn)題。基于多攝像機(jī)的3D點(diǎn)計(jì)算P1和P2是一條直線上的兩個(gè)點(diǎn)，而Q1和Q2是另外一條直線上的兩個(gè)點(diǎn)。u1和u2是沿兩條直線的單位向量。向量V=P1+a1u1-（Q1+a2u2）就是連續(xù)兩條直線的最短距離向量，其中a1和a2是兩個(gè)要確定的比例系數(shù)。問(wèn)題：因?yàn)閿z像機(jī)模型和圖像點(diǎn)的近似誤差，兩臺(tái)攝像機(jī)的投影線并利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個(gè)含未知數(shù)a1和a2的線性方程：利用消元法或者行列式法可以很容易解出a1和a2。如果‖sV‖小于某個(gè)閾值，就認(rèn)為兩條直線相交于點(diǎn)[x,y,z]t=(1/2)[(P1+a1u1)+(Q1+a2u2)]。基于多攝像機(jī)的3D點(diǎn)計(jì)算利用兩空間斜交線與公垂線正交這一約束條件，可以得到2個(gè)含未知3D目標(biāo)重建目標(biāo)建模的過(guò)程可分為四個(gè)步驟：

1）3D數(shù)據(jù)獲取

一般需要8-10張不同角度的視圖來(lái)獲得一系列物體表面的深度數(shù)據(jù)。

2）圖像配準(zhǔn)

將深度數(shù)據(jù)轉(zhuǎn)換到一個(gè)3D坐標(biāo)系的過(guò)程為圖像配準(zhǔn)過(guò)程。

3）表面重建

將3D點(diǎn)云用3D網(wǎng)格及格點(diǎn)間聯(lián)系表示；用一組3D體素表示目標(biāo)的整個(gè)體積。

4）優(yōu)化

平滑表面等過(guò)程3D目標(biāo)重建目標(biāo)建模的過(guò)程可分為四個(gè)步驟：視圖配準(zhǔn)問(wèn)題提出：為了覆蓋物體的整個(gè)表面，必須根據(jù)多幅視圖得到深度數(shù)據(jù)。解決方法：視圖1到視圖2的變換，要么通過(guò)精確的機(jī)械運(yùn)動(dòng)得到，要么通過(guò)圖像對(duì)應(yīng)求出。從圖像對(duì)應(yīng)求?。合喈?dāng)于完成從一幅視圖映射到另一幅視圖的剛性變換。將其轉(zhuǎn)換到同一坐標(biāo)系下。

1）可以借助3D特征如角點(diǎn)和線段特征自動(dòng)完成，基于特征得到3D-3D的對(duì)應(yīng)點(diǎn)，從而計(jì)算出變換關(guān)系。

2）利用交互方式，允許用戶在一對(duì)目標(biāo)圖像上選擇對(duì)應(yīng)點(diǎn)。視圖配準(zhǔn)問(wèn)題提出：為了覆蓋物體的整個(gè)表面，必須根據(jù)多幅視圖得視圖配準(zhǔn)(左上)對(duì)兩組深度數(shù)據(jù)進(jìn)行配準(zhǔn)(右上)用戶交互選取4個(gè)對(duì)應(yīng)點(diǎn)(右下)存在少量偏差的初始變換(左下)幾次迭代后，兩組深度數(shù)據(jù)得到很好的對(duì)齊最近點(diǎn)迭代法：得到初始變換，通過(guò)迭代方法，使對(duì)應(yīng)3D點(diǎn)之間的距離之和最小化。視圖配準(zhǔn)(左上)對(duì)兩組深度數(shù)據(jù)進(jìn)行配準(zhǔn)最近點(diǎn)迭代法：得到初始表面重建目標(biāo)：希望重建目標(biāo)與實(shí)際物體在外形上盡可能相似并且保持其拓?fù)浣Y(jié)構(gòu)。(a)配準(zhǔn)的椅子深度數(shù)據(jù)(b)重建過(guò)程出現(xiàn)的問(wèn)題(c)具有正確拓?fù)浣Y(jié)構(gòu)的粗略網(wǎng)格模型表面重建目標(biāo)：希望重建目標(biāo)與實(shí)際物體在外形上盡可能相似并且保圖片:

可以作為建模的靈感來(lái)源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片的三維重建圖片:可以作為建模的靈感來(lái)源。網(wǎng)絡(luò)圖片，單視角基于單幅圖片基本流程基本流程部件一致性分割

[Xuetal.2010]InputmodelsetModelsinpartcorrespondence預(yù)分析候選模型集部件一致性分割[Xuetal.2010]預(yù)分析候選模形變控制單元

[Zhengetal.2011]控制單元:

長(zhǎng)方形和廣義圓柱體相互關(guān)系:

對(duì)稱,連接,etc.預(yù)分析候選模型集形變控制單元[Zhengetal.2011]預(yù)分析候第一步:模型驅(qū)動(dòng)的圖像空間結(jié)構(gòu)分析基于單幅圖片的三維重建第一步:基于單幅圖片的三維重建檢索代表模型模型驅(qū)動(dòng)的標(biāo)號(hào)分割圖割法模型驅(qū)動(dòng)的特征空間結(jié)構(gòu)分析檢索代表模型模型驅(qū)動(dòng)的標(biāo)號(hào)分割圖割法模型驅(qū)動(dòng)的特征空間結(jié)構(gòu)分基于單幅圖片的三維重建第二步:候選模型檢索基于單幅圖片的三維重建第二步:QueryTop5retrievedresults全局描述子檢索候選模型檢索全局描述子檢索候選模型檢索QueryTop5retrievedresults部件級(jí)描述子候選模型也可任意選擇候選模型檢索部件級(jí)描述子候選模型也可任意選擇候選模型檢索關(guān)鍵第三步:輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變基于單幅圖片的三維重建關(guān)鍵第三步:基于單幅圖片的三維重建輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓對(duì)應(yīng)輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)控制優(yōu)化輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)控制優(yōu)化輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimization輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)控制優(yōu)化潛質(zhì)幾何形變Beforeoptimizat輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptimizationAfteroptimizationFinalgeometry輪廓驅(qū)動(dòng)的結(jié)構(gòu)保持形變輪廓對(duì)應(yīng)初始控制重構(gòu)控制優(yōu)化潛質(zhì)幾何形變BeforeoptInitialcontrollerreconstructionFront-view結(jié)構(gòu)優(yōu)化InitialcontrollerFront-view結(jié)單獨(dú)控制對(duì)稱交互控制對(duì)稱鄰近約束最初構(gòu)造iterative最終結(jié)構(gòu)結(jié)構(gòu)優(yōu)化單獨(dú)控制對(duì)稱交互控制對(duì)稱鄰近約束最初構(gòu)造iterative最結(jié)果結(jié)果?結(jié)果?結(jié)果原始數(shù)據(jù)噪聲點(diǎn)云數(shù)據(jù)未分割有遮擋工具:

MicrosoftKinect實(shí)時(shí)提供深度和圖像信息小而便宜97數(shù)據(jù)獲取原始數(shù)據(jù)工具:MicrosoftKinect實(shí)時(shí)42數(shù)據(jù)學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translationalrotational98室內(nèi)場(chǎng)景重構(gòu)識(shí)別:

用學(xué)習(xí)到的模型在場(chǎng)景中識(shí)別物體學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本模型translation99室內(nèi)場(chǎng)景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):

利用多角度拍攝結(jié)果學(xué)習(xí)基本模型用不同基元進(jìn)行基本模型表示44室內(nèi)場(chǎng)景重構(gòu)-學(xué)習(xí)階段學(xué)習(xí):利用多角度拍攝結(jié)果學(xué)習(xí)基本基元長(zhǎng)方體、圓柱體、輻射狀構(gòu)造連通性剛性旋轉(zhuǎn)平移附屬關(guān)系位置信息contacttranslationalrotational100基本模型表示基元contacttranslationalrotation地平面和書桌物體單獨(dú)聚類部件通過(guò)一致性分類分割與其類似，后面還需修正101點(diǎn)云數(shù)據(jù)分層表示地平面和書桌46點(diǎn)云數(shù)據(jù)分層表示初始分配部件vs.基元簡(jiǎn)單的對(duì)比高度，法矢量，大小魯棒的形變低漏報(bào)精細(xì)分配部件vs.模型迭代的解決位置、形變和分割低漏報(bào)part