工業(yè)機(jī)器視覺課程13深度圖

1、第第 11 章章 深度圖（Depth Map） 獲取場景中各點(diǎn)相對(duì)于攝象機(jī)的距離是計(jì)算機(jī)視覺系統(tǒng)的重要任務(wù)之一場景中各點(diǎn)相對(duì)于攝象機(jī)的距離可以用深度圖(Depth Map)來表示，即深度圖中的每一個(gè)像素值表示場景中某一點(diǎn)與攝像機(jī)之間的距離機(jī)器視覺系統(tǒng)獲取場景深度圖技術(shù)可分為被動(dòng)測(cè)距傳感和主動(dòng)測(cè)距傳感兩大類 被動(dòng)測(cè)距傳感:視覺系統(tǒng)接收來自場景發(fā)射或反射的光能量，形成有關(guān)場景光能量分布函數(shù)，即灰度圖像，然后在這些圖像的基礎(chǔ)上恢復(fù)場景的深度信息 主動(dòng)測(cè)距傳感:視覺系統(tǒng)首先向場景發(fā)射能量，然后接收?qǐng)鼍皩?duì)所發(fā)射能量的反射能量主動(dòng)測(cè)距傳感系統(tǒng)也稱為測(cè)距成象系統(tǒng)（Rangefinder) 圖111雙目立體視

2、覺幾何模型 外極平面 外極線 共軛對(duì) 視差 (disparity)rlxxBFz假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合。F是焦距，B是基線距離。 FxzxlFxzBxrrlxxBFz提高精度的措施是增大基線距離。產(chǎn)生的問題：隨著基線距離的增加，兩個(gè)攝象機(jī)的共同的可視范圍減??；場景點(diǎn)對(duì)應(yīng)的視差值增大，則搜索對(duì)應(yīng)點(diǎn)的范圍增大，出現(xiàn)多義性的機(jī)會(huì)就增大；由于透視投影引起的變形導(dǎo)致兩個(gè)攝象機(jī)獲取的兩幅圖像中不完全相同，這就給確定共軛對(duì)帶來了困難立體成象的最一般情況：一個(gè)運(yùn)動(dòng)攝像機(jī)連續(xù)獲取場景圖像，形成立體圖像序列，或間隔一定距離的兩個(gè)攝像機(jī)同時(shí)獲取場景圖像，形成立體圖像對(duì)。2. 立體匹配的基本方法立體匹配的基本

3、方法 立體成象系統(tǒng)的一個(gè)不言而喻的假設(shè)是能夠找到立體圖像對(duì)中的共軛對(duì)，即求解對(duì)應(yīng)問題然而，對(duì)于實(shí)際的立體圖像對(duì)，求解對(duì)應(yīng)問題極富有挑戰(zhàn)性，可以說是立體視覺最困難的一步為了求解對(duì)應(yīng)，人們已經(jīng)建立了許多約束來減少對(duì)應(yīng)點(diǎn)搜索范圍，并最終確定正確的對(duì)應(yīng) （1） 立體匹配的基本約束立體匹配的基本約束 外極線約束外極線約束圖11.4 空間某一距離區(qū)間內(nèi)的一條直線段對(duì)應(yīng)外極線上的一個(gè)有限區(qū)間 一致性約束一致性約束0000/ ),(,jifjifkkkkjifjif/ ),(,是參考攝像機(jī)的圖象函數(shù)njmijifmn1122),(1 立體視覺通常由兩個(gè)或兩個(gè)以上攝像機(jī)組成，各攝像機(jī)的特性一般是不同的這樣，場景

4、中對(duì)應(yīng)點(diǎn)處的光強(qiáng)可能相差太大，直接進(jìn)行相似性匹配，得到的匹配值變化太大因此，在進(jìn)行匹配前，必須對(duì)圖像進(jìn)行規(guī)范化處理(Normalization) jifk,相似估價(jià)函數(shù)：nimjkkjifjif110),(),( 唯一性約束：一般情況下，一幅圖像(左或右)上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征對(duì)應(yīng)。 連續(xù)性約束：物體表面一般都是光滑的，因此物體表面上各點(diǎn)在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的比如，物體上非常接近的兩點(diǎn)，其視差也十分接近，因?yàn)槠渖疃戎挡粫?huì)相差很大。（2）基于邊緣的立體匹配）基于邊緣的立體匹配 在某一行上計(jì)算各邊緣的位置 通過比較邊緣的方向和強(qiáng)度粗略地進(jìn)行邊緣匹配

5、 通過在精細(xì)尺度上進(jìn)行匹配，可以得到視差估計(jì)水平邊緣是無法進(jìn)行匹配的?。? 3）基于區(qū)域相關(guān)性的立體匹配）基于區(qū)域相關(guān)性的立體匹配 在立體圖像對(duì)中識(shí)別興趣點(diǎn)(interesting point)，而后使用區(qū)域相關(guān)法來匹配兩幅圖像中相對(duì)應(yīng)的點(diǎn) 興趣點(diǎn)計(jì)算公式如下：SyxyxfyxfI),(21)1,(),(SyxyxfyxfI),(22), 1(),(SyxyxfyxfI),(23)1, 1(),(SyxyxfyxfI),(24)1, 1(),(),min(),(4321IIIIyxIcc在以某一點(diǎn)為中心的窗函數(shù)中，計(jì)算其在不同方向上的變化量是這些方向上點(diǎn)的差異性的最好測(cè)度。S表示窗函數(shù)中的所有

6、像素 。 特征點(diǎn)匹配 一旦在兩幅圖像中確定特征后，則可以使用許多不同方法進(jìn)行特征匹配一種簡單的方法是計(jì)算一幅圖像以某一特征點(diǎn)為中心的一個(gè)小窗函數(shù)內(nèi)的像素與另一幅圖像中各個(gè)潛在對(duì)應(yīng)特征點(diǎn)為中心的同樣的小窗函數(shù)的像素之間的相關(guān)值具有最大相關(guān)值的特征就是匹配特征很明顯，只有滿足外極線約束的點(diǎn)才能是匹配點(diǎn)考慮到垂直視差的存在，應(yīng)將外極線鄰近的特征點(diǎn)也包括在潛在的匹配特征集中 2/1),(221),(211),(2211),(),(),(),(),(SyxyxSyxSyxyxyxfdydxffyxffdydxffyxfddr考慮兩幅圖像 f1和 f2設(shè)待匹配的候選特征點(diǎn)對(duì)的視差為 ，則以特征點(diǎn)為中心的區(qū)

7、域之間相似性測(cè)度可由相關(guān)系數(shù) 定義為： (,)ddxyr ddxy(,)這里的 和 是被匹配的兩個(gè)區(qū)域中的所有像素灰度平均值，和式符號(hào)是在以特征點(diǎn)為中心的小窗函數(shù)中的所有像素上進(jìn)行的。f1f2在每一個(gè)像素上使用閾值化處理后的具有正負(fù)符號(hào)的梯度幅值，而不是圖像灰度值，可以改善相關(guān)性的計(jì)算精度實(shí)現(xiàn)過程：計(jì)算未平滑的兩幅圖像中的每個(gè)像素的梯度幅值，然后使用兩個(gè)閾值，一個(gè)大于0，另一個(gè)小于0，將這些值映射到三個(gè)值這樣圖像就被轉(zhuǎn)換為波浪起伏陣列，可以產(chǎn)生更靈敏的相關(guān)值3. 多基線立體成象多基線立體成象 一幅圖像上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征對(duì)應(yīng)，通常將這一性質(zhì)稱為特征的唯一性約束在實(shí)際

8、中，由于大多數(shù)特征點(diǎn)不是十分明顯，特別是重復(fù)紋理的出現(xiàn)，常常會(huì)產(chǎn)生對(duì)應(yīng)多義性(ambiguity)，即一幅圖像上的一個(gè)特征點(diǎn)對(duì)應(yīng)另一幅圖像的若干個(gè)對(duì)應(yīng)點(diǎn)，其中的一個(gè)點(diǎn)是真正的對(duì)應(yīng)點(diǎn)，而其它點(diǎn)是假對(duì)應(yīng)點(diǎn)消除對(duì)應(yīng)點(diǎn)多義性的一種有效方法是采用多基線立體成象Okutomi 1993 。 ririirFBzFBd)()()()(00 xnxfxf)()()()(xndxfxfiiri圖像強(qiáng)度函數(shù) 和 在Z點(diǎn)附近可以表示為： )(0 xf)(xfi立體圖像對(duì)方差和(sum of squared difference, SSD)，匹配評(píng)估函數(shù) ：Wjiiiijdxfjxfdxe2)(0)()()(),(Wj

9、iiijFBxfjxfxe20)()(),(或222)()(),(nwWjriiNjFBxfjxfxeE期望值：n個(gè)攝像機(jī)形成(n-1)個(gè)SSD函數(shù)，將所有的SSD函數(shù)相加(sum of SSD，SSSD)形成了總的評(píng)估函數(shù)：niinxexe11,.,2, 1),(),(1122111,.,2, 12)()(),(),(ninwWjriniinnNjFBxfjxfxeExeE定義：能夠直接測(cè)量可視范圍內(nèi)每個(gè)點(diǎn)的距離，并將其記錄為一個(gè)二維函數(shù)的系統(tǒng)稱為測(cè)距成象系統(tǒng)，得到的圖像稱為距離圖像或深度圖。分類：結(jié)構(gòu)光測(cè)距 測(cè)距雷達(dá)：聲雷達(dá)、激光雷達(dá)、毫米波雷達(dá) 變焦測(cè)距4、測(cè)距成象系統(tǒng)、測(cè)距成象系統(tǒng) 結(jié)

10、構(gòu)光三角測(cè)距一次只照明一個(gè)點(diǎn)然后使用上述方程計(jì)算該點(diǎn)的深度，一次只照明一個(gè)點(diǎn)然后使用上述方程計(jì)算該點(diǎn)的深度，由此得到二維距離圖像。由此得到二維距離圖像。,cos,FyxxFbzyx圖11.12 結(jié)構(gòu)光測(cè)距原理示意圖Jarvis 1983激光測(cè)距雷達(dá) 在生物界，蝙蝠和海豚是通過接收自己發(fā)出的超聲波來確定其周圍物體的存在根據(jù)生物的這種感知距離的能力，人類發(fā)明了各種測(cè)距系統(tǒng)，稱之為雷達(dá)，即向空間發(fā)射信號(hào)，然后接收反射信號(hào)并與發(fā)射信號(hào)進(jìn)行比較，以確定目標(biāo)的距離和方位激光測(cè)距（laser range finder）是在二十世紀(jì)60年代發(fā)展起來的一種新型測(cè)距雷達(dá)，現(xiàn)在已經(jīng)進(jìn)入實(shí)用化階段激光雷達(dá)具有波束窄、

11、波長短等獨(dú)特優(yōu)點(diǎn)，因而具有極高的角分辨能力、距離分辨能力和速度分辨能力。激光雷達(dá)可以獲取目標(biāo)的多種信息，如反射特性、距離信息、速度信息等 （1）脈沖飛行時(shí)間測(cè)距這種激光測(cè)距雷達(dá)在米的測(cè)量范圍內(nèi)，測(cè)距精度為厘米獲取128128圖像需要3分鐘。 激光脈沖測(cè)距雷達(dá)就屬于這類測(cè)距系統(tǒng)激光脈沖測(cè)距雷達(dá)向空間發(fā)射激光脈沖信號(hào)，并接收由于碰到物體表面而反射回來的信號(hào)，然后測(cè)量發(fā)射和接收脈沖的時(shí)間差，就可以得到空間物體的距離。（2）相位差測(cè)距深度信息可以通過檢測(cè)調(diào)幅光波發(fā)射和接收的相位差來得到。44mmfcd已知調(diào)制頻率 和相位差 ，則物體到傳感器的距離為：22mmfcD測(cè)距范圍：mfmmfcNfcd24變焦

12、測(cè)距根據(jù)理想薄透鏡定理，透鏡中心（光學(xué)原點(diǎn)）到圖象平面的距離 、透鏡中心到場景點(diǎn)的距離 z 和透鏡焦距長度 f 之間的關(guān)系為：fzz111 z當(dāng)某一場景點(diǎn)不聚焦時(shí)，它會(huì)在圖象平面上產(chǎn)生一個(gè)圓斑圖象，而不是一個(gè)點(diǎn)圖像。如果圓斑的直徑低于成象裝置的分辨率，那么圖象散焦量不會(huì)特別的顯著。假定圓斑的直徑為b，透鏡光圈直徑為d，焦距長度為f，圖象平面的理想位置為 。 zzzzdb)(1)()(11zfzzzdfb視野范圍內(nèi)遠(yuǎn)距離平面的距離表示式 ：bzdfbdfzz)(1視野范圍內(nèi)近距離平面的距離表示式 ：zfz dbdfbz2()對(duì)于一個(gè)特定的配置，焦距平面為z，光圈直徑為d，焦距長為f，最大可接受模糊直徑為