中期檢查報(bào)告 王美珍

1、視頻視頻GISGIS成果推介成果推介11南京師范大學(xué)南京師范大學(xué) 虛擬虛擬地理環(huán)境地理環(huán)境教育部重點(diǎn)實(shí)驗(yàn)室教育部重點(diǎn)實(shí)驗(yàn)室20142014年年0303月月單幅街景圖像三維重建及精度分析重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金（12E01）l 單幅圖像相機(jī)標(biāo)定l 單幅圖像幾何量測(cè)及其精度分析l 單幅圖像深度計(jì)算及其精度分析匯匯 報(bào)報(bào) 內(nèi)內(nèi) 容容第第一部分一部分 單幅單幅圖像相機(jī)圖像相機(jī)標(biāo)定標(biāo)定4優(yōu)化目標(biāo)函數(shù)：優(yōu)化目標(biāo)函數(shù)：評(píng)價(jià)準(zhǔn)則：評(píng)價(jià)準(zhǔn)則：一、單幅圖像相機(jī)標(biāo)定基于滅點(diǎn)約束的一階徑向畸變基于滅點(diǎn)約束的一階徑向畸變計(jì)算方法計(jì)算方法5一、單幅圖像相機(jī)標(biāo)定基于滅點(diǎn)約束的一階徑向畸變基于滅點(diǎn)約束的一階徑向畸變計(jì)算方法計(jì)算方法

2、6實(shí)驗(yàn)圖像圖像1圖像2圖像3主方向滅點(diǎn)坐標(biāo)（pixel）（518.30，-3917.90）（1204.94， 643.43）（504.6255，-2057.8）（-690.92，568.27）（459.38，-3900.2）（1167.00，489.19）實(shí)驗(yàn)圖像徑向畸變系數(shù)k1畸變中心均方差基于滅點(diǎn)幾何約束的徑向畸變求解方法圖像13.65e-09（505，329.5）2.04e-04圖像24.78e-08（496，330.5）6.61e-04圖像32.02e-08（504，338）5.74e-04基于共線的徑向畸變求解方法圖像12.31e-092.42e-04圖像22.87e-085.81e

3、-04圖像31.89e-084.28e-04一、單幅圖像相機(jī)標(biāo)定基于滅點(diǎn)約束的一階徑向畸變基于滅點(diǎn)約束的一階徑向畸變計(jì)算方法計(jì)算方法7一、單幅圖像相機(jī)標(biāo)定基于多約束的單幅圖像相機(jī)標(biāo)定方法流程圖一、單幅圖像相機(jī)標(biāo)定基于多約束的單幅圖像相機(jī)標(biāo)定多種結(jié)合約束之間的關(guān)系示意圖一、單幅圖像相機(jī)標(biāo)定基于多約束的單幅圖像相機(jī)標(biāo)定（a）（b）（c）（d）（e）（f）（g）（h）PowerShot ELPH 300 HSSAMSUNG PL150一、單幅圖像相機(jī)標(biāo)定基于多約束的單幅圖像相機(jī)標(biāo)定ImageMethodPrinciple distance f (in mm)Principle point (u0,

4、v0)(in mm)Radial distortion k1ResultErrorResultErrorDistance to self-calibrated valueResult(a)Caprile and Torre (1990)4.3990.009(3.094,2.392)(-0.005,0.068)0.0682.36E-08Proposed approach4.3960.006(3.081,2.319)(-0.018,-0.005)0.0192.37E-08(b)Caprile and Torre (1990)4.4900.100(3.21,2.403)(0.111,0.079)0.

5、1361.19E-08Proposed approach4.4080.018(3.073,2.338)(-0.026,0.014)0.0301.15E-08(c)Caprile and Torre (1990)4.383-0.007(3.135,2.377)(0.036,0.053)0.0642.05E-08Proposed approach4.4040.014(3.148,2.156)(0.049,-0.168)0.1752.19E-08(d)Caprile and Torre (1990)4.4140.024(3.111,2.314)(0.012,-0.01)0.0162.20E-08Pr

6、oposed approach4.4090.019(3.095,2.28)(-0.004,-0.044)0.0442.21E-08(e)Caprile and Torre (1990)5.288-0.044(3.272,2.233)(0.002, 0.053)0.0533.99E-08Proposed approach5.316-0.016(3.203,2.163)(-0.067, -0.017)0.0693.87E-08(f)Caprile and Torre (1990)5.275-0.057(3.257,2.206)(-0.013, 0.026)0.0292.76E-08Proposed

7、 approach5.322-0.010(3.264,2.158)(-0.006, -0.022)0.0232.7E-08(g)Caprile and Torre (1990)5.329-0.003(3.253,2.21)(-0.017, 0.030)0.0353.61E-09Proposed approach5.329-0.003(3.271,2.205)(0.001, 0.025)0.0253.58E-09(h)Caprile and Torre (1990)5.303-0.029(3.287,2.249)(0.017, 0.069)0.0719.39E-09Proposed approa

8、ch5.332-0.001(3.307,2.235)(0.037, 0.055)0.0659.3E-09一、單幅圖像相機(jī)標(biāo)定基于多約束的單幅圖像相機(jī)標(biāo)定二、單幅二、單幅圖像幾何量測(cè)及其精度圖像幾何量測(cè)及其精度分析分析13二、單幅圖像幾何量測(cè) 基于矩形的幾何量測(cè) 基于圓形的幾何量測(cè) 精度分析 結(jié)論：結(jié)論：已知平面上一矩形及兩條邊長(zhǎng)，則可獲得平面上任意兩點(diǎn)已知平面上一矩形及兩條邊長(zhǎng)，則可獲得平面上任意兩點(diǎn)之間的距離。之間的距離。推論：已知平面上一矩形及兩條不平行的線段的長(zhǎng)度，則可獲得推論：已知平面上一矩形及兩條不平行的線段的長(zhǎng)度，則可獲得平面上任意兩點(diǎn)之間的距離。平面上任意兩點(diǎn)之間的距離。二、單幅

9、圖像幾何量測(cè)基于矩形的幾何量測(cè)已知條件：（1）三個(gè)互相垂直方向的滅點(diǎn)（2）某一個(gè)方向上線段的長(zhǎng)度量測(cè)內(nèi)容：（1）三個(gè)主要平面上的幾何信息（2）與主平面平行的平面上的幾何信息二、單幅圖像幾何量測(cè)基于矩形的幾何量測(cè)基于矩形的幾何量測(cè)基于矩形的幾何量測(cè)三維空間上距離量測(cè)待求線段標(biāo)準(zhǔn)值(m)計(jì)算值(m)絕對(duì)誤差 (m)相對(duì)誤差%參考平面上的線段a7a80.600.6030.0030.5a8a90.300.3190.0196.3a5a69.6689.589-0.079-0.81a2a54.8794.845-0.034-0.70a1a21.2581.253-0.005-0.40a2a31.2251.248

10、0.0231.88a3a42.4342.432-0.002-0.08a10B11.2541.2361-0.0179-1.43垂直平面上的線段b1b22.3362.32590.02641.13b3b42.3362.3357-0.0151-0.65b4b51.2541.26680.01281.02b5b63.6003.62770.02770.77平行于參考平面的線段c1c25.8836.01220.12922.20室外場(chǎng)景、手持測(cè)距儀獲得線段真值DSC-T10數(shù)碼相機(jī)自主拍攝二、單幅圖像幾何量測(cè)基于矩形的幾何量測(cè)測(cè)量結(jié)果： 結(jié)論：已知平面滅線以及已知直徑的圓形，通過(guò)獲得圓形外接結(jié)論：已知平面滅線以

11、及已知直徑的圓形，通過(guò)獲得圓形外接矩形，亦可計(jì)算平面上任意兩點(diǎn)之間的距離矩形，亦可計(jì)算平面上任意兩點(diǎn)之間的距離二、單幅圖像幾何量測(cè)基于圓形的幾何量測(cè)序號(hào)已知條件圓心平面滅線y=kx+b1兩組平行線L11 L12、L21 L22960.41 1229.4y =0.022704*x -4694.82兩條直徑R1 R2959.57 1229y =-0.011942*x-4307.13一條直徑R1、與直徑平行的平行線L11 L12959.54 1229y =-0.013141*x -4319.44一組平行L11 L12、一組垂直線L8 L9958.96 1228.7y =-0.035104*x -40

12、89.45一條直徑R1、一組垂直線L8 L9958.47 1229.6y =-0.059067*x -4793.4模擬數(shù)據(jù)，已知圖像中對(duì)象的真實(shí)值SONYDSX-TX7C數(shù)碼相機(jī)拍攝真實(shí)值10551256534算法5.1 9.169.045.28 14.62 4.436.034.822.675.6算法5.2 9.9755.07 12.07 4.865.894.942.943.93算法5.3 9.9755.07 12.07 4.865.894.942.943.93L1L2L3L4L5L6L7L8L90246810121416單位單位：cm條件條件4：一組平行：一組平行L11 L12+一組垂直線一

13、組垂直線L8 L9真實(shí)值10551256534算法5.1 9.148.894.99 14.39 4.375.944.742.695.58算法5.2 9.984.924.95 11.874.85.84.882.973.94算法5.3 9.984.924.95 11.874.85.84.882.973.94L1L2L3L4L5L6L7L8L90246810121416單位：?jiǎn)挝唬篶m條件條件5：一條直徑：一條直徑R1、一組垂直線、一組垂直線L8 L9真實(shí)值10551256534算法5.1 9.148.894.99 14.39 4.375.944.742.695.58算法5.2 9.984.924.

14、95 11.874.85.84.882.973.94算法5.3 9.984.924.95 11.874.85.84.882.973.94L1L2L3L4L5L6L7L8L90246810121416單位：?jiǎn)挝唬篶m條件條件5：一條直徑：一條直徑R1、一組垂直線、一組垂直線L8 L9二、單幅圖像幾何量測(cè)基于圓形的幾何量測(cè) 圖像多約束是指在一幅圖像中包含多種可用于幾何量測(cè)的幾何約束矩形、圓形。選用哪一種不變量計(jì)算方法？選用哪一種不變量計(jì)算方法？選用哪幾個(gè)矩形選用哪幾個(gè)矩形/ /圓形用于幾何量測(cè)？圓形用于幾何量測(cè)？選用多個(gè)對(duì)象時(shí)，最終結(jié)果如何確定？選用多個(gè)對(duì)象時(shí)，最終結(jié)果如何確定？選用哪一種選用哪一

15、種/ /哪幾種幾何量測(cè)方法？哪幾種幾何量測(cè)方法？二、單幅圖像幾何量測(cè)精度分析 一階徑向畸變 模型加以改正 基于分?jǐn)?shù)位法求解 鏡頭畸變誤差鏡頭畸變誤差誤差第一列第二列第三列第四列第五列第六列第一行0.170.260.350.53第二行0.010.180.250.360.420.49第三行0.070.180.240.330.450.56第四行0.180.260.340.360.430.61第五行0.160.370.410.490.590.68誤差統(tǒng)計(jì)最大值0.68 平均值0.35 最小值0.01 中誤差0.39 誤差第一列第二列第三列第四列第五列第六列第一行0.120.260.370.48第二行0

16、.010.110.190.290.350.49第三行0.060.130.270.360.420.51第四行0.110.160.290.380.450.54第五行0.190.280.310.420.490.56誤差統(tǒng)計(jì)最大值0.56 平均值0.29 最小值0.01 中誤差0.34 畸變糾正后的圖像量測(cè)誤差(單位：cm)畸變糾正前的圖像量測(cè)誤差(單位：cm)二、單幅圖像幾何量測(cè)精度分析（1）鏡頭畸變誤差 滅點(diǎn)點(diǎn)位誤差的影響滅點(diǎn)點(diǎn)位誤差的影響()()()()()()0tvxsvtysvsxtsvytstxvtsyvyy vxx vyy vxx vyy vxx vW-+-+-+-+-+-+=直線起點(diǎn)、

17、終點(diǎn)和滅點(diǎn)三點(diǎn)應(yīng)該共線方程線性化()()()()0vstsvstsyyxxxxyy-=nsnt1s1tisit42412 110nnnnnA VB xW創(chuàng)創(chuàng)+=111()TaaTbbaaVQA NBxWxNB N W-= -+= -1v vvvv vvvx xx yxxbby xy yQQQNQQ222200,v vv vxvx xyvy yQQ222Pxvyv二、單幅圖像幾何量測(cè)精度分析（2）滅點(diǎn)點(diǎn)位誤差 滅點(diǎn)點(diǎn)位誤差的影響滅點(diǎn)點(diǎn)位誤差的影響幾何量測(cè)的基本方程推導(dǎo)出與滅點(diǎn)有關(guān)的邊長(zhǎng)的中誤差交比計(jì)算誤差待測(cè)距離的中誤差(1)acbvABBCavbcS SSSS S=-222ABSBCcrSss

18、=22222211()bvavcrSSbvavcrSSsss=+22()()bvvbvbSXXYY=-+-22222()()bvbvbvSxvyvbvbvXYSSsssDD=+acbvavbcS ScrS S二、單幅圖像幾何量測(cè)精度分析（2）滅點(diǎn)點(diǎn)位誤差傳播 實(shí)驗(yàn)設(shè)計(jì)l9幅50cm*50cm的聚酯薄膜格網(wǎng)紙拼接l實(shí)驗(yàn)區(qū)由15行*15列的格網(wǎng)組成l格網(wǎng)的大小為10cm*10cml左下角矩形為量測(cè)的已知條件l36條待測(cè)線段(黃色和藍(lán)色標(biāo)記) 已知條件的已知條件的遠(yuǎn)近遠(yuǎn)近對(duì)結(jié)果的影響對(duì)結(jié)果的影響二、單幅圖像幾何量測(cè)精度分析（3）已知條件的遠(yuǎn)近對(duì)結(jié)果的影響-2.00-1.50-1.00-0.500.0

19、00.5018 88 128 157 量測(cè)誤差起算矩形中心至待測(cè)線段中點(diǎn)的距離（cm）(cm) 已知條件的已知條件的遠(yuǎn)近遠(yuǎn)近對(duì)結(jié)果的影響對(duì)結(jié)果的影響縱軸方向橫軸方向?qū)蔷€方向二、單幅圖像幾何量測(cè)精度分析（3）已知條件的遠(yuǎn)近對(duì)結(jié)果的影響 實(shí)驗(yàn)方案設(shè)計(jì)13行*13列的格網(wǎng)格網(wǎng)為10cm*10cm矩形D各邊為待量測(cè)線段矩形A、B、C為已知條件組內(nèi)矩形與D距離相等左下角作為坐標(biāo)原點(diǎn)多個(gè)已知條件聯(lián)合量測(cè)的誤差分析多個(gè)已知條件聯(lián)合量測(cè)的誤差分析二、單幅圖像幾何量測(cè)精度分析（4）多個(gè)已知條件聯(lián)合量測(cè)的誤差分析 已知條件的數(shù)量對(duì)結(jié)果的影響C1C1+C5C1+C5+C3C1+C5+C3+C7C1+C5+C3+C

20、7+C2C1+C5+C3+C7+C2+C6C1+C5+C3+C7+C2+C6+C4C1+C5+C3+C7+C2+C6+C4+C8A1A1+A5A1+A5+A3A1+A5+A3+A7A1+A5+A3+A7+A2A1+A5+A3+A7+A2+A6A1+A5+A3+A7+A2+A6+A4A1+A5+A3+A7+A2+A6+A4+A8二、單幅圖像幾何量測(cè)精度分析 A組-0.10-0.050.000.050.100.150.200.250.300.350.4012345678聯(lián)聯(lián)合合量量測(cè)測(cè)誤誤差差起算基準(zhǔn)數(shù)量（個(gè)）起算基準(zhǔn)數(shù)量（個(gè)）s1s2s3s4(cm)隨著已知條件數(shù)量的增加，量測(cè)精度也隨之提高；但

21、當(dāng)已知條件數(shù)量大于三個(gè)時(shí)，量測(cè)精度趨于穩(wěn)定。 已知條件的數(shù)量對(duì)結(jié)果的影響已知條件的數(shù)量對(duì)結(jié)果的影響二、單幅圖像幾何量測(cè)精度分析三、單幅圖像深度計(jì)算及其三、單幅圖像深度計(jì)算及其精度精度分析分析 單幅圖像圖像分割訓(xùn)練標(biāo)記人工標(biāo)記天空地面地面直立物地面點(diǎn)近于中心點(diǎn)模型N地面點(diǎn)遠(yuǎn)于中心點(diǎn)模型F相機(jī)有旋轉(zhuǎn)模型A相機(jī)無(wú)旋轉(zhuǎn)模型B地面起伏修正與地面有可視交線模型K與地面無(wú)可視交線模型U無(wú)窮遠(yuǎn)或最大值深度圖深度值圖像分割分類(lèi)標(biāo)記深度計(jì)算結(jié)果輸出深度計(jì)算誤差分析三、單幅圖像深度計(jì)算技術(shù)路線圖像預(yù)處理原始圖像分水嶺算法初步分割種子區(qū)域自動(dòng)選取區(qū)域生長(zhǎng)區(qū)域合并分割后圖像原始圖像種子區(qū)域生長(zhǎng)區(qū)域合并分水嶺初步分割結(jié)果

22、三、單幅圖像深度計(jì)算圖像分割波段類(lèi)型R BandG BandB BandR1R2R3R4G1G2G3G4B1B2B3B4草地654594921354139866291408681601613281770107944210141893011天空000152100015210001521000152100015210001521道路00681453002714940486714060264761019033171201041961321樹(shù)木1201269252610233967329132010422751255230333119325669314466852顏色特征12列特征值同一類(lèi)地物較為接近

23、紋理特征Gabor濾波器80列特征值三、單幅圖像深度計(jì)算特征分析與提取臺(tái)灣大學(xué)LibsvmPasadena Houses2000數(shù)據(jù)集組合特征天空樹(shù)木道路草地三、單幅圖像深度計(jì)算樣本訓(xùn)練與類(lèi)型標(biāo)記tantan()tan()goccop22()()()gccpgpH fsvvvvDfs vv()()1cpgccpgcs vvs vvHffDs vvs vvff景物深度和所成像之間的對(duì)應(yīng)關(guān)系 tantantan1tan tan像平面主光軸CG鏡頭opcg地平線HD地面地面點(diǎn)地面點(diǎn)近于中心點(diǎn)地面點(diǎn)遠(yuǎn)于中心點(diǎn)相機(jī)有旋轉(zhuǎn)相機(jī)無(wú)旋轉(zhuǎn)地面起伏修正地面區(qū)域深度地面區(qū)域深度計(jì)算計(jì)算相機(jī)無(wú)旋轉(zhuǎn)地面點(diǎn)近于中心點(diǎn)三、

24、單幅圖像深度計(jì)算深度計(jì)算方法tantantantan()1tantan22()()()()gccpGcpgcH fsvvvvDfs vvvvtanAAAHhD22gg()()()()()AccpAcpcHhfsvvvvDfs vvvv22gg()()()()()BccpBcpcHhfsvvvvDfs vvvvD地面AB主光軸CG鏡頭opcg地平線H像平面hAhBa 地面點(diǎn)地面點(diǎn)近于中心點(diǎn)地面點(diǎn)遠(yuǎn)于中心點(diǎn)相機(jī)有旋轉(zhuǎn)相機(jī)無(wú)旋轉(zhuǎn)地面起伏修正地面區(qū)域深度地面區(qū)域深度計(jì)算計(jì)算相機(jī)無(wú)旋轉(zhuǎn)地面點(diǎn)遠(yuǎn)于中心點(diǎn)三、單幅圖像深度計(jì)算方法像平面mnu主光軸CG鏡頭opcg地平線HDset()costanets vvc

25、opf()costanges vvgocf()cos()cos()cos()cos1geetgeets vvs vvHffs vvs vvDff22cos()usmmvv2222()*()()()()()usgtgetegtusfmvvDHsm vvsm vvvvf vvmvv 地面點(diǎn)地面點(diǎn)近于中心點(diǎn)地面點(diǎn)遠(yuǎn)于中心點(diǎn)相機(jī)有旋轉(zhuǎn)相機(jī)無(wú)旋轉(zhuǎn)地面起伏修正三、單幅圖像深度計(jì)算方法地面區(qū)域深度地面區(qū)域深度計(jì)算計(jì)算相機(jī)有旋轉(zhuǎn)地面直立物深度估計(jì)地面直立物深度估計(jì)地面點(diǎn)深度垂直延伸法最大最小深度內(nèi)插法直線擬合法112BACADDDDsssCCs1s2AB地面 ykxb地面直立物深度地面直立物深度估計(jì)估計(jì)目標(biāo)與

26、地面具有可視交線三、單幅圖像深度計(jì)算方法已知景物部分實(shí)際長(zhǎng)度缺乏景物本身實(shí)際尺寸的情況由遮擋關(guān)系估計(jì)2222()()/()()()()pbapABcbcpcpacfs vvfs vvDHfsvvvvfsvvvv地面直立物深度地面直立物深度估計(jì)估計(jì)區(qū)域與地面無(wú)可視交線三、單幅圖像深度計(jì)算方法深度計(jì)算結(jié)果深度計(jì)算結(jié)果深度值矩陣深度圖三、單幅圖像深度計(jì)算方法相機(jī)參數(shù)的誤差影響地平線圖上位置的誤差影響地面點(diǎn)圖上坐標(biāo)拾取誤差相機(jī)高度的誤差誤差影響因素22()()()gccpgpH fsvvvvDfs vv三、單幅圖像深度計(jì)算誤差分析深度計(jì)算誤差分析深度計(jì)算誤差分析22()()()gccpgpH fsvvvvDfs vv22()()()gccpgpfsvvvvkfs vv*DHk地面點(diǎn)圖上坐標(biāo)拾取誤差21()()kpggpsfvvvfs 三、單幅圖像深度計(jì)算誤差分析相機(jī)高度誤差的影響編號(hào)計(jì)算深度已知深度絕