西南科技大學(xué)

第四屆全國光電設(shè)計大賽理論方案報告參賽題目：復(fù)雜表面物體體積的非接觸光學(xué)測量參賽隊伍名稱：西科理程所在學(xué)院：理學(xué)院隊長姓名：王欣提交方案時間：2014年3月29號參賽題目：復(fù)雜表面物體體積的非接觸光學(xué)測量研究內(nèi)容對于本題，本隊采用的事基于雙目視覺的三維重建來實現(xiàn)對橡皮泥的非接觸測量，主要研究的內(nèi)容如下：1、CCD工業(yè)攝像頭的標定；2、立體匹配；3、三維重建及后續(xù)數(shù)據(jù)處理；研究方案1、工作分配：王欣負責各部分算法的研究和全局的統(tǒng)配；汪曉聰負責各硬件的組配和對攝像頭的處理；劉歡負責工作報告的撰寫和器材的管理。2、基本路線的確定：雙目視覺三維重建的工作原理-攝像頭的選定-最優(yōu)算法的選取—搭建系統(tǒng)平臺—進行實物測試。

技術(shù)路線及可行性分析（一）、技術(shù)路線圖1.系統(tǒng)流程圖一個完整的雙目視覺系統(tǒng)要測得物體的體積主要包含以下幾個關(guān)鍵步驟和其算法：1、攝像機的標定（通過實驗和計算來確定）：本項目采用張正友提出的張氏平面標定法。張氏平面定標法主要步驟簡述如下：（1） 打印一張黑白棋盤模板貼在一個平面上作為參照物；（2）移動攝像機或者參照平面的位置，從不同的角度（三3個）對模板進行拍攝；（3） 檢測所拍圖像中的特征點；（4） 求解每幅圖像的單應(yīng)矩陣H；（5） 設(shè)鏡頭的畸變系數(shù)為0，計算攝像機的內(nèi)參數(shù)；（6）利用反投影法求精優(yōu)化。已知攝像機幾何模型的基本公式為sp二K[Rt]P，設(shè)r為矩陣R的每wi一列，并假設(shè)參考模板位于世界坐標系中Z=0平面上，則對于平面上每一點有：—X—r~ -1uv二krrr1|Y二k#rt-lX1Y123012111在通過變換，計算即可以獲得攝像機的內(nèi)參數(shù)矩陣K。2、基礎(chǔ)矩陣估計：本項目采用魯棒性算法估計基礎(chǔ)矩陣具有良好的性能，同時從兩個方面對魯棒的M-Estimators估計方法進行了改進。（1）一是對矩陣初值的設(shè)置進行了改進：首先對原始的匹配點集進行規(guī)范化處理，處理方法采用Hartley改進8點法中的規(guī)范化方法；然后計算兩匹配點偏離各自對應(yīng)極線的距離，用其平方和di（i=1,,s,s為匹配點對的個數(shù)）作為度量誤差的標準。d的計算i公式如下：TOC\o"1-5"\h\zd=工( PT±i )2+( P!±i )2'i&Fp)2+(Fp)2 (Ftp')2+(Ftp')2i1 i2 i1 i2將d按從小到大排序，計算最小值到中值之間所有值的均值N,取所ii有均值中最小值N所對應(yīng)的基礎(chǔ)矩陣F,即為本算法中的初始基min min礎(chǔ)矩陣。引入最大似然估計構(gòu)造代價函數(shù)，使用基于FNS的估計方法獲得F。在保證基礎(chǔ)矩陣估計精度的基礎(chǔ)上，節(jié)省了計算時間。M-Estimator估計法中，將代價函數(shù)定義為式，這里，我們用最大似然估計來構(gòu)造代價函數(shù)：J(f;xAML1i=1將FNS算法步驟總結(jié)如下：設(shè)定基礎(chǔ)矩陣向量初值f=f；假設(shè)f已知，由式lxf] =0計算得出X；k_1 ff=fAML fk-1計算X的特征空間，將最接近0的特征值所對應(yīng)的特征向fk-1量作為f；如果f與f足夠接近，則算法終止，f即為所求，若相差較k k-1 k大，則返回步驟(2)。3、立體匹配：視覺系統(tǒng)通過匹配在圖像對中確定空間同一景物點在不同成像平面上像點的對應(yīng)關(guān)系，只有確定了這個關(guān)系，才能進行各種視覺研究的課題，因此立體匹配在計算機視覺中占有至關(guān)重要的位置。這也是張正友基于極線約束點匹配方法的基本思想，將其主要算法步驟總結(jié)如下：(1)提取圖像特征，建立初始匹配。特征提取，使用角點檢測(一類是基于邊緣提取之后的角點檢測，一類是直接基于灰度的角點檢測)。(2)松弛法去除模糊匹配和誤匹配；估計基礎(chǔ)矩陣F,恢復(fù)極線幾何；(4)由極線約束和灰度相似性優(yōu)化匹配。4、三維點重建：三維重建是通過由不同角度拍攝的兩幅或多幅圖像恢復(fù)物體空間坐標的方法。在找到匹配點對并已知攝像機內(nèi)參數(shù)的情況下,采用SFM算法進行離散點的重建,主要算法步驟如下：(1)由基礎(chǔ)矩陣F進一步求解本質(zhì)矩陣；(2)計算攝像機運動參數(shù)(外參數(shù))(R|t)的候選值；(3)判斷(R|t)的符號,并從多組候選值中確定唯一的正確值；(4)得到投影矩陣,計算匹配點的空間三維坐標。(二)可行性分析以上思路是可行的,原因有以下幾點：1、 系統(tǒng)制作之前,本隊會進行相關(guān)資料的收集。并且認真學(xué)習(xí)MATLAB與OpenGL這兩款軟件,在編程過程中力求實驗處理貼近所想,實現(xiàn)編程的簡潔、清晰、高效、易懂以及時間復(fù)雜度空間復(fù)雜度的降低。2、 該設(shè)計過程遵守由簡到難的過程，在編程過程中，由于處理物體簡單，必將使程序簡單有利于二維向三維整體過程的步驟的搭建，減少變成難度，并且也具體處理了一些關(guān)鍵性問題，還是只得到驗證，有利益將來進行程序的調(diào)節(jié)。3、該設(shè)計過程時時總結(jié)，分析出錯原因，不會導(dǎo)致錯誤的積累。并且設(shè)計過程呈現(xiàn)階梯式，為整個實驗的完成奠定良好的基礎(chǔ)。4、本隊三位成員本身就具有良好的工程實踐基礎(chǔ)，再加上指導(dǎo)老師的指導(dǎo)要完成本系統(tǒng)是可行的。參考文獻：⑴鄒鳳嬌.攝像機標定及相關(guān)技術(shù)研究[D].成都:四川大學(xué).2005.[2]陳西.攝像機標定與三維重建研究[D].北京:北京化工大學(xué).2007.⑶章毓晉.圖像理解[M].北京:清華大學(xué)出版社，2007.白明，莊嚴，王偉.雙目立體匹配算法的研究與進展J].控制與決策，2008,23(7):722-723.四、擬解決的關(guān)鍵問題1、雙目立體視覺平臺的構(gòu)建立體視覺三維重建的基本原理是從兩個視點觀察同一景物，以獲取在不同視角下的圖像，通過三角測量原理計算圖像像素間的位置偏差（即視差）來獲取景物的三維信息，這一過程與人類視覺的立體感知過程是類似的。最簡單的雙目視覺模型是理想的平行放置的雙目視覺模型。兩臺攝像機完全相同，按光軸互相平行，X軸互相重合、沿x軸相距b的位置放置。攝像機光軸平行于z軸，圖像平面與xy平面平行，如圖2所示。平行雙目立體視覺獲取三維信息采用的是視差測空間直線和空間曲線也是組成空間圖形的主要基元。根據(jù)空間直線射影變換前后仍是直線的性質(zhì)，以此來分析空間直線與圖像中的直線之間的關(guān)系?？臻g直線在CCD上的成像可以這樣認為，空間直線與攝像機光心構(gòu)成的平面與成像平面的交線，兩臺攝像機有兩個這樣的平面，這兩個平面的交線就是空間直線?？臻g二次曲線是空間二次曲面與平面的交線，因此二次曲線的平面曲線，在CCD上的成像可以認為是由空間二次曲線與光心組成的錐面與成像平面的交線。兩臺攝像機有兩個這樣的錐面，求這兩個空間錐面的交線，就是空間曲線。通過上述算法恢復(fù)物體三維坐標后，得到的是一些散亂點，不能直觀的顯示出來，因此我們借用OpenGL來實現(xiàn)這些散亂數(shù)據(jù)的三維顯示。3、基于OpenGL對三維重建的實現(xiàn).根據(jù)基本圖形單元建立景物模型，并且對所建立的模型進行數(shù)學(xué)描述。.把景物模型放在三維空間中的合適的位置，并且設(shè)置視點。?計算模型中所有物體的色彩，其中的色彩根據(jù)應(yīng)用要求來確定，同時確定光照條件、紋理粘貼方式等。把景物模型的數(shù)學(xué)描述及其色彩信息轉(zhuǎn)換至計算機屏幕上的象素，這個過程也就是光柵化。在這些步驟的執(zhí)行過程中，OpenGL可能執(zhí)行其他的一些操作，例如自動消隱處理等,另外，景物光柵化之后被送入幀緩沖器之前還可以根據(jù)需要對像素數(shù)據(jù)進行操作。四.特色與創(chuàng)新點1、采用一種介于傳統(tǒng)定標和自定標方法之間的一種定標方法進行攝像機標定。傳統(tǒng)的定標技術(shù)需要在攝像機前放置特定的標定物，并提供一組已知坐標的特征基元，用攝像機拍攝標定物上的特征基元，然后運用射影幾何的理論進行定標。本次大賽采用的方法是從不同角度拍攝幾幅模板的圖，通過每幅圖像的單應(yīng)性矩陣計算出攝像機內(nèi)參數(shù)，并利用反投影法優(yōu)化求精。2、采用準稠密匹配方法，對于圖像有良好的匹配效果?；谔卣鞯钠ヅ浞椒ㄖ饕翘崛√卣鼽c、特征線、特征邊緣等，這些信息往往比較稀疏，不夠致密，并且局部化非常嚴重，以至于達不到三維重建的精度要求，也就很難重建出符合現(xiàn)實的三維模型；基于區(qū)域的匹配方法可以獲得大量的、豐富的信息，但隨之帶來的是計算量大，計算效率低，并且很容易產(chǎn)生錯誤匹配；基于相位的匹配方法主要是根據(jù)傅里葉變換計算出圖像序列點之間的對應(yīng)關(guān)系，這種匹配方法的精度一般可以達到亞像素級，但是該方法非常復(fù)雜，計算量大，也會產(chǎn)生很多錯誤匹配，并且只能得到物體的粗糙結(jié)構(gòu)，在一些不定的傅里葉相位區(qū)域還需要進行其他特殊處理。稠密匹配只適用于短基線圖像且相機平面平行的情況，在紋理稀疏的區(qū)域匹配會停止增長，在紋理豐富區(qū)域可以得到大量的稠密匹配，但是仍存在很多錯誤匹配，并且稠密匹配對時間和內(nèi)存的要求相對也比較高。準稠密匹配方法以初始的稀疏匹配點作為種子，并在它們周圍擴散出更多的匹配點，最終得到分布均勻，數(shù)量足夠多的匹配。從匹配數(shù)量上來講，可以滿足后續(xù)應(yīng)用的要求，又不至于陷入稠密匹配方法的困境之中。在能夠較準確描述三維場景的同時仍可以保持較高的計算效率，且具有較好的穩(wěn)定性。時間進度安排2014年3月15日—2014年3月30日：完成初步方案；2014年4月：再詳細對賽題進行分析，進一步鞏固相關(guān)知識并優(yōu)化方案；2014年5月：結(jié)合整體方案進行硬件制作和軟件調(diào)試；2014年6月—7月：對參賽作品進行各個環(huán)境下的測試并調(diào)試到最優(yōu)和作出預(yù)備方案。經(jīng)費預(yù)算1、 兩個CCD攝像頭，每個350元，總計700元。2、 系統(tǒng)支架結(jié)構(gòu)600元。3、 線纜、傳感器等耗材200元總計：1500元。參賽隊伍簡介本參賽隊由三名12級在校本科生組成，分別來自西南科技大學(xué)理學(xué)院和信息工程學(xué)院。在作品制作中，團隊成員憑借良好的技術(shù)基礎(chǔ)和默契的合作能力克服種種困難。相信通過此次比賽能更好的鍛煉我們的合作能力，同時也能讓我們?yōu)樽约旱拇髮W(xué)生活增添濃墨重彩的一頁。下面分別對本組成員進行介紹：王欣，男，現(xiàn)就讀于西南科技大學(xué)信息工程學(xué)院電氣1202班，目前在學(xué)校光電協(xié)會擔任學(xué)生干部，也在“電子設(shè)計大賽”創(chuàng)新實踐班進行學(xué)習(xí)，有較好的工程實踐經(jīng)驗。在平時學(xué)習(xí)生活中也是做事積極、學(xué)習(xí)較努力，在硬件設(shè)計中比較感興趣并且在上學(xué)期學(xué)校舉行的光電設(shè)計大賽中取得第二名。汪曉聰，男，就讀于西南科技大學(xué)理學(xué)院光電信息科學(xué)與工程專業(yè)2012級卓越工程師班。曾擔任班長一職、獲得“體育特長獎”和“理學(xué)院三好學(xué)生”稱號，有很強的責任心和團隊意識。積極學(xué)習(xí)專業(yè)知識，成績在專業(yè)前列。目前，積極跟著導(dǎo)師學(xué)習(xí)光電方面的知識，并進入溫才老師實驗室學(xué)習(xí)。對光電知識十分感