機(jī)器視覺(jué)三維測(cè)量技術(shù)-課件

盧榮勝Tel:,2905872Email:機(jī)器視覺(jué)三維測(cè)量技術(shù)3DMachineVisionMeasurementTechniques盧榮勝Tel:,29058721大綱機(jī)器視覺(jué)的概念攝像機(jī)模型三維視覺(jué)傳感器的類(lèi)型多視覺(jué)傳感器測(cè)量系統(tǒng)的組成攝像機(jī)與視覺(jué)傳感器的標(biāo)定測(cè)量系統(tǒng)的全局標(biāo)定應(yīng)用舉例大綱機(jī)器視覺(jué)的概念2機(jī)器視覺(jué)技術(shù)的概念測(cè)量檢測(cè)識(shí)別

引導(dǎo)光源傳感器光學(xué)鏡組傳感單元信號(hào)處理單元控制單元采用光學(xué)成像技術(shù)（通常使用攝像機(jī)）獲取被測(cè)目標(biāo)的圖像，再經(jīng)過(guò)快速圖像處理與圖形識(shí)別算法，從攝取圖像中獲取目標(biāo)的尺寸、位置、方向、光譜特征、結(jié)構(gòu)以及缺陷等信息，從而可以執(zhí)行產(chǎn)品檢驗(yàn)、分類(lèi)與分組，裝配線上的機(jī)械手運(yùn)動(dòng)引導(dǎo)、零部件的識(shí)別與定位，生產(chǎn)過(guò)程中質(zhì)量監(jiān)控與過(guò)程控制反饋等等任務(wù)。機(jī)器視覺(jué)技術(shù)的概念測(cè)量檢測(cè)識(shí)別引導(dǎo)光源傳感器光學(xué)鏡組傳感單3應(yīng)用領(lǐng)域舉例

IC及一般電子業(yè)：PCB、BGA、LCD屏幕、被動(dòng)組件形狀腳位及定位、生產(chǎn)插件、晶元(Wafer)鏡面研磨、生產(chǎn)組裝、被動(dòng)組件辨識(shí)

MEMS組件：微小器件的尺寸、形貌、表面缺陷的檢測(cè)，組件動(dòng)態(tài)特性的測(cè)量等。

機(jī)械工具/自動(dòng)化機(jī)械：零件尺寸、外形、瑕疵檢測(cè)、零件分類(lèi)比對(duì)、裝配定位、加工定位、熔焊檢測(cè)

電機(jī)工業(yè)：控制器紅外線熱像儀檢測(cè)、電線瑕疵、裂縫檢測(cè)、纜線配置檢測(cè)

金屬鋼鐵業(yè)：鋼板尺寸檢測(cè)、表面瑕疵檢測(cè)、鑄件瑕疵檢測(cè)、材料金像檢測(cè)

橡膠/塑料制品：保特瓶口尺寸檢測(cè)、制品顏色分類(lèi)檢測(cè)

食品加工/包裝業(yè)：瓶?jī)?nèi)液位高度、異物或灰塵檢測(cè)、包裝印刷辨識(shí)、打印字形及零件編號(hào)檢測(cè)與識(shí)別

紡織皮革工業(yè)：表面針織紋路檢測(cè)、色差檢測(cè)、皮革表面特性檢測(cè)

汽車(chē)工業(yè)：陶軸裁切定位、零件涂黃油檢測(cè)、白車(chē)身檢驗(yàn)

家電/辦公：產(chǎn)品外殼印刷檢測(cè)、1維/2維條形碼辨識(shí)

保全/監(jiān)視系統(tǒng)：人像特征辨識(shí)、指紋辨識(shí)等應(yīng)用領(lǐng)域舉例4機(jī)器視覺(jué)在精密測(cè)量中的應(yīng)用照明光源圖像傳感器成像內(nèi)部三維表面表面輪廓粗糙度缺陷紋理內(nèi)部結(jié)構(gòu)應(yīng)力變形缺陷被測(cè)場(chǎng)景方位三維形貌尺寸坐標(biāo)機(jī)器視覺(jué)在精密測(cè)量中的應(yīng)用照明光源圖像傳感器成像內(nèi)部三維表5二、攝像機(jī)的建模影射幾何與坐標(biāo)變換攝像機(jī)建模鏡頭畸變攝像機(jī)內(nèi)部參數(shù)的修正攝像機(jī)的精確模型攝像機(jī)的簡(jiǎn)化模型二、攝像機(jī)的建模影射幾何與坐標(biāo)變換6歐式幾何與影射幾何的概念不變量:Distanceandangle不變量:Crossratio歐式幾何與影射幾何的概念不變量:Distanceand7齊次矩陣齊次矩陣8坐標(biāo)變換坐標(biāo)變換9眼睛的光學(xué)模型像平面物體透鏡Imageplaneobjectlens眼睛的光學(xué)模型像平面物體透鏡Imageplaneobjec10攝像機(jī)的光學(xué)投影變換ImageplaneobjectlensImageplaneFocusplane攝像機(jī)的光學(xué)投影變換Imageplaneobjectlen11攝像機(jī)的光學(xué)投影變換（續(xù)）ImageplaneImageplaneFocusplane攝像機(jī)的光學(xué)投影變換（續(xù)）ImageplaneImage12像平面與幀存體的對(duì)應(yīng)關(guān)系ImageplaneComputerframe像平面與幀存體的對(duì)應(yīng)關(guān)系ImageplaneCompute13幀存體與攝像機(jī)坐標(biāo)的關(guān)系ImageplaneComputerframe幀存體與攝像機(jī)坐標(biāo)的關(guān)系ImageplaneCompute142.4攝像機(jī)建模ImageplaneComputerframe2.4攝像機(jī)建模ImageplaneComputer15攝像機(jī)建模（續(xù)）未知參數(shù)：(1)Intrinsicparameters:(2)ExtrinsicparametersOrientation:Translation:9,independent33攝像機(jī)建模（續(xù)）未知參數(shù)：(1)Intrinsicpar16鏡頭畸變的概念I(lǐng)mageplaneRadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion鏡頭畸變的概念I(lǐng)mageplaneRadialdisto17徑向畸變徑向畸變18偏心畸變偏心畸變既含有徑向畸變又有切向畸變最大切向畸變與x軸的夾角,設(shè)在直角坐標(biāo)系下偏心畸變偏心畸變既含有徑向畸變又有切向畸變最大切向畸變與x19薄棱鏡畸變薄棱鏡畸變是由鏡頭與攝像機(jī)面有小的傾角造成的最大切向畸變與x軸的夾角,設(shè)薄棱鏡畸變薄棱鏡畸變是由鏡頭與攝像機(jī)面有小的傾角造成的最大切20鏡頭總畸變?nèi)艨紤]分項(xiàng)的前兩項(xiàng)化簡(jiǎn)鏡頭總畸變?nèi)艨紤]分項(xiàng)的前兩項(xiàng)化簡(jiǎn)21攝像機(jī)內(nèi)部參數(shù)的修正Intrinsicparameters攝像機(jī)內(nèi)部參數(shù)的修正Intrinsicparameter22攝像機(jī)的精確模型計(jì)算機(jī)屏幕Imageplane攝像機(jī)的精確模型計(jì)算機(jī)屏幕Imageplane23攝像機(jī)的精確模型（續(xù)）計(jì)算機(jī)屏幕一般情況下，取徑向與切向畸變的的第一項(xiàng)就可以達(dá)到滿意的效果Imageplane攝像機(jī)的精確模型（續(xù)）計(jì)算機(jī)屏幕一般情況下，取徑向與切向畸246攝像機(jī)的簡(jiǎn)化模型像平面計(jì)算機(jī)屏幕6攝像機(jī)的簡(jiǎn)化模型像平面計(jì)算機(jī)屏幕25三、視覺(jué)傳感器的類(lèi)型主動(dòng)與被動(dòng)單目與雙目點(diǎn)、線、面結(jié)構(gòu)光編碼結(jié)構(gòu)光三、視覺(jué)傳感器的類(lèi)型主動(dòng)與被動(dòng)26三角法測(cè)量原理激光器鏡頭CCD鏡頭CCD激光器鏡頭鏡頭三角法測(cè)量原理激光器鏡頭CCD鏡頭CCD激光器鏡頭鏡27視覺(jué)傳感器的坐標(biāo)系統(tǒng)zwxwywTyTxTzxw0yw0xsyszsosPointωφκOXYOzxyLaserImageplaneOriginSensorcoordinatesystem(SCS)GlobalCoordinatesystem(GCS)Cameracoordinatesystem(CCS)視覺(jué)傳感器的坐標(biāo)系統(tǒng)zwxwywTyTxTzxw0yw0xs28單一攝像機(jī)二維傳感器ImageplaneMeasuredplane(CCS)SCS單一攝像機(jī)二維傳感器ImageplaneMeasured29點(diǎn)結(jié)構(gòu)光視覺(jué)傳感器CCSSCSLaser點(diǎn)結(jié)構(gòu)光視覺(jué)傳感器CCSSCSLaser30線結(jié)構(gòu)光視覺(jué)傳感器LaserLightplaneImageplaneCCSSCS線結(jié)構(gòu)光視覺(jué)傳感器LaserLightplaneImag31條紋結(jié)構(gòu)光視覺(jué)傳感器Thek-thlightstripeplaneImageplaneProjectorpattern條紋結(jié)構(gòu)光視覺(jué)傳感器Thek-thlightstrip32ImageplaneCCSSCS00110010011001Projector條紋編碼三維視覺(jué)傳感器ImageplaneCCSSCS001100100110033彩色編碼視覺(jué)傳感器projectorcameraCCSSCSobject彩色編碼視覺(jué)傳感器projectorcameraCCSSCS34被動(dòng)雙目視覺(jué)傳感器lampcamera2CCS2(CCS1)SCSobjectcamera1被動(dòng)雙目視覺(jué)傳感器lampcamera2CCS2(CCS35編碼照明雙目視覺(jué)傳感器projectorcamera2CCS2(CCS1)SCSobjectcamera1編碼照明雙目視覺(jué)傳感器projectorcamera2C36多視覺(jué)傳感器測(cè)量系統(tǒng)的組成多視覺(jué)傳感器測(cè)量系統(tǒng)的組成37CAN總線網(wǎng)絡(luò)控制視覺(jué)測(cè)量系統(tǒng)圖像采集卡計(jì)算機(jī)多路視頻切換開(kāi)關(guān)CAN接口卡CAN網(wǎng)絡(luò)控制總線傳感器控制單元傳感器視頻信號(hào)數(shù)據(jù)總線CAN總線網(wǎng)絡(luò)控制視覺(jué)測(cè)量系統(tǒng)圖像采集卡計(jì)算機(jī)多路視頻切換開(kāi)381394總線并行圖像處理系統(tǒng)傳感器控制單元傳感器計(jì)算機(jī)接口卡數(shù)據(jù)與控制總線

1394總線并行圖像處理系統(tǒng)傳感器控制單元傳感器計(jì)算機(jī)接口卡39基于工控PC機(jī)的多計(jì)算機(jī)分布式并行圖像處理架構(gòu)PC控制器運(yùn)動(dòng)驅(qū)動(dòng)機(jī)構(gòu)可編程光源可編程光源多PC并行處理器HUB生產(chǎn)與管理系統(tǒng)主機(jī)辦公電腦遠(yuǎn)端大型資料庫(kù)視覺(jué)系統(tǒng)主控計(jì)算機(jī)PC三軸控制器攝像機(jī)基于工控PC機(jī)的多計(jì)算機(jī)分布式并行圖像處理架構(gòu)PC控制器運(yùn)動(dòng)40常用總線的比較RS232小于15m傳輸速率25kb/sRS485最大傳輸速度10Mb/sCAN小于40m傳輸速率1Mb/sUSB最高速率480Mb/s，可掛接127個(gè)外設(shè)CameraLink最高4.8Gbps，最遠(yuǎn)可傳輸10米。Gigabitethernet帶寬可達(dá)到1000Mbps，最遠(yuǎn)可傳輸100米。Firewire，最遠(yuǎn)可傳輸100米，帶寬3.2G常用總線的比較RS232小于15m傳輸速率25kb/s41雙總線架構(gòu)總線接口PC多路視頻切換器視覺(jué)傳感器1視覺(jué)傳感器N視覺(jué)傳感器2控制總線…………視頻圖像圖像采集處理平臺(tái)數(shù)據(jù)總線雙總線架構(gòu)總線接口PC多路視頻切換器視覺(jué)視覺(jué)視覺(jué)控制總線……42單總線架構(gòu)計(jì)算機(jī)總線接口視覺(jué)傳感器1總線 視覺(jué)傳感器2視覺(jué)傳感器N傳感器控制、圖像采集與并行處理模塊傳感器控制、圖像采集與并行處理模塊傳感器控制、圖像采集與并行處理模塊單總線架構(gòu)計(jì)算機(jī)總線接口視覺(jué)傳感器1總線 視覺(jué)傳感器2視43攝像機(jī)內(nèi)部參數(shù)的標(biāo)定攝像機(jī)內(nèi)部參數(shù)的標(biāo)定441攝像機(jī)攝標(biāo)定靶標(biāo)1攝像機(jī)攝標(biāo)定靶標(biāo)45標(biāo)定靶標(biāo)的控制點(diǎn)類(lèi)型標(biāo)定靶標(biāo)的控制點(diǎn)類(lèi)型幾何中心與投影中心的偏移標(biāo)定靶標(biāo)的控制點(diǎn)類(lèi)型標(biāo)定靶標(biāo)的控制點(diǎn)類(lèi)型幾何中心與投影中心的462直接線性變換法(DLT)1用一個(gè)齊次矩陣建立場(chǎng)景與控制點(diǎn)的對(duì)應(yīng)關(guān)系2從上式中解出DLT矩陣參數(shù)2直接線性變換法(DLT)1用一個(gè)齊次矩陣建立場(chǎng)景47直接線性變換法(DLT)在最小二乘意義下可求出參數(shù)，為了避免解很小的，必須使用合適的正則化方法，一種方法是令然后用偽逆法求解，但當(dāng)，這種正則化可能產(chǎn)生奇異性，為了克服這個(gè)缺點(diǎn)，可以令3矩陣參數(shù)分解：RQ方法矩陣M和T分別表示靶標(biāo)世界坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矢量與平移矢量（b1b2)為仿射失真系數(shù)直接線性變換法(DLT)在最小二乘意義下可求出參數(shù)483RAC兩步法徑向準(zhǔn)直約束：1）徑向畸變不影響矢量的方向2）有效焦距不影響矢量的方向3）光軸沿Z軸平移不影響矢量的方向該方法第一步采用最小二乘方法求解超定方程組求出外部參數(shù)，第二步求解內(nèi)部參數(shù)3RAC兩步法徑向準(zhǔn)直約束：該方法第一步采用最小二49計(jì)算：（1）（2）（3）令把（2）代入（1）計(jì)算：（1）（2）（3）令把（250傳感器坐標(biāo)系與攝像機(jī)外部參數(shù)的標(biāo)定LaserLightplaneImageplaneCCSSCS傳感器坐標(biāo)系與攝像機(jī)外部參數(shù)的標(biāo)定LaserLightp51測(cè)量系統(tǒng)的全局標(biāo)定測(cè)量系統(tǒng)的全局標(biāo)定52Target1標(biāo)定的基本原理TCSTheodolitesGCSMeasuredobjectSCSVisualsensorTarget1標(biāo)定的基本原理TCSTheodolit53Target標(biāo)定的基本原理TCSLaserTrackerGCSMeasuredobjectSCSVisualsensorTarget標(biāo)定的基本原理TCSLaserTrackerG54經(jīng)緯儀的標(biāo)定abRulerTCSABSensor2Sensor1Sensor4Sensor3Sensor6Sensor5SCS(WCS)targetlightplaneGCS經(jīng)緯儀的標(biāo)定abRulerTCSABSensor2Sens55直接變換標(biāo)定法

SCSGCSPtheodolitestargetSCSCSCLaserCamera直接變換標(biāo)定法SCSG