《機(jī)械臂智能控制》 課件 任務(wù)5-4 積木動(dòng)態(tài)抓取-相機(jī)標(biāo)定

任務(wù)5-4積木動(dòng)態(tài)抓取——相機(jī)標(biāo)定《智能機(jī)械臂控制》任務(wù)5-4積木動(dòng)態(tài)抓取——相機(jī)標(biāo)定使用pycharm打開相機(jī)標(biāo)定工程S2_CameraCal，完成相機(jī)標(biāo)定（1）采集的不少于20張棋盤圖圖像截屏（2）相機(jī)校準(zhǔn)截圖（3）ModelCamera.py文件

畸變校正函數(shù)Video_undistort(self,image_raw)代碼截圖，

含：內(nèi)參和畸變參數(shù)【作業(yè)提交】：提交以上截圖任務(wù)要求相機(jī)標(biāo)定知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（1）相機(jī)的成像原理：透鏡成像墨子發(fā)現(xiàn)：用一個(gè)帶有小孔的板遮擋在墻體與物體之間，

墻體上就會(huì)形成物體的倒影，這種現(xiàn)象就叫小孔成像。知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（1）相機(jī)的成像原理：透鏡成像利用小孔成像，在暗箱中，臨摹畫畫。但是：暗箱太黑不利于作畫。在孔上裝一塊凸透鏡，利用了凸透鏡的屈光性聚焦光線，可得到清晰明亮的影像?！哥R成像知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（1）相機(jī)的成像原理：感光材料——鹵化銀知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（1）相機(jī)的三個(gè)基本部件：暗箱、鏡頭、感光元件知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定相機(jī)的原理是小孔成像，但是由于這種成像方式只有一個(gè)小孔能透過光線就會(huì)導(dǎo)致物體的成像亮度很低。為了解決亮度的問題，我們使用了透鏡，雖然這樣可以解決亮度的問題，但是由于透鏡的制作工藝會(huì)使成像產(chǎn)生多種形式的畸變，也就是說成像后的圖像會(huì)和真實(shí)世界的景象不一致，需要利用畸變系數(shù)來矯正這種像差。（2）相機(jī)圖像畸變知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（a）徑向畸變(RadialDistortion)：產(chǎn)生原因是圖像在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲。徑向畸變包含：桶形畸變、枕形畸變。（2）相機(jī)圖像畸變知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（b）切向畸變(TangetialDistortion)產(chǎn)生的原因：透鏡不完全平行于圖像平面，鏡頭本身存在傾角誤差。（2）相機(jī)圖像畸變知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（3）圖像處理中涉及的坐標(biāo)系1——像素坐標(biāo)系

知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（3）圖像處理中涉及的坐標(biāo)系2——圖像坐標(biāo)系

知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（3）圖像處理中涉及的坐標(biāo)系3——相機(jī)坐標(biāo)系

知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（3）圖像處理中涉及的坐標(biāo)系4——世界坐標(biāo)系相機(jī)坐標(biāo)系C世界坐標(biāo)系W

從世界坐標(biāo)系變換到相機(jī)坐標(biāo)系屬于剛體變換：即物體不會(huì)發(fā)生形變，只需要進(jìn)行旋轉(zhuǎn)和平移。R：表示旋轉(zhuǎn)矩陣，3x3T：表示偏移向量,1x3知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（4）坐標(biāo)系轉(zhuǎn)換——像素坐標(biāo)系與圖像坐標(biāo)系

dx

dy：表示每個(gè)像素點(diǎn)在x和y方向上的尺寸。即:1pixel=dxmm；1pixel=dymm像素坐標(biāo)系,pixel圖像坐標(biāo)系,mm

像素坐標(biāo)

圖像坐標(biāo)知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（4）坐標(biāo)系轉(zhuǎn)換——相機(jī)坐標(biāo)系與圖像坐標(biāo)系

知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（5）相機(jī)內(nèi)參（相機(jī)內(nèi)參矩陣）——相機(jī)成像到實(shí)際圖像的轉(zhuǎn)換矩陣

像素坐標(biāo)

圖像坐標(biāo)

圖像坐標(biāo)

相機(jī)坐標(biāo)相機(jī)內(nèi)參矩陣

像素坐標(biāo)

相機(jī)坐標(biāo)知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定由于相機(jī)設(shè)計(jì)工藝問題，會(huì)造成成像與實(shí)際圖像不一樣的現(xiàn)象。相機(jī)成像到實(shí)際圖像的轉(zhuǎn)換矩陣，稱為相機(jī)內(nèi)參矩陣（5）相機(jī)內(nèi)參（1）fx=f/dx,fy=f/dy

（a）焦距:f（b）dx和dy表示每一列和每一行分別代表多少mm，

即:1pixel=dxmm；1pixel=dymm

（2）C:principalpoint，主點(diǎn)（u0,v0），

相機(jī)光心所在的主軸與像平面的交點(diǎn)知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定世界坐標(biāo)到相機(jī)坐標(biāo)的轉(zhuǎn)換矩陣，稱為相機(jī)外參矩陣。與相機(jī)的安裝方式有關(guān)。（6）相機(jī)外參R：表示旋轉(zhuǎn)矩陣，3x3T：表示偏移向量，1x3相機(jī)坐標(biāo)系C世界坐標(biāo)系W知識(shí)鏈接1：相機(jī)標(biāo)定基礎(chǔ)相機(jī)標(biāo)定（7）總結(jié)：像素坐標(biāo)系

世界坐標(biāo)系像素坐標(biāo)（u,v）圖像坐標(biāo)（x,y）相機(jī)坐標(biāo)（Xc,Yc,Zc）世界坐標(biāo)（Xw,Yw,Zw）

二次轉(zhuǎn)換透視投影剛體變換

相機(jī)內(nèi)參相機(jī)外參世界坐標(biāo)像素坐標(biāo)知識(shí)鏈接2：相機(jī)標(biāo)定相機(jī)標(biāo)定（1）相機(jī)標(biāo)定目標(biāo)：獲取相機(jī)內(nèi)參、外參、畸變系數(shù)，實(shí)現(xiàn)圖像校準(zhǔn)。（2）OpenCV中，相機(jī)標(biāo)定所使用的標(biāo)定圖案：棋盤格、對(duì)稱圓形、ArUco板等。

棋盤格圖案：操作簡(jiǎn)單、快速，標(biāo)定精度滿足一般應(yīng)用場(chǎng)景的需求。

對(duì)于標(biāo)定精度要求高的場(chǎng)景，則一般采用圓形標(biāo)定圖案。棋盤格板A4紙尺寸，7x6內(nèi)角，方塊27mmArUco板圓形板11x4任務(wù)實(shí)施：相機(jī)標(biāo)定Step01：圖像采集相機(jī)標(biāo)定調(diào)整棋盤圖的位置、姿態(tài)，采集不少于20張棋盤圖圖像?！疽蟆浚浩灞P圖在圖像中完整顯示，不要有缺失；保存到my_image目錄下?！咀⒁狻?.棋盤圖紙不能彎曲。2.棋盤圖千萬不能弄臟，否則可能造成標(biāo)定失敗。3.圖片為相機(jī)采集原始尺寸圖片，不能裁剪4.圖片為jpg格式5.圖片文件名只能包括字母、數(shù)字和下劃線Step02：進(jìn)入相機(jī)標(biāo)定模式相機(jī)標(biāo)定打開Models/ModelSet目錄下的：setting.py，設(shè)置棋盤圖縱橫方向角點(diǎn)數(shù)量、攝像頭分辨率

Step02：進(jìn)入相機(jī)標(biāo)定模式相機(jī)標(biāo)定打開相機(jī)校準(zhǔn)python工程，打開Models目錄下的：ModelCamera.py，設(shè)置g_workMode=0

Step03：相機(jī)標(biāo)定相機(jī)標(biāo)定運(yùn)行ModelCamera.py，進(jìn)行相機(jī)校準(zhǔn)。如果運(yùn)行錯(cuò)誤，請(qǐng)查看是否安裝了庫。庫名稱如有紅色波浪線，請(qǐng)通過Terminal窗口，安裝相應(yīng)的庫文件，例如：pipinstalltqdmpipinstallpyyamlStep03：相機(jī)標(biāo)定相機(jī)標(biāo)定ModelCamera.py運(yùn)行效果Pycharm：Run窗口棋盤圖查找角點(diǎn)圖像Step03：相機(jī)標(biāo)定相機(jī)標(biāo)定Pycharm：Run窗口相機(jī)內(nèi)參、外參、畸變系數(shù)校準(zhǔn)錯(cuò)誤率Step04：相機(jī)標(biāo)定結(jié)果分析相機(jī)標(biāo)定原始圖像，紅色為標(biāo)準(zhǔn)直線Step04：相機(jī)標(biāo)定結(jié)果分析相機(jī)標(biāo)定校準(zhǔn)后的圖像，紅色為標(biāo)準(zhǔn)直線Step04：相機(jī)標(biāo)定結(jié)果分析相機(jī)標(biāo)定log/log.txt記錄了校準(zhǔn)過程和產(chǎn)生的結(jié)果校準(zhǔn)錯(cuò)誤率要求<0.2如果校準(zhǔn)錯(cuò)誤率高，需要重新采集棋盤圖像，再次進(jìn)行校準(zhǔn)相機(jī)內(nèi)參矩陣相機(jī)外參矩陣畸變參數(shù)校準(zhǔn)錯(cuò)誤率Step04：相機(jī)標(biāo)定結(jié)果分析相機(jī)標(biāo)定校準(zhǔn)參數(shù)文件 config/camera_test.yaml

記錄了校準(zhǔn)所有參數(shù)信息畸變參數(shù)外參內(nèi)參相機(jī)透鏡工藝相機(jī)設(shè)計(jì)工藝相機(jī)外部環(huán)境與安裝方式Step05：相機(jī)圖像畸變校正相機(jī)標(biāo)定畸變參數(shù)外參內(nèi)參相機(jī)透鏡制作工藝相機(jī)設(shè)計(jì)工藝相機(jī)外部環(huán)境與安裝方式世界坐標(biāo)->相機(jī)坐標(biāo)相機(jī)成像->實(shí)際圖像圖像校準(zhǔn)Step05：相機(jī)圖像畸變校正相機(jī)標(biāo)定修改畸變校準(zhǔn)函數(shù)ModelCamera.py文件：

函數(shù)Video_undistort從log.txt中，將相機(jī)內(nèi)參和畸變參數(shù)拷貝到相應(yīng)位置，并修改格式（2維列表）相機(jī)標(biāo)定打開Models目錄下的：ModelCamera.py，設(shè)置g_workMode=1

可獲得校準(zhǔn)后的實(shí)時(shí)圖像，按下空格按鍵，可獲取最外圍的4個(gè)角點(diǎn)像素坐標(biāo)Step05：相機(jī)圖像畸變校正按下空格按鍵可獲取最外圍的4個(gè)角點(diǎn)像素坐標(biāo)按下q鍵退出相機(jī)標(biāo)定打開Models目錄下的：ModelCamera.py，設(shè)置g_workMode=1

可獲得校準(zhǔn)后的實(shí)時(shí)圖像，按下空格按鍵，可獲取最外圍的4個(gè)角點(diǎn)像素坐標(biāo)Step05：相機(jī)圖像畸變校正任務(wù)5-4積木抓取——相機(jī)標(biāo)定使用pycharm打開S2_CameraC