《機(jī)器視覺(jué)系統(tǒng)應(yīng)用》課件-雙目相機(jī)標(biāo)定

雙目相機(jī)標(biāo)定方法講解課程框架課程引入模型獲取和導(dǎo)入施加載荷與約束模型簡(jiǎn)化與拆分實(shí)踐訓(xùn)練交流討論實(shí)踐訓(xùn)練評(píng)價(jià)反饋課程總結(jié)，布置作業(yè)激學(xué)導(dǎo)思講授新知教學(xué)鞏固教學(xué)提升教學(xué)延伸課程總結(jié)及5S整理5分鐘15分鐘15分鐘30分鐘15分鐘10分鐘課程引入相關(guān)庫(kù)的獲取和導(dǎo)入原理分析一二三目錄能力目標(biāo)（1）能夠?qū)﹄p目視覺(jué)有基礎(chǔ)的認(rèn)識(shí)；（2）能夠?qū)ν瓿蓪?duì)雙目視覺(jué)的標(biāo)定。知識(shí)目標(biāo)（1）了解雙目視覺(jué)標(biāo)定的原理。素質(zhì)目標(biāo)（1）具有嚴(yán)謹(jǐn)求實(shí)精神；（2）具有自主學(xué)習(xí)的能力；（3）具備5S職業(yè)素養(yǎng)。課程目標(biāo)一課程引入

計(jì)算機(jī)視覺(jué)的基本任務(wù)之一是從相機(jī)獲取的圖像信息出發(fā)計(jì)算三維空間中物體的幾何信息，并由此重建和識(shí)別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由相機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是相機(jī)參數(shù)。

簡(jiǎn)單來(lái)說(shuō)，標(biāo)定是為了能夠從空間點(diǎn)的像素坐標(biāo)映射到世界坐標(biāo)，這是3D立體視覺(jué)必須經(jīng)過(guò)的過(guò)程。二相關(guān)庫(kù)獲取和導(dǎo)入導(dǎo)入庫(kù)本章節(jié)我們需用到的庫(kù)如下圖示意。cv2是opencv-python用于圖像處理。用matlab獲取相機(jī)標(biāo)定數(shù)據(jù)二庫(kù)導(dǎo)入pycharm軟件界面相關(guān)庫(kù)獲取和導(dǎo)入三原理分析為什么需要相機(jī)標(biāo)定？三原理分析相機(jī)標(biāo)定的四個(gè)坐標(biāo)系世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系三原理分析三維旋轉(zhuǎn)的矩陣表示三原理分析相機(jī)坐標(biāo)與世界坐標(biāo)系之間的關(guān)系三原理分析相機(jī)坐標(biāo)系與像平面坐標(biāo)系三原理分析像素坐標(biāo)與像平面之間的關(guān)系三原理分析世界坐標(biāo)與像素坐標(biāo)之間的關(guān)系三原理分析像素坐標(biāo)與像平面之間的關(guān)系三原理分析相機(jī)徑向畸變引起徑向畸變的主要因素：透鏡形狀三原理分析相機(jī)切向畸變引起切向畸變的主要因素：透鏡與成像平面不平行三原理分析像素坐標(biāo)與像平面之間的關(guān)系三原理分析單相機(jī)模型重建未知數(shù)分析三原理分析雙相機(jī)模型重建未知數(shù)分析三原理分析三原理分析雙目相機(jī)標(biāo)定運(yùn)行演示課程框架課程引入模型獲取和導(dǎo)入施加載荷與約束模型簡(jiǎn)化與拆分實(shí)踐訓(xùn)練交流討論實(shí)踐訓(xùn)練評(píng)價(jià)反饋課程總結(jié)，布置作業(yè)激學(xué)導(dǎo)思講授新知教學(xué)鞏固教學(xué)提升教學(xué)延伸課程總結(jié)及5S整理5分鐘15分鐘15分鐘30分鐘15分鐘10分鐘課程引入代碼分析代碼演示一二三目錄能力目標(biāo)（1）能夠?qū)﹄p目視覺(jué)有基礎(chǔ)的認(rèn)識(shí)；（2）能夠?qū)ν瓿蓪?duì)雙目視覺(jué)的標(biāo)定。知識(shí)目標(biāo)（1）了解雙目視覺(jué)標(biāo)定的原理。素質(zhì)目標(biāo)（1）具有嚴(yán)謹(jǐn)求實(shí)精神；（2）具有自主學(xué)習(xí)的能力；（3）具備5S職業(yè)素養(yǎng)。課程目標(biāo)一課程引入

計(jì)算機(jī)視覺(jué)的基本任務(wù)之一是從相機(jī)獲取的圖像信息出發(fā)計(jì)算三維空間中物體的幾何信息，并由此重建和識(shí)別物體，而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由相機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是相機(jī)參數(shù)。

簡(jiǎn)單來(lái)說(shuō)，標(biāo)定是為了能夠從空間點(diǎn)的像素坐標(biāo)映射到世界坐標(biāo)，這是3D立體視覺(jué)必須經(jīng)過(guò)的過(guò)程。二代碼分析獲得棋盤(pán)格圖像在命令行輸入stereoCameraCalibrator，出現(xiàn)如下界面：將上面的“Skew”、“TangentialDistortion”以及“3Coefficients”等選項(xiàng)選上，將“2Coefficients”選項(xiàng)去掉二代碼分析點(diǎn)擊添加圖像

出現(xiàn)如下界面：Camera1代表左攝像頭，Camera2代表右攝像頭，分別選擇存放著左右圖像的文件夾，需要特別注意的是棋盤(pán)格的邊長(zhǎng)應(yīng)該根據(jù)打印的實(shí)際大小填寫(xiě)，單位可以選擇，然后點(diǎn)擊OK，程序會(huì)自動(dòng)檢測(cè)采集的圖像到底有多少可以使用，可以說(shuō)MATLAB2015的這個(gè)工具十分挑剔，如果角度不好的話，將使用不了，因此在采集圖像時(shí)，最好多的采集一些。獲得棋盤(pán)格圖像二代碼分析點(diǎn)擊

按鈕，開(kāi)始標(biāo)定：左下方的直方圖為左右圖像的標(biāo)定誤差，點(diǎn)擊誤差較大的直方圖，可以直接在左邊的圖像對(duì)中找到對(duì)應(yīng)的圖像，右鍵選擇“RemoveandRecalibrate”，可以重復(fù)上述步驟，直到認(rèn)為誤差滿(mǎn)足標(biāo)定需求為止。獲得棋盤(pán)格圖像二代碼分析點(diǎn)擊

選擇Exportcameraparameters，并點(diǎn)擊“OK”。獲得棋盤(pán)格圖像二代碼分析

讀取參數(shù)標(biāo)定結(jié)束后，會(huì)得到如下標(biāo)定參數(shù)：TranslationOfCamera2：相機(jī)2相對(duì)于相機(jī)1的偏移矩陣，可以直接使用。RotationOfCamera2：相機(jī)2相對(duì)于相機(jī)1的旋轉(zhuǎn)矩陣，需要轉(zhuǎn)置之后才能使用。CameraParameters1與CameraParameters2為左右攝像頭的單獨(dú)標(biāo)定參數(shù)。二代碼分析

讀取參數(shù)CameraParameters1與CameraParameters2中包含如下文件：IntrinsicMatrix存放的是攝像頭的內(nèi)參，只與攝像機(jī)的內(nèi)部結(jié)構(gòu)有關(guān)，需要先轉(zhuǎn)置再使用。RadialDistortion：徑向畸變，攝像頭由于光學(xué)透鏡的特性使得成像存在著徑向畸變，可由K1，K2，K3確定。TangentialDistortion：切向畸變，由于裝配方面的誤差，傳感器與光學(xué)鏡頭之間并非完全平行，因此成像存在切向畸變，可由兩個(gè)參數(shù)P1，P2確定。使用時(shí)，需要注意參數(shù)的排放順序，即K1，K2，P1，P2，K3。切記不可弄錯(cuò)，否則后續(xù)的立體匹配會(huì)出現(xiàn)很大的偏差。由上述方法獲得雙目相機(jī)的標(biāo)定參數(shù)后，就可以進(jìn)一步進(jìn)行雙目校正了。三代碼演示

讀取參數(shù)

流程圖三代碼演示在Opencv中將標(biāo)定所得數(shù)據(jù)放入對(duì)應(yīng)的代碼中eft_camera_matrix=np.array([[947.76417,0.,296.46763],[0.,947.94886,197.26996],[0.,0.,1.]])left_distortion=np.array([[-0.10499,-0.62709,0.00206,-0.01470,0.00000]])right_camera_matrix=np.array([[907.19683,0.,265.54708],[0.,904.01159,222.68484],[0.,0.,1.]])right_distortion=np.array([[-0.68107,2.82674,0.01564,0.00873,0.00000]])om=np.array([-0.07326,0.00818,-0.02646])#旋轉(zhuǎn)關(guān)系向量R=cv2.Rodrigues(om)[0]#使用Rodrigues變換將om變換為RT=np.array([-71.15029,-3.56995,-17.15972])#平移關(guān)系向量size=(640,480)#圖像尺寸#進(jìn)行立體更正R1,R2,P1,P2,Q,validPixROI1,validPixROI2=cv2.stereoRectify(left_camera_matrix,left_distortion,right_camera_matrix,right_distortion,size,R,T)#計(jì)算更正mapleft_map1,left_map2=cv2.initUndistortRectifyMap(left_camera_matrix,left_distortion,R1,P1,size,cv2.CV_16SC2)right_map1,right_map2=cv2.initUndistortRectifyMap(right_camera_matrix,right_distortion,R2,P2,size,cv2.CV_16SC2)三代碼演示相機(jī)校正#根據(jù)更正map對(duì)圖片進(jìn)行重構(gòu)img1_rectified=cv2.remap(frame1,camera_configs.left_map1,camera_configs.left_map2,cv2.INTER_LINEAR)img2_rectified=cv2.remap(frame2,camera_configs.right_map1,camera_configs.right_map2,cv2.INTER_LINEAR)cv2.imshow("left",img1_rectified)cv2.imshow("right",img2_rectified)key=cv2.waitKey(1)ifkey==ord("q"):breakelifkey