基于雙目視覺的目標(biāo)檢測(cè)與測(cè)距技術(shù)研究,電氣工程碩士論文

基于雙目視覺的目標(biāo)檢測(cè)與測(cè)距技術(shù)研究,電氣工程碩士論文摘要隨著我們國(guó)家經(jīng)濟(jì)的發(fā)展和科技的進(jìn)步，擁有汽車的家庭也隨之增加，雖為生活提供了更多的便利，但伴隨而來的還包括道路擁擠和交通事故，汽車的駕駛安全已成為當(dāng)下汽車技術(shù)發(fā)展所面臨的一個(gè)重中之重的問題?；陔p目視覺的環(huán)境感悟技術(shù)在汽車安全駕駛領(lǐng)域中是一個(gè)研究熱門，本文對(duì)基于雙目視覺的目的檢測(cè)與測(cè)距進(jìn)行了深切進(jìn)入研究，提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)GA-Net和YOLOv4的目的檢測(cè)與測(cè)距技術(shù)。首先，對(duì)攝像機(jī)幾何成像中用到的四大坐標(biāo)系和它們之間的轉(zhuǎn)換關(guān)系進(jìn)行介紹。分析了雙目立體視覺測(cè)距的原理，然后總結(jié)了常用的匹配算法。其次，對(duì)GA-Net立體匹配的原理、網(wǎng)絡(luò)構(gòu)造和實(shí)現(xiàn)經(jīng)過進(jìn)行分析，采用KITTI-stereo2021和Cityscapes兩個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，將獲取的視差圖與傳統(tǒng)SGM算法獲取的視差圖進(jìn)行了比擬，結(jié)果表示清楚GA-Net立體匹配算法處理得到的視差圖更平滑，邊緣更清楚明晰，在均方根誤差上也明顯低于SGM算法。再次，研究分析了YOLOv4模型的算法原理、網(wǎng)絡(luò)構(gòu)造、損失函數(shù)等，采用MSCOCO數(shù)據(jù)集訓(xùn)練模型、KITTI-Object的訓(xùn)練集微調(diào)模型參數(shù)、KITTI-Object的測(cè)試集和Cityscapes測(cè)試集測(cè)試模型，利用平均檢測(cè)精度(AP)、均值平均精度(mAP)和圖像每秒傳輸幀率(FPS)三個(gè)指標(biāo)評(píng)估YOLOv4模型的辨別性能，并將結(jié)果與SSD目的檢測(cè)模型作比擬。最后，采集室內(nèi)和室外的雙目圖像視頻。運(yùn)用張正友標(biāo)定法對(duì)選擇的ZED雙目相機(jī)進(jìn)行標(biāo)定得到內(nèi)參、外參信息，然后采用單目的和多目的的檢測(cè)與測(cè)距方案對(duì)本文提出的目的檢測(cè)與測(cè)距算法進(jìn)行試驗(yàn)，單目的檢測(cè)和測(cè)距的試驗(yàn)結(jié)果表示清楚在15m距離范圍內(nèi)，目的測(cè)距誤差在5.2%以內(nèi)；多目的檢測(cè)和測(cè)距的試驗(yàn)中，本文的算法正確辨別了圖像中的人、車、椅子等信息，并計(jì)算出了它們的距離。多種試驗(yàn)的結(jié)果表示清楚，本文提出的基于雙目立體視覺的目的檢測(cè)與測(cè)距技術(shù)能夠?yàn)槠囎詣?dòng)駕駛提供輔助駕駛技術(shù)。本文關(guān)鍵詞語(yǔ)：雙目視覺；目的檢測(cè)；測(cè)距；自動(dòng)駕駛。AbstractWiththedevelopmentofmycountry’seconomyandtechnologicalprogress,thenumberoffamilieswithcarshasalsoincreased.Althoughitprovidesmoreconvenienceforlife,itisalsoaccompaniedbyroadcongestionandtrafficaccidents.Cardrivingsafetyhasbecomethecurrentsituation.Oneofthemostimportantissuesfacingthedevelopmentofautomobiletechnology.Theenvironmentperceptiontechnologybasedonbinocularvisionisaresearchhotspotinthefieldofcarsafedriving.Thisarticleconductsin-depthresearchontargetdetectionandrangingbasedonbinocularvision,andproposesadeeplearningnetworkbasedonGA-NetandYOLOv4Targetdetectionandrangingtechnology.First,thefourcoordinatesystemsusedinthegeometricimagingofthecameraandtheconversionrelationshipbetweenthemareintroduced.Theprincipleofbinocularstereovisionrangingisanalyzed,andthenthecommonlyusedmatchingalgorithmsaresummarized.Secondly,theprinciple,networkstructureandimplementationprocessofGA-Netstereomatchingareanalyzed.TwodatasetsofKITTI-stereo2021andCityscapesareusedfortrainingandtesting.TheobtaineddisparitymapiscomparedwiththetraditionalSGMalgorithm.TheresultisItshowsthatthedisparitymapprocessedbytheGA-Netstereomatchingalgorithmissmoother,thestructureisclearer,andtherootmeansquareerrorisalsosignificantlylowerthantheSGMalgorithm.Thirdly,itstudiedandanalyzedthealgorithmprinciple,networkstructure,lossfunctionofYOLOv4model,usingMSCOCOdatasettrainingmodel,KITTI-Objecttrainingsettofine-tunemodelparameters,KITTI-ObjecttestsetandCityscapestestsettestmodel,usingAveragedetectionaccuracy(AP),averageaverageaccuracy(mAP)andimageframeratepersecond(FPS)arethreeindicatorstoevaluatetherecognitionperformanceoftheYOLOv4model,andcomparetheresultswiththeSSDtargetdetectionmodel.Finally,collectindoorandoutdoorbinocularimagesandvideos.UseZhangZhengyoucalibrationmethodtocalibratetheselectedZEDbinocularcameratoobtaininternalandexternalparameterinformation,andthenusesingle-targetandmulti-targetdetectionandrangingschemestotestthetargetdetectionandrangingalgorithmproposedinthispaper.SingletargetdetectionandThetestresultsofrangingshowthatwithintherangeof15m,thetargetrangingerroriswithin5.2%;inthemulti-targetdetectionandrangingtest,thealgorithminthispapercorrectlyrecognizestheinformationofpeople,cars,chairs,heimage,andcalculatesOutoftheirdistance.Theresultsofvariousexperimentsshowthatthetargetdetectionandrangingtechnologybasedonbinocularstereovisionproposedinthispapercanprovidedrivingassistancetechnologyforauto-driving.Keywords:binocularvision,targetdetection,distancemeasurement,automaticdriving。文章為碩士論文，如需全文請(qǐng)點(diǎn)擊底部下載全文鏈接】1.3、國(guó)內(nèi)外研究現(xiàn)在狀況1.3.1、雙目視覺智能車研究現(xiàn)在狀況1.3.2、雙目視覺立體匹配技術(shù)研究現(xiàn)在狀況1.3.3、目的檢測(cè)技術(shù)研究現(xiàn)在狀況1.4、本文主要研究?jī)?nèi)容與構(gòu)造布置第二章雙目視覺及立體匹配基礎(chǔ)理論2.1、攝像機(jī)幾何成像模型.2.1.1、四大坐標(biāo)系2.1.2、坐標(biāo)系的轉(zhuǎn)換2.1.3、非線性模型2.2、極線幾何.2.3、雙目立體視覺測(cè)距的原理2.4、立體匹配算法，2.4.1、傳統(tǒng)的立體匹配算法2.4.2、基于卷積神經(jīng)網(wǎng)絡(luò)的立體匹配算法2.5、立體匹配算法評(píng)價(jià)標(biāo)準(zhǔn).2.6、本章小結(jié).第三章基于GA-Net的立體匹配.3.1、GA-NET立體匹配3.1.1、網(wǎng)絡(luò)結(jié)構(gòu)3.1.2、特征提取3.1.3、代價(jià)聚合3.1.4、引導(dǎo)子網(wǎng)絡(luò).3.1.5、視差回歸與損失函數(shù)3.2、試驗(yàn)經(jīng)過與試驗(yàn)結(jié)果分析.3.2.1、試驗(yàn)數(shù)據(jù)集3.2.2、訓(xùn)練經(jīng)過3.2.3、試驗(yàn)結(jié)果與分析.3.3、本章小結(jié).第四章目的檢測(cè)4.1、YOLO目的檢測(cè)算法4.1.1、YOLOv4目的檢測(cè)4.1.2、網(wǎng)絡(luò)結(jié)構(gòu)4.1.3、損失函數(shù)4.2、目的辨別訓(xùn)練.4.2.1、試驗(yàn)數(shù)據(jù)集4.2.2、模型的訓(xùn)練4.2.3、檢測(cè)性能評(píng)估指標(biāo)4.3、試驗(yàn)結(jié)果與分析4.4、本章小結(jié).第五章基于雙目立體視覺的目的檢測(cè)與測(cè)距試驗(yàn).5.1、試驗(yàn)平臺(tái)5.2、攝像機(jī)標(biāo)定5.3、實(shí)測(cè)圖像集測(cè)試結(jié)果5.4、本章小結(jié).第六章總結(jié)本文以雙目立體視覺和目的檢測(cè)技術(shù)為基礎(chǔ)，在不同背景下研究了對(duì)車輛前方目的的檢測(cè)辨別與測(cè)距技術(shù)，該技術(shù)能夠?yàn)樽詣?dòng)駕駛的汽車提供前方信息，促進(jìn)汽車自動(dòng)駕駛技術(shù)的發(fā)展。通過在計(jì)算機(jī)搭載雙目攝像機(jī)，采集真實(shí)的圖像視頻信息，運(yùn)用深度學(xué)習(xí)算法檢測(cè)辨別前方目的，再通過立體匹配算法計(jì)算目的的距離，實(shí)現(xiàn)車輛自動(dòng)駕駛中對(duì)前方目的的檢測(cè)辨別與距離計(jì)算。結(jié)合實(shí)現(xiàn)雙目立體視覺目的辨別與測(cè)距系統(tǒng)所做的工作，本文主要完成的內(nèi)容及結(jié)論如下：(1)首先查閱了大量的目的檢測(cè)算法與立體匹配算法的文獻(xiàn)，并介紹了目的檢測(cè)辨別和立體匹配的研究現(xiàn)在狀況。(2)通過分析世界坐標(biāo)系、攝像機(jī)坐標(biāo)系、圖像像素坐標(biāo)系、圖像物理坐標(biāo)系這四大坐標(biāo)系之間的位置關(guān)系，得到了它們之間的坐標(biāo)轉(zhuǎn)換矩陣，能夠?qū)⑷S空間中任意一點(diǎn)通過坐標(biāo)變換轉(zhuǎn)換到二維成像平面上。分析雙目測(cè)距的原理，得出距離的計(jì)算公式，然后簡(jiǎn)單介紹了幾種典型的立體匹配算法，為實(shí)現(xiàn)雙目立體視覺測(cè)距提供了基礎(chǔ)。(3)對(duì)GA-Net立體匹配算法的網(wǎng)絡(luò)構(gòu)造和實(shí)現(xiàn)經(jīng)過進(jìn)行分析，使用該立體匹配算法對(duì)選取的批量圖像數(shù)據(jù)集進(jìn)行處理，獲取視差圖。將其得到的立體匹配得到的視差圖與通過SGM立體匹配算法得到的視差圖進(jìn)行比照分析，證明了GA-Net立體匹配算法得到的視差圖具有更好的的匹配效果，進(jìn)而能夠提高通過視差信息計(jì)算距離的準(zhǔn)確度。(4)研究分析了YOLOv4實(shí)時(shí)目的檢測(cè)算法的檢測(cè)經(jīng)過，檢測(cè)原理、網(wǎng)絡(luò)構(gòu)造和損失函數(shù)，在標(biāo)準(zhǔn)數(shù)據(jù)集中選擇所需的標(biāo)簽信息，采用YOLOV4網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，最終得到的目的檢測(cè)的mAP為47%，每30ms左右能夠檢測(cè)完成一張圖片。在一樣環(huán)境下對(duì)SSD目的檢測(cè)模型的效果進(jìn)行測(cè)試并與YOLOv4進(jìn)行比照。得到了圖像中目的的位置信息，為目的的距離計(jì)算做了準(zhǔn)備工作。(5)搭建雙目立體試驗(yàn)平臺(tái)。選擇張正友標(biāo)定法，基于MATLAB雙目立體相機(jī)標(biāo)定工具對(duì)系統(tǒng)選用的雙目相機(jī)進(jìn)行標(biāo)定，得出雙目相機(jī)的內(nèi)部參數(shù)和外部參數(shù)。采集視頻圖像信息，截取華而不實(shí)關(guān)鍵幀，首先采用單目的檢測(cè)與測(cè)距的實(shí)驗(yàn)方案，得出圖像中目的的類別和距離，共進(jìn)行了15組實(shí)驗(yàn)，然后將計(jì)算得出的距離與激光測(cè)距儀測(cè)量的距離進(jìn)行比照，分析誤差。得出在15m范圍之內(nèi)誤差控制在5.2%左右。然后在不同場(chǎng)景下進(jìn)行多目的的檢測(cè)與測(cè)距試驗(yàn)，實(shí)現(xiàn)了不同場(chǎng)景下多目的的檢測(cè)與測(cè)距。試驗(yàn)表示清楚本文能夠?qū)ψ詣?dòng)駕駛的汽車提供車輛前方的信息。以下為參考文獻(xiàn).[1]楊鋮汽車電子技術(shù)中的智能傳感器技術(shù)分析[J]電子測(cè)試20212)133-134.[2]THORPEC,HERBERTMKANADET,etal.Towardautonomousdrivingthecmunavlab.11.architectureandsystems[].IEEEexpet,1991,6(4):44-52.[3]MALLOTHABULTHOFFHH,LITTLEJJ,etal.Inverseperspectivemappingsimplifiesopticalflowcamputatonandobstacledetection[].Biologcalcybemetics,1991,64(3):177-185.[4]NGUYENVD,VANNGUYENH,TRANDT,eta1.Leamningframeworkfarrobustobstacledetection,recognitionandtracking[J].IEEETransactionsanInteligentTranspotationSystem器2021,18(6):1633-1646.[5]SEOD,PARKH,JOKetal.Omnidirectionalstereovisianbasedvehicledetectionanddistancemeasuementfordiverassistancesystem[C]/IECON2020-39thAnnua1ConferenceoftheIEEIndustrialE1ectranicsSocietyIEEE,2020:5507-5511[6]王榮本李琳輝,金立生郭烈,趙-兵基于雙目視覺的智能車輛障礙物探測(cè)技術(shù)研究[]中國(guó)圖象圖形學(xué)報(bào),2007(12):2158-2163.[7]齊小燕基于雙目立體視覺V-視差法障礙物檢測(cè)算法研究與實(shí)現(xiàn)[D]沈陽(yáng):東北大學(xué),2018.[8]張琦,胡廣地,李雨生,趙鑫.改良FastRCNN的雙目視覺車輛檢測(cè)方式方法[]應(yīng)用光學(xué),2021,39(6)832-838.[9]岳欣羽基于雙目視覺的車輛前方障礙物檢測(cè)方式方法研究[D].吉林:吉林大學(xué),2021.[10]MARTDC.Acomputationalinvestigationintothehumanrepresentationandprocessingofvisualinformation[J].Free-nan,SanFrancisco,CA,1983,27(1)[11]BOYKOVY,KOLMOGOROVV.Anexperimentalcomparisonofmin-cutmaxflowalgorithmsforenergymininizationinvision[J].IEEEtransactionsonpatternanalysisandmachineinelligence,2004,26(9):1124-1137.[12]LEMPITSKYV,ROTHERC,BLAKEA.Logcut-efcientegraphcutoptimizationformarkovrandomfieldsC]/20071EEE11thIntermnationalConferenceonCamputerVisan.IEEE,2007:1-8.[13]KANADET,KANOH，KIMURAS，etal.Developmentofavideo-ratestereomachine[C]Proceedings1995IEEERSJInternatianalConferenceonIntelligentRobotsandSystems.HumanRobotInteractionandCooperativeRobots.IEEE,1995,3:95-100.[14]HIRSCHMULLERHAccurateandefcientstereoprocesingbysemi-globalmatchingandmutualinformatian[C]/2005IEEEComputerSocietyCanferenceonComputerVisionandPttermnRecogition(CVPR05).IEEE,2005,2:807-814.[15]ZBONTARJ,LECUNY.Computingthestereomnatchingcostwithaconvolutionalneuralnetwork[C]/ProceedingsoftheIEEEcanferenceancomputervisiarnandpatternrecognition2021:1592-1599.[16]CHANGJR,CHENYs.Pyramidstereomatchingnetwork[C]/ProceedingsoftheIEEEConferenceonCamputerVisonandPaternRecogntion2021:5410-5418.[17]ZHANGF,PRISACARIUV,YANGR,etal.Ganet:Guidedaggregationnetforendto-eandstereomatching[C]/ProceedingsoftheIEEE/CVFCanferenceanComputerVisionandPaternRecognition2022:185-194.[18]GIRSHICKR,DONAHUEJ,DARRELLT,etal.Richfeaturehierarchiesforaccurateobjectdectionandsemarticsegmention[C]/ProceedingsgoftheIEEEconferenceoncomputervisanandpatternrecogntion.2020:580-587.[19]HEKZHANGXRENs,etal.Spatialpyramnidpoolingindeepconvolutionalnetwvorksfarvisualrecognition[J]IEEtansactionsonpatternanalysisandmachineitligence,2021,37(9)1904-1916.[20]GIRSHICKR.Fastr-cn[C]/Proceedngsg