《基于三維數(shù)據(jù)的目標識別研究的國內(nèi)外文獻綜述》6100字

基于三維數(shù)據(jù)的目標識別研究的國內(nèi)外文獻綜述目錄TOC\o"1-2"\h\u27046基于三維數(shù)據(jù)的目標識別研究的國內(nèi)外文獻綜述 1241131.1三維數(shù)據(jù)獲取方法 176761.2目標識別研究現(xiàn)狀 412211.3位姿估計研究現(xiàn)狀 68861參考文獻 71.1三維數(shù)據(jù)獲取方法三維數(shù)據(jù)不受環(huán)境、光照、工件材質(zhì)等因素的影響，相比于二維數(shù)據(jù)能夠更好地感知三維環(huán)境，在工業(yè)現(xiàn)場有更加廣闊的應用場景，因此關于立體視覺技術(shù)的研究成為了計算機科學技術(shù)領域的熱門話題。獲取三維數(shù)據(jù)的方式可以分為接觸式測量法和非接觸測量法，在工業(yè)現(xiàn)場對亂序工件進行種類識別和位姿估計一般采用非接觸測量法。非接觸測量法一般采用光學技術(shù)掃描物體的空間外型，從而獲取物體的空間坐標，將物體的空間信息轉(zhuǎn)化為計算機數(shù)字信號，光學測量法成本較低、效率較高，是比較適合獲取工件三維點云信息的一種測量方法。光學測量方法一般分為：雙目立體視覺法、結(jié)構(gòu)光法、光飛行時間法等。雙目立體視覺法[1]是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法，該方法利用雙目立體相機獲取三維數(shù)據(jù)，雙目立體相機及其工作原理如圖1.1所示。Marr[2]提出人類視覺系統(tǒng)的主要功能是復原三維場景的可見幾何表面，同時Marr認為二維圖像轉(zhuǎn)化成三維空間結(jié)構(gòu)是可以通過計算完成的，目前的雙目立體視覺研究都是以該理論為基礎。雙目立體視覺系統(tǒng)一般利用兩臺攝像機從左右不同角度獲取物體的數(shù)字圖像，或利用單個攝像機在不同時間從左右兩個角度獲取物體的數(shù)字圖像，利用左右拍攝的視差恢復被測物的三維空間信息，從而獲取被測物的空間位置和形態(tài)輪廓。雙目立體視覺系統(tǒng)在工業(yè)領域具有極為廣泛的應用。Chen等人[3]將雙目立體視覺系統(tǒng)應用于工業(yè)機器人焊接場景，通過安裝在機器人尾端的雙目相機來計算獲取焊縫的幾何結(jié)構(gòu)和空間信息。FangY等人[4]提出一種將雙目立體圖像和深度信息相結(jié)合，將目標任務進行分解后僅在基于深度的特征層次上對單目標任務進行分割，提高算法的魯棒性。Oh等人[5]提出一種能夠較為準確地獲取工件三維信息且普遍適用于工業(yè)現(xiàn)場的立體視覺系統(tǒng)。任慧娟等人[6]提出一種適用于工業(yè)機器人作業(yè)對象較為復雜、作業(yè)環(huán)境干擾較大情況下的目標識別定位方法。通過雙目視覺系統(tǒng)對獲取的參考圖像和匹配圖像進行二維特征匹配是一個較大的難點，環(huán)境噪聲較大、特征不明顯、數(shù)據(jù)量龐大、像素點灰度值接近等因素都會導致匹配難度加大，針對這些問題，許多學者和專家都提出了解決問題的改進匹配算法。BehzadSalehia等人[7]提出一種空間縮減性算法，在縮減的空間中使用動態(tài)規(guī)劃法來提高搜索匹配的速度并減小誤差。Hirschmuller等人[8]提出一種基于交互信息的匹配算法，對相似程度使用概率密度進行度量。龔文等人[9]提出一種基于動態(tài)規(guī)劃和樹結(jié)構(gòu)的改進算法，在圖像邊緣處和像素灰度值相差不大的區(qū)域能夠達到較好的匹配效果。HichemAbdellali等人[10]通過使用馬爾可夫隨機場進行建模，選取一部分深度信息作為先驗信息，并使用圖割法建立視差函數(shù)從而完成場景的重建。K.Zhang等人[11]提出一種跨尺度代價的算法，通過使用正則項來約束多尺度圖像的匹配代價從而達到提高匹配效率和精度的目的。A.Klaus等人[12]根據(jù)亮度和顏色選取mean-shift算法分割圖像，并通過置信傳播逼近最優(yōu)視差平面。圖1.1雙目立體相機及其工作原理結(jié)構(gòu)光法[13]簡單快捷，具備較強的魯棒性和較高的識別精度，被大量專家從業(yè)人員廣泛應用于獲取深度信息。該方法的基本思想是利用結(jié)構(gòu)光照明系統(tǒng)的幾何信息來獲取被測物體的幾何信息，將雙目視覺系統(tǒng)中的其中一臺相機替換成結(jié)構(gòu)光設備即構(gòu)成了一個結(jié)構(gòu)光系統(tǒng)，相機、結(jié)構(gòu)光以及被測物體三者之間的基和關系能夠確定物體的三維信息。張洪龍等人[14]通過該技術(shù)獲得了多個視角的點云并拼接點云完成了三維重建。MaS等人[15]提出一種多色的光模板，并在模板中將元素唯一確定。CarrihillB等人[16]通過使用結(jié)構(gòu)光控制雙目立體視覺相機獲取的圖像，減少顏色反射對圖像識別的影響，提升了系統(tǒng)的魯棒性和精確度。BrunoF等人[17]創(chuàng)新性地針對水下三維建模將線移法和Gray碼相結(jié)合，針對條紋邊緣進行最小寬度分割，保證精度的同時提高了分辨率。GOM公司制造了高精度的流動光學掃描儀，記錄多線結(jié)構(gòu)光柵變化規(guī)律，達到目標物體表面三維重建的目的[18]。KazhdanM等人[19]使用泊松重構(gòu)算法，將局部基函數(shù)進行分層，并創(chuàng)新性地將局部和全局擬合方法相結(jié)合，提高了三維構(gòu)建的效率。曲學軍等人[20]提出將Gray碼和相移法相結(jié)合，引入中心線有效消除了解碼誤差，提高了采樣的有效性。圖1.2結(jié)構(gòu)光相機及其工作原理光飛行時間法(TimeofFlight,TOF)[21]基本原理是通過連續(xù)發(fā)射光脈沖到被測物體上，然后用傳感器接收從物體返回的光，通過測量光脈沖的往返飛行時間來衡量目標物距離。TOF法成本低廉、效率高，魯棒性強，從原理上改變了深度測量的方式，極大提高了深度測量的實時性，具有極高的觀測效率。PrusakA[22]等人提出一種將TOF相機和球面相機結(jié)合，兼具導航、避障、識別、生成地圖等功能多樣化的智能機器人。JohnS等人[23]提出一種新的光學測距系統(tǒng)，這種系統(tǒng)使用時間相關單光子技術(shù)，這種系統(tǒng)具備多維度的空間分辨率且魯棒性較強。LindnerM[24]對光信號反射相對誤差開展研究，提出一種校正相對誤差的方法，但是這種方法容易出現(xiàn)積分時間出現(xiàn)錯誤。S.Chua等人[25]對檢測信號得到的閾值和系統(tǒng)的隨機噪聲進行加權(quán)平均計算，提高了測量系統(tǒng)的準確度。Hussmann等人[26]將TOF技術(shù)和機器人視覺技術(shù)進行結(jié)合，計算推導得出了用于計算深度信息的方程。Falie等人[27]發(fā)現(xiàn)光信號反射誤差會對成像系統(tǒng)識別精度產(chǎn)生較大影響，于是提出增大光強來減小誤差，并實驗證明了方法的可行性。楊晶晶等人[28]提出了基于環(huán)境噪聲的濾波去噪技術(shù)，有效減小了TOF技術(shù)成像的誤差。圖1.3TOF相機及其工作原理1.2目標識別研究現(xiàn)狀三維信息通常用深度圖和點云模型進行描述，通過獲取物體的三維信息，不僅可以檢測目標，完成場景識別，還可以對物體的真實姿態(tài)進行估計。但是由于環(huán)境、遮擋等因素的影響，獲取的點云數(shù)據(jù)中往往含有大量的無效數(shù)據(jù)和干擾數(shù)據(jù)，這些數(shù)據(jù)會對后續(xù)的特征提取、特征匹配等過程產(chǎn)生極大的影響，因此許多專家學者針對點云數(shù)據(jù)的預處理展開了研究。Sotoodeh等人[29]通過判斷點之間的距離密度來判斷噪聲點的存在性，但是這種方法在噪聲點密度集中或分布不均的情況下具有較大的局限性。Clarenz等人[30]提出局部構(gòu)建有限元和偏微分方程的方式完成對各個方向異常數(shù)據(jù)的去噪。Choudhury等人[31]提出了一種三邊濾波方式，將模型中相似程度較高的法向量進行聚類，通過設置不同的閾值和權(quán)重值，濾去無效數(shù)據(jù)，起到較好的效果。趙燦等人[32]對點云數(shù)據(jù)進行柵格劃分，以單元格的點云密度為噪聲點的判斷標準，但是這種方法在點云數(shù)據(jù)量龐大的情況下具有較大的局限性。Fujimoto等人[32]提出一種設定點云數(shù)據(jù)之間的角度閾值和公差范圍，通過限定范圍的方式對點云數(shù)據(jù)進行精簡處理。Chen等人[33]改進了三角網(wǎng)格方法，提出一種通過精簡曲率數(shù)據(jù)從而較好地保存點云表面數(shù)據(jù)的方法。經(jīng)過預處理后的點云可以用于三維目標識別，目前主流的識別方法有：基于圖的識別方法、基于局部特征的識別方法、基于全局特征的識別方法和基于深度學習的識別方法等。基于圖的識別方法[34]適用于較為簡單的場景，通過使用常見的幾何元素對點云進行分割處理，通過建立點云的拓撲關系判斷點云的相似性。常見的算法包括RANSAC算法、區(qū)域增長算法、霍夫變換算法等。RabbaniT[35]等人定義待測物內(nèi)一個起始點作為種子生長起點，將生長點領域內(nèi)的點與生長點進行比對，特征相似的點則被合并入生長點繼續(xù)向外生長，直至不存在符合要求的點。這種算法容易理解，能夠提供較為清晰的邊界信息和分割結(jié)果，但是這種方法成本較高，陰影處理效果不是很好，且對種子和閾值的選取要求較高。Fischler等人[36]提出的RANSAC算法通過從數(shù)據(jù)集S中選取一個最小數(shù)據(jù)集s，并對s建立模型，遍歷S中的所有數(shù)據(jù)點判斷是否在距離閾值內(nèi)，定義距離閾值t內(nèi)的點為內(nèi)點，判斷內(nèi)點的數(shù)目是否大于閾值T，若大于T則重新評估跳出循環(huán)，若小于T則在內(nèi)點數(shù)據(jù)集中選取新的子集進行重新遍歷，這種方法通過嚴格的數(shù)學擬合，在離群點存在的情況下仍能達到較高的精度[37]?；舴蜃儞Q算法[38]是圖像處理技術(shù)中一個檢測直線、圓等簡單幾何圖案的算法，這種方法通過將圖像坐標空間變換到參數(shù)空間，來實現(xiàn)圖形的擬合?；诰植刻卣鞯淖R別方法[39-41]通過提取目標幾何特征較為明顯的點，構(gòu)建局部幾何特征，從而達到達到識別的效果,這種方法具有較強的魯棒性，但是對特征點的提取和描述符的選擇要求較高且計算量較大。Johnson等人[42]提出旋轉(zhuǎn)圖像描述符，這種方法將三維數(shù)據(jù)映射到二維平面，在二維平面內(nèi)進行特征表達，但是這種方法計算量較大。Feldmar等人[43]提出一種基于主曲率值的相似搜索方法。RuizcorreaS等人[44]提出使用單詞包組合描述符的方法，使用級聯(lián)分類器對目標進行識別。Frome等人[45]提出三維形狀上下文描述符，Sukno等人[46]基于該描述符提出了一種方位角旋轉(zhuǎn)不變特性更加豐富的非對稱形狀上下文描述符。Rusu等人[47-48]創(chuàng)新性地引入了點特征直方圖(PointFeatureHistograms,PFH)和快速點特征直方圖(FastPointFeatureHistograms,FPFH)，前者通過計算點與點之間的角度，構(gòu)造出一個高維特征直方圖來描述局部特征，后者則簡化了前者在某些維度的計算，提高了識別效率。Lei等人[49]通過計算多尺度幾何特征并引入快速描述符加快了識別的效率。Salti等人[50]將點簽名描述符和統(tǒng)計直方圖的思想相結(jié)合，提出一種方向直方圖特征描述符(SignatureofofHistograms,SHOT)。這種描述符在構(gòu)建的局部參考系內(nèi)，統(tǒng)計特征點周圍的拓撲特征，將特征保存在直方圖中，并對其進行歸一化,這種方法具有較好的抗干擾性?；谌痔卣鞯淖R別方法通常需要先將目標從場景點云中分割出來，針對其整體建立一個幾何特征描述符，從而進行匹配識別。Rusu等人[51]對快速點特征直方圖進行優(yōu)化，提出了視點特征直方圖(ViewFeatureHistogram,VFH)，這種描述符在快速點特征直方圖的基礎上增加了視點方差并保持了尺度不變性，被用于聚類識別和六自由度姿態(tài)估計問題。Aldoma等人[52]在VFH的基礎上提出聚類視點特征直方圖(ClusteredViewFeatureHistogram,CVFH)，這種方法先將數(shù)據(jù)進行聚類分割，在每個聚類中計算自身的VFH。Rusu等人[53]將FPFH進行推廣，提出全局快速點特征直方圖(GlobalFastPointFeatureHistograms,GFPFH)。Wohlkinger等人[54]則提出一種對相似幾何體具有良好識別能力的描述符形狀功能集合(EnsembleofShapeFunction,ESF)。Shah等人[55]提出一種關鍵點表面描述符，這種方法具有較強的魯棒性。Drost等人[56]提出一種基于點對特征（PointPairFeature,PPF）的描述符，這種方法引入四維特征向量，將模型點云的點對特征保存在哈希表中，并引入霍夫投票策略來進行位姿假設，具有良好的識別效果。Kim等人[57]提出一種PPF的變體，將可見上下文信息、區(qū)分可見點、表面點和不可見點作為特征向量的四個維度。Hinterstoisser等人[58]提出一種保留特征差異點的新采樣方式和投票策略，提高了算法的抗干擾能力。XiaoZ等人[59]利用共面點對特征性質(zhì)，剔除無關的點對特征，提高了運算的效率?；谏疃葘W習的方法通過學習能力泛化對點云特征進行提取，完成場景中目標的識別和位姿估計。DanielMaturrana等人[60]提出一種點云體積占用網(wǎng)絡，使用3D卷積神經(jīng)網(wǎng)絡進行學習，秒計數(shù)達到一百多例，效果較好。HuangQ[61]等人提出一種RSNet網(wǎng)絡，這種網(wǎng)絡能夠有效地對點云進行語義分割。QiCR等人[62]創(chuàng)新性地提出了pointnet，解決了三維數(shù)據(jù)無序性的問題。專家學者們[63-65]基于pointnet提出多種改進算法，增強了算法性能，提高了算法的魯棒性。1.3位姿估計研究現(xiàn)狀目標識別使我們能從場景點云中獲取單個目標的點云數(shù)據(jù)，位姿估計則要求我們對目標物體進行六自由度的姿態(tài)估計。位姿估計的方法一般包括：基于特征描述符的位姿估計方法、基于點云配準的位姿估計方法、基于投票策略的位姿估計方法和基于深度學習的位姿估計方法?；谔卣髅枋龇姆椒ㄒ话氵x取點云數(shù)據(jù)的局部特征或全局特征，在二維或三維的模型數(shù)據(jù)中找到對應關系，SIFT、SURF、ORB是較為常見的二維描述符，VFH、CVFH、SHOT等是比較常見的三維描述符。基于點云配準的方法一般尋找兩片點云之間的一個變換矩陣，實質(zhì)是一個部分配準問題，常用ICP算法[66]來進行點云的精配準?；谕镀钡姆椒ㄐ枰總€三維數(shù)據(jù)點完成投票，形成最終的六自由度位姿，例如PPF方法中就采取霍夫投票策略?；谏疃葘W習的方法依靠神經(jīng)網(wǎng)絡形成學習點云到最終位姿的端到端映射關系。Lepetit等人[67]提出一種由二維映射到三維的對應關系進行位姿估計。參考文獻[1]隋婧,金偉其.雙目立體視覺技術(shù)的實現(xiàn)及其進展[J].電子技術(shù)應用,2004,30(010):4-6.[2]DavidMarr,Vision:AcomputationalInvestigationintothehumanrepresentationandprocessingofvisualinformation,W.H.FreemanandCompany,1982.[3]ChenX,HuangY,ChenS.Modelanalysisandexperimentaltechniqueoncomputingaccuracyofseamspatialpositioninformationbasedonstereovisionforweldingrobot[J].IndustrialRobot,2012,39(4):192–204.[4]FangY,MasakiI,HornB.Depth-BasedTargetSegmentationforIntelligentVehicles:FusionofRadarandBinocularStereo[J].IEEETransactionsonIntelligentTransportationSystems,2002,3(3):196-202.[5]OhJK,LeeCH.Developmentofastereovisionsystemforindustrialrobots[C].InternationalConferenceonControl.2007.[6]任慧娟,金守峰,程云飛,等.面向分揀機器人的多目標視覺識別定位方法[J].機械與電子,2019,037(012):64-68.[7]Salehian,Behzad,Fotouhi,etal.Dynamicprogramming-baseddensestereomatchingimprovementusinganefficientsearchspacereductiontechnique[J].Optik:ZeitschriftfurLicht-undElektronenoptik:=JournalforLight-andElectronoptic,2018,160:1-12.[8]H.Hirschmuller,StereoProcessingbySemiglobalMatchingandMutualInformation[J].inIEEETransactionsonPatternAnalysisandMachineIntelligence,vol.30,no.2,pp.328-341,Feb.2008.[9]龔文.基于動態(tài)規(guī)劃的立體匹配算法研究[D].南昌航空大學,2015.[10]Abdellali,H.,Kato,Z.3Dreconstructionwithdepthpriorusinggraph-cut[J].CentEurJOperRes29,387–402(2021).[11]K.Zhang,Y.Fang,D.Min,etal.Cross-ScaleCostAggregationforStereoMatching[C].2014IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Columbus,America,2014.[12]A.Klaus,M.SormannandK.Karner,Segment-BasedStereoMatchingUsingBeliefPropagationandaSelf-AdaptingDissimilarityMeasure[C],18thInternationalConferenceonPatternRecognition(ICPR'06),2006,pp.15-18,[13]劉振.基于結(jié)構(gòu)光的雙目立體成像技術(shù)研究[D].中國科學院大學,2013.[14]張洪龍.基于結(jié)構(gòu)光的室內(nèi)場景精確三維重建技術(shù)研究[D].深圳:中國科學院深圳先進技術(shù)研究院,2018.[15]MaS,ShenY,QianJ,etal.Binocularstructuredlightstereomatchingapproachfordensefacialdisparitymap[J].AI2011:AdvancesinArtificialIntelligence,2011:550-559.[16]CarrihillB,HummelR.Experimentswiththeintensityratiodepthsensor[J].Cvgip,1985,32(3):337-358.[17]BrunoF,BiancoG,MuzzupappaM,etal.Experimentationofstructuredlightandstereovisionforunderwater3Dreconstruction[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2011,66(4):508-518.[18]BickelmannC,MorrowJM,DuJ,etal.Themolecularoriginandevolutionofdim-lightvisioninmammals[J].Evolution,2015,69(11):2995.[19]KazhdanM,HoppeH.ACMtransactionsongraphics[M].AssociationforComputingMachinery,2005:1-11.[20]曲學軍,李海固,樊龍欣，etal.基于組合編碼的條紋結(jié)構(gòu)光主動立體視覺匹配[J].計算機測量與控制,2014,22(011):3712-3714.[21]劉子偉，許廷發(fā)，王洪慶，深度成像理論與實現(xiàn)[J].紅外與激光工程，2016，45(7):242-246.[22]PrusakA,MelnychukO,RothH,etal.PoseestimationandmapbuildingwithaTime-Of-Flightcameraforrobotnavigation[J].InternationalJournalofIntelligentSystemsTechnologiesandApplications,2008,5(3/4):355.[23]JohnS.Massa,GeraldS.Buller,AndrewC.Walker,etal.Time-of-flightopticalrangingsystembasedontime-correlatedsingle-photoncounting[J].AppliedOptics,1998,37(31):7298-304.[24]LindnerM,SchillerI,KolbA,etal.Time-of-Flightsensorcalibrationforaccuraterangesensing[J].ComputerVision&ImageUnderstanding,2010,114(12):1318-1328.[25]S.Chua,X.Wang,N.Guo,etal.Improvingthree-dimensional(3D)rangegatedreconstructionthroughtime-of-flight(TOF)imaginganalysis[J].JournaloftheEuropeanOpticalSocietyRapidPublications,2016(11):101-123.[26]HussmannS,LiepertT.RobotVisionSystembasedona3D-TOFCamera[C].Instrumentation&MeasurementTechnologyConference.IEEE,2007.[27]FalieD,BuzuloiuV.DistanceerrorscorrectionfortheTimeofFlight(ToF)cameras[C]//IEEEInternationalWorkshoponImagingSystems&Techniques.IEEE,2008,pp:123-126.[28]楊晶晶，馮文剛.連續(xù)調(diào)制TOF圖像誤差來源及降噪處理[J].合肥工業(yè)大學學報(自然科學版),2012,35(04):485-488.[29]SotoodehS,ZurichE,Hierarchicalclusteredoutlierdetectioninlaserscannerpointclouds[C].36thISPRS,2007.[30]CLARENZU,DROSKED,HENNS.Computationalmethodsfornonlinearimageregistration[C].MathematicalModelsforRegistrationandApplicationstoMedicalImagingMathematicsinIndustry,2006:81-101.[31]CHOUDHURYP,TUMBLINJ.Thetrilateralfilterforhighcontrastimagesandmeshes[C].EurographicsSymposiumonRendering,2003:186-196.[32]趙燦,湯春瑞,劉丹丹.基于表面波變換的散亂點云去噪方法[J].組合機床與自動化加工技術(shù),2009(2):31-34.[33]CHENYH,NGCT,WANGYZ.Datareductioninintegratedreverseengineeringandrapidprototyping[J].InternationalJournalofComputerIntegratedManufacturing,1999,12(2):97-103[34]KakadiarisIA,TodericiG,EvangelopoulosG,etal.3D-2DFaceRecognitionwithPoseandIlluminationNormalization[J].ComputerVisionandImageUnderstanding,2016,154:137-151.[35]RabbaniT,HeuvelFAVD,VosselmanG.Segmentationofpointcloudsusingsmoothnessconstraint[C]//InternationalArchivesofPhotogrammetry,RemoteSensingandSpatialInformationSciences.2006.[36]FischlerMA,BollesRC.Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].CommunicationoftheACM，1981,24（60）：381-395.[37]李寶，程志全，黨崗，等.一種基于RANSAC的點云特征線提取算法[J]．計算機工程與科學，2013，35（02）：147-153.[38]LariZ,HabibA.Anadaptiveapproachforthesegmentationandextractionofplanarandlinear/cylindricalfeaturesfromlaserscanningdata[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2014,93(11):192-212.[39]LigonJ,BeinD,LyP,etal.3Dpointcloudprocessingusingspinimagesforobjectdetection[C]//2018IEEE8thAnnualComputingandCommunicationWorkshopandConference(CCWC).IEEE,2018:731-736.[40]DengX,DaF,ShaoH.Efficient3DfacerecognitionusinglocalcovariancedescriptorandRiemanniankernelsparsecoding[J].Computers&ElectricalEngineering,2017,62:81-91.[41]GuoY,BennamounM,SohelF,LuM,WanJ.3Dobjectrecognitioninclutteredsceneswithlocalsurfacefeatures:asurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2014,36(11):2270-2287.[42]JohnsonAE,HebertM.Usingspinimagesforefficientobjectrecognitionincluttered3Dscenes[J].IEEETransactiononPatternAnalysisandMachineIntelligence