教程相關(guān)2中期lqmidreport

2012-12-是2012-12-2013-11-上午8:00-不完全適合城市等地形復(fù)雜的環(huán)境。GPS境中進(jìn)行定位等缺點(diǎn)。因此需要進(jìn)一步研究魯棒性更好、準(zhǔn)確度更高的，在大范圍環(huán)境特征是很多視覺應(yīng)用如光流法、目標(biāo) 、3D重建等使用的一種前端處理 性能均具有一定的健壯性。KLT特征 較大，前后2幅圖像的變化遠(yuǎn)超出了35個(gè)像素的范圍。常規(guī)的KLT算法僅僅使用圖像信息，其工作條件受限于圖像之間發(fā)生微小形變。當(dāng)由于相機(jī)自身運(yùn)動(dòng)引起較大光流時(shí)，KLTKLT特征算法。其基本思想是通過陀螺儀返回的角度信息解算出相機(jī)的運(yùn)動(dòng)，從而估計(jì)出在特征中運(yùn)動(dòng)參數(shù)的迭代初始值，或快速轉(zhuǎn)動(dòng)的情況，提高的可靠性。旋轉(zhuǎn)角度信息。其次是慣性信息與相機(jī)的圖像數(shù)據(jù)之間的同步問題。為了得知相機(jī)在幅連續(xù)圖像過程中發(fā)生的轉(zhuǎn)動(dòng)，需要將相機(jī)到的圖像與同一時(shí)刻陀螺儀測(cè)得的相機(jī)自身運(yùn)動(dòng)對(duì)于長(zhǎng)期特征，必須要進(jìn)行模板更新來確保結(jié)果。通常當(dāng)相機(jī)視點(diǎn)發(fā)生較大變化、選定的模型不再適用的情況下需要更新模板。模板更新會(huì)導(dǎo)致特征點(diǎn)定位誤差的累積。可以由質(zhì)量來確定模板是否更新。根據(jù)平方誤差、歸一化互相關(guān)、剪切來衡量質(zhì)量。當(dāng)立體視覺所包括的功能模塊主要有：圖像獲取、特征提取、立體匹配、特征、5CCD雙目相機(jī)和卡獲取數(shù)字圖像。在圖像信息前首先需要對(duì)相機(jī)進(jìn)行對(duì)于相機(jī)在t時(shí)刻 到的兩幅圖像，通過sobel算子對(duì)圖形進(jìn)行特征點(diǎn)提取。Sobel算子提取的具體過程是通過使用3*3的模板與圖像矩陣做卷積，可以得到圖像亮度函數(shù)的梯度近似值。使用算子分別按照u、v兩個(gè)方向遍歷數(shù)字圖像，可得到圖像關(guān)于這兩個(gè)方向的邊沿信息。兩 研系統(tǒng)硬件構(gòu)成：雙目相機(jī)、數(shù)字陀螺儀、圖像卡、便攜式電腦、連接線和電池。雙目相機(jī)和圖像卡用于收集圖像信息，數(shù)字陀螺儀記錄相機(jī)的運(yùn)動(dòng)信息，將圖像信息和慣性信息傳KLT算法特征點(diǎn)，結(jié)合立體視覺定位軟件系統(tǒng)實(shí)現(xiàn)實(shí)時(shí)定位。整定位性能進(jìn)試是非常必要的。準(zhǔn)備采取單變量實(shí)驗(yàn)，分別在有快速移動(dòng)物體的場(chǎng)景、相機(jī)大幅轉(zhuǎn)動(dòng)和室外光線條件下對(duì)系統(tǒng)進(jìn)試，分析實(shí)驗(yàn)結(jié)果，對(duì)定位算法進(jìn)行相應(yīng)的改進(jìn)。三

w(x;)wx

JT|p0Tw

HJTJ[Tw]T[T

反向KLT算法中當(dāng)模板T不改變時(shí)，J和H就不變，不需要對(duì)每幅圖像都重新計(jì)算H，從而計(jì)算量減小。由于反向KLT算法相比正向算法，所需的計(jì)算量更小，運(yùn)算速度更快，因此采用反向KLT算法，以一個(gè)相對(duì)穩(wěn)定的模板作為參照，將每幅圖像經(jīng)過彎曲變形處理后同模板進(jìn)行 在整個(gè)過程中，對(duì)每幅圖像進(jìn)行特征之后，判斷當(dāng)前有效特征點(diǎn)總數(shù)是否滿足閾Hessian為補(bǔ)償光照變化以及相機(jī)運(yùn)動(dòng)變化，采用仿設(shè)光度模型作為仿設(shè)函數(shù)w(x;p)的具體形式T(x;p)(1)T(Ax+b)+ A=1 a2

ba5 1a

a 4 6()用于補(bǔ)償光照變化更新t時(shí)刻的運(yùn)動(dòng)參數(shù)pt t)A，b）(A

t

t

t t(t11)(

tt

t

-融合慣性信息輔助特征，對(duì)相機(jī)與陀螺儀坐標(biāo)系進(jìn)行標(biāo)定，利用陀螺儀返回的旋轉(zhuǎn)矩陣解算出相機(jī)在前后兩幅圖像之間的旋轉(zhuǎn)矩陣。再由相機(jī)標(biāo)定的內(nèi)參數(shù)矩陣求得二維單應(yīng)使用陀螺儀測(cè)得的旋轉(zhuǎn)矩陣來計(jì)算相機(jī)的旋轉(zhuǎn)變化。設(shè)空間中一固定點(diǎn)的三維坐標(biāo)為GP， 化過程中這一點(diǎn)均在相機(jī)視野內(nèi)，相機(jī)—陀螺儀單元隨時(shí)間發(fā)生移動(dòng)，t1時(shí)刻在IMU參考系的坐標(biāo)為IP，t2IMUIP，t1IMU 化GR，t2IMUGRI GP=GRI I GP=GRI

-CIMU（也即標(biāo)定矩陣）IR，t1GPC標(biāo)系下的坐標(biāo)為CP，t2GP在相機(jī)坐標(biāo)系下的坐標(biāo)為CP IP=IRC 1 IP=IRC 2

-將公司-8式帶 -7，消去GP得CP=（IRGR-1G

1C I1 t1t2R=IRGR-1G

IR-c I1 R=IRGR-1G

IR-

t1

-cHKRK1c

- ApredHb predxHb

-8曲后的圖像與模板之間的誤差e，e每次更新運(yùn)動(dòng)參數(shù)之后，需要重新計(jì)算當(dāng)前特征點(diǎn)的質(zhì)量：誤差平方和、歸一化互相關(guān)以及剪切程度。當(dāng)質(zhì)量下降到一定程度超出閾值時(shí)，就需要剔除質(zhì)量差的特征點(diǎn)，對(duì)模 GRTGR

通過計(jì)算驗(yàn)證，IMU其次驗(yàn)證相機(jī)旋轉(zhuǎn)變化矩陣的推導(dǎo)是否正確。通過在靜止條件下拍攝到的圖像和對(duì)應(yīng)從計(jì)算結(jié)果看，上述方法計(jì)算的相化矩陣正確。驗(yàn)證預(yù)測(cè)矩陣H是否準(zhǔn)確：通過比較KLT算法中的Rc矩陣和視覺里程計(jì)解算出的相機(jī)旋HRc矩陣轉(zhuǎn)化為歐拉角，分別3圖-1X圖-2YYN統(tǒng)結(jié)更新運(yùn)動(dòng)更新運(yùn)動(dòng)參計(jì)Y

圖-3KLTIMU（表示為{I}iIi

i設(shè)Ci

以四元數(shù)表示從{I}系到{C}qq0qq0q1i(qv(qvq)

jq3k

最大的四元數(shù) 10組IMU加速度數(shù)啟動(dòng)IMU－Camera單元 ，從左圖像中讀出豎直細(xì)線上的兩個(gè)點(diǎn)pl(x yl)和pl

yl yr)

pr(xr yrylyrylyr k) 41245

412 0.0050R

圖-515

0.0057R

略，直接使用慣性融合KLT特征 KLT算法相當(dāng)。由此可知，由于的圖像信息與慣性信息之間存在時(shí)延，對(duì)性能KLT算法性能差，信息時(shí)延不能忽略。要通過相機(jī)在兩 1000組圖像和陀螺儀數(shù)據(jù)，記錄每幅 時(shí)刻，分析圖像信息和慣性信息之間的時(shí)間差，結(jié)果如下圖-6圖-6IMU和相 圖中橫坐標(biāo)為時(shí)間（單位：秒，縱坐標(biāo)為X周旋轉(zhuǎn)角度，紅色曲線表示陀螺儀 體趨勢(shì)一致，但是在時(shí)間上有所滯后。將紅色曲線向右平移305ms后，兩條曲線基本重合，如下圖-7所示：圖圖7 性能不好，基本等同于僅使用圖像的常規(guī)KLT算法。需要改進(jìn) 化時(shí)延誤差。建立2個(gè)線程分別用于連續(xù) 烈的情況下，KLT算法。實(shí)驗(yàn)中共了99935ms（之前未解決同步問題時(shí)，處理一幀100ms。設(shè)定每幀提取并150KLT5716feature，KLT算法一共提取了16211個(gè)特征點(diǎn)，約為前者的2.8倍。圖- KTL算法 如圖-8所示，兩種KLT算法在 300幀圖像時(shí)對(duì)應(yīng)的 的KLT算法的 慣性融合KLT算法的 結(jié)果。從圖中可以看出，在解決了數(shù)據(jù)同步問題后，慣性融合KLT算 精度明顯改善。在相機(jī)快速旋轉(zhuǎn)情況下，慣性融合KLT的 致保持在90%以上，魯棒性較好。而常規(guī)僅使用 的KLT算法的 2.4像連 RGR信息 t圖像在計(jì)算機(jī)中的其本質(zhì)就是一個(gè)2本文使用sobel算子提取圖像邊沿信息，將兩個(gè)邊沿的交點(diǎn)作為感 像進(jìn)行特征提取。獲得角點(diǎn)后，利用blob算子生成其特征描述符，該特征描述符包含了該點(diǎn)與魯棒性。在4*4范圍內(nèi)對(duì)每一點(diǎn)使用8位描述符。所以一個(gè)特征點(diǎn)的描述符長(zhǎng)度為128位。后 立體匹配。利用角點(diǎn)的128維特征向量，根據(jù)特征向量的歐式距離進(jìn)行立體匹配。將左右圖像中立體匹配成功的角點(diǎn)作為特征點(diǎn)，為其賦予相同的ID編號(hào)標(biāo)識(shí)，每一對(duì)特征點(diǎn)的ID序號(hào)在整個(gè)程序運(yùn)行過程中是唯一的。 i當(dāng)前時(shí)刻相機(jī)旋轉(zhuǎn)信息GRi測(cè)位置，使用慣性融合KLT算法對(duì)特征點(diǎn)進(jìn)行 4-1.T，并根據(jù)新模板重新計(jì)算海森矩陣：JT|p=0

-

HJTx

-4-2.

iti 到的旋轉(zhuǎn)矩陣為G 、GR，則從t-1iti

t

G1=RR =RR

ic4-3.ctHKct

K14-4.HApred

x,x=H[ predpredt4-5.p0tp0(xp )w(xp

t4-6.利 迭代法計(jì)算運(yùn)動(dòng)參數(shù)變化量p4-7.更新運(yùn)動(dòng)參數(shù)pt t4-8.計(jì)算各個(gè)特征點(diǎn) 4-9.判斷各個(gè)特征點(diǎn)的 4-10.統(tǒng) 利用慣性融合KLT算法遍歷全部特征點(diǎn)，得到特征點(diǎn)在當(dāng)前圖像中的坐標(biāo)位置，通過特征 兩幀圖像中相對(duì)于機(jī)坐標(biāo)系的坐標(biāo)。5-3.假設(shè)已知空間中一點(diǎn)在左右圖像中的成像位置分別為(xl,yl)與(xr,yr)。(X,Y,Z)為空 直向下為Y軸，水平方向?yàn)閄軸。定義視差dxlxr，基線長(zhǎng)度為左右 b，f為 b(xlxr)

Z

Z xl

-XxZ(uu0) YyZ(vv0)b

- -X uu0bYv Z Z

-對(duì)已經(jīng)得到的三維特征點(diǎn)集{X Y Zi

，結(jié)合RANSIC算法 wi1估計(jì)，得到旋轉(zhuǎn)和平移矩陣 T]擇其中的三個(gè)特征點(diǎn)，進(jìn)行一次運(yùn)動(dòng)估計(jì)，求解出一個(gè)[R T]。6-2.利用求解出的 T]對(duì)點(diǎn)集{X Y Zi

wi1u

x u0v=

f v0

-其中{x、y、z}為點(diǎn)集中一個(gè)點(diǎn)在t-1時(shí)刻的三維坐標(biāo)，點(diǎn)對(duì)應(yīng)的像素位置u、v在實(shí)際中均取 -18得到的u、v值與該點(diǎn)在t時(shí)刻觀測(cè)到的u、v值之差。差值小于閾值的點(diǎn)記錄為局內(nèi)點(diǎn)。遍歷當(dāng)前時(shí)刻所有點(diǎn)，得到局內(nèi)特征點(diǎn)集{X Y Zi

wi16-3.重復(fù)步驟6-1、6-2，進(jìn)行多次迭代，記錄每一次迭代中得到的局內(nèi)特征點(diǎn)數(shù)，找出局內(nèi)特征點(diǎn)數(shù)最多的一次，利用所有局內(nèi)特征點(diǎn)作為輸入，進(jìn)行運(yùn)動(dòng)估計(jì)，得到更優(yōu)的[R T]。 -18展開并對(duì)待求未知量

tz與

rz利用（1）的結(jié)果，若為第一次計(jì)算，則首先將

tz,

0，否則以上一次運(yùn)算的結(jié)果作為初值。以表示待求變量估計(jì)值與真實(shí)值之間的差值，構(gòu)建標(biāo)準(zhǔn)方b11txb12tyb13tzb21txb22tyb23tz

b2

b33tz41txb42tyb43tzb4b51txb52tyb53tzb5b61txb62tyb63tz

-使用消元法求解（2）中的方程組，可以解出i的值。將i與初值相加可以求得各個(gè)使用（3）得出的運(yùn)動(dòng)參數(shù)

tz,

tz,

使用上一步的結(jié)果轉(zhuǎn)化為4*4的位姿變換矩陣，從初始時(shí)刻開始進(jìn)行累乘，最終得到的結(jié)果就是相機(jī)當(dāng)前相對(duì)于初始時(shí)刻的位姿狀態(tài)，對(duì)全局的[R T]進(jìn)行更新。若當(dāng)前幀是第一幀，2.5 到的信息傳入微型處理器中進(jìn)行處理，使用in i7處理器（4 ，2G（17cm*17cm， 數(shù)據(jù)，從出發(fā)點(diǎn)繞60m*50m的實(shí)驗(yàn)結(jié)果：使用KLT-viso解算出相機(jī)結(jié)束位置與初始位置相差約2.9米，誤差為1.3%；KLTKLT-viso100ms，略久于視覺里程計(jì)（75ms圖圖-9魯棒立體視 當(dāng)前時(shí)刻左右圖N特征點(diǎn)在當(dāng)前圖

通通 圖-10魯棒立體視 框 。 ；本課題研制了一種可穿戴式視覺輔助，用于輔助盲人出行，將慣性輔助KLT算法運(yùn)用到立體視覺定位中，為相機(jī)附加慣性傳感器，相機(jī)的旋轉(zhuǎn)信息，通過獲取的慣性信息來預(yù)KLT迭代優(yōu)化的初始條件，增大收斂的概率，保證性能，進(jìn)而提高的魯棒性系統(tǒng)處理能力，改進(jìn)系統(tǒng)硬件結(jié)實(shí)現(xiàn)處理，提出合理改進(jìn)方實(shí)驗(yàn)驗(yàn)證改進(jìn)方案，比較定完提交目前系統(tǒng)的處理能力不足，前端與后端信息處理接口不過完善，定位結(jié)果反饋 DimitriosDakopoulosandNikolaosGBourbakis.WearableObstacleAvoidanceElectronicTravelAidsforBlind:ASurvey.IEEETRANSACTIONSONSYSTEMS,MAN,ANDCYBERNETICS—PARTC:APPLICATIONSANDREVIEWS,VOL.40,NO.1,JANUARY2010:25.PabloFern′andezAlcantarilla.VisionBasedLocalization:FromHumanoidRobotstoVisuallyImpairedPeople:9-10.MyungHwangbo,Jun-SikKimandTakeoKanade.Gyro-aidedfeaturetrackingforamovingcamera:fusion,auto-calibrationandGPUimplementation.TheInternationalJournalofRoboticsResearch201130:1755.294溫奎.基于立體視覺的移動(dòng)機(jī)器人目標(biāo)定位 理工大 MinoruAsadam,TakamaroTanaka.VisualTrackingOfUnknownMovingObjectByAdaptiveBinocularVisualServoing.In:IEEEInternationalConferenceonMultisensorFusionandIntegrationforIn ligentSystems.Taipei, .1999.Piscataway,NJ,USA:InstituteofElectricalandElectronicsEngineersInc.1999.SlimKammoun,MarcJ.-M.Macé,BernardOriola,andChristopheJouffrais.TowardaBetterGuidanceinWearableElectronicOrientationAids.InternationalFederationforInformationProcessing2011.SimonBakerandIainMatthews.Lucas-Kannade20YearsOn:AUnifyingFramework:Part1.CMU-RI-TR-02-16.Beauchemin,S.S.andJ.L.Barron(1995).TheComputationofOpticalFlow.ACMcomputingsurveys(CSUR)27(3):433-466.Negahdaripour,S.(1998)."Reviseddefinitionofopticalflow:Integrationofradiometricandgeometriccuesfordynamicsceneysis."PatternysisandMachineInligence,IEEETransactionson20(9):961-979.B.B.Blasch,W.R.Wiener,andR.L.Welsh,FoundationsofOrientationandMobility,2nded.NewYork:AFBPress,1997.T.Ifukube,T.Sasaki,C.Peng,“Ablindmobilityaidmodeledafterecholocationofbats”,IEEETrans.Biomed.,vol.38,no.5,May1991:461–465.T.Ifukube,T.Sasaki,andC.Peng,“Ablindmobilityaidmodeledafterecholocationofbats,”IEEETrans.Biomed.Eng.,vol.38,no.5,pp.461–465,MayA.Hub,J.Diepstraten,andT.Ertl,“Designanddevelopmentofanindoornavigationandobjectidentificationsystemfortheblind,”inProc.ACMSIGACCESSAccessibilityComputing,Sep.2003/Jan.2004,no.77–78,pp.147–152.J.L.Gonz′alez-Mora,A.Rodr′?guez-Hern′andez,L.F.Rodr′?guez-Ramos,L.D′?az-Saco,andN.Sosa.(2009,May8).Developmentofanewspaceperceptionsystemforblindpeople,basedonthecreationofavirtualacousticspace.Tech.Rep.[Online].Available: G.Sainarayanan,R.Nagarajan,andS.Yaacob,“Fuzzyimageprocessingscheme