基于顏色塊和特征點(diǎn)算子的實(shí)時(shí)特征提取方法

基于顏色塊和特征點(diǎn)算子的實(shí)時(shí)特征提取方法

0基于色標(biāo)和尺度不變特征提取目標(biāo)特征的實(shí)時(shí)提取機(jī)器人視覺(jué)系統(tǒng)在機(jī)器人領(lǐng)域發(fā)揮著重要作用。在視覺(jué)方法中,基于單目視覺(jué)的算法由于在魯棒性和效率之間達(dá)到了較好的平衡,從而獲得了最為廣泛的研究。其算法框架不僅成功應(yīng)用于移動(dòng)機(jī)器人導(dǎo)航,還為目標(biāo)檢測(cè)、識(shí)別與跟蹤領(lǐng)域的研究提供了可供參考的模型。隨著移動(dòng)機(jī)器人應(yīng)用環(huán)境不確定性要求的提高,對(duì)目標(biāo)識(shí)別和跟蹤技術(shù)的準(zhǔn)確性和實(shí)時(shí)性提出了更高的要求。傳統(tǒng)的方法,在特征提取和匹配的過(guò)程中,容易存在特征誤配現(xiàn)象,尤其在復(fù)雜環(huán)境下,特征提取易受干擾,魯棒性相對(duì)較差。2004年,加拿大David.Lowe教授提出基于尺度不變特征的提取方法,該方法對(duì)圖像在一定的尺度縮放、旋轉(zhuǎn)、光照、視角等條件變化下,仍能有效提取較好的特征,具有較強(qiáng)的魯棒性,但在處理大分辨率圖像時(shí)計(jì)算量大,耗時(shí)過(guò)長(zhǎng)。本文針對(duì)目標(biāo)特征的實(shí)時(shí)提取問(wèn)題,對(duì)基于色標(biāo)和尺度不變特征提取目標(biāo)特征的方法進(jìn)行研究。該方法通過(guò)對(duì)圖像中目標(biāo)所在區(qū)域的快速選定,準(zhǔn)確提取目標(biāo)特征進(jìn)行匹配,大大減少了冗余信息的計(jì)算,有效節(jié)省了計(jì)算時(shí)間。本文中算法通過(guò)軟件編程實(shí)現(xiàn),對(duì)攝像機(jī)采集的圖像進(jìn)行仿真實(shí)驗(yàn),通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析,驗(yàn)證了算法的有效性。1目標(biāo)位姿提取本文研究背景由機(jī)器人移動(dòng)機(jī)構(gòu)、云臺(tái)和單目攝像機(jī)組成。如圖1所示,工作場(chǎng)景中有移動(dòng)機(jī)器人單目攝像機(jī),及帶有色標(biāo)的目標(biāo)物體,其中攝像機(jī)的位置與移動(dòng)機(jī)器人的位置相對(duì)固定。假設(shè)世界坐標(biāo)系為sw,機(jī)器人坐標(biāo)系為sr,攝像機(jī)坐標(biāo)系為sc,目標(biāo)物體坐標(biāo)系為so。根據(jù)標(biāo)定原理,通過(guò)靶標(biāo)可以分別標(biāo)定出攝像機(jī)坐標(biāo)系sc和機(jī)器人坐標(biāo)系sr相對(duì)于靶標(biāo)的轉(zhuǎn)換矩陣,利用矩陣變換可以計(jì)算出機(jī)器人坐標(biāo)系sr與攝像機(jī)坐標(biāo)系sc的轉(zhuǎn)換矩陣為:rTc。利用第三方的測(cè)量工具,如激光測(cè)距儀、高精度的攝像機(jī)等,可以得到目標(biāo)物體在攝像機(jī)坐標(biāo)系中的位姿,假設(shè)測(cè)得目標(biāo)物體相對(duì)于攝像機(jī)坐標(biāo)系的位姿為:cPo,可以得到目標(biāo)物體相對(duì)于機(jī)器人坐標(biāo)系的位姿rPo=rTc*cPo,rPo作為機(jī)器人控制器的輸入。獲取目標(biāo)物體的位姿最重要的一個(gè)步驟是在攝像機(jī)采集的圖像中找出目標(biāo)的特征點(diǎn)在圖像中的坐標(biāo),其工作流程如圖2所示。目標(biāo)特征點(diǎn)的坐標(biāo)提取過(guò)程分為兩步,分別為色標(biāo)定位和特征點(diǎn)定位。色標(biāo)定位的具體過(guò)程為在相機(jī)采集的原始圖像中根據(jù)目標(biāo)物體的色標(biāo)顏色信息,在HSV空間中確定色標(biāo)重心的位置。當(dāng)色標(biāo)跟蹤失敗的時(shí)候,系統(tǒng)會(huì)再次觸發(fā)色標(biāo)檢測(cè)的過(guò)程,確定當(dāng)前色標(biāo)的位置。特征點(diǎn)定位的具體過(guò)程,根據(jù)色標(biāo)定位得出的色標(biāo)的重心位置,從原始圖像中剪切得到包含目標(biāo)的圖像,提取SIFT特征點(diǎn),與運(yùn)動(dòng)目標(biāo)圖像的SIFT特征點(diǎn)匹配,通過(guò)得到的特征點(diǎn)極值,確定目標(biāo)在視頻幀圖像中的坐標(biāo)。2hsv對(duì)顏色的檢測(cè)從圖2中可以看出,色標(biāo)定位分為色標(biāo)檢測(cè)和確定色標(biāo)重心點(diǎn)兩個(gè)過(guò)程。在色標(biāo)定位過(guò)程中要對(duì)顏色信息進(jìn)行處理,由于HSV能夠分離顏色、亮度及飽和度信息,顏色分割時(shí)不易受光線影響,抗干擾比較好,所以本文把RGB顏色轉(zhuǎn)換到HSV空間中對(duì)色標(biāo)進(jìn)行檢測(cè)。RGB顏色空間轉(zhuǎn)換到HSV空間的轉(zhuǎn)換公式為:其中,max=MAX(R,G,B),H∈[0,360]。2.1圖像的初始遷移本文采用基于連續(xù)自適應(yīng)平均值遷移算法(Camshift算法),跟蹤目標(biāo)色標(biāo)。Camshift算法根據(jù)需要尋找的色標(biāo)顏色,得出圖像的顏色概率分布圖,然后在其搜索窗內(nèi)使用均值遷移算法(Meanshift算法),即先算出當(dāng)前點(diǎn)的偏移均值,移動(dòng)該點(diǎn)到其偏移均值,然后以此為新的起始點(diǎn),繼續(xù)移動(dòng),直到算法收斂時(shí),計(jì)算出跟蹤色塊的位置。根據(jù)圖像的H值的大小進(jìn)行閾值分割,公式如下:I(x,y)表示圖像中橫坐標(biāo)為x,縱坐標(biāo)為y的圖像的像素值,T_min,T_max表示閾值的范圍。2.2基于cancy邊緣檢測(cè)的圖像改進(jìn)在HSV空間中,根據(jù)公式(2)對(duì)目標(biāo)圖像進(jìn)行閾值分割,本文研究前提是目標(biāo)物體上藍(lán)色色標(biāo)所在的區(qū)域是二值圖像中最大的白色區(qū)域。對(duì)此二值圖像進(jìn)行區(qū)域標(biāo)記,尋找所有獨(dú)立的白色區(qū)域,其中面積最大的區(qū)域,即為目標(biāo)物體色標(biāo)所在的區(qū)域,消除此區(qū)域之外的所有獨(dú)立目標(biāo)。計(jì)算目標(biāo)圖像中色標(biāo)的外輪廓線,然后使用Canny算法對(duì)圖3原始圖像進(jìn)行處理,得到邊緣檢測(cè)圖。以二值圖像中的白色區(qū)域的輪廓點(diǎn)所在的坐標(biāo)為起始點(diǎn),在Canny邊緣檢測(cè)圖中尋找最近的邊緣點(diǎn),對(duì)所有的輪廓點(diǎn)依次進(jìn)行處理,即可以從Canny邊緣檢測(cè)圖中摘出藍(lán)色色標(biāo)的準(zhǔn)確的邊緣線,如圖4中輪廓線所示。從Canny邊緣檢測(cè)圖中得出了色標(biāo)的準(zhǔn)確的邊緣信息,在圖像平面建立坐標(biāo)系xoy,其中x軸沿水平方向,y軸沿豎直方向。把邊緣點(diǎn)的圖像坐標(biāo)看作是一個(gè)二維向量,以x,y坐標(biāo)值作為向量的兩個(gè)分量,即pi=(xi,yi)T,i=1,2,…,n,令p0=(xˉ,yˉ)Tp0=(xˉ,yˉ)Τ,其中xˉ=Ex?yˉ=Ey,p0xˉ=Ex?yˉ=Ey,p0為色標(biāo)圖像重心點(diǎn)。3sift特征點(diǎn)提取特征點(diǎn)定位的過(guò)程,是在得到色標(biāo)重心點(diǎn)的基礎(chǔ)上,剪切出目標(biāo)圖像,分析提取SIFT特征點(diǎn),與運(yùn)動(dòng)目標(biāo)圖像的SIFT特征點(diǎn)匹配,再由匹配特征點(diǎn)極值,計(jì)算得到目標(biāo)在圖像中的坐標(biāo)。3.1切圖像區(qū)域的劃分根據(jù)色標(biāo)定位得到的色標(biāo)重心位置,確定所要剪切圖像的區(qū)域。為保證能把目標(biāo)完整切割出來(lái),經(jīng)實(shí)驗(yàn)測(cè)試,本文切割一個(gè)以po為中心,邊長(zhǎng)為160pixel的正方形圖片,如圖6所示。3.2sift算法描述2004年,加拿大科學(xué)家David.G.Lowe在總結(jié)了已有的基于不變量技術(shù)的特征檢測(cè)方法后,提出了SIFT(ScaleInvariantFeatureTransform,尺度不變特征變換)算子。SIFT算法的核心是對(duì)特征點(diǎn)附加詳細(xì)的局部特征信息,即計(jì)算以特征點(diǎn)為中心的鄰域內(nèi)的梯度方向,該鄰域內(nèi)每一個(gè)點(diǎn)的梯度模乘以一個(gè)高斯函數(shù)作為權(quán)重,用投票的方式?jīng)Q定該特征點(diǎn)的主方向,以多維特征向量的形式,將SIFT特征全部集中在SIFT向量中,此向量即特征描述子。具體的算法過(guò)程為:(1)尺度空間的極值檢測(cè);(2)精確關(guān)鍵點(diǎn)定位;(3)計(jì)算特征點(diǎn)的主方向;(4)特征點(diǎn)描述子生成。3.3特征點(diǎn)的確定Lowe采用SIFT特征向量的歐氏距離來(lái)作為兩幅圖像中特征點(diǎn)的相似性判定度量。具體方法是首先取運(yùn)動(dòng)目標(biāo)圖像中的某個(gè)特征點(diǎn),并找出其與待測(cè)視頻幀中歐氏距離最近的前兩個(gè)特征點(diǎn),在這兩個(gè)特征點(diǎn)中,如果最近的距離除以次近的距離少于某個(gè)比例閾值,則接受這一對(duì)匹配點(diǎn)。在實(shí)際計(jì)算中,閾值變大能夠找到更多的匹配點(diǎn)對(duì),但是控制點(diǎn)的穩(wěn)定性下降將導(dǎo)致計(jì)算速度下降。閾值太小,則無(wú)法找到足夠數(shù)目的匹配點(diǎn),在實(shí)驗(yàn)過(guò)程中,閾值選取0.3～0.49范圍內(nèi),效果良好。3.4色標(biāo)重心p0點(diǎn)、剪切圖中目標(biāo)坐標(biāo)的對(duì)排放系數(shù)字視頻圖像行為的影響,視頻幀圖像中目標(biāo)坐標(biāo)的對(duì)示像點(diǎn)及其對(duì)應(yīng)關(guān)系,如表3從剪切目標(biāo)圖像的匹配點(diǎn)中,分別找出x坐標(biāo)的極值max_x,min_x,與y坐標(biāo)的極值max_y,min_y。利用均值得到剪切圖中目標(biāo)的位置坐標(biāo)。P(x,y)=(max_x+min_x2,max_y+min_y2)(3)Ρ(x,y)=(max_x+min_x2,max_y+min_y2)(3)如圖7所示,色標(biāo)重心p0點(diǎn)在視頻幀圖像中坐標(biāo)為(px,py),在剪切圖像中坐標(biāo)為(80,80),Q點(diǎn)在視頻幀圖像中坐標(biāo)為(x,y),在剪切圖像中坐標(biāo)為(x′,y′),視頻幀中目標(biāo)坐標(biāo)與剪切圖中目標(biāo)坐標(biāo)對(duì)映關(guān)系為:x=x′?80+Px,y=y′?80+Py(4)x=x′-80+Ρx,y=y′-80+Ρy(4)4實(shí)現(xiàn)視頻幀圖像目標(biāo)定位和目標(biāo)定位的實(shí)驗(yàn)和結(jié)果分析驗(yàn)證算法利用VC++和OpenCV軟件開(kāi)發(fā)平臺(tái),編寫(xiě)目標(biāo)特征提取和定位程序,實(shí)現(xiàn)視頻幀圖像目標(biāo)的特征提取和位置定位,實(shí)驗(yàn)結(jié)果分析驗(yàn)證其有效性。4.1實(shí)現(xiàn)算法的步驟(1)干擾色澤獨(dú)立區(qū)域的確定對(duì)采集到的視頻幀圖像進(jìn)行二值處理,得到色標(biāo)及干擾色塊的獨(dú)立區(qū)域。通過(guò)計(jì)算各獨(dú)立區(qū)域的面積,排除干擾色塊,并標(biāo)記色標(biāo)區(qū)域。對(duì)得到的色標(biāo)區(qū)進(jìn)行Canny邊緣檢測(cè),計(jì)算邊緣輪廓重心。(2)標(biāo)準(zhǔn)物質(zhì)的提取和調(diào)整以色標(biāo)重心為中心點(diǎn),在視頻幀上剪切160*160的小圖像計(jì)算尺度不變特征點(diǎn),與目標(biāo)圖像的特征點(diǎn)進(jìn)行匹配。(3)坐標(biāo)在匹配的特征點(diǎn)中找到極值特征點(diǎn),算出剪切圖像中的目標(biāo)坐標(biāo),通過(guò)圖像坐標(biāo)變換得到視頻幀的目標(biāo)坐標(biāo)。4.2剪切圖像的sift特征點(diǎn)利用上述的方法,對(duì)攝像機(jī)采集的視頻幀圖像進(jìn)行特征提取和目標(biāo)定位仿真實(shí)驗(yàn),得到實(shí)驗(yàn)過(guò)程及結(jié)果圖像如下。圖8(a)為攝像機(jī)原始采集的圖像,圖像的原始大小為640pixel*480pixel,圖8(b)是運(yùn)動(dòng)目標(biāo)圖像,視覺(jué)追蹤的目標(biāo)物體。圖像色標(biāo)檢測(cè)對(duì)原始圖像進(jìn)行閾值處理,生成二值圖像圖8(c),再進(jìn)行區(qū)域標(biāo)記去除噪音之后的效果圖8(d),圖8(e)為對(duì)目標(biāo)圖像進(jìn)行Canny邊緣檢測(cè)之后的效果圖,圖8(f)為尋找出來(lái)的色標(biāo)邊緣輪廓圖,圖8(g)中的白色圓圍住的點(diǎn),是色標(biāo)重心,重心位置坐標(biāo)為(438,256)。色標(biāo)重心確定之后剪切出來(lái)的圖像的大小為160pixel*160pixel,如圖8(i)所示。圖8(j)為運(yùn)動(dòng)目標(biāo)圖像與剪切圖像的SIFT特征點(diǎn)匹配圖,由特征點(diǎn)極值確定剪切圖中目標(biāo)的位置,如圖8(k)所示綠色的圓圍住的點(diǎn),最后得到視頻幀上目標(biāo)物體的位置坐標(biāo)點(diǎn)。計(jì)算所得剪切圖目標(biāo)位置坐標(biāo)和視頻幀的目標(biāo)位置坐標(biāo)為,如圖8(k)和8(l)所示。剪切圖目標(biāo)坐標(biāo):p(x,y)=(76,89),視頻幀目標(biāo)坐標(biāo):g(x,y)=(434,265)。5特征點(diǎn)定位和點(diǎn)獲取本文針對(duì)移動(dòng)機(jī)器人的單目視覺(jué)系統(tǒng),提出了一種實(shí)時(shí)的目標(biāo)識(shí)別和特征提取方法。通過(guò)為目標(biāo)物體添加色標(biāo),分別利用色標(biāo)的顏色信息和尺度不變特征信息,實(shí)現(xiàn)目標(biāo)的色標(biāo)定位和特征點(diǎn)定位。色標(biāo)定位是一個(gè)確定色標(biāo)重心的過(guò)程,可以快速確定目標(biāo)在攝像機(jī)圖像中的區(qū)域,實(shí)時(shí)跟蹤目標(biāo),同時(shí)避免了同場(chǎng)景中顏色相近物體的干擾。特征點(diǎn)定位是目標(biāo)定位的過(guò)程,通過(guò)視頻幀剪切圖與運(yùn)動(dòng)目標(biāo)圖像的SIFT匹配特征點(diǎn)極值,確定目標(biāo)坐標(biāo)。此方法對(duì)尺度縮放,