智能機(jī)器人原理與應(yīng)用 課件 第12章 家庭智能空間服務(wù)機(jī)器人環(huán)境功能區(qū)認(rèn)知

智能機(jī)器人原理與應(yīng)用“智能檢測(cè)技術(shù)與模式識(shí)別”研究所12家庭智能空間服務(wù)機(jī)器人環(huán)境功能區(qū)認(rèn)知室內(nèi)功能區(qū)是指根據(jù)房屋的使用功能和各共有建筑部位的服務(wù)范圍而劃分的區(qū)域．服務(wù)機(jī)器人室內(nèi)功能區(qū)認(rèn)知旨在建立一種人機(jī)共融式的功能區(qū)認(rèn)知框架，機(jī)器人通過(guò)視覺(jué)系統(tǒng)將室內(nèi)功能區(qū)場(chǎng)景圖像捕捉到大腦，經(jīng)由預(yù)先學(xué)習(xí)的認(rèn)知框架加以分析，得到該場(chǎng)景圖像的深層功能屬性，這一過(guò)程與人類場(chǎng)景認(rèn)知機(jī)理類似．本章提出了基于CLM（無(wú)碼本模型）的家庭服務(wù)機(jī)器人室內(nèi)功能區(qū)分類方法．首先，采用SURF（加速魯棒特征）提取算法獲得底層特征；其次，考慮到本文采用的室內(nèi)功能區(qū)數(shù)據(jù)集背景噪聲特點(diǎn)，去除背景雜波的濾除過(guò)程，提高運(yùn)算效率；最后，采用改進(jìn)的SVM作為分類器，較現(xiàn)有CLM方法更加簡(jiǎn)潔高效，適用于較低配置的機(jī)器人．12.1功能區(qū)認(rèn)知的系統(tǒng)框架不同于詞袋模型通過(guò)學(xué)習(xí)碼本統(tǒng)計(jì)局部特征分布并對(duì)描述符進(jìn)行編碼的方法（如圖12.1所示），CLM模型直接用描述符表示圖像，無(wú)需預(yù)先訓(xùn)練碼本和隨后的編碼，具有規(guī)避詞袋模型上述限制的優(yōu)勢(shì)。此外，本章從底層特征與分類器兩方面進(jìn)行了優(yōu)化改進(jìn)。圖12.1詞袋模型與CLM模型構(gòu)建過(guò)程及對(duì)比基于CLM的家庭服務(wù)機(jī)器人室內(nèi)服務(wù)環(huán)境分類方法主要分為特征提取、離線構(gòu)建圖像表示模型和在線分類檢測(cè)3個(gè)階段。特征提取階段：以室內(nèi)環(huán)境的灰度圖像作為輸入，計(jì)算SURF特征描述子，獲得不同場(chǎng)景類別的特征描述。離線構(gòu)建圖像表示模型階段：考慮到構(gòu)建碼本的局限性，本文采用無(wú)碼本的CLM替代詞袋模型構(gòu)建室內(nèi)功能區(qū)的表示模型。首先，構(gòu)建單高斯模型的圖像表示；然后，使用一個(gè)有效的兩步度量方法匹配高斯模型，并引入2個(gè)重要參數(shù)改進(jìn)所使用的距離度量公式；最后，采用改進(jìn)的SVM學(xué)習(xí)方法，進(jìn)行室內(nèi)功能區(qū)的分類。在線檢測(cè)階段：將一組新的圖像作為測(cè)試集，通過(guò)與訓(xùn)練的圖像模型匹配，對(duì)測(cè)試集圖像進(jìn)行分類，通過(guò)分類精度判斷模型的有效性和實(shí)用性。12.1功能區(qū)認(rèn)知的系統(tǒng)框架12.2功能區(qū)圖像模型構(gòu)建12.2.1提取圖像特征描述符即使同類別的2張室內(nèi)功能區(qū)圖像之間也會(huì)存在拍攝角度、光照變化、尺度大小等方面的差異，從而影響分類判別的精度．SURF算法是一種圖像局部特征計(jì)算方法，基于物體上的一些局部外觀的興趣點(diǎn)而生成，對(duì)方向旋轉(zhuǎn)、亮度變化、尺度縮放具有不變性，對(duì)視角偏移、仿射變換、噪聲雜波也具有一定的穩(wěn)定性．SURF算法在保留了SIFT算法的優(yōu)良性能的基礎(chǔ)上，特征更為精簡(jiǎn)，在降低算法復(fù)雜度的同時(shí)提高了計(jì)算效率．12.2功能區(qū)圖像模型構(gòu)建12.2.1提取圖像特征描述符基于SURF算法的功能區(qū)特征提取算法具體如下：輸入：室內(nèi)功能區(qū)的灰度圖像．輸出：室內(nèi)功能區(qū)的64維SURF特征矩陣．步驟1：對(duì)輸入圖像進(jìn)行高斯濾波，得到濾波后圖像，繼而分別求各個(gè)方向上的2階導(dǎo)數(shù)．步驟2：構(gòu)造圖像的Hessian．步驟3：通過(guò)對(duì)每個(gè)像素的Hessian矩陣求行列式的值，得到每個(gè)像素點(diǎn)的近似表示，遍歷每個(gè)像素的Hessian矩陣，得到圖像的響應(yīng)圖像．步驟4：改變參數(shù)值，得到不同尺度下的高斯平滑圖像，形成高斯金字塔．步驟5：對(duì)某一像素點(diǎn)，得到鄰域內(nèi)的極值，記為鄰域內(nèi)的特征點(diǎn)．步驟6：選取主方向，然后把正方形框分為16個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)統(tǒng)計(jì)水平方向和垂直方向（相對(duì)主方向而言）的Haar小波特征，得到64維的圖像特征向量．．12.2功能區(qū)圖像模型構(gòu)建12.2.2分類器的選擇本文通過(guò)采用對(duì)數(shù)－歐氏計(jì)算框架，得到了基于線性空間的高斯模型匹配度量公式，故可以采用線性分類器對(duì)數(shù)據(jù)進(jìn)行分類．常見(jiàn)的線性分類器有邏輯回歸、SVM、感知機(jī)、K均值法等．將SVM分類器用于本文中功能區(qū)分類具有如下優(yōu)勢(shì)：(1)SVM以結(jié)構(gòu)化風(fēng)險(xiǎn)最小為優(yōu)化目標(biāo)，相較于其他幾種分類器具有更強(qiáng)的泛化能力；(2)家庭服務(wù)機(jī)器人的應(yīng)用場(chǎng)景主要為室內(nèi)，功能區(qū)樣本集種類有限，而SVM在少量的支持向量的基礎(chǔ)上確定的分類超平面，其受樣本數(shù)量的影響較小，具有很好的魯棒性；(3)本文采用CLM構(gòu)建的室內(nèi)功能區(qū)表示模型，相較于傳統(tǒng)基于碼本的表示方法維度較高，SVM提供了一種規(guī)避高維空間復(fù)雜性問(wèn)題的思路，即直接用此空間的內(nèi)積函數(shù)（核函數(shù)），結(jié)合在線性可分情況下的求解方法，直接求解高維空間的決策問(wèn)題．基于上述考慮，故本章采用SVM作為最終的分類器．12.2.3室內(nèi)功能區(qū)建模算法輸入：5種室內(nèi)功能區(qū)的灰度級(jí)圖像．輸出：室內(nèi)功能區(qū)表示模型．步驟1：在5種室內(nèi)功能區(qū)的灰度級(jí)圖像上計(jì)算SURF特征描述子；步驟2：運(yùn)用空間金字塔匹配方法，將功能區(qū)圖像分成一些規(guī)則的區(qū)域；步驟3：在每個(gè)區(qū)域上，運(yùn)用最大似然法，聯(lián)合平均向量和協(xié)方差矩陣，構(gòu)建一個(gè)單高斯模型，并引入?yún)?shù)和作為平均向量和協(xié)方差矩陣平衡因子；步驟4：連接各區(qū)域得到的單高斯模型，每個(gè)高斯模型進(jìn)行加權(quán)，由連接后的混合高斯模型表示整體的功能區(qū)圖像；步驟5：由混合高斯模型表示的整體功能區(qū)圖像數(shù)據(jù)，聯(lián)合SVM訓(xùn)練用于功能區(qū)圖像的分類器．12.2功能區(qū)圖像模型構(gòu)建12.3在線檢測(cè)算法為了驗(yàn)證本文方法的可靠性和實(shí)用性，選取新的圖片作為測(cè)試集對(duì)模型進(jìn)行匹配檢驗(yàn)．輸入：5種室內(nèi)功能區(qū)的灰度級(jí)圖像．輸出：室內(nèi)功能區(qū)分類精度及其分類混淆矩陣．步驟1：選取不同于訓(xùn)練集的5種室內(nèi)功能區(qū)圖像各20張組成測(cè)試集，并在功能區(qū)灰度級(jí)圖像上計(jì)算SURF特征描述子，為了確保協(xié)方差矩陣是正定的，設(shè)置圖像的寬度和高度的最小尺寸為64；步驟2：在室內(nèi)功能區(qū)圖像上依照離線訓(xùn)練階段基于CLM模型的建模方法，構(gòu)建測(cè)試集中是室內(nèi)功能區(qū)的圖像表示模型；步驟3：將室內(nèi)功能區(qū)的圖像表示模型分別送入SVM分類器進(jìn)行分類檢驗(yàn)，得到各自的分類精度、分類效率以及分類混淆矩陣．12.4實(shí)驗(yàn)本文采用Scene15數(shù)據(jù)集，針對(duì)家庭服務(wù)機(jī)器人室內(nèi)服務(wù)環(huán)境分類問(wèn)題驗(yàn)證所提出的模型的性能．該數(shù)據(jù)集收集了包括室內(nèi)和室外共15種場(chǎng)景，室內(nèi)場(chǎng)景有臥室、廚房、客廳、辦公室、商店5五種場(chǎng)景．考慮到家庭服務(wù)機(jī)器人工作于室內(nèi)環(huán)境，故本文在該數(shù)據(jù)集中的5種室內(nèi)場(chǎng)景上檢驗(yàn)本文提出的模型的性能．該數(shù)據(jù)集的5種室內(nèi)場(chǎng)景數(shù)據(jù)中，每種場(chǎng)景都包含200多張不同格局布置的圖像，是目前研究室內(nèi)場(chǎng)景分類判別問(wèn)題比較理想的數(shù)據(jù)集．本文每種場(chǎng)景分別選取40張圖像作為訓(xùn)練集，20張圖像組成測(cè)試集，5種場(chǎng)景的示例圖片如圖12.2所示．12.4.1實(shí)驗(yàn)數(shù)據(jù)集圖12.25種室內(nèi)場(chǎng)景示例12.4實(shí)驗(yàn)從表12.1給出的實(shí)驗(yàn)結(jié)果中可分析得出以下結(jié)論：對(duì)于5種場(chǎng)景的分類情況，本文所使用的CLM模型對(duì)每類場(chǎng)景的分類精度與分類效率都高于LazebnikS和WangQL的方法．對(duì)比LazebnikS的方法，由于本文方法省去了視覺(jué)詞典的構(gòu)建以及碼本的編碼過(guò)程，因此模型的構(gòu)建速度得到大幅度提升，且降低了對(duì)計(jì)算設(shè)備的配置要求，更具實(shí)用性和推廣性．WangQL首先采用SIFT特征提取算法計(jì)算圖像的多尺度特征，其次加入了背景濾波的方法對(duì)圖像特征加以篩選，然后基于CLM模型表示圖像，最后采用低秩變換SVM進(jìn)行分類．對(duì)比WangQL采用的方法，首先，本文采用SURF算法計(jì)算圖像底層特征，在很大程度上降低了特征的維度計(jì)算，此外，鑒于采用低秩變換后的SVM會(huì)丟失圖像信息，降低分類精確率，故本文并未采用低秩變換．12.4.2實(shí)驗(yàn)結(jié)果及分析方法單類分類正確率平均正確率樣本分類平均時(shí)間臥室廚房客廳辦公室商店LazebnikS方法65.00%60.00%70.00%65.00%95.00%71.00%0.36s本文方法95.00%80.00%95.00%86.67%98.33%91.04%0.36sWangQL方法95.00%75.00%98.33%73.33%93.33%87.00%0.51s表12.1本文算法與其他算法的性能對(duì)比分析12.4實(shí)驗(yàn)圖12.3給出了一次實(shí)驗(yàn)的分類混淆矩陣，圖12.3(a)是詞袋模型與SVM相結(jié)合的分類結(jié)果，圖12.3(b)是CLM模型與SVM相結(jié)合的分類結(jié)果，可以看出使用詞袋模型時(shí)室內(nèi)場(chǎng)景的分類混淆情況是比較嚴(yán)重的，而本文采用的方法具有很好的魯棒性．12.4.2實(shí)驗(yàn)結(jié)果及分析(a)BOW+SVM(b)CLM+SVM圖12.3不同模型下的分類混淆情況對(duì)比12.4實(shí)驗(yàn)分類器的選擇與分類結(jié)果是相互耦合的關(guān)系，所以為了驗(yàn)證本文采用的分類器的合理性，本文做了進(jìn)一步的驗(yàn)證實(shí)驗(yàn)，分別對(duì)比了AdaBoost分類器、隨機(jī)森林分類器和本文所用SVM分類器的性能．從表12.2的實(shí)驗(yàn)結(jié)果來(lái)看，無(wú)論是在基于詞袋模型的場(chǎng)景分類實(shí)驗(yàn)中，還是在本文提出的模型實(shí)驗(yàn)中，分類器的不同會(huì)對(duì)分類精度和分類效率產(chǎn)生明顯的影響．本文使用的分類方法，分類精度理想，分類效率高，滿足了服務(wù)機(jī)器人實(shí)時(shí)自主作業(yè)的要求．12.4.2實(shí)驗(yàn)結(jié)果及分析方法單類分類正確率平均正確率樣本分類平均時(shí)間臥室廚房客廳辦公室商店LazebnikS方法65.00%60.00%70.00%65.00%95.00%71.00%0.36sLazebnikS方法+AdaBoost分類器45.00%30.00%60.00%60.00%70.00%53.00%0.40s本文方法95.00%80.00%95.00%86.67%98