低秩線性回歸模型的魯棒性分析

低秩線性回歸模型的魯棒性分析

1影響高維數(shù)據(jù)回歸模型的因素回歸模型方法是解決計算機(jī)視覺問題的重要方法之一?；貧w模型旨在通過擬合方法建立線性關(guān)系來得到投影矩陣從而觀測數(shù)據(jù),并對數(shù)據(jù)進(jìn)行分類。線性回歸模型有兩大受制約的因素:1)分析高維數(shù)據(jù)的能力不足。樣本和標(biāo)簽不易采集,除此之外,通常會遇到curse-of-dimensionality問題最小二乘回歸(LeastSquareRegression,LSR)公式簡單、求解容易,在計算機(jī)視覺和模式識別中應(yīng)用廣泛低秩方法可以有效地恢復(fù)圖像,減少圖像的噪聲和陰影,并使算法的運(yùn)算速度大大提高?；诘椭茸钚』梢愿玫亓私獾讓訑?shù)據(jù)的關(guān)聯(lián)結(jié)構(gòu)。魯棒性主成分分析(RobustPrincipalComponentAnalysis,RPCA)2線性回歸與低秩線性回歸模型假設(shè)有K類訓(xùn)練樣本,其中每類訓(xùn)練樣本數(shù)為N2.1線性回歸模型傳統(tǒng)的用于分類的線性回歸模型是通過解決式(1)問題,將訓(xùn)練樣本的特征盡可能地逼近目標(biāo)矩陣:其中,Y∈R2.2正則化參數(shù)低秩線性回歸LRLR假設(shè)D=AB(A∈R式(2)由于引入了低秩的限制,因此是一個非凸、非光滑的目標(biāo)函數(shù),文獻(xiàn)其中正則化參數(shù)λ(λ>0)起到使解更加穩(wěn)定以及平衡矩陣D的秩和線性回歸目標(biāo)矩陣關(guān)系的作用。與LRLR相比,Low-rankridgeregression(LRRR)在LRLR的基礎(chǔ)上加入了對投影矩陣D的正則化,從而有效地緩解了LRLR中的過擬合現(xiàn)象。LRRR目標(biāo)函數(shù)如下:理論上LRRR模型也可以寫成:從式(6)可以看出,LRRR在一定程度上與文獻(xiàn)3性別低度線性回歸3.1判別性低秩線性回歸雖然LRRR,SLRR,DENLR和MENLR等方法在一定程度上減小了過擬合現(xiàn)象帶來的影響,但是其只是針對投影矩陣(模型輸出系數(shù)矩陣)的正則化。而且,上述幾種方法都只考慮樣本點(diǎn)之間的關(guān)聯(lián)性,忽視了樣本類與類之間的整體性,從而導(dǎo)致待測樣本在投影子空間極可能錯誤逼近。從圖1可以更直觀地看出測試樣本投影到子空間后,得到的數(shù)據(jù)為[0000.20.40.4]。我們很難判斷出測試樣本屬于第5類還是第6類,這就導(dǎo)致測試樣本很難選擇正確的類別。針對以上不足,本文提出了判別性低秩線性回歸。其目標(biāo)函數(shù)如下:由于式(7)是一個NP-hard問題,我們用和函數(shù)替代低秩限制條件,得到:3.2判別性低秩線性回歸分類算法因為式(9)附有低秩D=AB的限制,因此屬于非凸、非光滑問題。我們利用增廣拉格朗日乘子ALM其中,〈M,D-AB〉=tr(M更新矩陣A。假設(shè)除矩陣A外的其他變量固定不變,式(9)變?yōu)榈湫偷恼齽t化最小二乘問題:通過求導(dǎo),可得到優(yōu)化后的矩陣A。即A更新矩陣B。假設(shè)除矩陣B外的其余變量固定不變,式(9)可寫成:對f(B)求導(dǎo):更新矩陣D。假設(shè)除矩陣D以外的其余變量均保持不變,式(9)可變?yōu)?對f(D)求導(dǎo):更新后得到:算法的流程如圖2所示。判別性低秩線性回歸分類算法對某一測試樣本y的分類步驟如算法1所示。將待測試樣本映射到子空間y4實驗?zāi)M為了驗證本文算法的有效性,將其與LRC4.1低秩線性回歸方法識別結(jié)果AR人臉數(shù)據(jù)共有126個類別。每人有26張人臉圖片,其中有14張圖片包含光照、表情,有12張為遮擋圖片(圍巾、墨鏡遮擋)。本文選取了50個男性和50個女性的所有圖片,共計100個類別,圖片像素調(diào)整為32×32。實驗中從每一類分別隨機(jī)選取4,6,8,10張圖片作為訓(xùn)練樣本,剩余的作為測試樣本,實驗參數(shù)為:λ為了清楚地觀察低秩的大小對實驗結(jié)果的影響,以AR26數(shù)據(jù)庫6Train為例,給出基于低秩線性回歸方法的識別率曲線,如圖4所示。從圖中可以清楚地看出,隨著低秩大小s的改變,本文方法與其他幾種低秩線性回歸方法相比識別率是最高的。4.2圖像像素大小FERET數(shù)據(jù)庫是人臉識別領(lǐng)域應(yīng)用最廣泛的人臉數(shù)據(jù)庫之一。其包含200人,每人7張共計1400張多姿態(tài)、光照的灰度人臉圖像。本文選取的圖片像素大小為80×80。實驗中從每一類隨機(jī)選取5張和6張作為訓(xùn)練樣本,剩余的用于測試。實驗參數(shù)為:λ4.3實驗數(shù)據(jù)集的選擇Stanford40Actions數(shù)據(jù)庫包含40種動作(刷牙、掃地、讀書等),本文選取每一個動作樣本100張,共計4000張作為實驗數(shù)據(jù)集。每張圖片采用VGG-verydeep-194.4圖像數(shù)據(jù)庫設(shè)計Caltech-UCSDBirds數(shù)據(jù)庫是由加利福尼亞理工學(xué)院采集的鳥類數(shù)據(jù)庫,數(shù)據(jù)庫包含了200種鳥類的11788張圖片。由于鳥類之間有高度的相似性,因此該數(shù)據(jù)庫是模式識別領(lǐng)域中極具挑戰(zhàn)性的。本文實驗選取了每種鳥類的40張,共計4000張圖片作為數(shù)據(jù)集,并用VGG-verydeep-19提取了VGG19特征,作為數(shù)據(jù)向量。實驗分別選取每種鳥類的5,10,15張圖片作為訓(xùn)練樣本,剩余的用于測試。實驗參數(shù)如下:λ4.5實驗數(shù)據(jù)集的構(gòu)建Oxford102Flowers數(shù)據(jù)庫是圖像識別領(lǐng)域的重要數(shù)據(jù)庫之一,其包含了102種花,共計8189張圖片,每種花至少40張圖片。其中每種花具有不同的大小、光照、樣式。本文實驗選取每種花40張圖片作為數(shù)據(jù)集,共計4080張圖片;并用VGG-verydeep-19提取了VGG19特征,作為數(shù)據(jù)向量。實驗分別選取每種鳥類的5,10,15張圖片作為訓(xùn)練,剩余的用于測試。實驗參數(shù)如下:λ4.6在運(yùn)行時間上測試從上述5個數(shù)據(jù)庫的實驗結(jié)果來看,在AR數(shù)據(jù)庫上4Train時本文方法的識別率低于DENLR,不過本文方法依然比另外9種方法的識別率要高。本文方法除了在AR數(shù)據(jù)庫4Train時的識別率不是最佳的,在其他的14次實驗中整體上識別率比對比的10類方法都更高。為了便于觀測最佳實驗結(jié)果,我們在實驗結(jié)果中用黑體表示該實驗中的最佳識別率。由于引入了類別之間的判別信息,因此算法不僅可以更好地緩解過擬合現(xiàn)象,而且能夠降低迭代次數(shù),減少運(yùn)行時間,實驗中一般迭代2~3次就能達(dá)到優(yōu)化的效果;值得注意的是,低秩線性回歸方法運(yùn)行的時間總體上快于基于稀疏表示的分類方法。這是由于稀疏表示需要將每一個待測試的樣本由所有訓(xùn)練樣本線性表示求得稀疏表示的系數(shù)值,而低秩線性回歸方法類似于求一種低維的子空間,通過將數(shù)據(jù)投影到子空間進(jìn)行分類識別。從表5的各類方法的運(yùn)行時間來看,本文方法的運(yùn)行速度最快,不僅遠(yuǎn)快于基于稀疏表示的分類方法,而且與其他幾類基于低秩線性回歸的方法相比,運(yùn)行