主成分分析法(PCA)

維度規(guī)約

主成分分析（PCA）2021/5/91在模式識(shí)別中，一個(gè)常見(jiàn)的問(wèn)題就是特征選擇或特征提取，在理論上我們要選擇與原始數(shù)據(jù)空間具有相同的維數(shù)。然而，我們希望設(shè)計(jì)一種變換使得數(shù)據(jù)集由維數(shù)較少的“有效”特征來(lái)表示。2021/5/92主成分分析主成分分析(或稱主分量分析，principalcomponentanalysis)由皮爾遜(Pearson,1901)首先引入，后來(lái)被霍特林(Hotelling,1933)發(fā)展了。在PCA中，我們感興趣的是找到一個(gè)從原d維輸入空間到新的k維空間的具有最小信息損失的映射X在方向w上的投影為2021/5/93

主成分分析（PCA）一、主成分的定義及導(dǎo)出二、主成分的性質(zhì)三、從相關(guān)陣出發(fā)求主成分2021/5/94一、主成分的定義及導(dǎo)出設(shè)為一個(gè)維隨機(jī)向量，主成分是這樣的，樣本投影到上之后被廣泛散布，使得樣本之間的差別變得最明顯，即最大化方差。設(shè)希望在約束條件下尋求向量，使最大化2021/5/95寫成拉格朗日問(wèn)題現(xiàn)在關(guān)于求導(dǎo)并令其等于0，得到如果是的特征向量，是對(duì)應(yīng)的特征值，則上式是成立的2021/5/96同時(shí)我們還得到為了使方差最大，選擇具有最大特征值的特征向量，因此，第一個(gè)主成分是輸入樣本的協(xié)方差陣的具有最大特征值對(duì)應(yīng)的特征向量2021/5/97第二個(gè)主成分也應(yīng)該最大化方差，具有單位長(zhǎng)度，并且與正交對(duì)于第二個(gè)主成分，我們有關(guān)于w2求導(dǎo)并令其為0，我們有2021/5/98上式兩邊乘以其中可知，并且可得2021/5/99這表明w2應(yīng)該是的特征向量，具有第二大特征值類似的，我們可以證明其它維被具有遞減的特征值的特征向量給出2021/5/910我們來(lái)看另一種推導(dǎo)：如果我們建立一個(gè)矩陣C，其第i列是的規(guī)范化的特征向量，則，并且2021/5/911其中，是對(duì)象矩陣，其對(duì)角線元素是特征值，這稱為的譜分解由于C是正交的，并且,我們?cè)诘淖笥覂蛇叧艘院停玫轿覀冎廊绻?，則，我們希望它等于一個(gè)對(duì)角矩陣，于是，可以令2021/5/912在實(shí)踐中，即使所有的特征值都大于0，我們知道，某些特征值對(duì)方差的影響很小，并且可以丟失，因此，我們考慮例如貢獻(xiàn)90%以上方差的前k個(gè)主要成分，當(dāng)降序排列時(shí)，由前k個(gè)主要成分貢獻(xiàn)的方差比例為2021/5/913實(shí)踐中，如果維是高度相關(guān)的，則只有很少一部分特征向量具有較大的特征值，k遠(yuǎn)比n小，并且可能得到很大的維度歸約2021/5/914總方差中屬于主成分的比例為

稱為主成分的貢獻(xiàn)率。第一主成分的貢獻(xiàn)率最大，表明它解釋原始變量的能力最強(qiáng)，而的解釋能力依次遞減。主成分分析的目的就是為了減少變量的個(gè)數(shù)，因而一般是不會(huì)使用所有主成分的，忽略一些帶有較小方差的主成分將不會(huì)給總方差帶來(lái)大的影響。2021/5/915前個(gè)主成分的貢獻(xiàn)率之和

稱為主成分的累計(jì)貢獻(xiàn)率，它表明解釋的能力。通常取較小的k，使得累計(jì)貢獻(xiàn)達(dá)到一個(gè)較高的百分比(如80％～90％)。此時(shí)，可用來(lái)代替，從而達(dá)到降維的目的，而信息的損失卻不多。2021/5/916主成分分析的應(yīng)用在主成分分析中，我們首先應(yīng)保證所提取的前幾個(gè)主成分的累計(jì)貢獻(xiàn)率達(dá)到一個(gè)較高的水平，其次對(duì)這些被提取的主成分必須都能夠給出符合實(shí)際背景和意義的解釋。主成分的解釋其含義一般多少帶有點(diǎn)模糊性，不像原始變量的含義那么清楚、確切，這是變量降維過(guò)程中不得不付出的代價(jià)。2021/5/917如果原始變量之間具有較高的相關(guān)性，則前面少數(shù)幾個(gè)主成分的累計(jì)貢獻(xiàn)率通常就能達(dá)到一個(gè)較高水平，也就是說(shuō)，此時(shí)的累計(jì)貢獻(xiàn)率通常較易得到滿足。主成分分析的困難之處主要在于要能夠給出主成分的較好解釋，所提取的主成分中如有一個(gè)主成分解釋不了，整個(gè)主成分分析也就失敗了。2021/5/918支持向量機(jī)（補(bǔ)充講義）上節(jié)課，我們討論了SVM的分類，這里簡(jiǎn)略地討論如何將SVM推廣到回歸上我們還是使用線性模型：

2021/5/919對(duì)于回歸，我們使用差的平方作為誤差:對(duì)于支持向量機(jī)的回歸，我們使用2021/5/920這意味著我們?nèi)萑谈哌_(dá)的誤差，并且超出的誤差具有線性而不是平方影響。這種誤差函數(shù)更能抵制噪聲，因而更加魯棒類似的，我們引入松弛變量來(lái)處理超過(guò)的偏差其中C是一個(gè)訓(xùn)練誤差和懲罰項(xiàng)