機器學習算法與實踐 課件 第10章 數(shù)據(jù)降維

第十章數(shù)據(jù)降維

數(shù)據(jù)降維是緩解維數(shù)災難常用方法之一，是將原始數(shù)據(jù)映射到低維子空間，以達到降低維度的目的，這個過程中數(shù)據(jù)的特征發(fā)生了本質的變化，新的子空間的特征不再是原來的特征，因此不存在完全無損的降維方法，區(qū)別只是損失多少的問題.

針對研究對象，我們通常會收集一系列特征屬性，對研究對象進行分析，屬性越多，越有利于細致研究分析。但是隨著屬性增多，也會增加后續(xù)數(shù)據(jù)處理的運算量，帶來較大的處理負擔。110.1

數(shù)據(jù)降維概述

數(shù)據(jù)降維方法從不同角度可以分為不同的類別，根據(jù)數(shù)據(jù)的特性劃分，有線性降維和非線性降維；根據(jù)是否利用數(shù)據(jù)的監(jiān)督信息劃分，有無監(jiān)督降維、有監(jiān)督降維和半監(jiān)督降維；根據(jù)是否保持數(shù)據(jù)的結構劃分，有全局保持降維、局部保持降維和全局與局部保持一致降維等。需要根據(jù)特定的問題選擇合適的數(shù)據(jù)降維方法.

本章主要介紹常見的兩種數(shù)據(jù)降維技術：主成分分析（PrincipalComponentAnalysis，簡稱PCA）、線性判別分析（LinearDiscriminantAnalysis，簡稱LDA）。210.2

主成分分析3

主成分分析（PrincipalComponentAnalysis，PCA）主要用于發(fā)現(xiàn)數(shù)據(jù)中變量之間的關系，是數(shù)據(jù)分析的有力工具，是一種常用的無監(jiān)督學習方法，其原理是通過通過正交變換將一組可能存在相關性的變量轉換為一組線性不相關的變量，轉換后的這組變量叫主成分，它是原特征的線性組合，其個數(shù)通常小于原始變量的個數(shù)。10.2

主成分分析PCA算法原理：（1）由于樣本的屬性特征維數(shù)較高，相互之間存在關聯(lián)關系.為了消除相關性，對原始屬性進行線性線性組合，找到一組彼此不相關的屬性特征；（2）在新的屬性特征中，刪除一些不重要的特征，保留較少特征數(shù)，同時保證損失較小.利用線性代數(shù)的知識對此進行解釋：

410.2.1

PCA算法原理

5

10.2.1

PCA算法原理6

對于二維降一維問題，只需要找到一個基向量就夠了，即方差最大化就夠了。但對于更高維的問題，還有其他基向量需要求解.10.2.1

PCA算法原理7

例如，三維降二維，第一個基向量通過方差找到，第二個如果也利用方差，那么它與第一個基向量幾乎重合.我們希望第二個基向量與第一個線性無關，而協(xié)方差可以表示樣本某兩個屬性的相關性.當協(xié)方差為0時，表示樣本的某兩個屬性獨立。

由上述討論知，我們希望單個屬性上方差最大，兩兩屬性間協(xié)方差為0。為將二者統(tǒng)一，我們考慮協(xié)方差矩陣。10.2.1

PCA算法原理

那么同樣地，可以推廣至更高維。8

10.2.1

PCA算法原理若要找到一組新的正交基，使得在這組基下的樣本集的協(xié)方差矩陣為對角陣，并且為了找到最大方差，對角線上元素應從大到小排列。

910.2.1

PCA算法原理

利用特征值分解利用奇異值（SVD）分解

1010.2.1

PCA算法原理那么此時

SVD降維與特征值降維雖然原理一致，但不需要計算協(xié)方差矩陣，節(jié)省了計算量。1110.2.1

PCA算法原理貢獻率

對于利用SVD實現(xiàn)的降維，我們可以利用奇異值衡量，將上面兩個公式中的特征值替換為對應的奇異值即可。

1210.2.2

特征值分解降維利用特征值和特征向量實現(xiàn)PCA算法基本步驟：

1310.2.3

奇異值分解降維利用SVD實現(xiàn)PCA算法基本步驟：

1410.3線性判別分析(LinearDiscriminantAnalysis，簡稱LDA)LDA是一種經(jīng)典的線性學習方法、分類算法，也是一種有監(jiān)督降維方法?；舅枷雽?shù)據(jù)投影到低維空間上，并且希望投影后的數(shù)據(jù)點滿足：同一類別盡可能“接近”，不同類別盡可能“遠離”。1510.3線性判別分析(LinearDiscriminantAnalysis，簡稱LDA)算法原理(以二分類問題為例)：

1610.3線性判別分析

1710.3線性判別分析二分類問題（1）廣義Rayleigh商

1810.3線性判別分析（2）類內(nèi)散度

1910.3線性判別分析

那么投影后的兩類樣本的方差和為

定義類內(nèi)散度矩陣為2010.3線性判別分析（3）類間散度

（4）LDA模型（二分類）

2110.3線性判別分析

2210.3線性判別分析多分類問題

類內(nèi)散度重新定義為每個類別的協(xié)方差矩陣之和：

類間散度為：23

全局散度矩陣定義為全局協(xié)方差矩陣

10.3線性判別分析LDA模型（多分類）

目標函數(shù)