主成分分析-從一維到多維

主成分分析_從一維到多維第一頁，共68頁。引言提綱主成分分析（PCA）二維主成分分析（2DPCA）總結(jié)多維主成分分析（MPCA）第二頁，共68頁?；驍?shù)據(jù)引言：高維數(shù)據(jù)人臉圖像數(shù)據(jù)數(shù)字手寫體數(shù)據(jù)……其他數(shù)據(jù)第三頁，共68頁。降維——從3維到2維第四頁，共68頁。?高維數(shù)據(jù)的降維技術(shù)如何挖掘高維數(shù)據(jù)中隱藏的知識高維數(shù)據(jù)內(nèi)蘊知識……線性鑒別分析（LDA）流形學(xué)習(xí)（ML）主成分分析（PCA）第五頁，共68頁。LineartransformationOriginaldatareduceddata線性降維技術(shù)數(shù)學(xué)模型第六頁，共68頁。主成分分析（PCA）第七頁，共68頁。[1]L.SirovichandM.Kirby,“Low-DimensionalProcedureforCharacterizationofHumanFaces,”J.OpticalSoc.Am.,vol.4,pp.519-524,1987.[2]M.KirbyandL.Sirovich,“ApplicationoftheKLProcedurefortheCharacterizationofHumanFaces,”IEEETrans.PatternAnalysisandMachineIntelligence,vol.12,no.1,pp.103-108,Jan.1990.[3]M.TurkandA.Pentland,“EigenfacesforRecognition,”J.CognitiveNeuroscience,vol.3,no.1,pp.71-86,1991.參考文獻第八頁，共68頁。主成分分析(PrincipalComponentAnalysis,簡稱PCA)是將多個變量通過線性變換以選出較少個數(shù)重要變量（主成分）的一種多元統(tǒng)計分析方法。確定主成分權(quán)重系數(shù)的過程就可以看作是主成分分析的過程主成分分析的概念第九頁，共68頁。

均值方差標準差假設(shè)有n個D維的樣本：，則：

基本數(shù)學(xué)概念第十頁，共68頁。協(xié)方差矩陣/散布矩陣

協(xié)方差矩陣的主對角線上的元素是各個維度上的方差(即能量)，其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。第十一頁，共68頁。主成分分析目標:尋找最能夠代表原始數(shù)據(jù)分布特性的投影方向。散布矩陣：PCA目標函數(shù)：第十二頁，共68頁。AssumeFormthematrix:then主成分分析計算機理第十三頁，共68頁。TofindthatmaximizessubjecttoLetλbeaLagrangemultiplierisaneigenvectorofScorrespondingtothelargesteigenvaluetherefore主成分分析計算機理第十四頁，共68頁。TofindthenextcoefficientvectormaximizingthenletλandφbeLagrangemultipliers,andmaximizesubjecttoandtoFirstnotethatuncorrelated主成分分析計算機理第十五頁，共68頁。主成分分析計算機理第十六頁，共68頁。WefindthatisalsoaneigenvectorofSwhoseeigenvalueisthesecondlargest.IngeneralThekthlargesteigenvalueofSisthevarianceofthekthPC.主成分分析計算機理第十七頁，共68頁。重構(gòu)誤差:結(jié)論1、求重構(gòu)誤差最小的投影方向等價于求散度最大的投影方向主成分分析:尋找在最小均方誤差意義下最能夠代表原始數(shù)據(jù)的投影方向。結(jié)論2、主成分分析的本質(zhì)就是對角化協(xié)方差矩陣最大散度：第十八頁，共68頁。1、降噪，消除維度間的相關(guān)性，恢復(fù)主要維度應(yīng)有能量2、去冗余，即去掉多余維度，壓縮數(shù)據(jù)中包含的信息。主成分分析的物理意義PCA第十九頁，共68頁。?????????????????????????????????????主成分分析的幾何解釋：平移、旋轉(zhuǎn)坐標軸平移、旋轉(zhuǎn)坐標軸的目的是使樣本數(shù)據(jù)在主軸方向的離散程度最大，且不同軸之間具有不相關(guān)性。第二十頁，共68頁。xy示例第二十一頁，共68頁。%matlabcodeD=load('pca.txt');var_x=sum((D(:,1)-mean(D(:,1))).^2)/(length(D(:,1))-1);var_y=sum((D(:,2)-mean(D(:,2))).^2)/(length(D(:,2))-1);cov_xy=sum((D(:,2)-mean(D(:,2))).*(D(:,1)-mean(D(:,1))))/(length(D(:,2))-1);%theabovethreelinesequalto:cov(D)示例第二十二頁，共68頁。[ei_vector,ei_value]=eig(cov(D))示例第二十三頁，共68頁。d=1d=2d=4d=8d=16d=32d=64d=100原始圖像具體應(yīng)用:圖像壓縮第二十四頁，共68頁。+c2*

+…+cd*≈

c1*+δ(I)具體應(yīng)用:人臉識別……第二十五頁，共68頁。對于分類問題是否最優(yōu)？是否可以提取帶有判別信息的主成分信息？思考基于信息重構(gòu)的最佳表示能否設(shè)計直接面向圖像矩陣和高維矩陣（比如彩色圖像，監(jiān)控視頻）的主成分分析方法？第二十六頁，共68頁。主成分分析提取判別信息

1、引入各個分量的分類性能J(xj)2、將J(xj)重新排隊確定由前d個特征分量來表征對象的顯著性第二十七頁，共68頁。二維主成分分析（2DPCA）第二十八頁，共68頁。

[1]YangJ,ZhangD,FrangiAF,etal.Two-dimensionalPCA:anewapproachtoappearance-basedfacerepresentationandrecognition[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2004,26(1):131-137.[2]YangJ,YangJ.Y.,“FromImageVectortoMatrix:AStraightforwardImageProjectionTechnique—IMPCAvs.PCA,”PatternRecognition,vol.35,no.9,pp.1997-1999,2002.參考文獻2023/4/1729第二十九頁，共68頁。X是n維列向量，A是mxn的圖像矩陣，Y是線性變換后的m維投影向量。定義Y的協(xié)方差矩陣的跡為總散度：最大化該準則，就找到了最優(yōu)的投影方向X使得投影后的向量Y分得最開。二維主成分分析（2DPCA）2023/4/1730第三十頁，共68頁。

表示為：記2023/4/1731第三十一頁，共68頁。

稱作圖像協(xié)方差（散度）矩陣。從定義可以看出它是非負定的n×n維矩陣。假設(shè)有M張訓(xùn)練圖像，第j張圖像表示為，所有訓(xùn)練圖像的均值記作

準則化為2023/4/1732第三十二頁，共68頁。最大化上式的X稱作最優(yōu)投影軸。最優(yōu)投影軸是的最大特征值對應(yīng)的特征向量。通常一個最優(yōu)投影軸是不夠的，因此選對應(yīng)特征值最大的取前d個相互正交的單位特征向量作為最優(yōu)投影軸。2023/4/1733第三十三頁，共68頁。2023/4/1734第三十四頁，共68頁。特征提取2DPCA的最優(yōu)投影向量用來做特征提取。對于給定的樣本圖像A，有得到的投影特征向量稱作樣本圖像A的主成分（向量）。主成分向量形成m×d的矩陣稱作樣本圖像A的特征矩陣或特征圖像。2023/4/1735第三十五頁，共68頁。分類方法采用最近鄰分類。任意兩個圖像的特征矩陣和之間的距離定義為：給定測試樣本B，如果，并且，則分類結(jié)果是。2023/4/1736第三十六頁，共68頁?；?DPCA的圖像重構(gòu)主成分向量是，令，那么由于是正交的，所以圖像A的重構(gòu)圖像為：令，它的大小和圖像A一致，稱作圖像A的重構(gòu)子圖。當d＝n時，是完全重構(gòu)；當d<n時，是近似重構(gòu)。2023/4/1737第三十七頁，共68頁。實驗

人臉庫人數(shù)圖像數(shù)訓(xùn)練集測試集圖像大小主要變化ORL4010×4020020092×112PoseAR65＋55120×13×2Varied50×40OverTimeFacialExpressionsLightingConditionsYale1511×15Leave-one-out100×80FacialExpressionsLightingConditions2023/4/1738第三十八頁，共68頁。

2023/4/1739第三十九頁，共68頁。ORL

2023/4/1740第四十頁，共68頁。

2023/4/1741第四十一頁，共68頁。

2023/4/1742第四十二頁，共68頁。

2023/4/1743第四十三頁，共68頁。

2023/4/1744第四十四頁，共68頁。AR

2023/4/1745第四十五頁，共68頁。

2023/4/1746第四十六頁，共68頁。

2023/4/1747第四十七頁，共68頁。

2023/4/1748第四十八頁，共68頁。

2023/4/1749第四十九頁，共68頁。Yale

2023/4/1750第五十頁，共68頁。SampleimagesforoneobjectoftheYaledataset第五十一頁，共68頁。結(jié)論：2DPCA是將一幅圖像的每一行當成一個樣本，進行PCA的運算。2DPCA與PCA的關(guān)系2023/4/1752第五十二頁，共68頁。2DPCA與PCA（Eigenfaces）比較優(yōu)點：提取特征的方法簡單、直接實驗對比中顯示識別率高提取特征的計算效率高缺點：表示圖像時需要的系數(shù)多，因此需要更多的存儲空間分類所需的計算時間稍多

2023/4/1753第五十三頁，共68頁。為什么2DPCA的性能優(yōu)于PCA對于小樣本數(shù)據(jù)（比如人臉識別）來說，2DPCA更加穩(wěn)定。因為它的圖像協(xié)方差矩陣比較小。2DPCA比PCA能更加精確的刻畫圖像的協(xié)方差矩陣

2023/4/1754第五十四頁，共68頁。多維主成分分析（MPCA）2023/4/1755第五十五頁，共68頁。[1]LuH,PlataniotisKN,VenetsanopoulosAN.MPCA:Multilinearprincipalcomponentanalysisoftensorobjects[J].NeuralNetworks,IEEETransactionson,2008,19(1):18-39.[2]LuH,PlataniotisKN,VenetsanopoulosAN."GaitRecognitionthroughMPCAplusLDA",inProc.BiometricsSymposium2006(BSYM2006),Baltimore,US,September2006.參考文獻2023/4/1756第五十六頁，共68頁。1-modeunfoldingMultilinearprojection第五十七頁，共68頁。張量散度矩陣第五十八頁，共68頁。優(yōu)化函數(shù)ThisisnoknownoptimalsolutionwhichallowsforthesimultaneousoptimizationofNprojectionmatr