主成分分析-從一維到多維

主成分分析_從一維到多維第一頁(yè)，共68頁(yè)。引言提綱主成分分析（PCA）二維主成分分析（2DPCA）總結(jié)多維主成分分析（MPCA）第二頁(yè)，共68頁(yè)?；驍?shù)據(jù)引言：高維數(shù)據(jù)人臉圖像數(shù)據(jù)數(shù)字手寫(xiě)體數(shù)據(jù)……其他數(shù)據(jù)第三頁(yè)，共68頁(yè)。降維——從3維到2維第四頁(yè)，共68頁(yè)。?高維數(shù)據(jù)的降維技術(shù)如何挖掘高維數(shù)據(jù)中隱藏的知識(shí)高維數(shù)據(jù)內(nèi)蘊(yùn)知識(shí)……線性鑒別分析（LDA）流形學(xué)習(xí)（ML）主成分分析（PCA）第五頁(yè)，共68頁(yè)。LineartransformationOriginaldatareduceddata線性降維技術(shù)數(shù)學(xué)模型第六頁(yè)，共68頁(yè)。主成分分析（PCA）第七頁(yè)，共68頁(yè)。[1]L.SirovichandM.Kirby,“Low-DimensionalProcedureforCharacterizationofHumanFaces,”J.OpticalSoc.Am.,vol.4,pp.519-524,1987.[2]M.KirbyandL.Sirovich,“ApplicationoftheKLProcedurefortheCharacterizationofHumanFaces,”IEEETrans.PatternAnalysisandMachineIntelligence,vol.12,no.1,pp.103-108,Jan.1990.[3]M.TurkandA.Pentland,“EigenfacesforRecognition,”J.CognitiveNeuroscience,vol.3,no.1,pp.71-86,1991.參考文獻(xiàn)第八頁(yè)，共68頁(yè)。主成分分析(PrincipalComponentAnalysis,簡(jiǎn)稱(chēng)PCA)是將多個(gè)變量通過(guò)線性變換以選出較少個(gè)數(shù)重要變量（主成分）的一種多元統(tǒng)計(jì)分析方法。確定主成分權(quán)重系數(shù)的過(guò)程就可以看作是主成分分析的過(guò)程主成分分析的概念第九頁(yè)，共68頁(yè)。

均值方差標(biāo)準(zhǔn)差假設(shè)有n個(gè)D維的樣本：，則：

基本數(shù)學(xué)概念第十頁(yè)，共68頁(yè)。協(xié)方差矩陣/散布矩陣

協(xié)方差矩陣的主對(duì)角線上的元素是各個(gè)維度上的方差(即能量)，其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。第十一頁(yè)，共68頁(yè)。主成分分析目標(biāo):尋找最能夠代表原始數(shù)據(jù)分布特性的投影方向。散布矩陣：PCA目標(biāo)函數(shù)：第十二頁(yè)，共68頁(yè)。AssumeFormthematrix:then主成分分析計(jì)算機(jī)理第十三頁(yè)，共68頁(yè)。TofindthatmaximizessubjecttoLetλbeaLagrangemultiplierisaneigenvectorofScorrespondingtothelargesteigenvaluetherefore主成分分析計(jì)算機(jī)理第十四頁(yè)，共68頁(yè)。TofindthenextcoefficientvectormaximizingthenletλandφbeLagrangemultipliers,andmaximizesubjecttoandtoFirstnotethatuncorrelated主成分分析計(jì)算機(jī)理第十五頁(yè)，共68頁(yè)。主成分分析計(jì)算機(jī)理第十六頁(yè)，共68頁(yè)。WefindthatisalsoaneigenvectorofSwhoseeigenvalueisthesecondlargest.IngeneralThekthlargesteigenvalueofSisthevarianceofthekthPC.主成分分析計(jì)算機(jī)理第十七頁(yè)，共68頁(yè)。重構(gòu)誤差:結(jié)論1、求重構(gòu)誤差最小的投影方向等價(jià)于求散度最大的投影方向主成分分析:尋找在最小均方誤差意義下最能夠代表原始數(shù)據(jù)的投影方向。結(jié)論2、主成分分析的本質(zhì)就是對(duì)角化協(xié)方差矩陣最大散度：第十八頁(yè)，共68頁(yè)。1、降噪，消除維度間的相關(guān)性，恢復(fù)主要維度應(yīng)有能量2、去冗余，即去掉多余維度，壓縮數(shù)據(jù)中包含的信息。主成分分析的物理意義PCA第十九頁(yè)，共68頁(yè)。?????????????????????????????????????主成分分析的幾何解釋?zhuān)浩揭?、旋轉(zhuǎn)坐標(biāo)軸平移、旋轉(zhuǎn)坐標(biāo)軸的目的是使樣本數(shù)據(jù)在主軸方向的離散程度最大，且不同軸之間具有不相關(guān)性。第二十頁(yè)，共68頁(yè)。xy示例第二十一頁(yè)，共68頁(yè)。%matlabcodeD=load('pca.txt');var_x=sum((D(:,1)-mean(D(:,1))).^2)/(length(D(:,1))-1);var_y=sum((D(:,2)-mean(D(:,2))).^2)/(length(D(:,2))-1);cov_xy=sum((D(:,2)-mean(D(:,2))).*(D(:,1)-mean(D(:,1))))/(length(D(:,2))-1);%theabovethreelinesequalto:cov(D)示例第二十二頁(yè)，共68頁(yè)。[ei_vector,ei_value]=eig(cov(D))示例第二十三頁(yè)，共68頁(yè)。d=1d=2d=4d=8d=16d=32d=64d=100原始圖像具體應(yīng)用:圖像壓縮第二十四頁(yè)，共68頁(yè)。+c2*

+…+cd*≈

c1*+δ(I)具體應(yīng)用:人臉識(shí)別……第二十五頁(yè)，共68頁(yè)。對(duì)于分類(lèi)問(wèn)題是否最優(yōu)？是否可以提取帶有判別信息的主成分信息？思考基于信息重構(gòu)的最佳表示能否設(shè)計(jì)直接面向圖像矩陣和高維矩陣（比如彩色圖像，監(jiān)控視頻）的主成分分析方法？第二十六頁(yè)，共68頁(yè)。主成分分析提取判別信息

1、引入各個(gè)分量的分類(lèi)性能J(xj)2、將J(xj)重新排隊(duì)確定由前d個(gè)特征分量來(lái)表征對(duì)象的顯著性第二十七頁(yè)，共68頁(yè)。二維主成分分析（2DPCA）第二十八頁(yè)，共68頁(yè)。

[1]YangJ,ZhangD,FrangiAF,etal.Two-dimensionalPCA:anewapproachtoappearance-basedfacerepresentationandrecognition[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2004,26(1):131-137.[2]YangJ,YangJ.Y.,“FromImageVectortoMatrix:AStraightforwardImageProjectionTechnique—IMPCAvs.PCA,”P(pán)atternRecognition,vol.35,no.9,pp.1997-1999,2002.參考文獻(xiàn)2023/4/1729第二十九頁(yè)，共68頁(yè)。X是n維列向量，A是mxn的圖像矩陣，Y是線性變換后的m維投影向量。定義Y的協(xié)方差矩陣的跡為總散度：最大化該準(zhǔn)則，就找到了最優(yōu)的投影方向X使得投影后的向量Y分得最開(kāi)。二維主成分分析（2DPCA）2023/4/1730第三十頁(yè)，共68頁(yè)。

表示為：記2023/4/1731第三十一頁(yè)，共68頁(yè)。

稱(chēng)作圖像協(xié)方差（散度）矩陣。從定義可以看出它是非負(fù)定的n×n維矩陣。假設(shè)有M張訓(xùn)練圖像，第j張圖像表示為，所有訓(xùn)練圖像的均值記作

準(zhǔn)則化為2023/4/1732第三十二頁(yè)，共68頁(yè)。最大化上式的X稱(chēng)作最優(yōu)投影軸。最優(yōu)投影軸是的最大特征值對(duì)應(yīng)的特征向量。通常一個(gè)最優(yōu)投影軸是不夠的，因此選對(duì)應(yīng)特征值最大的取前d個(gè)相互正交的單位特征向量作為最優(yōu)投影軸。2023/4/1733第三十三頁(yè)，共68頁(yè)。2023/4/1734第三十四頁(yè)，共68頁(yè)。特征提取2DPCA的最優(yōu)投影向量用來(lái)做特征提取。對(duì)于給定的樣本圖像A，有得到的投影特征向量稱(chēng)作樣本圖像A的主成分（向量）。主成分向量形成m×d的矩陣稱(chēng)作樣本圖像A的特征矩陣或特征圖像。2023/4/1735第三十五頁(yè)，共68頁(yè)。分類(lèi)方法采用最近鄰分類(lèi)。任意兩個(gè)圖像的特征矩陣和之間的距離定義為：給定測(cè)試樣本B，如果，并且，則分類(lèi)結(jié)果是。2023/4/1736第三十六頁(yè)，共68頁(yè)?；?DPCA的圖像重構(gòu)主成分向量是，令，那么由于是正交的，所以圖像A的重構(gòu)圖像為：令，它的大小和圖像A一致，稱(chēng)作圖像A的重構(gòu)子圖。當(dāng)d＝n時(shí)，是完全重構(gòu)；當(dāng)d<n時(shí)，是近似重構(gòu)。2023/4/1737第三十七頁(yè)，共68頁(yè)。實(shí)驗(yàn)

人臉庫(kù)人數(shù)圖像數(shù)訓(xùn)練集測(cè)試集圖像大小主要變化ORL4010×4020020092×112PoseAR65＋55120×13×2Varied50×40OverTimeFacialExpressionsLightingConditionsYale1511×15Leave-one-out100×80FacialExpressionsLightingConditions2023/4/1738第三十八頁(yè)，共68頁(yè)。

2023/4/1739第三十九頁(yè)，共68頁(yè)。ORL

2023/4/1740第四十頁(yè)，共68頁(yè)。

2023/4/1741第四十一頁(yè)，共68頁(yè)。

2023/4/1742第四十二頁(yè)，共68頁(yè)。

2023/4/1743第四十三頁(yè)，共68頁(yè)。

2023/4/1744第四十四頁(yè)，共68頁(yè)。AR

2023/4/1745第四十五頁(yè)，共68頁(yè)。

2023/4/1746第四十六頁(yè)，共68頁(yè)。

2023/4/1747第四十七頁(yè)，共68頁(yè)。

2023/4/1748第四十八頁(yè)，共68頁(yè)。

2023/4/1749第四十九頁(yè)，共68頁(yè)。Yale

2023/4/1750第五十頁(yè)，共68頁(yè)。SampleimagesforoneobjectoftheYaledataset第五十一頁(yè)，共68頁(yè)。結(jié)論：2DPCA是將一幅圖像的每一行當(dāng)成一個(gè)樣本，進(jìn)行PCA的運(yùn)算。2DPCA與PCA的關(guān)系2023/4/1752第五十二頁(yè)，共68頁(yè)。2DPCA與PCA（Eigenfaces）比較優(yōu)點(diǎn)：提取特征的方法簡(jiǎn)單、直接實(shí)驗(yàn)對(duì)比中顯示識(shí)別率高提取特征的計(jì)算效率高缺點(diǎn)：表示圖像時(shí)需要的系數(shù)多，因此需要更多的存儲(chǔ)空間分類(lèi)所需的計(jì)算時(shí)間稍多

2023/4/1753第五十三頁(yè)，共68頁(yè)。為什么2DPCA的性能優(yōu)于PCA對(duì)于小樣本數(shù)據(jù)（比如人臉識(shí)別）來(lái)說(shuō)，2DPCA更加穩(wěn)定。因?yàn)樗膱D像協(xié)方差矩陣比較小。2DPCA比PCA能更加精確的刻畫(huà)圖像的協(xié)方差矩陣

2023/4/1754第五十四頁(yè)，共68頁(yè)。多維主成分分析（MPCA）2023/4/1755第五十五頁(yè)，共68頁(yè)。[1]LuH,PlataniotisKN,VenetsanopoulosAN.MPCA:Multilinearprincipalcomponentanalysisoftensorobjects[J].NeuralNetworks,IEEETransactionson,2008,19(1):18-39.[2]LuH,PlataniotisKN,VenetsanopoulosAN."GaitRecognitionthroughMPCAplusLDA",inProc.BiometricsSymposium2006(BSYM2006),Baltimore,US,September2006.參考文獻(xiàn)2023/4/1756第五十六頁(yè)，共68頁(yè)。1-modeunfoldingMultilinearprojection第五十七頁(yè)，共68頁(yè)。張量散度矩陣第五十八頁(yè)，共68頁(yè)。優(yōu)化函數(shù)ThisisnoknownoptimalsolutionwhichallowsforthesimultaneousoptimizationofNprojectionmatr