專題二 降維算法

專題二降維算法1主成分分析〔PrincipalComponentAnalysis，PCA〕

2線性判別分析(LinearDiscriminantAnalysis,LDA),1內(nèi)容

研究背景根本知識介紹經(jīng)典方法介紹總結(jié)討論2研究背景

問題的提出地理系統(tǒng)是多要素的復雜系統(tǒng)。在地理學研究中，多變量問題是經(jīng)常會遇到的。變量太多，無疑會增加分析問題的難度與復雜性，而且在許多實際問題中，多個變量之間是具有一定的相關(guān)關(guān)系的。

因此，人們會很自然地想到，能否在相關(guān)分析的根底上，用較少的新變量代替原來較多的舊變量，而且使這些較少的新變量盡可能多地保存原來變量所反映的信息？3研究背景降維的動機原始觀察空間中的樣本具有極大的信息冗余樣本的高維數(shù)引發(fā)分類器設(shè)計的“維數(shù)災(zāi)難〞數(shù)據(jù)可視化、特征提取、分類與聚類等任務(wù)需求4

特征選擇特征約簡特征提取依據(jù)某一標準選擇性質(zhì)最突出的特征實驗數(shù)據(jù)分析，數(shù)據(jù)可視化（通常為2維或3維）等也需要維數(shù)約簡經(jīng)已有特征的某種變換獲取約簡特征一般框架5線性降維方法

主成分分析(PCA)[Jolliffe,1986]降維目的：尋找能夠保持采樣數(shù)據(jù)方差的最正確投影子空間求解方法：對樣本的散度矩陣進行特征值分解,所求子空間為經(jīng)過樣本均值,以最大特征值所對應(yīng)的特征向量為方向的子空間Principalcomponent8線性降維方法

主成分分析(PCA)[Jolliffe,1986]PCA對于橢球狀分布的樣本集有很好的效果,學習所得的主方向就是橢球的主軸方向.PCA是一種非監(jiān)督的算法,能找到很好地代表所有樣本的方向,但這個方向?qū)τ诜诸愇幢厥亲钣欣?線性降維方法

線性判別分析(LDA)[Fukunaga,1991]降維目的：尋找最能把兩類樣本分開的投影直線，使投影后兩類樣本的均值之差與投影樣本的總類散度的比值最大求解方法：經(jīng)過推導把原問題轉(zhuǎn)化為關(guān)于樣本集總類內(nèi)散度矩陣和總類間散度矩陣的廣義特征值問題Bestprojectiondirectionforclassification10

11線性降維方法比較主成分分析(PCA)[Jolliffe,1986]線性判別分析(LDA)[Fukunaga,1991]PCALDA11

線性降維方法的缺乏1-DHelix曲線流形原始數(shù)據(jù)無法表示為特征的簡單線性組合比方：PCA無法表達Helix曲線流形12一、主成分分析的根本原理假定有n個地理樣本，每個樣本共有p個變量，構(gòu)成一個n×p階的地理數(shù)據(jù)矩陣13主成分分析的根本原理當p較大時，在p維空間中考察問題比較麻煩。為了克服這一困難，就需要進行降維處理，即用較少的幾個綜合指標代替原來較多的變量指標，而且使這些較少的綜合指標既能盡量多地反映原來較多變量指標所反映的信息，同時它們之間又是彼此獨立的。14

定義：記x1，x2，…，xP為原變量指標，z1，z2，…，zm〔m≤p〕為新變量指標系數(shù)lij確實定原那么：①zi與zj〔i≠j；i，j=1，2，…，m〕相互無關(guān)；15

②z1是x1，x2，…，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，…，xP的所有線性組合中方差最大者；……zm是與z1，z2，……，zm－1都不相關(guān)的x1，x2，…xP，的所有線性組合中方差最大者。

那么新變量指標z1，z2，…，zm分別稱為原變量指標x1，x2，…，xP的第一，第二，…，第m主成分。

16

從以上的分析可以看出，主成分分析的實質(zhì)就是確定原來變量xj〔j=1，2，…，p〕在諸主成分zi〔i=1，2，…，m〕上的荷載lij〔i=1，2，…，m；j=1，2，…，p〕。從數(shù)學上容易知道，從數(shù)學上可以證明，它們分別是的相關(guān)矩陣的m個較大的特征值所對應(yīng)的特征向量。1718

二、計算步驟

〔一〕計算相關(guān)系數(shù)矩陣

rij〔i，j=1，2，…，p〕為原變量xi與xj的相關(guān)系數(shù)，rij=rji，其計算公式為：19

〔二〕計算特征值與特征向量：①解特征方程，常用雅可比法〔Jacobi〕求出特征值，并使其按大小順序排列；

②分別求出對應(yīng)于特征值的特征向量，要求=1，即，其中表示向量的第j個分量。20

③計算主成分奉獻率及累計奉獻率▲奉獻率:▲累計奉獻率:一般取累計奉獻率達85—95%的特征值所對應(yīng)的第一、第二、…、第m〔m≤p〕個主成分。21

④計算主成分載荷

⑤各主成分的得分：

22

主成分分析方法應(yīng)用實例

下面，我們根據(jù)下表給出的數(shù)據(jù)，對某農(nóng)業(yè)生態(tài)經(jīng)濟系統(tǒng)做主成分分析，

某農(nóng)業(yè)生態(tài)經(jīng)濟系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù)

23

24

步驟如下：〔1〕將表3.4.5中的數(shù)據(jù)作標準差標準化處理，然后將它們代入公式計算相關(guān)系數(shù)矩陣表3.5.1相關(guān)系數(shù)矩陣25

特征值及主成分奉獻率26

〔2〕由相關(guān)系數(shù)矩陣計算特征值，以及各個主成分的奉獻率與累計奉獻率〔見表〕。由表可知，第一，第二，第三主成分的累計奉獻率已高達86.596%〔大于85%〕，故只需要求出第一、第二、第三主成分z1，z2，z3即可。27

①第一主成分z1與x1，x5，x6，x7，x9呈顯出較強的正相關(guān)，與x3呈顯出較強的負相關(guān)，而這幾個變量那么綜合反映了生態(tài)經(jīng)濟結(jié)構(gòu)狀況，因此可以認為第一主成分z1是生態(tài)經(jīng)濟結(jié)構(gòu)的代表。②第二主成分z2與x2，x4，x5呈顯出較強的正相關(guān)，與x1呈顯出較強的負相關(guān)，其中，除了x1為人口總數(shù)外，x2，x4，x5都反映了人均占有資源量的情況，因此可以認為第二主成分z2代表了人均資源量。

分析：28

顯然，用三個主成分z1、z2、z3代替原來9個變量〔x1，x2，…，x9〕，描述農(nóng)業(yè)生態(tài)經(jīng)濟系統(tǒng)，可以使問題更進一步簡化、明了。③第三主成分z3，與x8呈顯出的正相關(guān)程度最高，其次是x6，而與x7呈負相關(guān)，因此可以認為第三主成分在一定程度上代表了農(nóng)業(yè)經(jīng)濟結(jié)構(gòu)。④另外，表3.5.3中最后一列〔占方差的百分數(shù)〕，在一定程度反映了三個主成分z1、z2、z3包含原變量〔x1，x2，…，x9〕的信息量多少。29線性判別分析線性判別分析(Linear

Discriminant

Analysis,

LDA)，有時也稱Fisher線性判別(Fisher

Linear

Discriminant

,FLD)，

這種算法是Ronald

Fisher

于

1936年創(chuàng)造的，是模式識別的經(jīng)典算法。在1996年由Belhumeur引入模式識別和人工智能領(lǐng)域的。根本思想是將高維的模式樣本投影到最正確鑒別矢量空間，以到達抽取分類信息和壓縮特征空間維數(shù)的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內(nèi)距離，即模式在該空間中有最正確的可別離性。因此，它是一種有效的特征抽取方法。使用這種方法能夠使投影后模式樣本的類間散布矩陣最大，并且同時類內(nèi)散布矩陣最小。就是說，它能夠保證投影后模式樣本在新的空間中有最小