特征值和特征向量的用用

［1.特征的數(shù)學(xué)意義］我們先考察一種線性變化，例如x,y坐標(biāo)系的橢圓方程可以寫為必2佰人2+尸2/#2=1，那么坐標(biāo)系關(guān)于原點做旋轉(zhuǎn)以后，橢圓方程就要發(fā)生變換。我們可以把原坐標(biāo)系的:x,y)乘以一個矩陣，得到一個新的(x',y')的表示形式，寫為算子的形式就是(x,y)*M=(x',y')。這里的矩陣M代表一種線性變換：拉伸，平移，旋轉(zhuǎn)。那么，有沒有什么樣的線性變換(b是一個向量:)，使得變換后的結(jié)果，看起來和讓x,y)*b像是一個數(shù)b乘以了一個數(shù)字m*b?換句話說，有沒有這樣的矢量b，使得矩陣A*b這樣的線性變換相當(dāng)于A在矢量b上面的投影m*b?如果有，那么b就是A的一個特征向量，m就是對應(yīng)的一個特征值。一個矩陣的特征向量可以有很多個。特征值可以用特征方程求出，特征向量可以有特征值對應(yīng)的方程組通解求出，反過來也一樣。例如，設(shè)A為3階實對稱矩陣，a1=(a,-a,1)T是Ax=0的解，a2=(a,1,-a)T是(A+E)x=0的解，a球2,則常數(shù)a=?因為a1=(a,-a,1)T是Ax=0的解，說明a1=(a,-a,1)T是A的屬于0的特征向量，a2=(a,1,-a)T是(A+E)x=0的解，說明a2=(a,1,-a)T是A的屬于-1的特征向量。實對稱矩陣屬于不同特征值的特征向量式正交的，所以aA2-a-a=0,a#2所以a=0。還是太抽象了，具體的說，求特征向量的關(guān)系，就是把矩陣A所代表的空間，進(jìn)行正交分解，使得\的向量集合可以表示為每個向量a在各個特征向量上面的投影長度。例如A是m*n的矩陣,n>m,那么特征向量就是m個(因為秩最大是m)，n個行向量在每個特征向量E上面有投影，其特征值v就是權(quán)重。那么每個行向量現(xiàn)在就可以寫為Vn=(E1*v1n,E2*v2n...Em*vmn)矩陣變成了方陣。如果矩陣的秩更小，矩陣的存儲還可以壓縮。再由于這些投影的大小代表了A在特征空間各個分量的投影，那么我們可以使用最小乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，這樣最大限度地保存了矩陣代表的信息，同時可以大大降低矩陣需要存儲的維度，簡稱CA方法。舉個例子，對于x,y平面上的一個點(x,y)，我對它作線性變換，(x,y)*［1,0;0,-1］，分號代表矩陣的換行，那么得到的結(jié)果就是(x,-y)，這個線性變換相當(dāng)于關(guān)于橫軸(做鏡像。我們可以求出矩陣1,0;0,-1］的特征向量有兩個，［1,0］和［0,1］,也就是x軸和y軸。什么意思呢？在x軸上的投影，經(jīng)過這個線性變換，沒有改變。衣軸上的投影，乘以了幅度系數(shù)-1,并沒有發(fā)生旋轉(zhuǎn)。兩個特征向量說明了這個線性變換矩陣對于軸和y軸這兩個正交基是線性不變的。對于其他的線性變換矩陣，我們也可以找到類似的，N個對稱軸，變換后的結(jié)果，關(guān)于這N個對稱軸線性不變。這N個對稱軸就是線性變換A的N個特征向量。這就是特征向量的物理含義所在。所以，矩陣A等價于線性變換A。對于實際應(yīng)用的矩陣算法中，經(jīng)常需要求矩陣的逆：當(dāng)矩陣不是方陣的時候，無解，這是需要用到奇異值分解的辦法，也就是A=PSQ，P和Q是互逆的矩陣，而S是一個方陣，然后就可以求出偽逆的值。同時，A=PSQ可以用來降低A的存儲維度，只要P是一個是瘦長形矩陣，Q是寬扁型矩陣。對于A非常大的情況可以降低存儲量好幾個數(shù)量級。［2.物理意義］特征向量有什么具體的物理意義？例如一個駐波通過一條繩子，繩子上面的每個點組成一個無窮維的向量，這個向量的特征向量就是特征函數(shù)sin(t)，因為是時變的，就成了特征函數(shù)。每個點特征值就是每個點在特定時刻的n(x+t)取值。再如，從太空中某個角度看地球自轉(zhuǎn)，雖然每個景物的坐標(biāo)在不斷的變換，但是這種變換關(guān)于地球的自傳軸有對稱性，也就是關(guān)于此軸的平移和拉伸的坐標(biāo)變換不敏感。所以地球自轉(zhuǎn)軸，是地球自轉(zhuǎn)這種空間變換的一個特征向量。Google的PageRank就是對www鏈接關(guān)系的修正鄰接矩陣的，主要特征向量的投影分量，給出了頁面平分。有什么特性呢？AB和BA有相同的特征向是設(shè)AB的特征向量為x，對應(yīng)的特征值為b，則有(AB)x=bx，將上式兩邊左乘矩陣B，得B(AB)x=(BA)(Bx)=b(Bx)，故b為BA的特征值，對應(yīng)的特征向量為Bx。反之亦然。什么是特征矩陣和特征值？我們用整體論來考慮，假設(shè)(A)=(1,2,3)是A的3個特征向量。那么P(A^2)就是(1人2,2人2,3人2)，P可以看作是一種算子。當(dāng)然，算子的特性是需要用部分細(xì)節(jié)詳細(xì)證明的。一旦證明，就可以作為整體的特征。特征值有什么特性？說明矩陣可以分解淵維特征向量的投影上面，這N個特征值就是各個投影方向上的長度。由于n*n矩陣A可以投影在一個正交向量空間里面那么任何N維特征向量組成的矩陣都可以是線性投影變換矩陣，那么I就是一個同用的線性變換投影矩陣。所以對于特征值m一定有是夠成了一個沒有線性無關(guān)向量的矩陣\a=ma兩邊同乘以I得到Aa=maI,所以(A-mI)a=0有非0解，那么|A-mI|=0可以用反正法，如果這個行列式不是0,那么N個向量線性無關(guān)，在N維空間中只能相交于原點，不可能有非0解)。所以可以推出一些很有用的性質(zhì)，例如A=［1/2,1,1;0,1/3,1;0,0,1/5,那么只要滿足|A-mI|=。的值就是特征值，顯然特征值數(shù)組立即可以得到1/2,1/3,1/5)。一個n*n的矩陣A，秩=1,那么最大線性無關(guān)組=1組，特征向量=1個，任意n維非零向量都是A的特征向量。特征向量本身不是定死的，這就好比坐標(biāo)系可以旋轉(zhuǎn)一樣。一旦特征向量的各個方向確定了，那么特征值向量也就確定了。求特征值的過程就是用特征方程：|A-mEj=0,P(1/A)=1/P(A)，可以證明。有什么物理含義呢？一個N維線性無關(guān)的向量，去掉其中的一維，那么就有至少兩個向量是線性相關(guān)的了，所以行列式0。特征矩陣有什么作用？把矩陣變化為正定矩陣，也就是A=PFBP,這樣的變換，A是對角陣。線性代數(shù)的研究，是把向量和矩陣作為一個整體，從部分的性質(zhì)出發(fā)，推到出整體的性質(zhì)，再由整體的性質(zhì)得到各種應(yīng)用和物理上的概念。當(dāng)矩陣A是一個符號的時候，它的性質(zhì)會和實數(shù)a有很多相似的地方。科學(xué)的定理看起來總是遞歸著的。再舉一個例子，高數(shù)的基本概念有微分，積分，倒數(shù)，那么我立刻可以想到中值定理就應(yīng)該有個，形式上分別是微分，積分和倒數(shù)。[3.應(yīng)用的場景]線性變換的缺點：線性變換PCA可以用來處理圖像。如2維的人像識別：我們把圖像A看成矩陣，進(jìn)一步看成線性變換矩陣，把這個訓(xùn)練圖像的特征矩陣求出(假設(shè)取了n個能量最大的特征向量)。用A乘以這個n個特征向量，得到一個n維矢量a，也就是A在特征空間的投影。今后在識別的時候同一類的圖像例如，來自同一個人的面部照片，認(rèn)為是A的線性相關(guān)圖像，它乘以這個特征向量，得到n個數(shù)字組成的一個矢量b，也就是B在特征空間的投影。那么a和b之間的距離就是我們判斷B是不是A的準(zhǔn)則。不過，PCA有天生的缺點，就是線性矢量的相關(guān)性考察有平移無關(guān)性"優(yōu)點的同時，也完全忽略了，2維圖形中，矢量分量之間的順序是有意義的，順序不同可以代表完全不同的信息。還有，就是圖像必須是A的某種伸縮:由特征向量空間決定的)，才能被很好的投影到A的特征向量空間里面，如果B包含了A中的某種旋轉(zhuǎn)因素，那么PCA可以徹底失效。所以實際應(yīng)用中PCA的方法做圖像識別，識別率并不高，它要求圖像有某種嚴(yán)格的方向?qū)R和歸一化。所以PCA一般不用來做直接的特征提取而是用來做特征矩陣的降維當(dāng)然，降維的結(jié)果用于分類并不理想，我們可以進(jìn)一步做最小二承法拉開類間距離的Fisher變換。但是Fisher變換會引入新的弱點，那就是對于訓(xùn)練類別的數(shù)據(jù)變得更敏感了，分類效果上升的代價是通用性下降，當(dāng)類型數(shù)量急劇膨脹的時候，分類效果的函數(shù)仍然是直線下降的旦是還是比直接PCA的分類效果好得多。PCA"主觀"的認(rèn)為，一個類型的第N+1個矩陣可以由之前已知的：1,N]個矩陣通過拉成向量來線性表出。顯然這只是一個美好的主觀愿望，因為即使新的輸入矩陣是原有矩陣作了一些行列的初等變換如交換等，這種拉直以后的線性表出也可能根本就不存在2維的PCA同樣無法克服這個客觀不存在的設(shè)定，于是，當(dāng)應(yīng)用到實際的時候，只能試圖做優(yōu)化沒，用最小二乘距離來判定，"認(rèn)為"那個矩陣就是屬于某個分類。由于PCA訓(xùn)練的特征矩陣是一個類別一個矩陣，這些矩陣構(gòu)成的子空間之間又無法保證正交，于是投影的結(jié)果也不具有根本意義上的分類特性。這個算法是個實用的算法，但是理論上根本就是無解。K-L變換是PCA的一個應(yīng)用形式。假設(shè)圖像類型。有N個圖像，那么把每個圖像拉直成一個向量，N個圖像的向量組成一個矩陣，求矩陣的特征向量列向量"那么用原來的N個圖像乘以這些列向量求出平均值，就是我們的特征圖像。可以看到特征圖像和原圖像有相似的地方，但是去掉了和拉伸，平移相關(guān)的一些形變信息。在得到了魯棒性的同時，犧牲了很多精確性。所以它比較適合特定范圍圖像的/erification工作，也就是判斷圖像P是不是屬于類型C。對比一下神經(jīng)網(wǎng)絡(luò)：說白了把函數(shù)/=f(x)的映射，變成7[y]=[f(x)]的向量映射。輸入輸出的點entry)是固定的。而真實的神經(jīng)系統(tǒng)，并沒有明顯的內(nèi)部處理和外部接口的區(qū)分。所以所有的神經(jīng)網(wǎng)絡(luò)理論，名字上是神經(jīng)網(wǎng)絡(luò)，實質(zhì)上，差得很遠(yuǎn)。[4.關(guān)于譜]什么是"譜"(Spectrum)?我們知道音樂是一個動態(tài)的過程，但是樂譜卻是在紙上的，靜態(tài)的存在。對于數(shù)學(xué)分析工具，研究時變函數(shù)的工具，可以研究傅立葉變換對應(yīng)的頻率譜；對于概率問題，雖然每次投色子的結(jié)果不一樣，但是可以求出概率分布的功率譜密度。數(shù)學(xué)作為一種形而上學(xué)工具，研究的重點，就是這個變化世界當(dāng)中那些不變的規(guī)律。[5.能用于分類嗎]所謂的特征矩陣，就是原矩陣如何與一個乂維的數(shù)量矩陣相似。Lamda(i)說明了相似投影與一個x維線性空間的第i維坐標(biāo)軸，Lamda(i)是放縮比例。Lamda(i)之間的順序是不重要的，因為坐標(biāo)軸之間的交換是初等線性變換，不影響代數(shù)拓?fù)涞男再|(zhì)。特征向量xi表明A如何把線性組合投影到一個坐標(biāo)軸上。所謂的特征向量，就是一組正交基集合。在圖像處理的問題域中，把圖像看成矩陣本身，那么圖像的分類問題就是同類矩陣被認(rèn)為有相同或者代數(shù)近似的不變量"。顯然，"同類"是一個主觀假設(shè)劃定的類，而不是通過計算來確定"的類。這導(dǎo)致了一個問題，所謂的不同類型，其意義是對于人的主觀理解能力而言，是先驗的，不是通過計算得到的后驗，它本身不代表任何數(shù)理邏輯上的可判定信息。如果以矩陣的特征向量或者特征值矩陣作為分類的信息，沒有任何證據(jù)能夠避免不同'類"的矩陣能夠有更加近似的特征值。所謂的矩陣分解方法，類內(nèi)最小距離方法Fisher），都有一個令人不愉快地前提，那就是本身就要保證類內(nèi)的矩陣，其歐式距離足夠小這個歐式距離的大小往往又和人的幾何拓?fù)渲庇^不很由于矩陣本身不具有預(yù)定義的拓?fù)鋵W(xué)信息，那么同類圖像間歐式距離增加的時候，無法做到良好的分類。同時，圖像的類要分的越多，那么這種子空間之間的交疊現(xiàn)象就越嚴(yán)重，及時再去從每個類別的子空間中去尋找線性不變的子空間或者因子，也無法消除這種交疊性Fisher算法試圖繞過去，但是卻付出了嚴(yán)重依賴初始數(shù)據(jù)的代價和失去通用性的代價PCA算法試圖在統(tǒng)計的意義上得到最好的分類，但是當(dāng)類型數(shù)目增加的時候，以前的參數(shù)就作廢了，根本無法得到有用的計算流程。由于子空間之間的重疊無法解決，于是分類性便持續(xù)下降。原因是什么就是因為分類本身不是根據(jù)線性變換本身的代數(shù)特性去得到的，而是先驗的非線性'智慧"的人的判斷。于是，由于二元運(yùn)算為離散集合作分類必須在線性空間的正交劃分中進(jìn)行，導(dǎo)致了邏輯上的不可調(diào)和的悖論。非線性的判定是連續(xù)的，幾何拓?fù)涞?，無窮維德，不可分離變量的，根本就不可建模，于是也就是一個不可判定的問題。那么不用高等代數(shù)的思想，實用信號處理的辦法提取局部的特征做比較可以達(dá)到分類么這個仍然沒有回答，先驗"分類的問題，仍然是