特征的選擇與提取特征提取

關(guān)于特征的選擇與提取特征提取學(xué)習(xí)指南

前面章節(jié)討論的問題主要討論模式識別的重要概念貝葉斯分類器、線性分類器、非線性分類器、KNN等設(shè)計分類器時的討論問題在d維特征空間已經(jīng)確定的前提下，討論分類方法與分類器設(shè)計即：對要分類的樣本怎樣描述這個問題是已經(jīng)確定的第2頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

前面章節(jié)討論的問題例如對蘋果與梨的劃分問題我們使用尺寸、重量和顏色三種度量來描述這種度量方法是已經(jīng)確定好的在這種條件下研究用線性分類器好還是非線性分類器好，以及這些分類器的其它設(shè)計問題第3頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

本章討論的問題對已有的特征空間進行改造,著重于研究對樣本究竟用什么樣的度量方法更好譬如用三種度量來描述蘋果與梨那么是否運用這三種度量是最有效的呢？顏色：這一個指標(biāo)對區(qū)分紅蘋果與梨很有效區(qū)分黃蘋果與梨就會困難得多 即，這個指標(biāo)就不很有效了第4頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

本章討論的問題使用什么樣的特征描述事物，也就是說使用什么樣的特征空間是個很重要的問題由于對特征空間進行改造目的在于提高其某方面的性能，因此又稱特征的優(yōu)化問題第5頁,共91頁，2024年2月25日，星期天學(xué)習(xí)指南

降維主要有兩種途徑對特征空間的改造、優(yōu)化、主要的目的是降維，即把維數(shù)高的特征空間改成維數(shù)低的特征空間，降維主要有兩種途徑特征的選擇: 一種是刪選掉一些次要的特征問題在于如何確定特征的重要性，以及如何刪選特征的提取: 另一種方法是使用變換的手段，在這里主要限定在線性變換的方法上，通過變換來實現(xiàn)降維第6頁,共91頁，2024年2月25日，星期天本章重點

1．弄清對特征空間進行優(yōu)化的含義2．對特征空間進行優(yōu)化的兩種基本方法——特征選擇與特征的組合優(yōu)化3．對特征空間進行優(yōu)化的一些常用判據(jù)4．利用線段變換進行特征空間優(yōu)化的基本方法，第7頁,共91頁，2024年2月25日，星期天本章知識點

第8頁,共91頁，2024年2月25日，星期天8.1基本概念已經(jīng)討論的問題是在d維特征空間已經(jīng)確定的前提下進行的討論的分類器設(shè)計問題是:選擇什么準(zhǔn)則、使用什么方法,將已確定的d維特征空間劃分成決策域的問題另一個重要問題如何確定合適的特征空間如何描述每個樣本和每個模式第9頁,共91頁，2024年2月25日，星期天基本概念第10頁,共91頁，2024年2月25日，星期天基本概念第11頁,共91頁，2024年2月25日，星期天基本概念第12頁,共91頁，2024年2月25日，星期天基本概念問題的重要性如果所選用的特征空間能使同類物體分布具有緊致性，即各類樣本能分布在該特征空間中彼此分割開的區(qū)域內(nèi)，這就為分類器設(shè)計成功提供良好的基礎(chǔ)。反之，如果不同類別的樣本在該特征空間中混雜在一起，再好的設(shè)計方法也無法提高分類器的準(zhǔn)確性。第13頁,共91頁，2024年2月25日，星期天基本概念三個不同的層次描述1.物理量的獲取與轉(zhuǎn)換指用什么樣的傳感器獲取電信號攝取景物則要用攝像機文字與數(shù)字識別首先要用掃描儀等設(shè)備手寫體文字所用傳感器與印刷體文字也很可能不同這些都屬于物理量的獲取，并且已轉(zhuǎn)換成電信號，為計算機分析打下了基礎(chǔ)對從傳感器中得到的信號，可稱之為原始信息它要經(jīng)過加工、處理才能得到對模式分類更加有用的信號第14頁,共91頁，2024年2月25日，星期天基本概念三個不同的層次描述2．描述事物方法的選擇與設(shè)計在得到了原始信息之后，要對它進一步加工，以獲取對分類最有效的信息這部分信息必須對原始信息進行加工，而設(shè)計所要信息的形式是十分關(guān)鍵的例如:對阿拉伯?dāng)?shù)字的識別可以提出各種不同的想法 *分析從框架的左邊框到數(shù)字之間的距離變化反映了不同數(shù)字的不同形狀，這可以用來作為數(shù)字分類的依據(jù) *強調(diào)分析不同截面的信號，如在框架的若干部位沿不同方向截取截面分析從背景到字，以及從字到背景轉(zhuǎn)換的情況第15頁,共91頁，2024年2月25日，星期天基本概念阿拉伯?dāng)?shù)字的識別可以提出各種不同的想法第16頁,共91頁，2024年2月25日，星期天基本概念三個不同的層次描述2．描述事物方法的選擇與設(shè)計設(shè)計對事物的描述方法是充分發(fā)揮設(shè)計者智慧的過程這個層次的工作往往因事物而易，與設(shè)計者本人的知識結(jié)構(gòu)也有關(guān)這是一個目前還無法自動進行的過程這個層次的工作是最關(guān)鍵的，但因為太缺乏共性，也不是本章討論的內(nèi)容第17頁,共91頁，2024年2月25日，星期天基本概念三個不同的層次描述3.特征空間的優(yōu)化這個層次的工作發(fā)生在已有了特征的描述方法之后，也就是已有了一個初始的特征空間，如何對它進行改造與優(yōu)化的問題所謂優(yōu)化是要求既降低特征的維數(shù)，又能提高分類器的性能，這就是本章著重討論的問題這里討論的是一些不同模式識別系統(tǒng)中具有共性的問題，特征選擇與特征提取

第18頁,共91頁，2024年2月25日，星期天基本概念例用RGB顏色空間和HSI顏色空間RGB和HSI是兩種常用的顏色空間，雖然它們描述顏色的范圍是一樣的，也有確定的轉(zhuǎn)換關(guān)系，但是用這兩種不同的特征描述圖像，對以后的識別工作會有很大影響第19頁,共91頁，2024年2月25日，星期天基本概念第20頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取對特征空間進行優(yōu)化有兩種基本方法一種為特征選擇，一種為特征提取兩者區(qū)別特征選擇:刪掉部分特征特征提取:通過一種映射，也就是說新的每一個特征是原有特征的一個函數(shù)第21頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取兩者區(qū)別假設(shè)已有D維特征向量空間，特征選擇:樣本由d維的特征向量描述：d＜D由于X只是Y的一個子集，因此每個分量xi必然能在原特征集中找到其對應(yīng)的描述量xi＝y(tǒng)j第22頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取兩者區(qū)別假設(shè)已有D維特征向量空間，特征提取:找到一個映射關(guān)系：A:Y→X使新樣本特征描述維數(shù)比原維數(shù)降低。其中每個分量xi是原特征向量各分量的函數(shù)，即第23頁,共91頁，2024年2月25日，星期天基本概念特征選擇和特征提取兩者區(qū)別因此這兩種降維的基本方法是不同的。在實際應(yīng)用中可將兩者結(jié)合起來使用， 比如先進特征提取，然后再進一步選擇其中一部分，或反過來。

第24頁,共91頁，2024年2月25日，星期天8.2類別可分離性判據(jù)為什么需要類別可分離性判據(jù)特征選擇與特征提取的任務(wù)是求出一組對分類最有效的特征所謂有效是指在特征維數(shù)減少到同等水平時，其分類性能最佳因此需要有定量分析比較的方法,判斷所得到的特征維數(shù)及所使用特征是否對分類最有利這種用以定量檢驗分類性能的準(zhǔn)則稱為類別可分離性判據(jù)

第25頁,共91頁，2024年2月25日，星期天類別可分離性判據(jù)為什么需要類別可分離性判據(jù)一般說來分類器最基本的性能評估是其分類的錯誤率如果能用反映錯誤率大小的準(zhǔn)則，在理論上是最合適的對錯誤率的計算是極其復(fù)雜的，以至于很難構(gòu)筑直接基于錯誤率的判據(jù)為此人們設(shè)法從另一些更直觀的方法出發(fā)，設(shè)計出一些準(zhǔn)則，用來檢驗不同的特征組合對分類性能好壞的影響，甚至用來導(dǎo)出特征選擇與特征提取的方法 這些準(zhǔn)則就是類別可分離性判據(jù)第26頁,共91頁，2024年2月25日，星期天類別可分離性判據(jù)類別可分離性判據(jù)的種類基于距離度量的可分性判據(jù)基于概率分布的可分性判據(jù)等第27頁,共91頁，2024年2月25日，星期天8.2.1基于距離的可分性判據(jù)基于距離的可分性判據(jù)基于距離度量是人們常用來進行分類的重要依據(jù)一般情況下同類物體在特征空間呈聚類狀態(tài)，即從總體上說同類物體內(nèi)各樣本由于具有共性因此類內(nèi)樣本間距離應(yīng)比跨類樣本間距離小Fisher準(zhǔn)則正是以使類間距離盡可能大同時又保持類內(nèi)距離較小這一種原理為基礎(chǔ)的同樣在特征選擇與特征提取中也使用類似的原理，這一類被稱為基于距離的可分性判據(jù)。第28頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)基于距離的可分性判據(jù)在討論Fisher準(zhǔn)則時曾用過兩個描述離散度的矩陣一個是類間離散矩陣Sb

另一個是類內(nèi)離散度矩陣SW

SW＝S1+S2

第29頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)基于距離的可分性判據(jù)如果推廣至c類別情況其中

為所有樣本的總均值向量，Pi表示各類別的先驗概率，Ei表示i類的期望符號。第30頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)1計算特征向量間平均距離的判據(jù)該式可寫成在歐氏距離情況下有第31頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)1計算特征向量間平均距離的判據(jù)利用均值向量

與總均值向量

，有第32頁,共91頁，2024年2月25日，星期天基于距離的可分性判據(jù)2考慮類內(nèi)類間歐氏距離的其它判據(jù)判據(jù)Jd(X)是計算特征向量的總平均距離以下一些判據(jù)則基于使類間離散度盡量大，類內(nèi)離散度盡量小的考慮而提出：第33頁,共91頁，2024年2月25日，星期天8.2.2基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)上一節(jié)討論的是樣本在特征空間的分布距離作為特征提取的依據(jù)。該種原理直觀，計算簡便。但是這種原理沒有考慮概率分布，因此當(dāng)不同類樣本中有部分在特征空間中交迭分布時，簡單地按距離劃分，無法表明與錯誤概率之間的聯(lián)系?；诟怕史植嫉目煞中耘袚?jù)則依據(jù)如下觀察到的現(xiàn)象。第34頁,共91頁，2024年2月25日，星期天8.2.2基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)觀察現(xiàn)象:不考慮各類的先驗概率，或假設(shè)兩類樣本的先驗概率相等第35頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)觀察現(xiàn)象如果兩類條件概率分布互不交迭，即對p(X|ω2)≠0處都有p(X|ω1)＝0，則這兩類就完全可分；另一種極端情況是對所有X都有p(X|ω1)＝p(X|ω2)，則兩類就完全不可分。第36頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)基于概率分布的可分性判據(jù)因此人們設(shè)計出與概率分布交迭程度有關(guān)的距離度量方法，這些距離Jp有以下幾個共同點：1.Jp是非負(fù)，即Jp≥02.當(dāng)兩類完全不交迭時Jp達到其最大值3.當(dāng)兩類分布密度相同時，Jp＝0

這種函數(shù)的一般式可表示為：第37頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量Bhattacharyya距離和Chernoff界限Bhattacharyya距離的定義用下式表示Chernoff界限的定義與其相似，為因此JB是JC的一個特例第38頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量散度

另一種常用的基于概率距離度量的判據(jù)是利用似然比或?qū)?shù)似然比。對兩類問題，其對數(shù)似然比為如果對某個X，

，則

,反之若兩者差異越大，則

的絕對值也大。第39頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量散度

以上只是對某一X值而言，為了對整個特征空間概率分布的差異程度作出評價，將對wi類及對wj的可分性信息分別定義為第40頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量散度

而總的平均可分信息則可表示成第41頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量

顯然在一般情況下由于概率分布本身的復(fù)雜形式，以上這些基于概率分布的距離相當(dāng)復(fù)雜。下面討論兩類別正態(tài)分布時散度判據(jù)的表達式這些判據(jù)在概率分布具有某種參數(shù)形式，尤其是正態(tài)分布時可以得到進一步簡化第42頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量設(shè)兩類別分別表示為則第43頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量對數(shù)似然比第44頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量利用矩陣跡的性質(zhì)ATB=tr(BAT)，其中A、B表示向量，上式可改寫成第45頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量將其代入Iij的計算公式，并化簡得第46頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量由散度JD的定義，

得顯然，如果兩類協(xié)方差矩陣相等，則第47頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量在正態(tài)分布時Bhattacharyya距離JB可表示成：第48頁,共91頁，2024年2月25日，星期天基于概率分布的可分性判據(jù)一些常用的概率距離度量正態(tài)分布時基于概率分布距離度量顯然，如果兩類協(xié)方差矩陣相等，則第49頁,共91頁，2024年2月25日，星期天8.2.3基于熵函數(shù)的可分性判據(jù)我們知道一個樣本不同類的后驗概率是貝葉斯決策的依據(jù)因此在特征空間的任何一點，如果它對不同類別的后驗概率差別很大，則為分類提供了很明確的信息而Shannon信息論定義的熵就可以用來對可分類性作出評價故這方面可分性判據(jù)的定義稱之為基于熵函數(shù)的可分性判據(jù)第50頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)分析如果對某些特征，各類后驗概率都相等，即此時這也就是錯誤率最大的情況。第51頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)分析考慮另一極端，假設(shè)能有一組特征使得

那末此時的X肯定可劃分為ωi

，而錯誤率為零由此可看出，后驗概率越集中，錯誤概率就越小反之后驗概率分布越平緩，即接近均勻分布，則分類錯誤概率就越大第52頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)熵為了衡量后驗概率分布的集中程度，可以借助于信息論中熵的概念，制訂定量指標(biāo)。Shannon熵為另一常用的平方熵

第53頁,共91頁，2024年2月25日，星期天基于熵函數(shù)的可分性判據(jù)基于熵函數(shù)的可分性判據(jù)兩者共性1.熵為正且對稱即函數(shù)式內(nèi)項的次序可以變換不影響熵的值；2.如3.對任意的概率分布第54頁,共91頁，2024年2月25日，星期天8.3特征提取按歐氏距離度量的特征提取方法按概率距離判據(jù)提取特征特征提取方法小結(jié)第55頁,共91頁，2024年2月25日，星期天8.3.1按歐氏距離度量的特征提取方法

按歐氏距離度量的特征提取方法基于距離可分性判據(jù)的特征優(yōu)化過程是通過一個線性變換實現(xiàn)特征提取在這里意味著找到一個線性變換W,對原始特征向量Y=[y1,…，yD]T實行映射變換W：Y→X，得到維數(shù)減少的向量X=[x1,…，xd]T，即

W為D×d矩陣第56頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法歐氏距離的判據(jù)第57頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法利用W（D×d矩陣）線形變換后，希望變換后的特征向量能滿足使某個準(zhǔn)則函數(shù)達到極值的要求使用J2判據(jù)進行特征提取注意：如果對特征空間實行一個D×D矩陣的非奇異線性變換，J2保持不變第58頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例如對原特征空間實行一D×D線性變換A令Sw,Sb為原空間離散度矩陣S*w,S*b為映射后的離散度矩陣，則：

S*b=A

Sb

AT S*w=A

Sw

AT經(jīng)變換后的J2變?yōu)?

J2*(A)=tr[(A

Sw

AT)-1

A

Sb

AT] =tr[(AT)-1

Sw-1Sb

AT]=tr[Sw-1Sb]=J2(A)第59頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進行特征提取因而以下討論的特征提取變換，只考慮是降維的即用D×d矩陣(d＜D)進行變換其目的是在維數(shù)d的條件下，使相應(yīng)的判據(jù)為最大第60頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進行特征提取將J2判據(jù)表示成變換W的函數(shù)令Sw,Sb為原空間離散度矩陣，S*w,S*b為映射后的離散度矩陣:

S*b=WT

Sb

W S*w=WT

Sw

W則經(jīng)變換后的J2變?yōu)?

J2(W)=tr[(WT

Sw

W)-1

WT

Sb

W]第61頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進行特征提取求使J2(W)最大的W解可利用特征值方法對W的各分量求偏導(dǎo)數(shù)，并另其為零，可以確定W值。結(jié)論:對J2

，J2

，J5來說,使判據(jù)達到最大的變換W如下:設(shè)矩陣Sw-1Sb的本征值為λ1，λ2…λD，按大小順序排列為:

λ1≥

λ2

≥…≥λD，第62頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法使用J2判據(jù)進行特征提取則選前d個本征值對應(yīng)的本征向量作為W即:W=[μ1，μ

2…μ

d]此時:

J2(W)=λ1+λ2+…+λd第63頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例協(xié)方差矩陣是：給定先驗概率相等的兩類，其均值向量分別為：求用J2判據(jù)的最優(yōu)特征提取第64頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例解：根據(jù)前面的分析，應(yīng)先求再求此矩的特征矩陣今有混合均值類間離散度矩陣：第65頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例解：則類內(nèi)離散度矩陣第66頁,共91頁，2024年2月25日，星期天按歐氏距離度量的特征提取方法例解：需求

的特征值矩陣的秩是1只有一個非零特征值解方程:得到因此利用W向量對原始的兩維樣本進行線性變換，得到新的一維分布，特征空間從兩維降到一維，并滿足J2判據(jù)。第67頁,共91頁，2024年2月25日，星期天8.3.2按概率距離判據(jù)提取特征

這一節(jié)只是在正態(tài)分布條件下的一種特殊情況進行分析，不作基本要求。

第68頁,共91頁，2024年2月25日，星期天8.3.3特征提取方法小結(jié)特征提取方法從其工作原理來看可以分成兩大類對樣本在特征空間分布的距離度量其基本思想是通過原有特征向量線性組合而成新的特征向量做到既降維，又能盡可能體現(xiàn)類間分離，類內(nèi)聚集的原則第69頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)對樣本在特征空間分布的距離度量在歐氏距離度量的條件下所提出的幾種判據(jù)都是從這一點出發(fā)的第70頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)從概率分布的差異出發(fā)，制訂出反映概率分布差異的判據(jù)，以此確定特征如何提取這類判據(jù)由于與錯誤率之間可能存在單調(diào)或上界關(guān)系等，因此從錯誤率角度考慮有一定的合理性但是使用這種方法需要有概率分布的知識，并且只是在概率分布具有簡單形式時，計算才比較簡便第71頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)從概率分布的差異出發(fā)，制訂出反映概率分布差異的判據(jù)，以此確定特征如何提取熵概念的運用是描述概率分布另一種有用的形式利用熵原理構(gòu)造的判據(jù)，進行特征提取第72頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)各個方法中都有一個共同的特點即判別函數(shù)的極值往往演變?yōu)檎矣嘘P(guān)距陣的特征值與特征向量，由相應(yīng)的特征向量組成坐標(biāo)系統(tǒng)的基向量計算有關(guān)矩陣的特征值矩陣與特征向量，選擇前d個大特征值，以它們相應(yīng)的特征向量構(gòu)成坐標(biāo)系統(tǒng)這是大部分特征提取方法的基本做法。特征選擇方法不相同第73頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)在特征提取方法中希望所使用的各種判據(jù)能夠滿足以下幾點要求：(1)與錯誤概率或其上界或下界有單調(diào)關(guān)系(2)判據(jù)在特征獨立時有可加性

第74頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)在特征提取方法中希望所使用的各種判據(jù)能夠滿足以下幾點要求：(3)可分性判別應(yīng)滿足可分性，及對稱性第75頁,共91頁，2024年2月25日，星期天特征提取方法小結(jié)在特征提取方法中希望所使用的各種判據(jù)能夠滿足以下幾點要求：(4)單調(diào)性是指維數(shù)增多時，判據(jù)值不應(yīng)減少。第76頁,共91頁，2024年2月25日，星期天主成分分析PCAPrincipleComponentAnalysis通過k-l變換實現(xiàn)主成分分析第77頁,共91頁，2024年2月25日，星期天K-L變換特征提取思想用映射（或變換）的方法把原始特征變換為較少的新特征降維主成分分析(PCA)基本思想進行特征降維變換，不能完全地表示原有的對象，能量總會有損失。希望找到一種能量最為集中的的變換方法使損失最小第78頁,共91頁，2024年2月25日，星期天K-L變換原始輸入:x變換后特征:y變換矩陣(線性變換):A則:

y=ATx第79頁,共91頁，2024年2月25日，星期天K-L變換思考:希望特征之間關(guān)聯(lián)性盡可能小變換后的相關(guān)矩陣: Ry≡E[yyT] =E[ATxxTA] =ATRxA我們是不是希望Ry是個對角矩陣？如何選擇A?第80頁,共91頁，2024年2月25日，星期天K-L變換考慮以Rx的特征向量作為A的列，則

Ry=ATRxA =[a1,a2……an]

TRx

[a1