SVD矩陣的奇異值分解.ppt

線性代數(shù)的幾個基本概念,張劍湖2010年7月,(一),引言,數(shù)學(xué)的表述方式和抽象性產(chǎn)生了全面的升華!,F,幾何的抽象化,實用直觀,抽象,(a,b，c),按照現(xiàn)行的國際標(biāo)準(zhǔn)，線性代數(shù)是通過公理化、系統(tǒng)性表述的，具有很強的邏輯性、抽象性，是第二代數(shù)學(xué)模型.,通常的教學(xué)模式概念相應(yīng)定理公式例題求解,直覺性喪失！,向量表面上只是一列數(shù)，但是其實由于它的有序性，所以除了這些數(shù)本身攜帶的信息之外，還可以在每個數(shù)的對應(yīng)位置上攜帶信息.線性空間中的任何一個對象，通過選取基和坐標(biāo)的辦法，都可以表達為向量的形式.,向量是什么？,向量是具有n個相互獨立的性質(zhì)（維度）的對象的表示,問題,矩陣是什么？矩陣的乘法規(guī)則怎樣定義？矩陣的相似是什么意思？特征值的本質(zhì)是什么？,純粹的數(shù)學(xué)理論描述、證明不能令人滿意和信服！,一、線性空間和矩陣的幾個核心概念,基本定義:存在一個集合，在這個集合上定義某某概念，然后滿足某些性質(zhì)”，就可以被稱為空間.,空間,為什么要用“空間”來稱呼一些這樣的集合呢？奇怪!,三維的空間由很多（實際上是無窮多個）位置點組成；這些點之間存在相對的關(guān)系；可以在空間中定義長度、角度；這個空間可以容納運動.,這里我們所說的運動是從一個點到另一個點的跳躍（變換）,而不是微積分意義上的“連續(xù)”性的運動.,容納運動是空間的本質(zhì)特征“空間”是容納運動的一個對象集合，而空間的運動由變換所規(guī)定.,矩陣矩陣是什么？1.矩陣只是一堆數(shù)，如果不對這堆數(shù)建立一些運算規(guī)則.2.矩陣是一列列向量，如果每一列向量列舉了對同一個客觀事物的多個方面的觀察值.,3.矩陣是一個圖像，它的每一個元素代表相對位置的像素值.4.矩陣是一個線性變換，它可以將一些向量變換為另一些向量.,要回答“矩陣是什么”，取決于你從什么角度去看它.,矩陣與線性變換,在線性空間中，當(dāng)選定一組基之后，不僅可以用一個向量來描述空間中的任何一個對象，而且可以用矩陣來描述該空間中的任何一個運動（變換）.也即對于任何一個線性變換，都能夠用一個確定的矩陣來加以描述.,.在線性空間中選定基之后，向量刻畫對象，矩陣刻畫對象的運動.而使某個對象發(fā)生對應(yīng)運動的方法，就是用代表那個運動的矩陣，乘以代表那個對象的向量.用矩陣與向量的乘法施加運動.,矩陣是線性空間中的線性變換的一個描述,線性變換不同于線性變換的一個描述,對于同一個線性變換，選定一組基，就可以找到一個矩陣來描述這個線性變換；換一組基，就得到一個不同的矩陣.所有這些矩陣都是這同一個線性變換的描述，但又不是線性變換本身.,同一個線性變換的矩陣具有性質(zhì)：若A和B是同一個線性變換的兩個不同矩陣，則一定存在非奇異矩陣P，使得,即同一個線性變換在不同的坐標(biāo)系下表現(xiàn)為不同的矩陣，但其本質(zhì)相同，所以特征值相同.,相似矩陣，就是同一個線性變換的不同的描述矩陣.或者說相似矩陣都是同一個線性變換的描述.,線性變換可以用矩陣的形式呈現(xiàn)，也就是說，矩陣是形式，而變換也就是各種映射才是本質(zhì)，而代數(shù)的重要任務(wù)之一就是研究各種數(shù)學(xué)結(jié)構(gòu)之間的關(guān)系也就是映射.,維線性空間里的方陣的個維向量如果線性無關(guān)，那么它們就可以成為度量維線性空間的一組基，事實上就是一個坐標(biāo)系體系.,矩陣與坐標(biāo)系,矩陣描述了一個坐標(biāo)系,變換,坐標(biāo),從變換的觀點來看，對坐標(biāo)系M施加R變換，就是對組成坐標(biāo)系M的每一個向量施加R變換.從坐標(biāo)系的觀點來看，對坐標(biāo)系M的每一個基向量，把它在I坐標(biāo)系中的坐標(biāo)找出來,然后通過R組成一個新的（坐標(biāo)系）矩陣.,M,I,T,矩陣既是坐標(biāo)系，又是變換.,數(shù)學(xué)定義：矩陣就是由行列數(shù)放在一起組成的數(shù)學(xué)對象,數(shù)學(xué)書上的語言是經(jīng)過千錘百煉的。這種抽象的語言，精準(zhǔn)的描述了人類對數(shù)學(xué)某些局部理解的精微.這些描述的語言可能可以有更完善的改進，就像編寫的程序有些地方的語句可以改得更巧妙更堅固一樣.,數(shù)學(xué)容許我們每個人按自己的理解方式來理解,這就看你怎樣對它加工，使它明確、使它華麗、使它完美.使它更易于理解和使用.這個過程也就是一個人學(xué)懂?dāng)?shù)學(xué)的過程.,數(shù)無形時少直觀,形無數(shù)時難入微,數(shù)形結(jié)合百般好,隔離分家萬事休.-華羅庚,將抽象思維形象化將理論知識實用化,二、矩陣的四個基本子空間,記：,基本定義,Columnspace,n=5,Rowspace,m=3,r=2,設(shè)A的行階梯形為,Notice,則存在可逆矩陣B使得,m=3n=5r=2,Pivotrows1and2Pivotcolumns1and4,例1,Nullspace,有三個自由變量：方程,有解：,方程組中，若不等于0且有解，則其解不會構(gòu)成子空間，因為沒有0元素.,Leftnullspace,Leftnullspace?,設(shè),由,例2,行基,(3,2,-1),(0,1,2),(1,0,3),N(A),例3,則,由,解得,則,顯然,Rowspace,allATy,Columnspace,allAx,Nullspace,Ax=0,Leftnullspace,ATy=0,C(AT),dimr,Rn,N(A),dimn-r,Rm,C(A)dimr,N(AT)dimm-r,互為正交補,AX=b有解bN(AT),Rn,Rowspace,nullspace,Leftnullspace,Actionofon,Columnspace,例4,若,分解,得,三、矩陣的奇異值分解,應(yīng)用領(lǐng)域1.最優(yōu)化問題；特征值問題；最小二乘問題；廣義逆矩陣問題等.2.統(tǒng)計分析；信號與圖像處理；系統(tǒng)理論和控制等.,矩陣的正交對角分解若A是n階實對稱矩陣，則存在正交矩陣Q，使得(1)其中為矩陣A的特征值，而Q的n個列向量組成A的一個完備的標(biāo)準(zhǔn)正交特征向量系.對于實的非對稱矩陣A，不再有像式（1）的分解，但卻存在兩個正交矩陣P和Q，使為對角矩陣，即有下面的正交對角分解定理.,定理設(shè)非奇異，則存在正交矩陣P和Q，使得(2)其中證因為A非奇異，所以為實對稱正定矩陣，于是存在正交矩陣Q使得，其中為特征值令,則有或者再令,于是有即P為正交矩陣，且使改寫式(2)為(3)稱式（3）為正交矩陣A的正交對角分解,引理：1.設(shè)則是對稱矩陣，且其特征值是非負(fù)實數(shù).2.3.設(shè)則的充要條件是,定義設(shè)是秩為的實矩陣，,的特征值為,則稱為A的奇異值.,奇異值分解定理,設(shè)A是秩為,的,則存在階正交矩陣,實矩陣,與階正交矩陣,使得,其中,為矩陣A的全部奇異值.,證明設(shè)實對稱矩陣的特征值為,則存在n階正交矩陣，使得,將分塊為,其中，分別是的前r列與后列.,并改寫式為,則有,由的第一式可得,由的第二式可得,令，則，即的r個列是兩兩正交的單位向量.記,因此可將擴充成的標(biāo)準(zhǔn)正交基，記增添的向量為，并構(gòu)造矩陣則是m階正交矩陣,且有于是可得,稱上式為矩陣A的奇異值分解.,在矩陣?yán)碚撝?，奇異值分解實際上是“對稱矩陣正交相似于對角矩陣”的推廣.奇異值分解中是的特征向量，而的列向量是的特征向量，并且與的非零特征值完全相同.但矩陣的奇異值分解不惟一.,注意,數(shù)值秩,在沒有誤差時，奇異值分解可以確定矩陣的秩.但是誤差的存在使得確定變得非常困難.例如，考慮矩陣,因為第三列是前兩列的和，所以A的秩是2.如果不考慮到這個關(guān)系，運用IEEE標(biāo)準(zhǔn)的雙精度浮點計算模式，用MATLAB命令SVD計算A的奇異值：,formatlongeA=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7；D=svd(A),計算結(jié)果為：D=2.421457493421318e+0003.406534035359026e-0011.875146052457622e-016,因為有“三”個非零奇異值，所以A的秩為“3”.然而，注意到在IEEE雙精度的標(biāo)準(zhǔn)下,其中一個奇異值是微小的.也許應(yīng)該將它看作零.因為這個原因，引人數(shù)值秩的概念.,如果矩陣有個“大”的奇異值，而其它都很“微小”，則稱的數(shù)值秩為.為了確定哪個奇異值是“微小”的，需要引人閾值或容忍度.就MATLAB而言，可以把設(shè)為閾值，大于這個閾值的奇異值的數(shù)目就是A的數(shù)值秩，把小于這個閾值的奇異值看作零.利用MATLAB的命令rank計算的秩，它的結(jié)果是2，就是這個道理.,求矩陣,的奇異值分解,解:MATLAB程序為：,A=0,-1.6,0.6;0,1.2,0.8;0,0,0;0,0,0U,S,V=svd(A),計算結(jié)果A=0-1.60000.600001.20000.8000000000,U=0.80000.600000-0.60000.800000001.000000001.0000,S=2.00000001.00000000000V=001.0000-1.00000.000000.00001.00000,奇異值分解的幾何意義,研究將一個空間映射到不同空間，特別是不同維數(shù)的空間時，例如超定或欠定方程組所表示的情況，就需要用矩陣的奇異值來描述算子對空間的作用了.,考察二維平面上的單位圓,在映射A下的變換過程,其中,MATLAB程序為：,A=sqrt(3)sqrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2);1sqrt(2),1sqrt(2)U,S,V=svd(A),V是正交矩陣，表示二維空間的一個旋轉(zhuǎn),S將平面上的圓變換到三維空間坐標(biāo)平面上的橢圓,V是正交矩陣，表示二維空間的一個旋轉(zhuǎn),S維將空平間面坐上標(biāo)的平圓面變上換的到橢三圓,U是正交矩陣，表示三維空間的一個旋轉(zhuǎn),當(dāng)A是方陣時，其奇異值的幾何意義是:若x是維單位球面上的一點，則是一個維橢球面上的點，其中橢球的個半軸長正好是A的個奇異值.簡單地說，在2維情況下，A將單位圓變成了橢圓，A的兩個奇異值是橢圓的長半軸和短半軸.,設(shè)A是秩為的實矩陣，A的奇異值分解為：即,且,奇異值分解的性質(zhì),則,（1）A的非零奇異值的個數(shù)等于它的秩r，即（2）是的標(biāo)準(zhǔn)正交基.（3）是的標(biāo)準(zhǔn)正交基.（4）是的標(biāo)準(zhǔn)正交基.（5）是的標(biāo)準(zhǔn)正交基.,從上面的結(jié)論可以得到,同構(gòu),奇異值分解的特征,1.奇異值分解可以降維,A表示個維向量，可以通過奇異值分解表示成個維向量.若A的秩遠遠小于和,則通過奇異值分解可以降低A的維數(shù).可以計算出，當(dāng)時，可以達到降維的目的，同時可以降低計算機對存貯器的要求.,2.奇異值對矩陣的擾動不敏感,特征值對矩陣的擾動敏感.在數(shù)學(xué)上可以證明，奇異值的變化不會超過相應(yīng)矩陣的變化，即對任何的相同階數(shù)的實矩陣A、B的按從大到小排列的奇異值和有,3.奇異值的比例不變性,即的奇異值是A的奇異值的倍.,4.奇異值的旋轉(zhuǎn)不變性.即若P是正交陣，PA的奇異值與A的奇異值相同.,奇異值的比例和旋轉(zhuǎn)不變性特征在數(shù)字圖象的旋轉(zhuǎn)、鏡像、平移、放大、縮小等幾何變化方面有很好的應(yīng)用.,5.容易得到矩陣A的秩為的一個最佳逼近矩陣.奇異值的這個特征可以應(yīng)用于信號的分解和重構(gòu)，提取有用信息，消除信號噪聲.,由矩陣A的奇異值分解可見，A是矩陣的加權(quán)和，其中權(quán)系數(shù)按遞減排列：,矩陣的秩逼近,好的矩陣A，這一點在數(shù)字圖像處理方面非常有用.矩陣的秩k逼近定義為秩逼近就精確等于A，而秩1逼近的誤差最大.,因此當(dāng)舍去權(quán)系數(shù)小的一些項后，仍然能較,顯然，權(quán)系數(shù)大的那些項對矩陣A的貢獻大,在MATLAB中，秩逼近的程序如下：clearA=2,7,9,-5,4;-9,-9,5,3,-2;-2,5,-1,-3,5;-4,9,0,9,-4,sumA=zeros(4,5);k=3U,D,V=svd(A);fori=1:ksumA=sumA+D(i,i)*U(:,i)*V(:,i);endsumA,或者clearA=input(請輸入矩陣A的