矩陣的奇異值分解

矩陣的奇異值分解第一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

引言

第二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

數(shù)學(xué)的表述方式和抽象性產(chǎn)生了全面的升華!F幾何的抽象化實(shí)用直觀抽象(a,b，c)第三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

按照現(xiàn)行的國(guó)際標(biāo)準(zhǔn)，線(xiàn)性代數(shù)是通過(guò)公理化、系統(tǒng)性表述的，具有很強(qiáng)的邏輯性、抽象性，是第二代數(shù)學(xué)模型.第四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一通常的教學(xué)模式概念——相應(yīng)定理公式——例題求解直覺(jué)性喪失！第五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

向量表面上只是一列數(shù)，但是其實(shí)由于它的有序性，所以除了這些數(shù)本身攜帶的信息之外，還可以在每個(gè)數(shù)的對(duì)應(yīng)位置上攜帶信息.

線(xiàn)性空間中的任何一個(gè)對(duì)象，通過(guò)選取基和坐標(biāo)的辦法，都可以表達(dá)為向量的形式.

向量是什么？

向量是具有n個(gè)相互獨(dú)立的性質(zhì)（維度）的對(duì)象的表示問(wèn)題第六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一矩陣是什么？矩陣的乘法規(guī)則怎樣定義？矩陣的相似是什么意思？特征值的本質(zhì)是什么？第七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

純粹的數(shù)學(xué)理論描述、證明不能令人滿(mǎn)意和信服！第八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一一、線(xiàn)性空間和矩陣的幾個(gè)核心概念

第九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一基本定義:

存在一個(gè)集合，在這個(gè)集合上定義某某概念，然后滿(mǎn)足某些性質(zhì)”，就可以被稱(chēng)為空間.空間

為什么要用“空間”來(lái)稱(chēng)呼一些這樣的集合呢？奇怪!第十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一三維的空間由很多（實(shí)際上是無(wú)窮多個(gè)）位置點(diǎn)組成；這些點(diǎn)之間存在相對(duì)的關(guān)系；可以在空間中定義長(zhǎng)度、角度；這個(gè)空間可以容納運(yùn)動(dòng).這里我們所說(shuō)的運(yùn)動(dòng)是從一個(gè)點(diǎn)到另一個(gè)點(diǎn)的跳躍（變換）,而不是微積分意義上的“連續(xù)”性的運(yùn)動(dòng).第十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一容納運(yùn)動(dòng)是空間的本質(zhì)特征“空間”是容納運(yùn)動(dòng)的一個(gè)對(duì)象

集合，而空間的運(yùn)動(dòng)由變換所規(guī)定.第十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

矩陣矩陣是什么？

1.矩陣只是一堆數(shù)，如果不對(duì)這堆數(shù)建立一些運(yùn)算規(guī)則.

2.矩陣是一列列向量，如果每一列向量列舉了對(duì)同一個(gè)客觀事物的多個(gè)方面的觀察值.

第十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

3.矩陣是一個(gè)圖像，它的每一個(gè)元素代表相對(duì)位置的像素值.

4.矩陣是一個(gè)線(xiàn)性變換，它可以將一些向量變換為另一些向量.

要回答“矩陣是什么”，取決于你從什么角度去看它.第十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一矩陣與線(xiàn)性變換

在線(xiàn)性空間中，當(dāng)選定一組基之后，不僅可以用一個(gè)向量來(lái)描述空間中的任何一個(gè)對(duì)象，而且可以用矩陣來(lái)描述該空間中的任何一個(gè)運(yùn)動(dòng)（變換）.也即對(duì)于任何一個(gè)線(xiàn)性變換，都能夠用一個(gè)確定的矩陣來(lái)加以描述.

第十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一.在線(xiàn)性空間中選定基之后，向量刻畫(huà)對(duì)象，矩陣刻畫(huà)對(duì)象的運(yùn)動(dòng).

而使某個(gè)對(duì)象發(fā)生對(duì)應(yīng)運(yùn)動(dòng)的方法，就是用代表那個(gè)運(yùn)動(dòng)的矩陣，乘以代表那個(gè)對(duì)象的向量.用矩陣與向量的乘法施加運(yùn)動(dòng).

矩陣是線(xiàn)性空間中的線(xiàn)性變換的一個(gè)描述第十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一線(xiàn)性變換不同于線(xiàn)性變換的一個(gè)描述對(duì)于同一個(gè)線(xiàn)性變換，選定一組基，就可以找到一個(gè)矩陣來(lái)描述這個(gè)線(xiàn)性變換；換一組基，就得到一個(gè)不同的矩陣.

所有這些矩陣都是這同一個(gè)線(xiàn)性變換的描述，但又不是線(xiàn)性變換本身.第十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一同一個(gè)線(xiàn)性變換的矩陣具有性質(zhì)：若A和B是同一個(gè)線(xiàn)性變換的兩個(gè)不同矩陣，則一定存在非奇異矩陣P，使得

即同一個(gè)線(xiàn)性變換在不同的坐標(biāo)系下表現(xiàn)為不同的矩陣，但其本質(zhì)相同，所以特征值相同.第十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

相似矩陣，就是同一個(gè)線(xiàn)性變換的不同的描述矩陣.或者說(shuō)相似矩陣都是同一個(gè)線(xiàn)性變換的描述

.第十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

線(xiàn)性變換可以用矩陣的形式呈現(xiàn)，也就是說(shuō)，矩陣是形式，而變換——也就是各種映射才是本質(zhì)，而代數(shù)的重要任務(wù)之一就是研究各種數(shù)學(xué)結(jié)構(gòu)之間的關(guān)系——也就是映射.第二十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一維線(xiàn)性空間里的方陣的個(gè)維向量如果線(xiàn)性無(wú)關(guān)，那么它們就可以成為度量維線(xiàn)性空間的一組基，事實(shí)上就是一個(gè)坐標(biāo)系體系.矩陣與坐標(biāo)系第二十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一矩陣描述了一個(gè)坐標(biāo)系第二十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一第二十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一變換坐標(biāo)第二十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

從變換的觀點(diǎn)來(lái)看，對(duì)坐標(biāo)系M施加R變換，就是對(duì)組成坐標(biāo)系M的每一個(gè)向量施加R變換.從坐標(biāo)系的觀點(diǎn)來(lái)看，對(duì)坐標(biāo)系M的每一個(gè)基向量，把它在I坐標(biāo)系中的坐標(biāo)找出來(lái),然后通過(guò)R組成一個(gè)新的（坐標(biāo)系）矩陣.

MIT第二十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一矩陣既是坐標(biāo)系，又是變換.

數(shù)學(xué)定義：矩陣就是由行列數(shù)放在一起組成的數(shù)學(xué)對(duì)象第二十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一數(shù)學(xué)書(shū)上的語(yǔ)言是經(jīng)過(guò)千錘百煉的。這種抽象的語(yǔ)言，精準(zhǔn)的描述了人類(lèi)對(duì)數(shù)學(xué)某些局部理解的精微.

這些描述的語(yǔ)言可能可以有更完善的改進(jìn)，就像編寫(xiě)的程序有些地方的語(yǔ)句可以改得更巧妙更堅(jiān)固一樣.

第二十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

數(shù)學(xué)容許我們每個(gè)人按自己的理解方式來(lái)理解,這就看你怎樣對(duì)它加工，使它明確、使它華麗、使它完美.使它更易于理解和使用.這個(gè)過(guò)程也就是一個(gè)人學(xué)懂?dāng)?shù)學(xué)的過(guò)程.第二十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

數(shù)無(wú)形時(shí)少直觀,

形無(wú)數(shù)時(shí)難入微,

數(shù)形結(jié)合百般好,

隔離分家萬(wàn)事休.

--------華羅庚第二十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一將抽象思維形象化將理論知識(shí)實(shí)用化第三十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一二、矩陣的四個(gè)基本子空間第三十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一記：基本定義第三十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一Columnspacen=5第三十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

Rowspacem=3第三十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一r=2第三十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一設(shè)A的行階梯形為Notice

則存在可逆矩陣B使得第三十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一m=3n=5r=2Pivotrows1and2Pivotcolumns1and4例1第三十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一Nullspace有三個(gè)自由變量：方程有解：第三十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一第三十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

方程組

中，若不等于0且有解，則其解不會(huì)構(gòu)成子空間，因?yàn)闆](méi)有0元素.第四十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一LeftnullspaceLeftnullspace??第四十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一第四十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一設(shè)由例2行基第四十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一第四十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一(3,2,-1)(0,1,2)(1,0,3)N(A)第四十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一例3則由解得則顯然第四十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一RowspaceallATyColumnspaceallAxNullspaceAx=0LeftnullspaceATy=0C(AT)dimrRnN(A)dimn-rRmC(A)dimrN(AT)dimm-r互為正交補(bǔ)AX=b有解bN(AT)Rn第四十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一RowspacenullspaceLeftnullspaceActionofonColumnspace第四十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一例4若分解得第四十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一三、矩陣的奇異值分解第五十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

應(yīng)用領(lǐng)域1.最優(yōu)化問(wèn)題；

特征值問(wèn)題；

最小二乘問(wèn)題；

廣義逆矩陣問(wèn)題等.2.統(tǒng)計(jì)分析；

信號(hào)與圖像處理；

系統(tǒng)理論和控制等.第五十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一矩陣的正交對(duì)角分解

若A是n階實(shí)對(duì)稱(chēng)矩陣，則存在正交矩陣Q，使得

(1)其中為矩陣A的特征值，而Q的n個(gè)列向量組成A的一個(gè)完備的標(biāo)準(zhǔn)正交特征向量系.對(duì)于實(shí)的非對(duì)稱(chēng)矩陣A，不再有像式（1）的分解，但卻存在兩個(gè)正交矩陣P和Q，使為對(duì)角矩陣，即有下面的正交對(duì)角分解定理.第五十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

定理設(shè)非奇異，則存在正交矩陣P和Q，使得(2)其中證因?yàn)锳非奇異，所以為實(shí)對(duì)稱(chēng)正定矩陣，于是存在正交矩陣Q使得，其中為特征值令,第五十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一則有或者 再令,于是有即P為正交矩陣，且使改寫(xiě)式(2)為(3)稱(chēng)式（3）為正交矩陣A的正交對(duì)角分解第五十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一引理：

1.設(shè)則是對(duì)稱(chēng)矩陣，且其特征值是非負(fù)實(shí)數(shù).

2.3.設(shè)則的充要條件是

第五十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一定義設(shè)是秩為

的

實(shí)矩陣，的特征值為則稱(chēng)

為A的奇異值.第五十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一奇異值分解定理

設(shè)A是秩為的則存在

階正交矩陣實(shí)矩陣,與

階正交矩陣使得其中為矩陣A的全部奇異值.①第五十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一證明設(shè)實(shí)對(duì)稱(chēng)矩陣的特征值為則存在n階正交矩陣，使得

將

分塊為其中

，

分別是

的前

r列與后

列.②第五十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一并改寫(xiě)②式為則有由③的第一式可得③由③的第二式可得令

，則

，即

的r個(gè)列是兩兩正交的單位向量.記第五十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一因此可將

擴(kuò)充成

的標(biāo)準(zhǔn)正交基，記增添的向量為

，并構(gòu)造矩陣則是m階正交矩陣,且有于是可得第六十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一稱(chēng)上式為矩陣A的奇異值分解.第六十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一在矩陣?yán)碚撝?，奇異值分解?shí)際上是“對(duì)稱(chēng)矩陣正交相似于對(duì)角矩陣”的推廣.奇異值分解中

是

的特征向量，而

的列向量是

的特征向量，并且

與

的非零特征值完全相同.但矩陣

的奇異值分解不惟一.注意第六十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一數(shù)值秩在沒(méi)有誤差時(shí)，奇異值分解可以確定矩陣的秩.但是誤差的存在使得確定變得非常困難.例如，考慮矩陣第六十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一因?yàn)榈谌惺乔皟闪械暮?，所以A的秩是2.

如果不考慮到這個(gè)關(guān)系，運(yùn)用IEEE標(biāo)準(zhǔn)的雙精度浮點(diǎn)計(jì)算模式，用MATLAB命令SVD計(jì)算A的奇異值：formatlongeA=[1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7]；D=svd(A)第六十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一計(jì)算結(jié)果為：D=2.421457493421318e+0003.406534035359026e-001

1.875146052457622e-016

因?yàn)橛小叭眰€(gè)非零奇異值，所以A的秩為“3”.然而，注意到在IEEE雙精度的標(biāo)準(zhǔn)下,其中一個(gè)奇異值是微小的.也許應(yīng)該將它看作零.因?yàn)檫@個(gè)原因，引人數(shù)值秩的概念.第六十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

如果矩陣有

個(gè)“大”的奇異值，而其它都很“微小”，則稱(chēng)的數(shù)值秩為.為了確定哪個(gè)奇異值是“微小”的，需要引人閾值或容忍度.就MATLAB而言，可以把

設(shè)為閾值，大于這個(gè)閾值的奇異值的數(shù)目就是A的數(shù)值秩，把小于這個(gè)閾值的奇異值看作零.利用MATLAB的命令rank計(jì)算的秩，它的結(jié)果是2，就是這個(gè)道理.第六十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一求矩陣的奇異值分解解:MATLAB程序?yàn)椋篈=[0,-1.6,0.6;0,1.2,0.8;0,0,0;0,0,0][U,S,V]=svd(A)第六十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一計(jì)算結(jié)果A=0-1.60000.600001.20000.8000000000U=0.80000.600000-0.60000.800000001.000000001.0000第六十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一S=2.00000001.00000000000V=001.0000-1.00000.000000.00001.00000第六十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一奇異值分解的幾何意義研究將一個(gè)空間映射到不同空間，特別是不同維數(shù)的空間時(shí)，例如超定或欠定方程組所表示的情況，就需要用矩陣的奇異值來(lái)描述算子對(duì)空間的作用了.

第七十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一考察二維平面上的單位圓在映射A下的變換過(guò)程,其中MATLAB程序?yàn)椋篈=[sqrt(3)\sqrt(2),sqrt(3)\sqrt(2);-3\sqrt(2),3\sqrt(2);1\sqrt(2),1\sqrt(2)][U,S,V]=svd(A)第七十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一第七十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一V是正交矩陣，表示二維空間的一個(gè)旋轉(zhuǎn)第七十三頁(yè)，共九十二頁(yè)，編輯于2023年，星期一S將平面上的圓變換到三維空間坐標(biāo)平面上的橢圓第七十四頁(yè)，共九十二頁(yè)，編輯于2023年，星期一V是正交矩陣，表示二維空間的一個(gè)旋轉(zhuǎn)S維將空平間面坐上標(biāo)的平圓面變上換的到橢三圓U是正交矩陣，表示三維空間的一個(gè)旋轉(zhuǎn)第七十五頁(yè)，共九十二頁(yè)，編輯于2023年，星期一當(dāng)A是方陣時(shí)，其奇異值的幾何意義是:若x是

維單位球面上的一點(diǎn)，則

是一個(gè)

維橢球面上的點(diǎn)，其中橢球的

個(gè)半軸長(zhǎng)正好是A的

個(gè)奇異值.簡(jiǎn)單地說(shuō)，在2維情況下，A將單位圓變成了橢圓，A的兩個(gè)奇異值是橢圓的長(zhǎng)半軸和短半軸.第七十六頁(yè)，共九十二頁(yè)，編輯于2023年，星期一

設(shè)

A是秩為

的

實(shí)矩陣，

A的奇異值分解為：

即,且

奇異值分解的性質(zhì)第七十七頁(yè)，共九十二頁(yè)，編輯于2023年，星期一則第七十八頁(yè)，共九十二頁(yè)，編輯于2023年，星期一（1）

A的非零奇異值的個(gè)數(shù)等于它的秩r，即

（2）

是

的標(biāo)準(zhǔn)正交基.（3）

是

的標(biāo)準(zhǔn)正交基.（4）

是

的標(biāo)準(zhǔn)正交基.（5）

是

的標(biāo)準(zhǔn)正交基.第七十九頁(yè)，共九十二頁(yè)，編輯于2023年，星期一從上面的結(jié)論可以得到同構(gòu)第八十頁(yè)，共九十二頁(yè)，編輯于2023年，星期一奇異值分解的特征

1.奇異值分解可以降維A表示

個(gè)

維向量，可以通過(guò)奇異值分解表示成

個(gè)維向量.若A的秩

遠(yuǎn)遠(yuǎn)小于

和,則通過(guò)奇異值分解可以降低A的維數(shù).可以計(jì)算出，當(dāng)時(shí)，可以達(dá)到降維的目的，同時(shí)可以降低計(jì)算機(jī)對(duì)存貯器的要求.第八十一頁(yè)，共九十二頁(yè)，編輯于2023年，星期一2.奇異值對(duì)矩陣的擾動(dòng)不敏感特征值對(duì)矩陣的擾動(dòng)敏感.

在數(shù)學(xué)上可以證明，奇異值的變化不會(huì)超過(guò)相應(yīng)矩陣的變化，即對(duì)任何的相同階數(shù)的實(shí)矩陣A、B的按從大到小排列的奇異值和有第八十二頁(yè)，共九十二頁(yè)，編輯于2023年，星期一3.奇異值的比例不變性,即的奇異值是A的奇異值的倍.

4.奇異值的旋轉(zhuǎn)不變性.即若P是正交陣，PA的奇異值與A的奇異值相同.奇異值的比例和旋轉(zhuǎn)不變性特征在數(shù)字圖象的旋轉(zhuǎn)、鏡像、平移、放大、縮小等幾何變化方面有很