第五章矩陣分解

第五章矩陣分解第一頁，共六十三頁，2022年，8月28日本節(jié)介紹矩陣的LU分解。LU分解可用于求行列式、逆矩陣、解線性方程組等。

5.1矩陣的LU分解第二頁，共六十三頁，2022年，8月28日A左乘E，即是對A作相應(yīng)的初等行變換.若用Gauss消去法將矩陣A轉(zhuǎn)化成一個階梯形矩陣U，相應(yīng)的初等變換對應(yīng)的矩陣為，則第三頁，共六十三頁，2022年，8月28日第四頁，共六十三頁，2022年，8月28日第五頁，共六十三頁，2022年，8月28日定理5.1.1設(shè)A是的矩陣，則存在置換矩陣P使得

其中L是單位下三角陣，U是的階梯形矩陣。

第六頁，共六十三頁，2022年，8月28日定義5.1.1設(shè)A是的矩陣，如果A（或A的某個排列PA）可分解為(或其中L是單位下三角陣,U是階梯形矩陣，則稱此分解為A的Doolittle分解。如果A(或PA)可分解為(或其中L是下三角矩陣，U是非零對角元為1的階梯形矩陣，則此稱分解為A的Crout分解。例5.1.3第七頁，共六十三頁，2022年，8月28日定理5.1.2設(shè)A是的正定矩陣，則存在的下三角陣L使得此分解稱為矩陣A的Cholesky分解。第八頁，共六十三頁，2022年，8月28日5.1.2LU分解的應(yīng)用

矩陣的LU分解最常應(yīng)用于求解線性方程組，首先我們作分解，然后求解方程組，求解過程分兩步進(jìn)行：

第九頁，共六十三頁，2022年，8月28日首先解線性方程組，可得

.

(2)接著計算原方程組的解，即求解方程組。

第十頁，共六十三頁，2022年，8月28日有些時候，線性方程組的系數(shù)矩陣不變而右端項發(fā)生了變化，若此時已經(jīng)得到了系數(shù)矩陣LU的分解，則當(dāng)右端項發(fā)生變化時，只需求解兩個三角方程組即可（,），而不必重新進(jìn)行Gauss消去，這樣就可大大節(jié)省計算量。第十一頁，共六十三頁，2022年，8月28日若是的精確解，則即是的精確解，從而達(dá)到改進(jìn)解的目的。當(dāng)然很可能還存在誤差，得到的是，而不是。此時設(shè)，解線性方程組，得到，將的解改進(jìn)為。第十二頁，共六十三頁，2022年，8月28日如此繼續(xù)下去，可以證明，只要cond（A）不是太大，序列最終會收斂到的解，通常只需迭代幾步就可以得到很精確的解。

第十三頁，共六十三頁，2022年，8月28日5.2QR分解QR分解在解決最小二乘問題，特征值的計算等方面有十分重要的應(yīng)用。第十四頁，共六十三頁，2022年，8月28日5.2.1Householder變換在平面解析幾何中，將向量x映射為關(guān)于x軸對稱的向量y的變換稱為關(guān)于x軸的鏡像變換（見圖5.2.1）。設(shè)，則第十五頁，共六十三頁，2022年，8月28日其中,H是正交矩陣，且detH=-1第十六頁，共六十三頁，2022年，8月28日圖（5.2.1）圖（5.2.2）第十七頁，共六十三頁，2022年，8月28日定義5.2.1設(shè)單位列向量，稱矩陣為Householder矩陣，稱Householder矩陣確定的線性變換為Householder變換。

第十八頁，共六十三頁，2022年，8月28日若u不是單位向量，則定義為Householder矩陣，對應(yīng)的變換稱為Householder變換。Householder變換將向量x映為關(guān)于“與u垂直的子空間”對稱的向量(見圖5.2.3)第十九頁，共六十三頁，2022年，8月28日圖5.2.3第二十頁，共六十三頁，2022年，8月28日Householder矩陣具有如下的性質(zhì)：

(1)（H是Hermit矩陣）

(2)（H是酉矩陣）

(3)(4)（H是自逆矩陣）

(5)第二十一頁，共六十三頁，2022年，8月28日定理5.2.1設(shè)是單位列向量，則對中的任意向量x，都存在Householder矩陣使得，其中，且為實數(shù)。第二十二頁，共六十三頁，2022年，8月28日5.2.2矩陣的QR分解

下面我們探討如何利用Householder變換將矩陣化為上三角矩陣。我們以n=3的情形開始討論.設(shè)第二十三頁，共六十三頁，2022年，8月28日由例5.2.1知存在Householder矩陣使得其中第二十四頁，共六十三頁，2022年，8月28日此時接下來可構(gòu)造H使得其中第二十五頁，共六十三頁，2022年，8月28日令由矩陣分塊乘法可知第二十六頁，共六十三頁，2022年，8月28日記,則由于是酉矩陣，則和Q都是酉矩陣。

第二十七頁，共六十三頁，2022年，8月28日定理5.2.2設(shè)，則存在酉矩陣Q及上三角矩陣R，使第二十八頁，共六十三頁，2022年，8月28日定義5.2.2設(shè)，如果存在n階酉矩陣Q和n階上三角矩陣R，使得,則稱此分解為A的QR分解(或酉三角分解)。當(dāng)時稱為A的正交三角分解。

第二十九頁，共六十三頁，2022年，8月28日定理5.2.3設(shè)，則存在酉矩陣使得，其中是階梯型矩陣。第三十頁，共六十三頁，2022年，8月28日5.2.3QR分解的應(yīng)用QR分解可用于求解線性方程組的最小二乘解.第三十一頁，共六十三頁，2022年，8月28日例如要求，使得方程組

第三十二頁，共六十三頁，2022年，8月28日5.3.1奇異值分解5.3奇異值分解設(shè)A是的非奇異矩陣，由于是Hermite矩陣，則由Schur分解定理知存在酉矩陣，使得，其中是的特征值。

第三十三頁，共六十三頁，2022年，8月28日第三十四頁，共六十三頁，2022年，8月28日由上述分析可知AV的各列是相互正交的，且

令第三十五頁，共六十三頁，2022年，8月28日則因此U是酉矩陣。

第三十六頁，共六十三頁，2022年，8月28日由于其中，于是有

第三十七頁，共六十三頁，2022年，8月28日則稱為A的奇異值。定義5.3.1設(shè)A是的矩陣，的特征值為第三十八頁，共六十三頁，2022年，8月28日定理5.3.1設(shè)A是的矩陣，rank(A)=r,則（1）存在酉矩陣,使得其中是A的全部非零奇異值。

第三十九頁，共六十三頁，2022年，8月28日其中第四十頁，共六十三頁，2022年，8月28日(2)（若A可逆）；定理5.3.2設(shè)A是的矩陣，其奇異值分解為，則(1)（最大的奇異值）；

(3)。

第四十一頁，共六十三頁，2022年，8月28日5.3.2奇異值分解的應(yīng)用(1)計算線性方程組的最小二乘解設(shè)A是矩陣，b是n維列向量，考慮如下線性方程組

第四十二頁，共六十三頁，2022年，8月28日在很多情形下，上述方程組沒有解，因此，我們計算其最小二乘解，即求x使得最小。第四十三頁，共六十三頁，2022年，8月28日其中U,V是酉矩陣?？梢宰C明2-范數(shù)具有酉不變性，因此

設(shè)的奇異值分解為，第四十四頁，共六十三頁，2022年，8月28日由此可知的最小二乘解即是

的最小二乘解。

第四十五頁，共六十三頁，2022年，8月28日令則第四十六頁，共六十三頁，2022年，8月28日即第四十七頁，共六十三頁，2022年，8月28日要使上述方程組的左右兩端盡可能相等，只需令

第四十八頁，共六十三頁，2022年，8月28日即可（其實可以是任意數(shù)，它們是自由變量）。那么

是線性方程組的最小二乘解。

第四十九頁，共六十三頁，2022年，8月28日(2)計算矩陣的值空間和零空間

設(shè)A是的矩陣，A的奇異值分解為

第五十頁，共六十三頁，2022年，8月28日由于第五十一頁，共六十三頁，2022年，8月28日其中r是矩陣A的秩，從而

第五十二頁，共六十三頁，2022年，8月28日因此第五十三頁，共六十三頁，2022年，8月28日(3)數(shù)字圖像逼近

設(shè)A的奇異值分解為，則A可表示為

與A相距最近的秩為k的矩陣就是將上式截斷取前k項需k(m+n+1)個存儲單元第五十四頁，共六十三頁，2022年，8月28日因此我們可以合理地選擇k，使得盡量接近于A，同時存儲量又相對較小，便于儲存和傳輸。第五十五頁，共六十三頁，2022年，8月28日圖5.3.2展示了截取不同前k項的逼近效果。原始照片的灰度矩陣是一個320*240的矩陣，從圖中可看出取k=50的逼近效果就已經(jīng)很好了。它需要的存儲單元是50*(320+240+1)，大大減少了存儲量。第五十六頁，共六十三頁，2022年，8月28日（a）原始照片（320×240）(b)rank10逼近第五十七頁，共六十三頁，2022年，8月28日（c）rank30逼近(d)rank50逼近第五十八頁，共六十三頁，2022年，8月28日5.4矩陣的滿秩分解定義5.4.1設(shè)A是的矩陣，rank(A)=r>0,如果存在的列滿秩矩陣F及的行滿秩矩陣G使得

則稱此分解為矩陣A的滿秩分解。

第五十九頁，共六十三頁，2022年，8月28日定理5.4.1任意的矩陣A都有滿秩分解。

第六十頁，共六十三頁，2022年，8月28日(1)H的前r行中每一行至少含有一個非零元素，且每行第一個非零元素是1，而后m-r行元素均為0；

定義5.4.2設(shè)H是的矩陣，Rank(H)=r，滿足

第六十一頁，共六十三頁，2022年，8月28日則稱H為A的Hermit