數(shù)值分析矩陣分析基礎(chǔ)PPT學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1 數(shù)值分析矩陣分析基礎(chǔ)數(shù)值分析矩陣分析基礎(chǔ) 設(shè)設(shè)X = (x1, x2, xn)T，則有則有 n xxxX 21 1 （1） 22 2 2 1 2 n T xxxXXX（2） i ni xX 1 max（3） 三個(gè)常用的向量范數(shù)：三個(gè)常用的向量范數(shù)： 范數(shù)等價(jià)范數(shù)等價(jià): : 設(shè)設(shè)A A 和 和B B是是R R上任意兩種范數(shù)，若存在上任意兩種范數(shù)，若存在 常數(shù)常數(shù) C C1 1、C C2 2 0 0 使得使得 , , 則稱則稱 A A 和 和B B 等價(jià)等價(jià)。 第1頁/共29頁 定理定理1：定義在定義在Rn上的向量范數(shù)上的向量范數(shù) 是變量是變量X分量的分量的 一致連續(xù)函數(shù)一致連續(xù)函數(shù)。

2、X ()Xf X 定理定理2 2：在在Rn上定義的任一向量范數(shù)上定義的任一向量范數(shù) 都與范數(shù)都與范數(shù) 等價(jià)等價(jià)， 即存在正數(shù)即存在正數(shù) M 與與 m ( Mm ) 對(duì)一切對(duì)一切X Rn，不等式不等式 X 1 X 11 XMXXm 成立成立。 推論推論：Rn上定義的任何兩個(gè)范數(shù)都是等價(jià)的。上定義的任何兩個(gè)范數(shù)都是等價(jià)的。 第2頁/共29頁 11 1 XXX n XnXX 1 XnXX 2 對(duì)常用范數(shù)，容易驗(yàn)證下列不等式：對(duì)常用范數(shù)，容易驗(yàn)證下列不等式： 第3頁/共29頁 定義定義2：設(shè)給定設(shè)給定Rn中的向量序列中的向量序列 ，即即 k X 01 , , , k XXX 其中其中 T k n kk

3、 k xxxX )()( 2 )( 1 , 若對(duì)任何若對(duì)任何i (i = 1, 2, n )都有都有 *)( lim i k i k xx 則向量則向量 T n xxX),( * 1 * * limXX k k 稱為向量序列稱為向量序列 的極限的極限，或者說向量序列或者說向量序列 依坐標(biāo)收斂于向量依坐標(biāo)收斂于向量 ，記為記為 k X k X * X 第4頁/共29頁 定理定理3：向量序列向量序列Xk依坐標(biāo)收斂于依坐標(biāo)收斂于X*的充要條件是的充要條件是 0lim * XX k k 向量序列依范數(shù)收斂與依坐標(biāo)收斂是等價(jià)的。向量序列依范數(shù)收斂與依坐標(biāo)收斂是等價(jià)的。 第5頁/共29頁 2、矩陣范數(shù)、矩

4、陣范數(shù) 定義定義3 3 設(shè)對(duì)任意矩陣設(shè)對(duì)任意矩陣 ARARn n m m，按一定的規(guī)則有一實(shí)數(shù) ，按一定的規(guī)則有一實(shí)數(shù) 與之對(duì)應(yīng)，記為與之對(duì)應(yīng)，記為AA，若，若AA滿足滿足 )(00; 0)1正正定定性性；時(shí)時(shí)才才有有當(dāng)當(dāng)且且僅僅當(dāng)當(dāng) AAA )( ;,|)2齊齊次次性性RcAccA )( ,)3三角不等式三角不等式BABA 則稱則稱AA為矩陣為矩陣A A的的范數(shù)范數(shù)。 )(,)4相相容容性性BAAB 第6頁/共29頁 1 1 , supsupmax v v nn n v v vvv y xy v xRARx Ax AAyAy x 設(shè)是向量范數(shù)(v=1,2,或 ), 稱矩陣的非負(fù)函數(shù) = 為矩

5、陣A的算子范數(shù). 定義定義4 4 （矩陣的算子范數(shù)）（矩陣的算子范數(shù)） 第7頁/共29頁 1 10.0,max0. 00 0 . x AAAAx AAxAx A ）顯然若則 反之，若 11 111 2 max ()max max()maxmax . xx xxx nAB ABAB xAxBx AxBxAxBx AB ）對(duì)任意兩個(gè) 階方陣 和 ， 由算子范數(shù)的定義，可由向量范數(shù)誘導(dǎo)出矩陣范數(shù)： 正定正定 性性 三角不等式三角不等式 第8頁/共29頁 11 11 3 . max ()max() maxmax xx xx nx Ax AAxAx x ABAB xA Bx ABxABx AB ）對(duì)任意

6、 維非零向量 , 有 即 故有 n vv vvv RA AxAx n n 設(shè)是中的向量范數(shù)，則為R上的矩陣 且滿足 定 范數(shù) 理 矩陣范數(shù)與向量矩陣范數(shù)與向量 范數(shù)的相容性范數(shù)的相容性 相容性相容性 第9頁/共29頁 2 ,1 1 | n ij ij Aa n 證明證明：這樣定義的非負(fù)實(shí)數(shù)不是相容的矩陣范數(shù)這樣定義的非負(fù)實(shí)數(shù)不是相容的矩陣范數(shù). . 證明：設(shè) 1111 , 1111 AB 22 22 AB | 1,| 1,| 2ABAB 從而 | | |ABAB 第10頁/共29頁 定理定理4：設(shè)設(shè)n 階方陣階方陣A = (aij)n n，則，則 （）與）與 相容的矩陣范數(shù)是相容的矩陣范數(shù)是

7、1 x n i ij j aA 1 1 max （）與）與 相容的矩陣范數(shù)是相容的矩陣范數(shù)是 2 x 1 2 A 其中其中 1為矩陣為矩陣ATA的最大特征值。的最大特征值。 （）與）與 相容的矩陣范數(shù)是相容的矩陣范數(shù)是 x n j ij i aA 1 max 上述三種范數(shù)分別稱為矩陣的上述三種范數(shù)分別稱為矩陣的1-1-范數(shù)、范數(shù)、2-2-范數(shù)和范數(shù)和- -范數(shù)。范數(shù)。 第11頁/共29頁 可以證明可以證明, 對(duì)方陣對(duì)方陣 和和 ， 有有 nn RA n x R 22 | | | | | F AxAx n i n j ijF aA 11 2 | ( (向量向量| | | |2 2的直接推廣的直接

8、推廣) )FrobeniusFrobenius范數(shù)范數(shù): : |() T F Atr A A注：注：（1 1） （2 2） 矩陣的矩陣的FrobeniusFrobenius范數(shù)不是算子范數(shù)。范數(shù)不是算子范數(shù)。 第12頁/共29頁 3矩陣矩陣的范數(shù)與特征值之間的關(guān)系的范數(shù)與特征值之間的關(guān)系 定理定理5：矩陣矩陣A 的譜半徑不超過的譜半徑不超過A的任一相容矩陣范數(shù)，的任一相容矩陣范數(shù)， 即即 定義定義4：矩陣矩陣A 的諸特征值的最大絕對(duì)值稱為的諸特征值的最大絕對(duì)值稱為A的譜半徑，的譜半徑， 1 ( )max i i n A 記為：記為： ( )AA 2 1 max( i i n A 譜范數(shù)） 并且

9、如果并且如果A A為對(duì)稱矩陣，則為對(duì)稱矩陣，則 第13頁/共29頁 注注: :R Rn n n n中的任意兩個(gè)矩陣范數(shù)也是等價(jià)的。 中的任意兩個(gè)矩陣范數(shù)也是等價(jià)的。 定義定義5 5： 設(shè)設(shè)| | | |為為R Rn n n n上的矩陣范數(shù)， 上的矩陣范數(shù)，A,BA,BR Rn n n n 稱稱 |A-B|A-B|為為A A與與B B之間的距離之間的距離。 定義定義6 6：設(shè)給定設(shè)給定R Rn n n n中的矩陣序列 中的矩陣序列 ，若 ，若 lim0 k k AA 則稱矩陣序列則稱矩陣序列 收斂于矩陣收斂于矩陣A A，記為，記為 lim k k AA k A k A 第14頁/共29頁 定理定

10、理6 6 設(shè)設(shè)BRBRn n n n，則由 ，則由B B的各冪次得到的的各冪次得到的 矩陣序列矩陣序列B Bk k, k=0,1,2k=0,1,2) )收斂于零矩陣收斂于零矩陣 （ ）的充要條件）的充要條件 為為 。 ()1B lim0 k k B 第15頁/共29頁 4. 矩陣的條件矩陣的條件 數(shù)數(shù) 定義定義5 設(shè)矩陣設(shè)矩陣 A為非奇異矩陣，則稱為非奇異矩陣，則稱 1 ()cond AAA 為矩陣為矩陣 A的的條件數(shù)條件數(shù)，其中其中 是矩陣的算子范數(shù)。是矩陣的算子范數(shù)。 對(duì)矩陣對(duì)矩陣 的任意一個(gè)算子范數(shù)的任意一個(gè)算子范數(shù) 11 (1)()1cond AAAAAI A有有 (2) (2) co

11、nd ( kA )= cond ( A ) , k 為非零常數(shù)為非零常數(shù); ; (3)(3)若若 ， 則則1A 1 )(cond AA 第16頁/共29頁 注注: : condcond ( (A A) ) 與與 所取的范數(shù)有關(guān)所取的范數(shù)有關(guān) 常用條件數(shù)有：常用條件數(shù)有： cond (A)2)(/ )( minmax AAAA TT 特別地，若特別地，若 A 對(duì)稱，則對(duì)稱，則 2 max | ( ) min | i i condA cond (A)1 =A1 1 1 A cond (A) =A 1 A 第17頁/共29頁 5.2 初等矩陣初等矩陣 初等矩陣對(duì)線性方程組的研究起著重要的作用，本節(jié)介

12、紹初等矩陣對(duì)線性方程組的研究起著重要的作用，本節(jié)介紹 一般形式的初等矩陣，它是矩陣計(jì)算的基本工具。一般形式的初等矩陣，它是矩陣計(jì)算的基本工具。 5.2.1 初等矩陣初等矩陣 定義定義6 設(shè)向量設(shè)向量 , n RRu v，則形如，則形如 ( , ; ) T EIu vuv I的矩陣叫做的矩陣叫做實(shí)初等矩陣實(shí)初等矩陣，其中，其中 是是 n階單位矩陣 階單位矩陣， 第18頁/共29頁 向量向量 i ve1， 為為初等下三角陣。初等下三角陣。 1, 1 1 ( )( ,;1) 1 1 T iiiiiii ii ni l l LLEI ll el e 定理定理5.2.1 初等下三角陣初等下三角陣 i L

13、具有如下性質(zhì)具有如下性質(zhì)： (1) ； 1( ) (),1 iiiii ll LLL 5.2.2 初等下三角矩陣初等下三角矩陣 定義定義7 令向量令向量 1, (0,0,)T iiini ll ul 則稱矩陣則稱矩陣 第19頁/共29頁 21 112211 12 1 1 ( )( )() 1 nn nn l ll LLLL lll (3) 任何一個(gè)單位下三角陣任何一個(gè)單位下三角陣 n RL都可分裂成都可分裂成 1 12211 TTT nn LIl el ele 因此，對(duì)任一非奇異下三角陣因此，對(duì)任一非奇異下三角陣 L，都可分裂成一個(gè)非奇異都可分裂成一個(gè)非奇異 對(duì)角陣和若干個(gè)下三角陣的乘積。對(duì)角

14、陣和若干個(gè)下三角陣的乘積。 (4) i L左乘矩陣左乘矩陣 A的結(jié)果是從的結(jié)果是從 A的各行中減去第的各行中減去第 i行乘一個(gè)因子。行乘一個(gè)因子。 初等下三角陣在矩陣的滿秩分解、三角分解以及解線初等下三角陣在矩陣的滿秩分解、三角分解以及解線 性代數(shù)方程組的直接解法中起著重要的作用。性代數(shù)方程組的直接解法中起著重要的作用。 ( 2 ) 為單位下三角陣為單位下三角陣 ； 第20頁/共29頁 5.2.3 Householder矩陣矩陣 定義定義8 設(shè)向量設(shè)向量 n R ，且且 2 1 ，稱形如稱形如 ( )( ,;2)2 T 為為Householder矩陣矩陣，或稱，或稱Householder變換、

15、反射矩陣變換、反射矩陣 。 要得到要得到Householder矩陣，只要在初等矩陣矩陣，只要在初等矩陣 ( , ;) u v 中中， 定理定理5.2.2 Householder矩陣矩陣 H具有以下性質(zhì)：具有以下性質(zhì)： (1) 矩陣矩陣 H是對(duì)稱陣，即是對(duì)稱陣，即 ； T (2) 矩陣矩陣 H是正交矩陣，即是正交矩陣，即 ; T (3) H變換保持向量長度不變，即對(duì)任意向量變換保持向量長度不變，即對(duì)任意向量 n Rv 22 Hvv ，; uv 2，即可。即可。 取向量取向量 第21頁/共29頁 Sv S(4) 設(shè)設(shè) 為以為以 u為法向量過原點(diǎn)的超平面，對(duì)任意的非零為法向量過原點(diǎn)的超平面，對(duì)任意的

16、非零 向量向量 n Rv，有有 Hv與與 關(guān)于超平面關(guān)于超平面 對(duì)稱。對(duì)稱。 定理定理5.2.3 對(duì)任意的非零向量對(duì)任意的非零向量 n Rv，可以適當(dāng)選擇合適的可以適當(dāng)選擇合適的 向量向量 n Ru ，滿足滿足 2 1u ，用其構(gòu)造的用其構(gòu)造的 H矩陣可將矩陣可將 v 變換為單位向量變換為單位向量 1,0,0 T n Re的常數(shù)倍，使得的常數(shù)倍，使得 cHve c 其中，其中， 是實(shí)數(shù)，并且是實(shí)數(shù)，并且 | T c v v 第22頁/共29頁 定義定義9 將將 n階單位陣階單位陣 n I改變第改變第 , i j行和第行和第 , i j列的四個(gè)列的四個(gè) 元素得到矩陣元素得到矩陣 1 1 coss

17、in 1 ( , , ) 1 sincos 1 1 i i j j ij J 5.2.4 Givens旋轉(zhuǎn)矩陣旋轉(zhuǎn)矩陣 稱為稱為Givens旋轉(zhuǎn)矩陣旋轉(zhuǎn)矩陣，或稱，或稱Givens變換，變換， 為旋轉(zhuǎn)角為旋轉(zhuǎn)角。 第23頁/共29頁 是一個(gè)正交矩陣，對(duì)任意向量是一個(gè)正交矩陣，對(duì)任意向量 n Rx，由線性變換由線性變換 12 , T n yyyJyx ， 其中，其中， , , kk yxki j ，可得 可得 cossinsincos iijjj yxxxx 5.2.5 Hessenberg矩陣矩陣 定義定義10 若實(shí)矩陣若實(shí)矩陣 n n R A 的次對(duì)角線以下元素均為零，即的次對(duì)角線以下元素均

18、為零，即 1ij時(shí)，時(shí)， 0 ij a ，稱形如，稱形如 1112111 2122212 32333 1 nn nn n nnnn hhhh hhhh hhh hh H ( , , )i jJ 第24頁/共29頁 的矩陣的矩陣 H 為為上上Hessenberg（海森伯格）陣（海森伯格）陣，或擬上三角陣或擬上三角陣 。 如果次對(duì)角線元素如果次對(duì)角線元素 , 1( 2,3, ) i i hin 全不為零，則稱該矩陣為全不為零，則稱該矩陣為 不可約的上不可約的上Hessenberg陣陣。 定理定理5.2.4 對(duì)任意矩陣對(duì)任意矩陣 n n R A，總存在正交陣總存在正交陣 Q使得使得 1 Q AQ 為

19、上為上Hessenberg陣。陣。 5.2.6 對(duì)角占優(yōu)陣對(duì)角占優(yōu)陣 定義定義11 設(shè)矩陣設(shè)矩陣 n n R A，若存在一個(gè)排列陣若存在一個(gè)排列陣 P，使得使得 1112 22 AA P AP 0A T 否則稱矩陣否則稱矩陣 A是不可約的不可約的。 其中其中 () () 11 , 11 r rn rn r RRrn 22 AA ，則稱矩陣則稱矩陣 A是可約的，是可約的， 第25頁/共29頁 定義定義12 設(shè)矩陣設(shè)矩陣 n n R A，若，若 1 , (1,2, ) n iiij j j i aain 且至少有一個(gè)不等式嚴(yán)格成立，則稱矩陣且至少有一個(gè)不等式嚴(yán)格成立，則稱矩陣 A為弱對(duì)角占優(yōu)陣 弱

20、對(duì)角占優(yōu)陣， 1 , (1, 2,) n iiij j ji aain 對(duì)所有不等式嚴(yán)格成立，則稱矩陣對(duì)所有不等式嚴(yán)格成立，則稱矩陣 A為 為嚴(yán)格對(duì)角占優(yōu)陣嚴(yán)格對(duì)角占優(yōu)陣。 定理定理5.2.5 （對(duì)角優(yōu)勢(shì)定理）（對(duì)角優(yōu)勢(shì)定理） 若矩陣若矩陣 A為嚴(yán)格對(duì)角占優(yōu)陣為嚴(yán)格對(duì)角占優(yōu)陣， 或者為不可約且弱對(duì)角占優(yōu)陣，則或者為不可約且弱對(duì)角占優(yōu)陣，則 det()0A 若若 第26頁/共29頁 歷史與注記歷史與注記 阿爾斯通阿爾斯通豪斯霍德豪斯霍德(Alston Scott Householder，19041993 )Householder 1904 年生于美國伊利諾州的洛克福特。年生于美國伊利諾州的洛克福

21、特。1937 年取得了芝加哥大學(xué)博士學(xué)位之后他獲得洛克菲勒基金會(huì)的年取得了芝加哥大學(xué)博士學(xué)位之后他獲得洛克菲勒基金會(huì)的 資助，在芝加哥大學(xué)從事研究，資助，在芝加哥大學(xué)從事研究， 1944年被提升為數(shù)學(xué)和生物年被提升為數(shù)學(xué)和生物 物理學(xué)的副教授。二戰(zhàn)后他為美國海軍研究實(shí)驗(yàn)室作數(shù)學(xué)顧物理學(xué)的副教授。二戰(zhàn)后他為美國海軍研究實(shí)驗(yàn)室作數(shù)學(xué)顧 問，他的研究興趣轉(zhuǎn)向數(shù)值計(jì)算，不久，他又轉(zhuǎn)移到位于問，他的研究興趣轉(zhuǎn)向數(shù)值計(jì)算，不久，他又轉(zhuǎn)移到位于Oak Ridge，Ten nessee 的著名的國家實(shí)驗(yàn)室，從事與原子能和武器有關(guān)的并行計(jì)算的研究。的著名的國家實(shí)驗(yàn)室，從事與原子能和武器有關(guān)的并行計(jì)算的研究。 他于他于19541956年間出任年間出任ACM的主席，的主席，19631964年又出任工業(yè)與應(yīng)用年又出任工業(yè)與應(yīng)用 數(shù)學(xué)學(xué)會(huì)數(shù)學(xué)學(xué)會(huì)SIAM的主席。豪斯霍德的主席。豪斯霍德1969年獲年獲Harry Goode獎(jiǎng)，他是美國藝術(shù)獎(jiǎng)，他是美國藝術(shù) 和科學(xué)院院士。和科學(xué)院院士。1980 年獲得計(jì)算機(jī)先驅(qū)獎(jiǎng)。年獲得計(jì)算機(jī)先驅(qū)獎(jiǎng)。 Householder 的主要貢獻(xiàn)在數(shù)據(jù)處理技術(shù)方面，他的研究領(lǐng)域主要是數(shù)的主要貢獻(xiàn)在數(shù)據(jù)處理技術(shù)方面，他的研究領(lǐng)域主要是數(shù) 值分析、數(shù)值代數(shù)、生物數(shù)學(xué)，尤其是計(jì)算機(jī)在