矩陣范數詳解

1、15向量和矩陣的范數的若干難點導引矩陣范數的定義引入矩陣范數的原因與向量范數的理由是相似的，在許多場合需要“測量”矩陣的“大小”，比如矩陣序列的收斂，解線性方程組時的誤差分析等，具體的情況在這里不再復述。最容易想到的矩陣范數，是把矩陣A Cmn可以視為一個 mn維的向量（采用所謂“拉直”的變換），所以，直觀上可用 Cmn上的向量范數來作為 A Cm n的矩陣范數。比如m n1在 li -范數意義下，| A|1 二二 & | htr（AH A） 2 ；（ 1.1）i= j二1廣 m n在12-范數意義下，iia|f=送送|2 ，（ 1.2）vj 二 j 二 丿注意這里為了避免與以后的記號

2、混淆，下標用“F”，這樣一個矩陣范數，稱為Frobenius范數，或F-范數?？梢则炞C它們都滿足向量范數的3個條件。那么是否矩陣范數就這樣解決了？因為數學上的任一定義都要與其對象的運算聯系起 來，矩陣之間有乘法運算，它在定義范數時應予以體現，也即估計AB的“大小”相對于A與B的“大小”關系。定義1設A Cmn，對每一個 A，如果對應著一個實函數 N（A），記為| A|，它滿 足以下條件：（1） 非負性：| A|_0 ；（a）正定性：A = 0m n ：二 |A|=0（2）齊次性：|A|=|A|,C ；（3）三角不等式:|A|A B|_|A|B|,-B Cm n則稱N（A） =|A|為A的廣義矩

3、陣范數。進一步，若對 Cm n,Cn ',Cml上的同類廣義矩陣范數| |，有（4）（矩陣相乘的）相容性:|A|AB|_|A|B|， B Cn 1，則稱N（A） =| A|為A的矩陣范數。我們現在來驗證前面（1.1 ）和（1.2）定義的矩陣范數是否合法？我們這里只考慮（1.2）,把較容易的（1.1 ）的驗證留給同學們，三角不等式的驗證。按列分塊，記A = （a,a2, lll,an）, B = （b|,b2,IH,bn）。|A B|F=|gbj,® b2）, ,（anbn）|F=|a1b|2|a2b2|2Hanbn|；2 2蘭（|舊1|2 +|b1|2 ） +1l|+（|an

4、|2 +|bn|2）=|a1|2|an|；2 |a,|2|bi|2|an|2|bn|2-|b1|2- |bn|2對上式中第2個括號內的諸項，應用 Cauchy不等式，則有(1.3 )|A + B|F 卸 A|F +2|A|f|B|f +|B|A（|A|F +|B|f）2 于是，兩邊開方，即得三角不等式。再驗證矩陣乘法相容性。m l|AB|；m z ag 巧瓦 IZ 總 |除|i =1 j =i k =ii # j=i2 -m l n一、'""| aiki 4 j 4 k 4I2I bsj|2,s4(這一步用了 Cauchy不等式)lakI2i 4 k 4n l、ss

5、 lb I2 制aiiFiibiiF/ <sj j(1.4 )可見，矩陣相容性滿足。這樣就完成了對矩陣 F-范數的驗證。是不是這樣直接將向量范數運用到矩陣范數就可以了嗎？ No!運用L-范數于矩陣范數時便出了問題。如果I|A|max | aj |，那么,這樣的矩陣范1壬n1 r'2 2、數在下面一個例子上就行不通。設A=,A =| = 2Ao因此，按上述矩陣aJ 1丿<2 2丿-范數的定義，I|A|A1，I|A|A|/1,|A2|d2 ,于是2=|A2|：4|A A|L糾|A|：|A|寸 1但這是矛盾的。所以簡單地將I：-范數運用于矩陣范數，是不可行的雖然這僅是一個反例，但

6、是數學的定義是不可以有例外的。由此，我們必須認識到，不能隨便套用向量范數的形式來構造矩陣范數。為此,我們僅給出矩陣范數的定義是不夠的，還需要研究如何構成具體的矩陣范數的方法。當然，你也可以不去考慮構成方法，一個函數一個函數去試，只要滿足條件就行。不過這樣做的工作量太大，也很盲目。第二，在實際計算時，往往矩陣與向量出現在同一個計算問題中，所以在考慮構造矩陣范數時，應該使它與向量范數相容。比如要考慮Ax的“大小”，Ax是一個向量，但它由 A與x相乘而得的，它與 A的“大小”和x的“大小”的關系如何？這提出了兩類范數相容的概念。定義2對于Cmn上的矩陣范數| «|m和Cm,Cn上的同類向量

7、范數IHIV，如果成立I|Ax|v<|A|m IlxlV, -A Cmn,-x cn( 1.5)則稱矩陣范數| *|m與向量范數|V是相容的。1,Z m n人 21例1. 1可以證明|A|f=瓦瓦|aij |2 =(tr(AHA)2是與向量范數IW 相容。2匚丿事實上，在(1。2)中，取B =x Cn 1，那么I|Ax|2 =|AB|/|A|f|B|f=|A|f|x|2.矩陣算子范數現在給出一種構造矩陣范數的一般方法，它可以使構造出的矩陣范數與向量范數相容， 當然，它也滿足定義 1規(guī)定的4個條件。定義3設Cm,Cn上的同類向量范數為|V , A Cmn，定義在Cm n空間上的矩陣A 的由

8、向量范數| «|V誘導給出的矩陣范數為| A |V = max 11 Ax IV(2.1 )心 IlxlV可以驗證，這樣定義出的矩陣范數IIAIV滿足定義1規(guī)定的4個條件，同時又滿足矩陣范數與向量范數相容性要求（定義2）。由于有什么樣的向量范數|V ,就有什么樣的矩陣范數， 所以，這樣的矩陣范數稱為由向量范數誘導出的，簡稱誘導范數；又因為（2.1 ）實際上規(guī)11 AX|V的最大定了一個函數（或算子），故又稱為算子范數。（2.1 ）給定的范數實際是尋求一個最優(yōu)化問題的最優(yōu)值，求目標函數l|x|v值，約束條件是x = 0，也就在Cn空間中除原點外的點中，找一個 n維向量x，使1一業(yè) l|

9、x|v 取得最大值。如果直接考慮這樣一個優(yōu)化問題，還是有困難的可以證明，它可以下列等價方式定義，使問題的處理簡單。|A|v二 maxx=0|Ax|V|x|v二 max|MV =1|Ax|V|x|Vm卿Ax|V(2.2)事實上，分母上的|x|v是一個正數（X = 0）,那么根據向量范數的齊次性有max 業(yè)=max |丄 Ax =max心 |x|v 心 |x|v v 心xA x|vvAxx上面第3個等號成立是因為向量 z為一個單位向量。|x|v下面我們從理論上證明這樣的矩陣范數| A|v滿足定義1規(guī)定的4個條件，同時又滿足矩陣范數與向量范數相容性要求。定理2。1由（2.1 ）或（2.2 ）給定的C

10、m n上的矩陣范數滿足矩陣范數定義1的4個條件，且與相應的向量范數相容。證明：首先，矩陣范數與向量范數的相容性是不難證明的，事實上，對|x|v =1,|A|v|x|v =| A|v二max|Az|v -| Ax|v ,因此，矩陣范數與向量范數的相容性條件 |zHv T（1.5 ）成立。我們下面來驗證（2.1 ）或（2.2 ）滿足矩陣范數的4個條件。這4個條件中，前2個也 容易驗證，因此這里只來考察第3,4個條件。三角不等式的驗證：對于任一 B Cm n| A B| = max|（A B）x| = max| Ax Bx|_max | A| | B|刈#|x|m|X|曰-max | Ax| max

11、 |Bx | A|B |矩陣相乘相容性的驗證：由（1.5 ），不難有|ABx|V 聞A|V|Bx|V 聞A|v|B|v|x|V當 x=0時，|ABx|v <|A|v |B|V|x|V| ABx |V所以|AB|v = nmaxV -| A|V| B |v席 |x|v至此，證實了用算子范數確能給出滿足矩陣范數定義和矩陣范數與向量范數的相容性 的矩陣范數。推論1對于Cn n上的任一種向量誘導范數，都有| I |=max|lx|F1（2。3）|刈1但是要注意的是，對一般的矩陣范數，對任一向量x. Cn，有l(wèi)|x|=|lx|兇|l |x| 故有|一1。比如，|A|F不是誘導矩陣范數，所以。三.

12、幾個常用的誘導矩陣范數上面的論述表明，誘導矩陣范數與向量范數密切相關，有何種向量范數，就有什么樣的誘導矩陣范數。下面就來具體地構造幾個常用的誘導矩陣范數。設A cmn。例3. 1設A Cm n，由向量h-范數誘導而來的 最大列和誘導矩陣范數m|A|i = max'Taj |(3.1)證明：按列分塊，記 A = (q ,a2,|)l,an)，則由(3.1 )和向量l1-范數的定義可知| A|h 二max |aj |h設 x =(x!，X2，|1，Xn)n Cn，且有 |x|1=1mnm nn/ m|Ax|1=Z為 ajXj紅遲|aj |區(qū)空區(qū)|莊|aj |id：j壬y jyVd：丿n乞

13、max | aj | ' | 為 | =max 幺 |jj djm因此，| A |1 = max | Ax |1 乞 max'： | a” |(+)1|刈1 呂1j j J另一方面，選取k,使得mmx |ajk | = max' |ajj |i dj i =1令 xo 為第 k 的單位向量 e(0jl|0,1,0j|,0)T,那么 Ax。=ak =(a1k,a2k,川,amQTmm|A|1=maxJ| Ax|1| Ax。|1=遲 a| = max 遲 |a0 |(+)|x|1 j 綜合(+)與(+)可知，由向量h-范數誘導出的矩陣范數既是|A|1的上界，又是其下界，因此

14、必有(3.1).例3. 2 設A Cm n，矩陣譜范數由J-范數誘導得出的矩陣范數，定義為|A|2 = max ' | '是 A A的特征值 = - ' max(A A) =；” 1(3.2)其中 5為A的最大奇異值，當A Rnn時，| A|2-max(ATA)(3.3)證明：首先由線性代數，AHA是半正定矩陣，事實上，對任一 xCn,有(x, Ah Ax) = xH Ah Ax = (Ax)H (Ax) =|Ax|-0因此，AH A的特征值都為非負實數，記為 1 一，2 IH 'n-0,而且AH A具有n個相互 正交的，匚-范數等于1(即標準化了的)特征向量x

15、，x，IH,x(n),它們分別對應于特征值】- 2 川n -。故這組特征向量構成了一組標準正交基，用它們可表示任一個范數|x|2n(i)x 二' :iX()i 4n而且，由| x |2 =1 可得到=1。i 二nnn這樣，AhAx=AhAv 冷x八 j(AH Ax(i)汁公。i 4i 4i 丄由此(n . n.、II Ax|；=(x, AHAx) - ' : iX，二 i7丿(n 、蟲1 I ：'1 |22 h 2 f J|l 'n N n f 一、岸j2 “ 仝1，li丄丿也就是|Ax|2<，由x的任意性和算子范數的定義|A|2=max| Ax |2&l

16、t;2 |刈2 土1另一方面，由|x|2 = 1，并且取 1對應的特征向量x，考慮|Ax |2=(x,AH Ax)=(x，X)(X,x)|x |2 所以|A|“maq|Ax|2 卻 ax |占人綜合(* )和(*)，由12-范數誘導得出的矩陣范數應為| A |2 _ 1 = max二 | 二是 Ah A的特征值 -' max(AH A) 。例3. 3設A Cmn, h：-范數誘導得出的矩陣范數n|A|：=max、6 |1住y證明：設 X =(音，X2,ll|,Xn)T,且 |x|：=1，即 max | Xi 戶1。n1的向量x :(*)(* )(3.4 )1 ：i：m|Ax|h=max

17、瓦 aijxj 蘭 max瓦 |aij xj |=max瓦 |aij |xj |j =1i jn蘭 maxE (|aj | (max | Xj |)蘭 mpx瓦 |a0 |i j 1ji j由算子范數，n| A|Fma3J| Ax|嚴 mpxV |aj |-jm另一方面，選取k,使得n(*)、& |= max'& |j =1i jif akj 二 0if akj 01,令 y =(yi,y2,IH,yn)T,其中 yj 二三色U aq則H y H ： ： - 口嚴I yj 1 =1，從而有nAy =送 |akj 1j 二由算子范數(* )nnI|A|：=maXlIAx|

18、I：I Ay|：_' |akj | = max' Ia I。|x|Qj 二| jm綜合(* )和(*),便得n“僅:二啊' ® |o-j 二除了上述3種常用的矩陣范數外，Frobenius范數雖然不是算子范數，但也經常所用,在討論序列收斂等問題上是等價的。(1-2 例3. 4 設A=，求其各種矩陣范數。1-34解：|A|1=最大列和=6 ;| A| ：-最大行和=7 ;| A|F = >12 22324 30 : 5.477 ；| A|2=W15221 5.4650四. 由矩陣范數推出的向量范數矩陣范數可由向量范數誘導，反過來，向量范數有時也可從矩陣范數

19、推出。例4. 1設II «|m是Cn n上的矩陣范數，任取 Cn中的非零向量y，則函數I|x|"|xyH |m，eCn（4。1）是Cn上的向量范數，且矩陣范數ILIIm與向量范數| IV相容。證明：欲證IIxIV是一個向量范數，只須驗證它滿足向量范數得個條件。非負性：當x=0時，由于y非零，故IIxIV=IIxyH IIM 0,x Cn ；當 x =0 時，xyH =0.場，故 |x|V=I|xyH IIm =0。齊次性：對任一常數 cC，有|cx|V=|cxyH|M =|c|xyH|M =|c|x|V。三角不等式：對任意的x,zCn，有|x z|V=|(x z)yH |M

20、=|xyH xzh|m 引|xyH |M|xzH |m=|x|V |z|m。因此由向量范數的定義知，|x|V是一個向量范數。下面再證兩種范數的相容性。如果A三cn n, x三cn，那么|Ax|"|(Ax)yH |m =|A(xyH)|M<|A|M|xyH |m =|A|m|x|V。 可見，矩陣范數|m與向量范數|V相容。五. 范數的若干應用范數的應用很廣泛，這里只舉 2例。1 矩陣奇異性的條件對于矩陣A Cn n，能否根據其范數的大小，來判別 (I -A)的奇異性？判別一個矩陣的奇 異性，并不方便(比如計算 A的行列式的值是否非零，判斷 A的諸列是否線性無關等，均 不大容易)，

21、但矩陣的范數的計算，女口 | A|k，| A|，還是方便的。定理5.1 (Banach引理)設矩陣 A Cn n ,且對矩陣 Cn n上的某種矩陣范數|,有|A|：1,則矩陣(I _A)非奇異,且有_±|(IA) |<|1 |1-|A|(5.1)(I 一 A)非奇異，可通過證明：假設矩陣范數|A|與向量范數|x|相容。欲證矩陣det(l 一 A) = 0。用反證法。假設det(l _A)=0，則齊次線性方程組(I _A)x = 0有非零解x0，即(1 一 A)x0 =0, X。=0于是，兩邊取范數x0 二千 Ax°。|x0|v =|Ax0|V|A|x0|V<|x

22、0|V其中最后一個不等號是由于|A|：1。但上式是矛盾的，假設 det(l _A)=0不成立，從而矩陣(I _A)非奇異，故有逆。再由 兩邊取范數， 再移項，有(1 ：A)(I _ A) =1 可得(I ：A)=I 千(I _礦人 得 |(I -A)'|=|I 千(1 A)'A|_|I | |(I -A)1|A|(I A)'|(1-|A|n|l |從而|(I - A)，|" |1T|A|這正是我們要想證明的。在推演分析Ax =b的直接法的誤差分析時起重要的作用。請同學們自行證明下面類似的結果。定理5.2設矩陣A Cn n,且對矩陣Cn n上的某種矩陣范數|卜|

23、,有|A|卜：1，則|"襯|心|2 .近似逆矩陣的誤差一一逆矩陣的攝動在數值計算中，誤差無處不在，考慮由于這些誤差存在而帶來的后果，是一項重要的課題。設矩陣AwCn>°的元素q帶有誤差6丙，（i, j =1,2,|",n），則矩陣的真實的值應為 A A，其中二Ca）稱為誤差矩陣，又叫攝動矩陣。若A為非奇異，其逆陣為AJ。問題是：（A 、； A）J與AJ的近似程度如何呢？或者說, （A與AJ的“距離”大小為多少？下面是回答上述問題的攝動定理。定理5.3 設矩陣 A Cn n非奇異，BCnn，且對Cn n上的某種矩陣范數|，有|AJB|：1，則（1）A B 非奇異；（2）記 F=l-（lAB），那么 |F | |A B11 ；1-IIA B|（3）|A-（A + B）|$ |AB|AA|1-|AB|證明：由于| AdB|p：1，所以| - A，B|：1。由定理5。1，（I AJB）非奇異，故 A B = A（I AB）非奇異。在定理5。2中，將A換成AB，即得（2）。又因為 A-（A B）二（1 -（1 AB）A