矩陣范數(shù)詳解

1、15向量和矩陣的范數(shù)的若干難點(diǎn)導(dǎo)引矩陣范數(shù)的定義引入矩陣范數(shù)的原因與向量范數(shù)的理由是相似的，在許多場(chǎng)合需要“測(cè)量”矩陣的“大小”，比如矩陣序列的收斂，解線性方程組時(shí)的誤差分析等，具體的情況在這里不再復(fù)述。最容易想到的矩陣范數(shù)，是把矩陣A Cmn可以視為一個(gè) mn維的向量（采用所謂“拉直”的變換），所以，直觀上可用 Cmn上的向量范數(shù)來作為 A Cm n的矩陣范數(shù)。比如m n1在 li -范數(shù)意義下，| A|1 二二 & | htr（AH A） 2 ；（ 1.1）i= j二1廣 m n在12-范數(shù)意義下，iia|f=送送|2 ，（ 1.2）vj 二 j 二 丿注意這里為了避免與以后的記號(hào)

2、混淆，下標(biāo)用“F”，這樣一個(gè)矩陣范數(shù)，稱為Frobenius范數(shù)，或F-范數(shù)?？梢则?yàn)證它們都滿足向量范數(shù)的3個(gè)條件。那么是否矩陣范數(shù)就這樣解決了？因?yàn)閿?shù)學(xué)上的任一定義都要與其對(duì)象的運(yùn)算聯(lián)系起 來，矩陣之間有乘法運(yùn)算，它在定義范數(shù)時(shí)應(yīng)予以體現(xiàn)，也即估計(jì)AB的“大小”相對(duì)于A與B的“大小”關(guān)系。定義1設(shè)A Cmn，對(duì)每一個(gè) A，如果對(duì)應(yīng)著一個(gè)實(shí)函數(shù) N（A），記為| A|，它滿 足以下條件：（1） 非負(fù)性：| A|_0 ；（a）正定性：A = 0m n ：二 |A|=0（2）齊次性：|A|=|A|,C ；（3）三角不等式:|A|A B|_|A|B|,-B Cm n則稱N（A） =|A|為A的廣義矩

3、陣范數(shù)。進(jìn)一步，若對(duì) Cm n,Cn ',Cml上的同類廣義矩陣范數(shù)| |，有（4）（矩陣相乘的）相容性:|A|AB|_|A|B|， B Cn 1，則稱N（A） =| A|為A的矩陣范數(shù)。我們現(xiàn)在來驗(yàn)證前面（1.1 ）和（1.2）定義的矩陣范數(shù)是否合法？我們這里只考慮（1.2）,把較容易的（1.1 ）的驗(yàn)證留給同學(xué)們，三角不等式的驗(yàn)證。按列分塊，記A = （a,a2, lll,an）, B = （b|,b2,IH,bn）。|A B|F=|gbj,® b2）, ,（anbn）|F=|a1b|2|a2b2|2Hanbn|；2 2蘭（|舊1|2 +|b1|2 ） +1l|+（|an

4、|2 +|bn|2）=|a1|2|an|；2 |a,|2|bi|2|an|2|bn|2-|b1|2- |bn|2對(duì)上式中第2個(gè)括號(hào)內(nèi)的諸項(xiàng)，應(yīng)用 Cauchy不等式，則有(1.3 )|A + B|F 卸 A|F +2|A|f|B|f +|B|A（|A|F +|B|f）2 于是，兩邊開方，即得三角不等式。再驗(yàn)證矩陣乘法相容性。m l|AB|；m z ag 巧瓦 IZ 總 |除|i =1 j =i k =ii # j=i2 -m l n一、'""| aiki 4 j 4 k 4I2I bsj|2,s4(這一步用了 Cauchy不等式)lakI2i 4 k 4n l、ss

5、 lb I2 制aiiFiibiiF/ <sj j(1.4 )可見，矩陣相容性滿足。這樣就完成了對(duì)矩陣 F-范數(shù)的驗(yàn)證。是不是這樣直接將向量范數(shù)運(yùn)用到矩陣范數(shù)就可以了嗎？ No!運(yùn)用L-范數(shù)于矩陣范數(shù)時(shí)便出了問題。如果I|A|max | aj |，那么,這樣的矩陣范1壬n1 r'2 2、數(shù)在下面一個(gè)例子上就行不通。設(shè)A=,A =| = 2Ao因此，按上述矩陣aJ 1丿<2 2丿-范數(shù)的定義，I|A|A1，I|A|A|/1,|A2|d2 ,于是2=|A2|：4|A A|L糾|A|：|A|寸 1但這是矛盾的。所以簡單地將I：-范數(shù)運(yùn)用于矩陣范數(shù)，是不可行的雖然這僅是一個(gè)反例，但

6、是數(shù)學(xué)的定義是不可以有例外的。由此，我們必須認(rèn)識(shí)到，不能隨便套用向量范數(shù)的形式來構(gòu)造矩陣范數(shù)。為此,我們僅給出矩陣范數(shù)的定義是不夠的，還需要研究如何構(gòu)成具體的矩陣范數(shù)的方法。當(dāng)然，你也可以不去考慮構(gòu)成方法，一個(gè)函數(shù)一個(gè)函數(shù)去試，只要滿足條件就行。不過這樣做的工作量太大，也很盲目。第二，在實(shí)際計(jì)算時(shí)，往往矩陣與向量出現(xiàn)在同一個(gè)計(jì)算問題中，所以在考慮構(gòu)造矩陣范數(shù)時(shí)，應(yīng)該使它與向量范數(shù)相容。比如要考慮Ax的“大小”，Ax是一個(gè)向量，但它由 A與x相乘而得的，它與 A的“大小”和x的“大小”的關(guān)系如何？這提出了兩類范數(shù)相容的概念。定義2對(duì)于Cmn上的矩陣范數(shù)| «|m和Cm,Cn上的同類向量

7、范數(shù)IHIV，如果成立I|Ax|v<|A|m IlxlV, -A Cmn,-x cn( 1.5)則稱矩陣范數(shù)| *|m與向量范數(shù)|V是相容的。1,Z m n人 21例1. 1可以證明|A|f=瓦瓦|aij |2 =(tr(AHA)2是與向量范數(shù)IW 相容。2匚丿事實(shí)上，在(1。2)中，取B =x Cn 1，那么I|Ax|2 =|AB|/|A|f|B|f=|A|f|x|2.矩陣算子范數(shù)現(xiàn)在給出一種構(gòu)造矩陣范數(shù)的一般方法，它可以使構(gòu)造出的矩陣范數(shù)與向量范數(shù)相容， 當(dāng)然，它也滿足定義 1規(guī)定的4個(gè)條件。定義3設(shè)Cm,Cn上的同類向量范數(shù)為|V , A Cmn，定義在Cm n空間上的矩陣A 的由

8、向量范數(shù)| «|V誘導(dǎo)給出的矩陣范數(shù)為| A |V = max 11 Ax IV(2.1 )心 IlxlV可以驗(yàn)證，這樣定義出的矩陣范數(shù)IIAIV滿足定義1規(guī)定的4個(gè)條件，同時(shí)又滿足矩陣范數(shù)與向量范數(shù)相容性要求（定義2）。由于有什么樣的向量范數(shù)|V ,就有什么樣的矩陣范數(shù)， 所以，這樣的矩陣范數(shù)稱為由向量范數(shù)誘導(dǎo)出的，簡稱誘導(dǎo)范數(shù)；又因?yàn)椋?.1 ）實(shí)際上規(guī)11 AX|V的最大定了一個(gè)函數(shù)（或算子），故又稱為算子范數(shù)。（2.1 ）給定的范數(shù)實(shí)際是尋求一個(gè)最優(yōu)化問題的最優(yōu)值，求目標(biāo)函數(shù)l|x|v值，約束條件是x = 0，也就在Cn空間中除原點(diǎn)外的點(diǎn)中，找一個(gè) n維向量x，使1一業(yè) l|

9、x|v 取得最大值。如果直接考慮這樣一個(gè)優(yōu)化問題，還是有困難的可以證明，它可以下列等價(jià)方式定義，使問題的處理簡單。|A|v二 maxx=0|Ax|V|x|v二 max|MV =1|Ax|V|x|Vm卿Ax|V(2.2)事實(shí)上，分母上的|x|v是一個(gè)正數(shù)（X = 0）,那么根據(jù)向量范數(shù)的齊次性有max 業(yè)=max |丄 Ax =max心 |x|v 心 |x|v v 心xA x|vvAxx上面第3個(gè)等號(hào)成立是因?yàn)橄蛄?z為一個(gè)單位向量。|x|v下面我們從理論上證明這樣的矩陣范數(shù)| A|v滿足定義1規(guī)定的4個(gè)條件，同時(shí)又滿足矩陣范數(shù)與向量范數(shù)相容性要求。定理2。1由（2.1 ）或（2.2 ）給定的C

10、m n上的矩陣范數(shù)滿足矩陣范數(shù)定義1的4個(gè)條件，且與相應(yīng)的向量范數(shù)相容。證明：首先，矩陣范數(shù)與向量范數(shù)的相容性是不難證明的，事實(shí)上，對(duì)|x|v =1,|A|v|x|v =| A|v二max|Az|v -| Ax|v ,因此，矩陣范數(shù)與向量范數(shù)的相容性條件 |zHv T（1.5 ）成立。我們下面來驗(yàn)證（2.1 ）或（2.2 ）滿足矩陣范數(shù)的4個(gè)條件。這4個(gè)條件中，前2個(gè)也 容易驗(yàn)證，因此這里只來考察第3,4個(gè)條件。三角不等式的驗(yàn)證：對(duì)于任一 B Cm n| A B| = max|（A B）x| = max| Ax Bx|_max | A| | B|刈#|x|m|X|曰-max | Ax| max

11、 |Bx | A|B |矩陣相乘相容性的驗(yàn)證：由（1.5 ），不難有|ABx|V 聞A|V|Bx|V 聞A|v|B|v|x|V當(dāng) x=0時(shí)，|ABx|v <|A|v |B|V|x|V| ABx |V所以|AB|v = nmaxV -| A|V| B |v席 |x|v至此，證實(shí)了用算子范數(shù)確能給出滿足矩陣范數(shù)定義和矩陣范數(shù)與向量范數(shù)的相容性 的矩陣范數(shù)。推論1對(duì)于Cn n上的任一種向量誘導(dǎo)范數(shù)，都有| I |=max|lx|F1（2。3）|刈1但是要注意的是，對(duì)一般的矩陣范數(shù)，對(duì)任一向量x. Cn，有l(wèi)|x|=|lx|兇|l |x| 故有|一1。比如，|A|F不是誘導(dǎo)矩陣范數(shù)，所以。三.

12、幾個(gè)常用的誘導(dǎo)矩陣范數(shù)上面的論述表明，誘導(dǎo)矩陣范數(shù)與向量范數(shù)密切相關(guān)，有何種向量范數(shù)，就有什么樣的誘導(dǎo)矩陣范數(shù)。下面就來具體地構(gòu)造幾個(gè)常用的誘導(dǎo)矩陣范數(shù)。設(shè)A cmn。例3. 1設(shè)A Cm n，由向量h-范數(shù)誘導(dǎo)而來的 最大列和誘導(dǎo)矩陣范數(shù)m|A|i = max'Taj |(3.1)證明：按列分塊，記 A = (q ,a2,|)l,an)，則由(3.1 )和向量l1-范數(shù)的定義可知| A|h 二max |aj |h設(shè) x =(x!，X2，|1，Xn)n Cn，且有 |x|1=1mnm nn/ m|Ax|1=Z為 ajXj紅遲|aj |區(qū)空區(qū)|莊|aj |id：j壬y jyVd：丿n乞

13、max | aj | ' | 為 | =max 幺 |jj djm因此，| A |1 = max | Ax |1 乞 max'： | a” |(+)1|刈1 呂1j j J另一方面，選取k,使得mmx |ajk | = max' |ajj |i dj i =1令 xo 為第 k 的單位向量 e(0jl|0,1,0j|,0)T,那么 Ax。=ak =(a1k,a2k,川,amQTmm|A|1=maxJ| Ax|1| Ax。|1=遲 a| = max 遲 |a0 |(+)|x|1 j 綜合(+)與(+)可知，由向量h-范數(shù)誘導(dǎo)出的矩陣范數(shù)既是|A|1的上界，又是其下界，因此

14、必有(3.1).例3. 2 設(shè)A Cm n，矩陣譜范數(shù)由J-范數(shù)誘導(dǎo)得出的矩陣范數(shù)，定義為|A|2 = max ' | '是 A A的特征值 = - ' max(A A) =；” 1(3.2)其中 5為A的最大奇異值，當(dāng)A Rnn時(shí)，| A|2-max(ATA)(3.3)證明：首先由線性代數(shù)，AHA是半正定矩陣，事實(shí)上，對(duì)任一 xCn,有(x, Ah Ax) = xH Ah Ax = (Ax)H (Ax) =|Ax|-0因此，AH A的特征值都為非負(fù)實(shí)數(shù)，記為 1 一，2 IH 'n-0,而且AH A具有n個(gè)相互 正交的，匚-范數(shù)等于1(即標(biāo)準(zhǔn)化了的)特征向量x

15、，x，IH,x(n),它們分別對(duì)應(yīng)于特征值】- 2 川n -。故這組特征向量構(gòu)成了一組標(biāo)準(zhǔn)正交基，用它們可表示任一個(gè)范數(shù)|x|2n(i)x 二' :iX()i 4n而且，由| x |2 =1 可得到=1。i 二nnn這樣，AhAx=AhAv 冷x八 j(AH Ax(i)汁公。i 4i 4i 丄由此(n . n.、II Ax|；=(x, AHAx) - ' : iX，二 i7丿(n 、蟲1 I ：'1 |22 h 2 f J|l 'n N n f 一、岸j2 “ 仝1，li丄丿也就是|Ax|2<，由x的任意性和算子范數(shù)的定義|A|2=max| Ax |2&l

16、t;2 |刈2 土1另一方面，由|x|2 = 1，并且取 1對(duì)應(yīng)的特征向量x，考慮|Ax |2=(x,AH Ax)=(x，X)(X,x)|x |2 所以|A|“maq|Ax|2 卻 ax |占人綜合(* )和(*)，由12-范數(shù)誘導(dǎo)得出的矩陣范數(shù)應(yīng)為| A |2 _ 1 = max二 | 二是 Ah A的特征值 -' max(AH A) 。例3. 3設(shè)A Cmn, h：-范數(shù)誘導(dǎo)得出的矩陣范數(shù)n|A|：=max、6 |1住y證明：設(shè) X =(音，X2,ll|,Xn)T,且 |x|：=1，即 max | Xi 戶1。n1的向量x :(*)(* )(3.4 )1 ：i：m|Ax|h=max

17、瓦 aijxj 蘭 max瓦 |aij xj |=max瓦 |aij |xj |j =1i jn蘭 maxE (|aj | (max | Xj |)蘭 mpx瓦 |a0 |i j 1ji j由算子范數(shù)，n| A|Fma3J| Ax|嚴(yán) mpxV |aj |-jm另一方面，選取k,使得n(*)、& |= max'& |j =1i jif akj 二 0if akj 01,令 y =(yi,y2,IH,yn)T,其中 yj 二三色U aq則H y H ： ： - 口嚴(yán)I yj 1 =1，從而有nAy =送 |akj 1j 二由算子范數(shù)(* )nnI|A|：=maXlIAx|

18、I：I Ay|：_' |akj | = max' Ia I。|x|Qj 二| jm綜合(* )和(*),便得n“僅:二啊' ® |o-j 二除了上述3種常用的矩陣范數(shù)外，F(xiàn)robenius范數(shù)雖然不是算子范數(shù)，但也經(jīng)常所用,在討論序列收斂等問題上是等價(jià)的。(1-2 例3. 4 設(shè)A=，求其各種矩陣范數(shù)。1-34解：|A|1=最大列和=6 ;| A| ：-最大行和=7 ;| A|F = >12 22324 30 : 5.477 ；| A|2=W15221 5.4650四. 由矩陣范數(shù)推出的向量范數(shù)矩陣范數(shù)可由向量范數(shù)誘導(dǎo)，反過來，向量范數(shù)有時(shí)也可從矩陣范數(shù)

19、推出。例4. 1設(shè)II «|m是Cn n上的矩陣范數(shù)，任取 Cn中的非零向量y，則函數(shù)I|x|"|xyH |m，eCn（4。1）是Cn上的向量范數(shù)，且矩陣范數(shù)ILIIm與向量范數(shù)| IV相容。證明：欲證IIxIV是一個(gè)向量范數(shù)，只須驗(yàn)證它滿足向量范數(shù)得個(gè)條件。非負(fù)性：當(dāng)x=0時(shí)，由于y非零，故IIxIV=IIxyH IIM 0,x Cn ；當(dāng) x =0 時(shí)，xyH =0.場(chǎng)，故 |x|V=I|xyH IIm =0。齊次性：對(duì)任一常數(shù) cC，有|cx|V=|cxyH|M =|c|xyH|M =|c|x|V。三角不等式：對(duì)任意的x,zCn，有|x z|V=|(x z)yH |M

20、=|xyH xzh|m 引|xyH |M|xzH |m=|x|V |z|m。因此由向量范數(shù)的定義知，|x|V是一個(gè)向量范數(shù)。下面再證兩種范數(shù)的相容性。如果A三cn n, x三cn，那么|Ax|"|(Ax)yH |m =|A(xyH)|M<|A|M|xyH |m =|A|m|x|V。 可見，矩陣范數(shù)|m與向量范數(shù)|V相容。五. 范數(shù)的若干應(yīng)用范數(shù)的應(yīng)用很廣泛，這里只舉 2例。1 矩陣奇異性的條件對(duì)于矩陣A Cn n，能否根據(jù)其范數(shù)的大小，來判別 (I -A)的奇異性？判別一個(gè)矩陣的奇 異性，并不方便(比如計(jì)算 A的行列式的值是否非零，判斷 A的諸列是否線性無關(guān)等，均 不大容易)，

21、但矩陣的范數(shù)的計(jì)算，女口 | A|k，| A|，還是方便的。定理5.1 (Banach引理)設(shè)矩陣 A Cn n ,且對(duì)矩陣 Cn n上的某種矩陣范數(shù)|,有|A|：1,則矩陣(I _A)非奇異,且有_±|(IA) |<|1 |1-|A|(5.1)(I 一 A)非奇異，可通過證明：假設(shè)矩陣范數(shù)|A|與向量范數(shù)|x|相容。欲證矩陣det(l 一 A) = 0。用反證法。假設(shè)det(l _A)=0，則齊次線性方程組(I _A)x = 0有非零解x0，即(1 一 A)x0 =0, X。=0于是，兩邊取范數(shù)x0 二千 Ax°。|x0|v =|Ax0|V|A|x0|V<|x

22、0|V其中最后一個(gè)不等號(hào)是由于|A|：1。但上式是矛盾的，假設(shè) det(l _A)=0不成立，從而矩陣(I _A)非奇異，故有逆。再由 兩邊取范數(shù)， 再移項(xiàng)，有(1 ：A)(I _ A) =1 可得(I ：A)=I 千(I _礦人 得 |(I -A)'|=|I 千(1 A)'A|_|I | |(I -A)1|A|(I A)'|(1-|A|n|l |從而|(I - A)，|" |1T|A|這正是我們要想證明的。在推演分析Ax =b的直接法的誤差分析時(shí)起重要的作用。請(qǐng)同學(xué)們自行證明下面類似的結(jié)果。定理5.2設(shè)矩陣A Cn n,且對(duì)矩陣Cn n上的某種矩陣范數(shù)|卜|

23、,有|A|卜：1，則|"襯|心|2 .近似逆矩陣的誤差一一逆矩陣的攝動(dòng)在數(shù)值計(jì)算中，誤差無處不在，考慮由于這些誤差存在而帶來的后果，是一項(xiàng)重要的課題。設(shè)矩陣AwCn>°的元素q帶有誤差6丙，（i, j =1,2,|",n），則矩陣的真實(shí)的值應(yīng)為 A A，其中二Ca）稱為誤差矩陣，又叫攝動(dòng)矩陣。若A為非奇異，其逆陣為AJ。問題是：（A 、； A）J與AJ的近似程度如何呢？或者說, （A與AJ的“距離”大小為多少？下面是回答上述問題的攝動(dòng)定理。定理5.3 設(shè)矩陣 A Cn n非奇異，BCnn，且對(duì)Cn n上的某種矩陣范數(shù)|，有|AJB|：1，則（1）A B 非奇異；（2）記 F=l-（lAB），那么 |F | |A B11 ；1-IIA B|（3）|A-（A + B）|$ |AB|AA|1-|AB|證明：由于| AdB|p：1，所以| - A，B|：1。由定理5。1，（I AJB）非奇異，故 A B = A（I AB）非奇異。在定理5。2中，將A換成AB，即得（2）。又因?yàn)?A-（A B）二（1 -（1 AB）A