華中科技大學(xué)研究生矩陣論Matrix4-1

1、 概述概述： 矩陣的逆：矩陣的逆：An n ， Bn n ，BA= AB = I, 則則 B=A1 廣義逆的目標(biāo)：廣義逆的目標(biāo)：推廣推廣逆的概念逆的概念 對(duì)一般的矩陣對(duì)一般的矩陣 Am n可建立可建立逆的部分性質(zhì)逆的部分性質(zhì)。 當(dāng)矩陣當(dāng)矩陣An n可逆時(shí)，廣義逆與逆可逆時(shí)，廣義逆與逆相一致相一致。 應(yīng)用：廣義逆可以作為應(yīng)用：廣義逆可以作為方程組方程組AX=b求解求解和和最小二最小二乘法乘法的理論分析工具。的理論分析工具。若若A可逆，推出：可逆，推出：BA=I，AB = I，進(jìn)而有，進(jìn)而有 ABA = A，BAB = B，(AB)H = AB，(BA)H = BA，由此可引出多種廣義逆。這里重點(diǎn)

2、討論三種：由此可引出多種廣義逆。這里重點(diǎn)討論三種：?jiǎn)蝹?cè)逆單側(cè)逆，減號(hào)逆減號(hào)逆和加號(hào)逆。和加號(hào)逆。滿秩矩陣和單側(cè)逆滿秩矩陣和單側(cè)逆1、左逆和右逆的定義、左逆和右逆的定義 定義定義4.1 (P.93) A Cm n， B Cn m，BA=In，則稱矩陣則稱矩陣B 為矩陣為矩陣A的的左逆左逆，記為，記為 B = A Cm n ， C Cn m，AC=Im，則稱矩陣則稱矩陣C為矩陣為矩陣A的的右逆右逆，記為，記為 C =1LA1RA例題例題1 求矩陣求矩陣A的左逆：的左逆：A =121001A的右逆？的右逆？不存在！不存在！0100011LAnArACrm)()( 必要條件必要條件mArBArn)()

3、( 右逆存在右逆存在左逆存在左逆存在滿秩矩陣和單側(cè)逆滿秩矩陣和單側(cè)逆1、左逆和右逆的定義、左逆和右逆的定義 定義定義4.1 (P.93) A Cm n， B Cn m，BA=In，則稱矩陣則稱矩陣B 為矩陣為矩陣A的的左逆左逆，記為，記為 B = A Cm n ， C Cn m，AC=Im，則稱矩陣則稱矩陣C為矩陣為矩陣A的的右逆右逆，記為，記為 C =1LA1RA例題例題1 求矩陣求矩陣A的左逆：的左逆：A =001001左逆不唯一！左逆不唯一！baAL10011nArACrm)()( 必要條件必要條件mArBArn)()( 右逆存在右逆存在左逆存在左逆存在的存在性的存在性1LA直觀分析直觀

4、分析1LA 存在存在 矩陣矩陣A列滿秩列滿秩= (AHA)1AH 1LA定理定理4.1(P.93) 設(shè)設(shè) A Cm n ，下列條件等價(jià)，下列條件等價(jià)1. A左可逆左可逆;2. A的零空間的零空間 N(A) = 0;3. m n，秩秩(A) = n，即即A是是列列滿秩的滿秩的;4. 矩陣矩陣AHA可逆，且可逆，且 = (AHA)1AH 。如前例如前例 矩陣矩陣 A = 左可逆，左可逆，AT右可逆。右可逆。1210011LAnmArBArn ,)() (IAAAAHH1)(BA = In Ax = 0 x = BAx = 0n-r(A) = 0r(AHA) = r(A)如何求左或右逆？如何求左或右

5、逆？可用行或列初等變換！可用行或列初等變換！矩陣右逆的存在性矩陣右逆的存在性定理定理4.2 (P.94) 設(shè)設(shè)A Cm n ，則下列條件等價(jià)：則下列條件等價(jià)：1. 矩陣矩陣A右可逆右可逆;2. A的列空間的列空間 R(A) = Cm ;3. n m, 秩秩(A) = m, 即即A是是行行滿秩的滿秩的;4. 矩陣矩陣 AAH 可逆，且可逆，且 = AH(AAH)11RA討論：可逆矩陣討論：可逆矩陣An n的左、右逆和逆的關(guān)系的左、右逆和逆的關(guān)系 可逆矩陣可逆矩陣A的左、右逆就是矩陣的左、右逆就是矩陣A的逆的逆A A1 = (AHA)1AH = AH(AAH)1nmArACrm ,)() (IAA

6、AAHH1) ( AC = Im x = ACx x R(A)r(A)=dimR(A)r(AAH) = r(A)討論討論方程組方程組AX=b 有解與左、右逆存在的關(guān)系。有解與左、右逆存在的關(guān)系。借助于左、右逆求借助于左、右逆求AX=b的形如的形如X=Bb的解。的解。1、右可逆矩陣、右可逆矩陣定理定理4 4 (P.95)1. A Cm n右可逆，則右可逆，則 b Cm，AX=b 有解。有解。2. X= b 是方程組是方程組 AX=b 的解，特別地，的解，特別地， X=AH(AAH)1 b 是一個(gè)解。是一個(gè)解。1RA由由AC=I，知，知 ACb=Ib=b，又，又AAH可逆，得證可逆，得證。左可逆矩

7、陣左可逆矩陣求解分析：求解分析：定理定理4 3 (P.94) 設(shè)矩陣設(shè)矩陣A Cm n左可逆，左可逆，B是矩是矩陣陣A的任何一個(gè)左逆，則的任何一個(gè)左逆，則1. AX=b有形如有形如X=Bb的解的充要條件是的解的充要條件是 ( ImAB )b=0 ()2. 當(dāng)當(dāng)()式成立時(shí)，方程組的解是惟一的，而且惟式成立時(shí)，方程組的解是惟一的，而且惟一解是一解是X = (AHA)1AHb證明：證明：1. b=AX=ABAX=ABb；2. X= (AHA)1AHAX討論：討論：對(duì)任何滿足式對(duì)任何滿足式( ) 的左逆的左逆B，X=Bb都是方都是方程組的解，如何解釋方程組的解是惟一的？程組的解，如何解釋方程組的解是

8、惟一的？思想思想：用用公理公理來(lái)定義廣義逆。來(lái)定義廣義逆。一、減號(hào)廣義逆一、減號(hào)廣義逆 定義定義4.2 (P.95) A Cm n ，如果，如果， G Cn m使得使得 AGA=A，則稱矩陣則稱矩陣G為為A的的減號(hào)廣義逆減號(hào)廣義逆，或或1-逆逆。 A的減號(hào)逆的減號(hào)逆集合集合記為記為A1 = A1，A2， ， Ak 例題例題1 A Cn n 可逆，則可逆，則 A1 A1； A單側(cè)可逆，則單側(cè)可逆，則A1L A1；A1R A1。 若若A = 0 Cm n，則，則 A1 = Cm n。 減號(hào)逆的求法：減號(hào)逆的求法：初等變換求等價(jià)標(biāo)準(zhǔn)型初等變換求等價(jià)標(biāo)準(zhǔn)型 定理定理4.5(P.95)設(shè)設(shè)A Cm n,

9、 rank(A) = r, 若存在可逆陣若存在可逆陣P，Q 使使 PAQ = , 則則 G A1 當(dāng)且僅當(dāng)當(dāng)且僅當(dāng) 其中其中 U，V，W任意。任意。 證明思路證明思路：令：令 由由 AGA = A 可推出可推出: X = Ir 。000rI,PWVUIQGrPWVUXQPGPQQG)(11任一矩陣的減號(hào)逆總存在，且一般不惟一！任一矩陣的減號(hào)逆總存在，且一般不惟一！ 減號(hào)逆的性質(zhì)：減號(hào)逆的性質(zhì)：定理定理4.6 - 定理定理4.8 定理定理4.6 (P.96)設(shè)設(shè)A Cm n，則，則A的的1-逆惟一當(dāng)且僅當(dāng)逆惟一當(dāng)且僅當(dāng) m = n，且，且A-1存在（即存在（即A可逆）?？赡妫?。定理定理4.7 (

10、P.96)設(shè)設(shè)A Cm n，則，則 A- 滿足滿足 (1) rank(A) = rank(A-); (2) AA-與與A-A都是冪等陣，且都是冪等陣，且 rank(A) = rank(AA-) = rank(A-A); (3) R(AA-) = R(A), N(A-A) = N(A)。定理定理4.8 (P.97)設(shè)設(shè)A Cm n, A- A1。若。若AX = b有有解，則其通解可表示為：解，則其通解可表示為：X = A-b+(In-A-A)Z，Z Cn任意。任意。A-b為為AX=b的特解的特解, (In-A-A)Z為為AX=0的通解的通解.E.H. Moore and Roger Penros

11、e由由Moore 1920年提出，年提出，1955年由年由Penrose獨(dú)立研究獨(dú)立研究和發(fā)展。和發(fā)展。1、 定義定義4.3 (P.98) 設(shè)矩陣設(shè)矩陣 A Cm n，如果，如果 G Cn m ，使得，使得1. AGA = A 2. GAG = G3. (AG)H = AG4. (GA)H = GA 則稱則稱G為為A的的M-P廣義逆廣義逆，記為，記為G=A+ (簡(jiǎn)稱簡(jiǎn)稱加號(hào)逆加號(hào)逆) 。 A1 = A+；A1L = (AHA)1AH = A+； A1R = AH(AAH)1 =A+；若若 A+，則則A+是是A1。例題例題2 討論原有的逆的概念和討論原有的逆的概念和M-P廣義逆的關(guān)系。廣義逆的關(guān)

12、系。A = G+ = (A+)+(A+)H = (AH)+ 3、M-P廣義逆的存在性及其求法廣義逆的存在性及其求法 定理定理4.10（P.99）任何矩陣都有任何矩陣都有M-P廣義逆。廣義逆。 求法求法： 設(shè)設(shè)A有有滿秩分解滿秩分解 A = BC，則有則有 A+ = CH (CCH )1 (BH B)1 BH 。 (定理定理4.11) 設(shè)設(shè)A有奇異值分解有奇異值分解 ：，則，則HrVUA000HrUVA0001定理定理4.9 (P.98) 如果如果A有有M-P廣義逆，則廣義逆，則A的的M-P 廣義逆是廣義逆是惟一的惟一的。定理定理4.12 (P.100) ：A+ 滿足下列性質(zhì)：滿足下列性質(zhì)：1.

13、 (A+)+ = A2. (A+)H = (AH)+3. ( A)+ = +A+4. A 列滿秩，則列滿秩，則 A+ = (AHA) 1AH ， A 行滿秩，則行滿秩，則 A+ = AH (AAH) 1 ; 5. A 有滿秩分解：有滿秩分解：A = BC，則則 A+ = C+ B+。A +與與A1 性質(zhì)的性質(zhì)的差異比較差異比較： (AB)1 = B1A1，一般不成立一般不成立 (AB)+ = B+A+ (只有滿秩分解成立只有滿秩分解成立) (A1)k = (Ak)1，但不成立但不成立(A+)k = (Ak)+rank(A) = rank(A+); rank(A) = rank(A+A) = r

14、ank(AA+).左逆左逆右逆右逆例題例題1 求下列特殊矩陣的廣義逆；求下列特殊矩陣的廣義逆； 零矩陣零矩陣0； 1階矩陣階矩陣(數(shù)數(shù)) a； 對(duì)角矩陣對(duì)角矩陣 0 + mn = 0 nm 例題例題2 求非零向量求非零向量 的的M-P廣義逆。廣義逆。. 0 , 0; 0 ,)(11aaaaaaaHHnn2121nxxxx212xxxxxxHHH單位向量：?jiǎn)挝幌蛄浚篐xx 例題例題32xxxxxxHHH;01)0 , 1 ( );0 , 1 (011121) 1 , 1 ( );1 , 1 (2111) 1 , 1 (010011)0 , 1 (01000101001000010, 0, 0,y

15、xFyFxmn2222)()()(yxxyxxyyxyxyHHHHH01) 1 , 1 (010121)0 , 1 (11210001)0 , 1 (0101)0 , 1 (000100)0 , 1 (01001)0 , 1 , 0(例題例題5 設(shè)設(shè) ，求，求A+。101220211A例題例題4110101012011ArrrAIA00;01012100) 1 , 1 (0011000100)0 , 1 (0001000100000010000010;0)0 ,( );0 ,(0rrrrIIII?0 )(rnrrAFA行滿秩，0 ,0 ,rrrAIA一、投影變換和投影矩陣一、投影變換和投影矩陣

16、定義定義4.4 (P.101) 設(shè)設(shè) Cn = L M，向量向量 x Cn, x = y + z，y L，z M，如果線性變換如果線性變換 ：Cn Cn， (x) = y， 則稱則稱 為從為從 Cn 沿子空間沿子空間M到子空間到子空間L的的投影變換投影變換。投影變換的矩陣投影變換的矩陣R( ) = L；N( ) = M， Cn = R( ) N( ) L和和M是是 的不變子空間；的不變子空間；L= I；M = 0000 ,2, 1rIn投影的矩陣和變換性質(zhì)投影的矩陣和變換性質(zhì)：1. 定理定理4.13 (P.101) 是投影變換是投影變換 是冪等變換是冪等變換2. 推論推論： 為投影變換的充要條

17、件是變換矩陣是冪等矩陣為投影變換的充要條件是變換矩陣是冪等矩陣1. 正交正交投影的定義：投影的定義：定義定義4.5（P.103）設(shè)設(shè) ：Cn Cn 是投影變換，是投影變換， Cn = R( ) N( )，如果如果 R ( ) = N( )，則稱，則稱 為正交投影變換。為正交投影變換。正交投影矩陣正交投影矩陣 定理定理4.14（P.103） 是正交投影是正交投影 投影矩陣投影矩陣A滿足：滿足：A2 = A, AH = A例題例題1 設(shè)設(shè)W是是 Cn 的子空間，證明：存在到的子空間，證明：存在到W的投的投影變換，使影變換，使 R( ) = W。類似地：類似地：在內(nèi)積空間在內(nèi)積空間 Cn 中，存在到

18、中，存在到W的正交投影的正交投影變換，使變換，使 R( ) = W。充分性充分性: 證證R (A) = N(A); 必要性必要性: 證證R(A) = R(AH), N(A)=N(AH)。投影矩陣的求法投影矩陣的求法 設(shè)設(shè)A：Cn L 是投影陣，是投影陣， Cn = L M，dim(L) = r。取。取L和和M的基的基 y1, y2, , yr, z1, z2, , zn-r，則有，則有 A(y1, y2, , yr) = (y1, y2, , yr)， A(z1, z2, , zn-r) = (0, 0, , 0)。記記 B = (y1, y2, , yr), C = (z1, z2, , z

19、n-r)，則，則A(B, C) = (B, 0)，推出，推出 A = (B, 0) (B, C)-1 。例（例（P102例例6）R2 = L(1,0)T L(1,-1)T，R2到到L(1,0)T和和L(1,-1)T的投影陣分別為：的投影陣分別為：Cn到到M的投影陣的投影陣 = ? = I A00111011 0001 1A1010 2AIA正交投影矩陣的求法正交投影矩陣的求法 在上述推導(dǎo)中，令在上述推導(dǎo)中，令M = L ，BHC = 0，則，則 A = (B, 0) (B, C)-1 = (B, 0) (B, C)H(B, C)-1(B, C)H = B(BHB)-1BH同理，同理，Cn到到L

20、 的正交投影陣的正交投影陣 = I A = I B(BHB)-1BH = C(CHC)-1CHB 或或 C 的列標(biāo)準(zhǔn)正交時(shí)，如何？的列標(biāo)準(zhǔn)正交時(shí)，如何？例例(P24例例30) Rn上上(沿沿u)的正交投影的正交投影P變換：變換：P(x) = x (x, u)u，u是單位向量。是單位向量。例例(P105例例7) R3，L = La1,a2，求到，求到L的正交投影陣的正交投影陣A及及Ax。?P(x) = (In uuT)x = (In u(uTu)-1uT)x。BHB=Ir, CHC=In-r3. 正交投影的性質(zhì)正交投影的性質(zhì)定理定理4.16（P.104）設(shè)設(shè)W是是 Cn 的子空間，的子空間，x0

21、 Cn，x0 W，如果如果 是空間是空間 Cn 向空間向空間W的正交投影，的正交投影，則則Wyxyxx ,)(000含義：含義：點(diǎn)點(diǎn) (x0) 是空間是空間 W 中與點(diǎn)中與點(diǎn) x0 距離最近的點(diǎn)。距離最近的點(diǎn)。證證 由由 Cn = W W = R( ) N( )，知對(duì)，知對(duì) y W, 有有 y (x0) W, (x0) x0 W , 因此，因此，200020)()(xxxyxy20020)()(xxxyWyxy ,)(204. A+A與與AA+的性質(zhì)的性質(zhì)定理定理4.15（P.104）Th4.14 + Th4.7 A+A 的性質(zhì)：的性質(zhì)： (A+A)2 = A+A，(A+A)H = A+A C

22、n = R(A+) N(A) R (A+) = N(A) AA+ 的性質(zhì)：的性質(zhì)： (AA+)2 = AA+，(AA+)H = AA+ Cm = R(A) N(A+) R (A) = N(A+)A+A 是正交投影是正交投影，它將向量，它將向量 x 投影到空間投影到空間R(A+)中。中。AA+ 是正交投影是正交投影，它將向量，它將向量 x 投影到空間投影到空間R(A)中。中。Cn = R(A+A) N(A+A)Cm = R(AA+) N(AA+)R(A+A)=R(A+), N(A+A)=N(A)R(AA+)=R(A), N(AA+)=N(A+)一、最佳最小二乘解一、最佳最小二乘解Amn xn1

23、= bm1有解有解 b R(A)無(wú)解無(wú)解 b R(A)AX = b 的最佳最小二乘解的最佳最小二乘解定義定義4.6（P. 105）u 是最小二乘解是最小二乘解 x0 是最佳最小二乘解是最佳最小二乘解 nCxbAxbAu ,2、 Ax = b的最佳最小二乘解的計(jì)算的最佳最小二乘解的計(jì)算定理定理4.17 x0 = A+b 是是 Ax = b 的的最佳最小二乘解最佳最小二乘解。220ux202xu證明思路：證明思路：利用利用AA+：x0是是最小二乘解；對(duì)任一最小二乘解最小二乘解；對(duì)任一最小二乘解u有：有：u - x0 N(A)，從而，從而 x0 (u - x0 )，因此，因此 一、最佳最小二乘解一、

24、最佳最小二乘解2、 Ax = b的最佳最小二乘解的計(jì)算的最佳最小二乘解的計(jì)算定理定理4.17 x0 = A+b 是是 Ax = b 的的最佳最小二乘解最佳最小二乘解。2020202002xxxuxxuu證明：證明：(1) 利用利用AA+：x0是是最小二乘解。最小二乘解。由由Th4.15nCxbAxbAu ,220ux(2) 對(duì)任一最小二乘解對(duì)任一最小二乘解u有：有：u - x0 N(A)，從而，從而 x0 (u - x0 )，進(jìn)而進(jìn)而 Cm = R(AA+) N(AA+) = R(A) N(A+), N(A+)=R (A)()( , ARAARybybbAAnCxbAxbAx , 0設(shè)設(shè)b=b1+b2, b1 R(A), b2 N(A+)=R (A), 則有則有 nCxbbAxbbAxbAx ,22212212一、最佳最小二乘解一、最佳最小二乘解2、 Ax = b的最佳最小二乘解的計(jì)算的最佳最小二乘解的計(jì)算定理定理4.17 x0 = A+b 是是 Ax = b 的的最佳最小二乘解最佳最小二乘解。證明：證明：(1) 利用利用AA+：x0是是最小二乘解：最小二乘解：nCxbAxbAu ,220uxnCxbAxbAx ,02020202002xxxuxxuu(2) 對(duì)對(duì)任一任一最小二乘解最小二乘解u有：有：u - x0 N(A)，從而