廣義逆矩陣北京郵學(xué)北郵期末矩陣論文

廣義逆矩陣的應(yīng)用摘要：線性方程組的逆矩陣求解方法只適用于系數(shù)矩陣為可逆方陣,但是對于一般線性方程組，其系數(shù)矩陣可能不是方陣或是不可逆的方陣，這種利用逆矩陣求解線性方程組的方法將不適用。為解決這種系數(shù)矩陣不是可逆矩陣或不是方陣的線性方程組，我們對逆矩陣進行推廣，研究廣義逆矩陣，利用廣義逆矩陣求解線性方程組。廣義逆矩陣在數(shù)據(jù)分析、多元分析、信號處理、系統(tǒng)理論、現(xiàn)代控制理論、網(wǎng)絡(luò)理論等許多領(lǐng)域中有著重要的應(yīng)用，本文針對廣義逆矩陣的定義、性質(zhì)、計算及其在線性方程組中的應(yīng)用進行研究，利用廣義逆矩陣求解線性方程組的通解及極小范數(shù)解。關(guān)鍵詞：特征值廣義相關(guān)系數(shù)Moore-Penrose方程線性方程組1.引言矩陣概念和線性代數(shù)學(xué)科的引進和發(fā)展是源于研究線性方程組系數(shù)而產(chǎn)生的行列式的發(fā)展.萊布尼茲,微積分學(xué)的兩個奠基者之一,在1693年使用了行列式,克萊姆于1750年提出了用行列式求解線性方程組的公式(即今天著名的克萊姆法則).相對比地,行列式的隱含使用最早出現(xiàn)在18世紀(jì)晚期拉格郎日關(guān)于雙線性型的著作里.拉格郎日希望刻畫多變量函數(shù)的極大值與極小值.他的方法今天以拉格郎日乘數(shù)法聞名.為此,他首先要求第一個偏導(dǎo)數(shù)為0,再需要關(guān)于第二個偏導(dǎo)數(shù)的矩陣成立一個條件.這個條件今天稱之為正定或負(fù)定,盡管拉格郎日沒有明顯地使用矩陣.在1800年左右,高斯發(fā)現(xiàn)了高斯消去法,他用此方法解決了天體計算和后來大地測量(關(guān)于測量或確定地球形狀或定位地球表面一個點的應(yīng)用數(shù)學(xué)分支,稱之為大地測量學(xué))計算中的最小平方問題.盡管高斯的名字相伴隨從線性方程組逐次逍去變量的這項技術(shù),但從發(fā)現(xiàn)的早在幾個世紀(jì)前的中文手稿中解釋了如何用"高斯的"消去法解帶有三個未知量的三個方程構(gòu)成的線性方程組.多年來,高斯消去法被認(rèn)為是大地測量學(xué),而非數(shù)學(xué),發(fā)展的一部分.首次印刷出來的高斯—約當(dāng)消去法是在W.約當(dāng)寫的關(guān)于大地測量學(xué)的手冊里.許多人錯誤地認(rèn)為著名數(shù)學(xué)家C.約當(dāng)是"高斯—約當(dāng)"消去法中的約當(dāng).為了矩陣代數(shù)的豐富發(fā)展,人們既需要適當(dāng)?shù)母拍?還需要適當(dāng)?shù)木仃嚦朔?這兩種需要在同一時間和同一地點交匯了.在1814年于英格蘭,J.J.西勒維斯特首先引進了術(shù)語"Matrix",作為一列數(shù)的名稱,這是胚胎的拉丁詞.矩陣代數(shù)于1855年由亞瑟凱萊的工作得到了發(fā)展.凱萊研究了線性變換的合成,導(dǎo)致定義了矩陣乘法,使得合成變換ST的系數(shù)矩陣是S的矩陣與T的矩陣的乘積.他繼續(xù)研究這些合成包括矩陣逆的代數(shù).著名的凱萊—哈密爾頓定理斷言,一個方陣是它的特征多項式的根.這個定理于1858年在凱萊的"關(guān)于矩陣?yán)碚搨渫?的著作里給出.代表矩陣的單個字母A的使用對于矩陣代數(shù)的發(fā)展是關(guān)鍵的.早期的公式det(AB)=det(A)det(B)提供了矩陣代數(shù)與行列式的聯(lián)系.凱萊寫下了"有許多事情說明關(guān)于矩陣的理論,似乎對我而言,比行列式理論重要".數(shù)學(xué)家們也試圖發(fā)展向量代數(shù),但沒有任意維數(shù)的兩個向量積的自然定義.涉及到非交換向量積(亦即VW×不一定等于WV×)的第一個向量代數(shù)由赫爾曼格拉斯曼在他的書"維數(shù)理論"(1844)提出來的.格拉斯曼的書也引進了一個列矩陣與一個行矩陣的乘積,導(dǎo)致了今天所謂的單純的或秩1的矩陣.在19世紀(jì)晚期,美國數(shù)學(xué)物理學(xué)家W.吉布斯發(fā)表了關(guān)于向量分析的著名論文.在那篇論文里,吉布斯把一般的矩陣,他稱之為并向量(dyadics),表示為單純矩陣(吉布斯稱為并向量(dyads))的和.后來物理學(xué)家P.A.M.迪拉克引進了術(shù)語"行-列"(bra-ket)來表示我們現(xiàn)在稱之為行向量乘以列向量的純量積,術(shù)語"列-行(ket-bra)"表示一列向量乘以行向量的積,從而導(dǎo)致如同上面的我們現(xiàn)在稱做的單純矩陣.我們現(xiàn)在把列矩陣和向量視為同一的習(xí)慣是由物理學(xué)家們在20世紀(jì)引進的.矩陣一直與線性變換緊密結(jié)合著.直到1900年,它們僅僅是線性變換理論的有限維的情形.向量空間的現(xiàn)代定義是由皮亞諾于1888年引進的.不久,其元素是函數(shù)的抽象向量空間跟著出現(xiàn)了.第二次世界大戰(zhàn)后隨著數(shù)字計算機的發(fā)展,矩陣,特別是矩陣的數(shù)值分析方面有新的進展.約翰馮諾伊曼和赫爾曼戈德斯坦于1947年在分析舍入誤差中引進了條件數(shù).阿蘭圖靈和馮諾伊曼在程序存儲計算機方面是二十世紀(jì)的巨人.圖靈于1948年引進了矩陣的LU分解,L是對角線上為1的下三角矩陣,U是梯形矩陣.在解一系列線性方程組時普遍采用LU分解,每個方程組有同一系數(shù)矩陣.QR分解的好處是在10年后認(rèn)識到的.Q是其列為正交向量的矩陣而R是上三角矩陣,其對角線元素是正的.QR分解用于各種計算如解方程,找特征值的計算機算法中.矩陣?yán)碚撛跀?shù)值計算、線性規(guī)劃、數(shù)據(jù)分析、科學(xué)試驗、信號傳輸?shù)戎卮箢I(lǐng)域有著極其廣泛的應(yīng)用。隨著科技日新月異地進步，人類社會開始步入信息化、數(shù)字化時代，矩陣在生產(chǎn)實踐中的應(yīng)用越來越廣泛，矩陣?yán)碚摰难芯恳簿驮絹碓街匾猍1]。矩陣?yán)碚撛诂F(xiàn)代統(tǒng)計學(xué)的許多分支有著廣泛的應(yīng)用，成為統(tǒng)計學(xué)中不可缺少的工具，而且，隨著研究的深入和應(yīng)用的發(fā)展，矩陣與統(tǒng)計學(xué)之間的關(guān)系會越來越深刻。一方面，統(tǒng)計學(xué)對矩陣研究提出了許多新的研究課題，刺激了有關(guān)矩陣?yán)碚撗芯康陌l(fā)展;另一方面，矩陣?yán)碚撝械慕Y(jié)果被越來越多地應(yīng)用于統(tǒng)計學(xué)的理論研究及其應(yīng)用中。近三十年，許多統(tǒng)計學(xué)家致力于這方面的研究，并撰寫了很多這方面的論文和著作，其中很多結(jié)論在統(tǒng)計學(xué)的研究中發(fā)揮著很大的作用。近三十年矩陣研究中一些與統(tǒng)計學(xué)有密切關(guān)系的新發(fā)展，包括它們在統(tǒng)計中的應(yīng)用，這些研究結(jié)果一開始就淵源于統(tǒng)計問題。本文皆在向讀者介紹矩陣論中并與統(tǒng)計學(xué)密切有關(guān)的如下幾個方面：矩陣偏序、矩陣不等式、廣義逆矩陣等，這些方面與統(tǒng)計學(xué)息息相關(guān)，特別是在多元分析和線性模型參數(shù)估計中都有著重要的應(yīng)用。廣義逆矩陣是對逆矩陣的推廣。逆矩陣的概念只對非奇異矩陣才有意義，但在實際問題中，遇到的矩陣不一定是方陣，即使是方陣也不一定非奇異，這就需要將逆矩陣的概念進行推廣。為此，人們提出了下述關(guān)于逆矩陣的推廣：該矩陣對于奇異矩陣甚至長方矩陣都存在；它具有通常逆矩陣的一些性質(zhì)；當(dāng)矩陣非奇異時，它即為原來的逆矩陣。滿足上面三點的矩陣稱之為廣義逆矩陣。1903年，瑞典數(shù)學(xué)家弗雷德霍姆開始了對廣義逆矩陣的研究，他討論了關(guān)于積分算子的一種廣義逆。1904年，德國數(shù)學(xué)家希爾伯特在廣義格林函數(shù)的討論中，含蓄地提出了微分算子的廣義逆。美國芝加哥的穆爾(Moore)教授在1920年提出了任意矩陣廣義逆的定義，他以抽象的形式發(fā)表在美國數(shù)學(xué)會會刊上。我國數(shù)學(xué)家曾遠(yuǎn)榮和美籍匈牙利數(shù)學(xué)家馮·諾伊曼及其弟子默里分別在1933年和1936年對希爾伯特空間中線性算子的廣義逆也作過討論和研究。1951年瑞典人布耶爾哈梅爾重新給出了穆爾(Moore)廣義逆矩陣的定義，并注意到廣義逆矩陣與線性方程組的關(guān)系。1955年，英國數(shù)學(xué)物理學(xué)家彭羅斯(Penrose)以更明確的形式給出了與穆爾(Moore)等價的廣義逆矩陣定義，因此通稱為Moore-Penrose廣義逆矩陣，從此廣義逆矩陣的研究進入了一個新階段?，F(xiàn)如今，Moore-Penrose廣義逆矩陣在數(shù)據(jù)分析、多元分析、信號處理、系統(tǒng)理論、現(xiàn)代控制理論、網(wǎng)絡(luò)理論等許多領(lǐng)域中有著重要的應(yīng)用，使這一學(xué)科得到迅速發(fā)展，并成為矩陣論的一個重要分支。若A為非奇異矩陣,則線性方程組Ax=b的解為x=A^(-1)b，其中A的A的逆矩陣A^(-1)滿足A^(-1)A=AA^(-1)=I(I為單位矩陣)。若A是奇異陣或長方陣,Ax=b可能無解或有很多解。若有解,則解為x=Xb+(I-XA)у,其中у是維數(shù)與A的列數(shù)相同的任意向量,X是滿足AXA=A的任何一個矩陣，通常稱X為A的廣義逆矩陣,用A^g、A^-或A^(1)等符號表示,有時簡稱廣義逆。當(dāng)A非奇異時,A^(-1)也滿足AA^(-1)A=A,且x=A^(-1)b+(I-A^(-1)A)у=A^(-1)b。故非異陣的廣義逆矩陣就是它的逆矩陣，說明廣義逆矩陣確是通常逆矩陣概念的推廣。1955年R.彭羅斯證明了對每個m×n階矩陣A,都存在惟一的n×m階矩陣X，滿足：①AXA=A；②XAX=X；③(AX)*＝AX；④(XA)*＝XA。通常稱X為A的穆爾-彭羅斯廣義逆矩陣,簡稱M-P逆，記作A^+。當(dāng)A非奇異時，A^(-1)也滿足①～④,因此M-P逆也是通常逆矩陣的推廣。在矛盾線性方程組Ax＝b的最小二乘解中,x＝A^(-1)b是范數(shù)最小的一個解。廣義逆的計算方法大致可分為三類：以滿秩分解和奇異值分解為基礎(chǔ)的直接法，迭代法和其他一些常用于低階矩陣的非凡方法。本文介紹了Moore-Penrose廣義逆在多元分析中的應(yīng)用。多元分析的一個重要內(nèi)容就是研究隨機向量之間的關(guān)系。對于不同類型的矩陣A和B，討論了隨機向量和y的典型相關(guān)系數(shù)與Ax和By的典型相關(guān)系數(shù)之間的關(guān)系，從而得到了x和y的廣義相關(guān)系數(shù)與Ax和By的廣義相關(guān)系數(shù)之間的關(guān)系。設(shè)x,y分別為p×1和q×1隨機向量，它們的方差陣和協(xié)方差陣分別為SKIPIF1<0SKIPIF1<0SKIPIF1<0從而SKIPIF1<0（1.1）矩陣V+yyVyxV+xxVxy的特征值都是非負(fù)的且都不大于1,非零特征值設(shè)為SKIPIF1<0。其中矩陣A+表示A的Moore-Penrose廣義逆。由典型相關(guān)系數(shù)的定義知，SKIPIF1<0稱為典型相關(guān)系數(shù)，它在典型相關(guān)分析中起著重要作用。2.廣義逆矩陣廣義逆矩陣的研究可以追溯到1935年的Moore的著名論個條件：SKIPIF1<0定義了A的廣義逆X。但是，在此后的20年中，這種廣義逆幾乎沒有引起×人們的多少注意，直到1955年，Penrose證明了滿足上述條件的廣義逆具有唯一性后，廣義逆的研究才真正為人們所重視，基于這個原因人們把滿足上述四個條件的的廣義逆稱為Moore-Penrose廣義逆。本節(jié)主要介紹以下兩種經(jīng)常應(yīng)用的廣義逆：2.1廣義逆A-定義2.1對矩陣Am×n,一切滿足方程組SKIPIF1<0的矩陣X，稱為矩陣A的廣義逆，記為A-。下面的定理解決了A-的存在性和構(gòu)造性問題。定理2.1設(shè)A為m×n矩陣，rk(A)=r，若SKIPIF1<0這里P和Q分別為m×m，n×n的可逆陣，則SKIPIF1<0這里B，C和D為適當(dāng)階數(shù)的任意矩陣。下面的兩個定理圓滿地解決了用廣義逆矩陣表示相容線性方程組集的問題。定理2.2設(shè)Ax=b為一相容方程組，則(1)對任一廣義逆A-，x=A-b必為解；(2)齊次方程組Ax=0的通解為x=(I-A-A)z，這里z為任意的向量，A-為任意固定的一個廣義逆；(3)Ax=b的通解為SKIPIF1<0其中A-為任意固定的一個廣義逆，z為任意的向量。定理2.3設(shè)Ax=b為相容線性方程組，且b≠0，那么，當(dāng)A-取遍A的所有廣義逆時，x=A-b構(gòu)成了該方程組的全部解。下面一定理討論分塊矩陣的廣義逆。定理2.4(分塊矩陣的廣義逆)(1)若A11-1存在，則SKIPIF1<0(2)若A22-1存在，則SKIPIF1<0(3)若SKIPIF1<0則SKIPIF1<0或SKIPIF1<0其中，SKIPIF1<02.2廣義逆A+從上段的介紹知，一般來說廣義逆A-有無窮多個。在這無窮多個A-中，有一個A-占有特殊的地位，它就是本節(jié)一開始提到的Moore-Penrose廣義逆。定義2.2設(shè)A為任一矩陣，若X滿足下述四個條件：SKIPIF1<0則稱矩陣X為A的Moore-Penrose廣義逆，記為A+。引理2.1(奇異值分解)設(shè)A為m×n秩為r的矩陣，則存在兩個正交陣Pm×m和Qn×n，使得SKIPIF1<0其中SKIPIF1<0而SKIPIF1<0為A*A的非零特征值。定理2.4(1)設(shè)A的分解式滿足上式，則SKIPIF1<0(2)對任何矩陣A，A+惟一。因為A+是一個特殊的A-，因此，它除了具有A-的全部性質(zhì)外，還有以下性質(zhì)：定理2.5SKIPIF1<03.隨機向量的典型相關(guān)系數(shù)和廣義相關(guān)系數(shù)對于不為零的常數(shù)a,b，顯然，ax與by的典型相關(guān)系數(shù)和x與y的典型相關(guān)數(shù)是相同的。下面分別討論對于不同類型的矩陣A,B,Ax與By的典型相關(guān)系數(shù)和x與y的典型相關(guān)系數(shù)之間的關(guān)系（參見文獻[3]）。定理3.1設(shè)A和B分別是p×p和q×q可逆方陣，并且AV+xxVxx=V+xxVxxA,BV+yyVyy=V+yyVyyB,則Ax與By的典型相關(guān)系數(shù)和x與y的典型相關(guān)系數(shù)相等。證明：因為SKIPIF1<0SKIPIF1<0（3.1）故Ax與By的典型相關(guān)系數(shù)ρi>0滿足下列方程：SKIPIF1<0（3.2）其中I是單位矩陣。下面驗證SKIPIF1<0（3.3）事實上，SKIPIF1<0注意到：SKIPIF1<0，所以SKIPIF1<0同理，SKIPIF1<0這就驗證了（3.3）式的成立。把（3.3）式代入（3.2）式得：SKIPIF1<0（3.4）從而證明了ρi是x與y的典型相關(guān)系數(shù)。由于廣義相關(guān)系數(shù)是用典型相關(guān)系數(shù)定義的（參見文獻[4]），故有推論3.1當(dāng)滿足（3.3）式時，隨機向量x與y的廣義相關(guān)系數(shù)和Ax與By的廣義相關(guān)系數(shù)相同。定理3.2設(shè)A是p×p可逆陣，B是q×q可逆陣，x與y分別為p維和q維隨機向量，且Vxx，Vyy也都可逆，則Ax與By的典型相關(guān)系數(shù)和x與y的典型相關(guān)系數(shù)相同。證明：由于SKIPIF1<0所以Ax與By的典型相關(guān)系數(shù)ρi>0滿足SKIPIF1<0（3.5）由于A，B，Vxx，Vyy都可逆，上式易化為SKIPIF1<0（3.6）這樣就證明了定理3.2。推論3.2在定理2.2的條件下，Ax與By的廣義相關(guān)系數(shù)與x和y的廣義相關(guān)系數(shù)相同。定理3.3設(shè)A是n×p列正交陣，B是m×q列正交陣，則Ax與By的典型相關(guān)系數(shù)和x與y的典型相關(guān)系數(shù)相等。證明：因為Ax與By的典型相關(guān)系數(shù)ρi滿足SKIPIF1<0（3.7）注意到A，B都是列正交陣，據(jù)3.2知SKIPIF1<0代入（3.7）式得SKIPIF1<0（3.8）又因為對矩陣D,F，我們易證DF與FD的非零特征值是相同的。從而由（3.8）式得SKIPIF1<0這就證明了ρi是隨機變量x與y的典型相關(guān)系數(shù)，定理證畢。推論3.3當(dāng)A，B是列正交時，Ax與By的廣義相關(guān)系數(shù)和x與y的廣義相關(guān)系數(shù)相等。定理3.4設(shè)A是n×p列滿秩陣，B是m×q列滿秩陣，Vxx，Vyy可逆時，則Ax與By的典型相關(guān)系數(shù)和x與y的典型相關(guān)系數(shù)相等。證明：設(shè)A,B的