矩陣論的應用

1、廣義逆在多元分析中的應用劉雯雯 信通院 學號：B098035摘 要：多元分析的一個重要內(nèi)容就是研究隨機向量之間的關系，在一元統(tǒng)計中，用相關系數(shù)來描述隨機變量之間的關系，Hotelling1和張堯庭教授2先后定義了度量兩個隨機向量相關程度的數(shù)量指標，并稱之為廣義相關系數(shù)。這一章主要利用Moore-Penrose廣義逆矩陣來引人了隨機向量之間的相關系數(shù)廣義相關系數(shù)，并探討了隨機向量的典型相關系數(shù)和廣義相關系數(shù)之間的關系。關鍵詞：特征值 廣義相關系數(shù) 典型相關系數(shù) 正交陣 可逆矩陣1.引言方法今天以拉格郎日乘數(shù)法聞名.為此,他首先要求第一個偏導數(shù)為0,再需要關于第二個偏導數(shù)的矩陣成立一個條件.這個條

2、件今天稱之為正定或負定,盡管拉格郎日沒有明顯地使用矩陣. 后來物理學家.迪拉克引進了術(shù)語"行-列"(bra-ket)來表示我們現(xiàn)在稱之為行向量乘以列向量的純量積,術(shù)語"列-行(ket-bra)"表示一列向量乘以行向量的積,從而導致如同上面的我們現(xiàn)在稱做的單純矩陣.我們現(xiàn)在把列矩陣和向量視為同一的習慣是由物理學家們在20世紀引進的. 矩陣理論在數(shù)值計算、線性規(guī)劃、數(shù)據(jù)分析、科學試驗、信號傳輸?shù)戎卮箢I域有著極其廣泛的應用。隨著科技日新月異地進步，人類社會開始步入信息化、數(shù)字化時代，矩陣在生產(chǎn)實踐中的應用越來越廣泛，矩陣理論的研究也就越來越重要1。矩陣理論在現(xiàn)

3、代統(tǒng)計學的許多分支有著廣泛的應用，成為統(tǒng)計學中不可缺少的工具，而且，隨著研究的深入和應用的發(fā)展，矩陣與統(tǒng)計學之間的關系會越來越深刻。一方面，統(tǒng)計學對矩陣研究提出了許多新的研究課題，刺激了有關矩陣理論研究的發(fā)展;另一方面，矩陣理論中的結(jié)果被越來越多地應用于統(tǒng)計學的理論研究及其應用中。近三十年，許多統(tǒng)計學家致力于這方面的研究，并撰寫了很多這方面的論文和著作，其中很多結(jié)論在統(tǒng)計學的研究中發(fā)揮著很大的作用。近三十年矩陣研究中一些與統(tǒng)計學有密切關系的新發(fā)展，包括它們在統(tǒng)計中的應用，這些研究結(jié)果一開始就淵源于統(tǒng)計問題。本文皆在向讀者介紹矩陣論中并與統(tǒng)計學密切有關的如下幾個方面：矩陣偏序、矩陣不等式、廣義逆

4、矩陣等，這些方面與統(tǒng)計學息息相關，特別是在多元分析和線性模型參數(shù)估計中都有著重要的應用。廣義逆矩陣是對逆矩陣的推廣。廣義逆矩陣是上世紀矩陣理論的一項極為重要的新發(fā)展7，廣義逆的概念最早由Redholm于1908年提出的，他給出TFredholm積分算子的廣義逆，Hurwitz于1912年利用有限維Fredholm積分算子的零空間給出了此類廣義逆的一個簡單的代數(shù)表征，Hilbert于1904年討論廣義Green函數(shù)時曾提出了微分算子的廣義逆，之后許多學者研究了微分算子的廣義逆，特別是Myller、westfall、Reid等。1920年，Moore首次提出了矩陣的廣義逆，他利用投影矩陣定義了唯一

5、的廣義逆。Bjerhammer在不知道Moore結(jié)果的情形下，重新提出了廣義逆矩陣的定義，利用廣義逆給出了線性方程組的解。Bott和Duffin在研究電網(wǎng)絡理論時，引進了后來被稱為Bott-Duffin廣義逆。但這時期的研究工作是零散的。在Penrose1955年證明了Moore所定義的廣義逆是滿足四個矩陣方程的唯一的矩陣之后，廣義逆矩陣得到迅速發(fā)展并在應用學科的諸多領域獲得廣泛的應用。近四十年來，廣義逆矩陣理論在最優(yōu)化、數(shù)理統(tǒng)計、算子理論、經(jīng)濟學和計算數(shù)學等眾多數(shù)學分支和工程科技領域發(fā)揮了重大作用。尤其在研究最小二乘問題、病態(tài)線性、非線性問題，回歸，分布估計，多元分析等統(tǒng)計問題，規(guī)劃問題，控

6、制論，網(wǎng)絡問題的過程中，廣義逆是不可或缺的研究工具。 若A為非奇異矩陣,則線性方程組Ax=b的解為x=A(-1)b，其中A的A的逆矩陣A(-1)滿足A(-1)A=AA(-1)=I(I為單位矩陣)。若A是奇異陣或長方陣,Ax=b可能無解或有很多解。若有解,則解為x=Xb+(I-XA),其中是維數(shù)與A的列數(shù)相同的任意向量,X是滿足AXA=A的任何一個矩陣，通常稱X為A的廣義逆矩陣,用Ag、A-或A(1)等符號表示,有時簡稱廣義逆。當A非奇異時,A(-1)也滿足AA(-1)A=A,且x=A(-1)b+(I-A(-1)A)=A(-1)b。故非異陣的廣義逆矩陣就是它的逆矩陣，說明廣義逆矩陣確是通常逆矩陣

7、概念的推廣。 1955年R.彭羅斯證明了對每個m×n階矩陣A,都存在惟一的n×m階矩陣X，滿足：AXA=A；XAX=X；(AX)*AX；(XA)*XA。通常稱X為A的穆爾-彭羅斯廣義逆矩陣,簡稱M-P逆，記作A+。當A非奇異時，A(-1)也滿足,因此M-P逆也是通常逆矩陣的推廣。在矛盾線性方程組Axb的最小二乘解中,xA(-1)b是范數(shù)最小的一個解。廣義逆的計算方法大致可分為三類：以滿秩分解和奇異值分解為基礎的直接法，迭代法和其他一些常用于低階矩陣的非凡方法。本文介紹了Moore-Penrose廣義逆在多元分析中的應用。多元分析的一個重要內(nèi)容就是研究隨機向量之間的關系。對于

8、不同類型的矩陣A和B，討論了隨機向量和y的典型相關系數(shù)與Ax和By的典型相關系數(shù)之間的關系，從而得到了x和y的廣義相關系數(shù)與Ax和By的廣義相關系數(shù)之間的關系。設x ,y分別為p×1和q×1隨機向量，它們的方差陣和協(xié)方差陣分別為從而 （1.1）矩陣V+yy Vyx V+xx Vxy的特征值都是非負的且都不大于1,非零特征值設為。其中矩陣A+表示A的Moore -Penrose廣義逆。由典型相關系數(shù)的定義知，稱為典型相關系數(shù)，它在典型相關分析中起著重要作用。2.廣義逆矩陣廣義逆矩陣的研究可以追溯到1935年的Moore的著名論個條件：定義了A的廣義逆X。但是，在此后的20年中

9、，這種廣義逆幾乎沒有引起×人們的多少注意，直到1955年，Penrose證明了滿足上述條件的廣義逆具有唯一性后，廣義逆的研究才真正為人們所重視，基于這個原因人們把滿足上述四個條件的的廣義逆稱為Moore-Penrose廣義逆。本節(jié)主要介紹以下兩種經(jīng)常應用的廣義逆：2.1廣義逆A-定義2. 1對矩陣Am×n,一切滿足方程組的矩陣X，稱為矩陣A的廣義逆，記為A-。 下面的定理解決了A-的存在性和構(gòu)造性問題。定理2.1設A為m ×n矩陣，rk (A) =r，若這里P和Q分別為m ×m，n ×n的可逆陣，則這里B，C和D為適當階數(shù)的任意矩陣。下面的兩個

10、定理圓滿地解決了用廣義逆矩陣表示相容線性方程組集的問題。定理2.2設Ax =b為一相容方程組，則(1)對任一廣義逆A-，x=A-b必為解；(2)齊次方程組Ax=0的通解為x =(I -A -A )z，這里z為任意的向量，A-為任意固定的一個廣義逆；(3)Ax =b的通解為其中A-為任意固定的一個廣義逆，z為任意的向量。定理2. 3設Ax =b為相容線性方程組，且b0，那么，當A-取遍A的所有廣義逆時，x =A- b構(gòu)成了該方程組的全部解。下面一定理討論分塊矩陣的廣義逆。定理2.4(分塊矩陣的廣義逆)(1)若A11-1存在，則 (2)若A22-1存在，則 (3)若則或其中，2.2廣義逆A+從上段

11、的介紹知，一般來說廣義逆A-有無窮多個。在這無窮多個A-中，有一個A-占有特殊的地位，它就是本節(jié)一開始提到的Moore-Penrose廣義逆。定義2. 2設A為任一矩陣，若X滿足下述四個條件：則稱矩陣X為A的Moore-Penrose廣義逆，記為A+。引理2.1(奇異值分解)設A為m×n秩為r的矩陣，則存在兩個正交陣Pm×m和Qn×n，使得其中而為A*A的非零特征值。定理2. 4(1)設A的分解式滿足上式，則(2)對任何矩陣A，A+惟一。因為A+是一個特殊的A-，因此，它除了具有A-的全部性質(zhì)外，還有以下性質(zhì)：定理2. 53.隨機向量的典型相關系數(shù)和廣義相關系數(shù)對

12、于不為零的常數(shù)a ,b，顯然，ax與by的典型相關系數(shù)和x與y的典型相關數(shù)是相同的。下面分別討論對于不同類型的矩陣A, B ,Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)之間的關系（參見文獻3）。定理3.1設A和B分別是p ×p和q ×q可逆方陣，并且AV+xxVxx=V+xxVxxA, BV+yyVyy=V+yyVyyB, 則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相等。證明：因為 （3.1）故Ax與By的典型相關系數(shù)i>0滿足下列方程： （3.2）其中I是單位矩陣。下面驗證 （3.3）事實上，注意到：，所以同理，這就驗證了（3.3）式的成立。把（3.3）式

13、代入（3.2）式得：（3.4）從而證明了i是x與y的典型相關系數(shù)。由于廣義相關系數(shù)是用典型相關系數(shù)定義的（參見文獻4），故有推論3.1當滿足（3.3）式時，隨機向量x與y的廣義相關系數(shù)和Ax與By的廣義相關系數(shù)相同。定理3.2設A是p×p可逆陣，B是q×q可逆陣，x與y分別為p維和q維隨機向量，且Vxx，Vyy也都可逆，則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相同。證明：由于所以Ax與By的典型相關系數(shù)i>0滿足 （3.5）由于A，B，Vxx，Vyy都可逆，上式易化為 （3.6）這樣就證明了定理3.2。推論3.2 在定理2.2的條件下，Ax與By的廣義相關系數(shù)

14、與x和y的廣義相關系數(shù)相同。定理3.3 設A是n×p列正交陣，B是m×q列正交陣，則Ax與By的典型相關系數(shù)和x與y的典型相關系數(shù)相等。證明：因為Ax與By的典型相關系數(shù)i滿足 （3.7）注意到A，B都是列正交陣，據(jù)3.2知代入（3.7）式得 （3.8）又因為對矩陣D,F，我們易證DF與FD的非零特征值是相同的。從而由（3.8）式得這就證明了i是隨機變量x與y的典型相關系數(shù)，定理證畢。推論3.3當A， B是列正交時，Ax與By的廣義相關系數(shù)和x與y的廣義相關系數(shù)相等。定理3.4設A是n×p列滿秩陣，B是m×q列滿秩陣，Vxx，Vyy可逆時，則Ax與By的

15、典型相關系數(shù)和x與y的典型相關系數(shù)相等。證明：設A, B的譜分解分別為其中P1，P2，Q1，Q2都是列正交陣，1，2是主對元素大于零的對角矩陣。令i>0是Ax與By的典型相關系數(shù)，則i是下列方程的解。 （3.9）把A，B的譜分解代入上式，并注意到P1，P2，Q1，Q2的正交性，上式可化為： （3.10） 由于Vxy，Vyy，1，2 ，Q1，Q2都是可逆陣，故代入（3.10）式即得定理由此獲證。推論3.4 設A是n×p列滿秩陣，B是m×q列滿秩陣，Vxx，Vyy可逆，則Ax與By的廣義相關系數(shù)和x與y的廣義相關系數(shù)相同。4.小結(jié) 本文，利用Moore-Penrose廣義

16、逆矩陣討論了它在多元分析中的一個應用-比較隨機向量的典型相關系數(shù)和廣義相關系數(shù)之間的關系。對于不同類型的矩陣A和B，討論了隨機向量x和y的典型相關系數(shù)與Ax和By的典型相關系數(shù)之間的關系，從而得到了x和y的廣義相關系數(shù)與Ax和By的廣義相關系數(shù)之間的關系。典型相關系數(shù)和廣義相關系數(shù)在多元統(tǒng)計中發(fā)揮著重要的作用，例如，王松桂5討論了廣義相關系數(shù)與估計效率；朱顯海，楊學鋒6討論了廣義相關系數(shù)與估計的穩(wěn)健性。正因為典型相關系數(shù)和廣義相關系數(shù)在統(tǒng)計中有著重要的應用，本文討論了它們之間的關系。參考文獻：1.Hotelling H.,Relation Betnween Two Sets of Vriates,Biometrika，1936，36：321