多元回歸分析中常用的矩陣算法

1、畢業(yè)設(shè)計(論文)任務(wù)書課題名稱多元回歸分析中常用的矩陣算法學(xué) 院 專業(yè)班級姓 名學(xué) 號畢業(yè)設(shè)計(論文)的主要內(nèi)容及要求：（1） 首先要了解多元回歸分析中的矩陣算法的研究背景。（2）查閱相關(guān)文獻(xiàn)（至少4-5篇），并查閱1-2篇外文文獻(xiàn)。（3）熟悉相關(guān)矩陣算法；掌握多元回歸分析的基本理論知識； （4）完成各種矩陣算法的程序編寫，并將其運(yùn)用于多元回歸分析。（5）通過實(shí)例驗證算法的準(zhǔn)確性，然后進(jìn)行修改優(yōu)化。（6）整理相關(guān)資料，完成畢業(yè)論文的寫作。（7）對論文進(jìn)行全面修改、完善，準(zhǔn)備論文答辯。 指導(dǎo)教師簽字： 摘要在多元回歸分析的計算中，觀測數(shù)據(jù)一般用矩陣表示，對數(shù)據(jù)的分析轉(zhuǎn)化為對數(shù)據(jù)矩陣的分析計算問題

2、.如線性方程組的求解，矩陣的分解，矩陣的變換，特征值和特征向量的計算等.這些常見的矩陣計算問題也是多元回歸分析中經(jīng)常遇到的問題.本文主要介紹了多元回歸分析中常用的矩陣分解及其算法，其中包括三角分解，正交三角-分解，正交分解. 然后針對每一種分解我們討論了它們的一些常用算法，并在計算機(jī)上通過Matlab軟件編程實(shí)現(xiàn)這些算法，最后再介紹了這些矩陣算法在多元回歸分析中的應(yīng)用.本文給出的算法是多元回歸分析計算的基礎(chǔ)，對應(yīng)用多元回歸分析解決實(shí)際問題具有很重要的意義.關(guān)鍵詞：矩陣分解；矩陣變換；算法；回歸分析IAbstract在多元統(tǒng)計分析的計算中，觀測數(shù)據(jù)一般用矩陣表示，對數(shù)據(jù)的分析轉(zhuǎn)化為對數(shù)據(jù)矩陣的分

3、析計算問題。如線性方程組的求解，矩陣的分解，奇異值的分解，特征值和特征向量的計算，廣義特征值的計算，廣義逆矩陣的計算及掃描變換等。這些常見的矩陣計算問題也是統(tǒng)計計算中經(jīng)常遇到的問題。In the calculation of multiple regression analysis, the observed data generally represented by matrix, the analysis of datas often transform into the analysis of the matrix. Such as the solution of linear equa

4、tions, matrix decomposition, matrix transform, the computation of eigenvalues and eigenvectors. These common matrix computation problems are often encountered in the multivariate regression analysis of the problem.This paper mainly introduces the commonly used matrix decomposition and its algorithm

5、in the multiple regression analysis,including triangular decomposition, QR decomposition, orthogonal decomposition. Then for each decomposition, we discuss some algorithms and realize the algorithm by Matlab software programming in the computer, and introduce the application of the algorithm of matr

6、ix in the multivariate regression analysis.The presented algorithm in this paper is the base of the analysis of multiple regression on the calculation, it has the very vital significance for using multiple regression analysis to solve practical problems.Keywords: Matrix decomposition; Matrix transfo

7、rmation; The algorithm; Regression analysisII目錄摘要IAbstractII第一章 引言11.1本文的研究背景11.2本文的主要工作1第二章 矩陣的三角分解及其算法22.1矩陣的LR分解及其算法22.2正定陣的Cholesky分解及其算法6第三章 矩陣的正交-三角分解及其算法103.1 Householder變換103.2 Givens變換173.3 Gram-Schmidt正交化及其修正算法20第四章 矩陣的正交分解及其算法244.1對稱陣的譜分解及Jacobi算法244.2矩陣的奇異值分解及其算法28第五章 矩陣算法在多元回歸分析中的應(yīng)用315.

8、1多元線性回歸模型的參數(shù)估計與假設(shè)檢驗315.2基于Cholesky分解的回歸算法335.3基于Householder變換的回歸算法355.4譜分解在嶺回歸估計中的應(yīng)用375.5總結(jié)41附錄43參考文獻(xiàn)57致謝58第一章 引言1.1本文的研究背景數(shù)理統(tǒng)計方法是以概率論為基礎(chǔ)，通過樣本來了解和推斷總體統(tǒng)計特性的科學(xué)方法，內(nèi)容及其豐富.隨著計算機(jī)使用的日益廣泛，為了更好地應(yīng)用數(shù)理統(tǒng)計方法來解決實(shí)際問題，從事統(tǒng)計工作或?qū)嶋H工作的人們都很關(guān)心如何應(yīng)用計算機(jī)來更快完成各種統(tǒng)計數(shù)據(jù)的分析處理工作.故而出現(xiàn)了“統(tǒng)計計算”（Statistical Computation）這個方向.統(tǒng)計計算是數(shù)理統(tǒng)計、計算數(shù)學(xué)

9、、和計算機(jī)科學(xué)三者的結(jié)合，它是一門綜合性學(xué)科.在科學(xué)研究和生產(chǎn)實(shí)際的各個領(lǐng)域中，普遍地存在著大量數(shù)據(jù)的分析處理工作.如何應(yīng)用數(shù)理統(tǒng)計學(xué)中的回歸分析、多元分析、時間序列分析等統(tǒng)計方法來解決實(shí)際問題，以及如何解決在應(yīng)用中的計算問題，對實(shí)際工作者來說是極需解決的問題.而矩陣算法對于實(shí)際工作者應(yīng)用計算機(jī)實(shí)現(xiàn)數(shù)理統(tǒng)計中的計算問題具有很關(guān)鍵的位置.我們知道在多元統(tǒng)計分析的計算中觀測數(shù)據(jù)一般用矩陣表示，對數(shù)據(jù)的分析轉(zhuǎn)化為對數(shù)據(jù)矩陣的分析計算問題.如線性方程組的求解，矩陣的分解，奇異值的分解，特征值和特征向量的計算，廣義特征值的計算，廣義逆矩陣的計算及掃描變換等.這些常見的矩陣計算問題都是統(tǒng)計計算中經(jīng)常遇到的

10、問題.本文研究的目的是力求把統(tǒng)計計算中常用的矩陣算法的思想、步驟及其在計算機(jī)上的實(shí)現(xiàn)結(jié)合起來，為實(shí)際工作者應(yīng)用多元統(tǒng)計分析解決實(shí)際問題提供便利.1.2本文的主要工作本文第2-4章主要講解矩陣的三大分解，包括三角分解，正交三角-分解，正交分解.其中三角分解中主要講解了Doolilttle、LDU以及正定陣的cholesky分解；正交-三角分解主要講解了Housholder變換、Givens變換、GS正交化以及修正的MGS正交化；正交分解則主要講解了對稱陣的jacobi變換，以及一般矩陣的奇異值分解.本文的最后一章首先介紹了多元回歸分析的一些基本理論知識，然后介紹了矩陣三大分解在多元回歸分析中的運(yùn)

11、用.最后在本文的附錄中我們給出了矩陣三大分解的中常用矩陣算法的程序以及在多元回歸分析中的運(yùn)用程序. 第二章 矩陣的三角分解及其算法我們知道用有回代的消去變換法求解線性方程組的過程，實(shí)質(zhì)上就是化系數(shù)矩陣為上三角矩陣的過程；系數(shù)矩陣為上三角形矩陣的線性方程組用回代法很容易求得方程組的解.將一個矩陣分解為三角形矩陣或其他簡單形式的矩陣，是矩陣計算的一種基本的方法.本章討論將一個矩陣分解為兩個三角形矩陣乘積的方法.2.1矩陣的LR分解及其算法（一）矩陣的分解（分解）1.分解的存在唯一性用高斯（）消去變換求解階線性方程組時，記增廣矩陣為，化為上三角形矩陣的過程為：,其中為上三角矩陣.初等變換的過程可通過

12、初等變換陣的運(yùn)算來表示.記，其中則一般地記，其中的第列是由的第列元素定義的向量（前個元素為0），是單位下三角矩陣，則，這里是單位下三角矩陣.因此對階方陣進(jìn)行次高斯消去變換，就實(shí)現(xiàn)對的三角分解：.我們稱矩陣分解為單位下三角矩陣和上三角矩陣的乘積的分解法為矩陣的分解或分解.線性方程組的解法可化為:其中（1）可求出，然后由（2）用逐步回代法求出 因此，求解線性方程組的高斯消去法實(shí)質(zhì)上就是系數(shù)矩陣的分解.由上面的介紹我們大概了解了矩陣的分解，那么我們不禁要問矩陣的分解是否一定存在，若存在是否唯一？對此，我們先給出一個例子來進(jìn)行討論，如下：例2.1 設(shè) 顯然，方程組有唯一解，但不存在分解.事實(shí)上，使得等

13、式成立的與不存在.如果把的第一、第二行交換位置，得，則存在分解 不存在分解的原因是（即的一階順序主子式為0）.定理2.1 設(shè)為階方陣，的階順序主子式記為則的分解存在且唯一的充要條件是對更一般的矩陣，如是退化方陣，或者是矩陣，是否仍有分解？定理2.2 設(shè)為矩陣， ，如果，則存在分解：（但不一定唯一）.在矩陣中，當(dāng)時，的分解是存在唯一的；當(dāng)是非奇異矩陣但不滿足各階順序主子式不等于0，這時先對作行變換，然后進(jìn)行三角分解.定理2.3 設(shè)為非奇異的階方陣，則存在行置換陣，使.此定理對應(yīng)于選主元的高斯消去變換，實(shí)際上就是一系列初等變換陣的乘積 .注：定理2.1、2.2以及2.3的證明請參考數(shù)值計算方法的有

14、關(guān)書籍，如參考文獻(xiàn)4、5.2. 分解的算法算法2.1.1（分解的算法）已知矩陣，設(shè)存在分解，即 (2.1)利用（2.1）式兩邊矩陣對應(yīng)元素相等計算出與的元素，具體步驟如下：（1）對比矩陣的第一行元素相等，求得：（2）對比矩陣的第一列元素相等，求得：（3）對比第二行、第二列元素相等，求得：（4）以此類推，得到這一過程的遞推計算公式如下：對 (2.2)注：類似于分解，對于三角分解，當(dāng)為下三角矩陣，為單位上三角矩陣時，該分解稱為分解.分解的算法與分解類似，這里不再從復(fù)累述.下面我們介紹矩陣的另一種三角分解.（二）矩陣的分解由，其中，為單位上三角陣，記則 例2.2 設(shè)，求的分解.解 首先由（2.2）式

15、可得的唯一分解式為則 ，注：此例告訴我們只要知道了矩陣的分解，相應(yīng)的分解也就隨之求出來了.另外，此例中是退化矩陣，但的分解存在且唯一，故而的分解也是存在且唯一.2.2正定陣的Cholesky分解及其算法以上介紹了一般矩陣的三角分解，當(dāng)為正定陣時，的三角分解具有特殊的形式：（其中為下三角矩陣）.正定陣的這種形式的分解稱為分解.在多元統(tǒng)計分析中，涉及到的矩陣如協(xié)差陣、相關(guān)陣等一般都是正定陣.分解在統(tǒng)計計算中更是一類重要的、常用的矩陣計算.（一）分解的存在唯一性 定理2.4 設(shè)為階正定陣，則的分解必存在；當(dāng)?shù)膶窃鼐≌龝r，分解式是唯一的. 證明 是正定陣，所以的階順序主子式由定理2.1知，存在唯

16、一的分解式，因此其分解式也存在唯一，即.又因為是對稱的，所以，即.由分解式唯一可知，于是其中當(dāng)時，分解式是唯一的.為下三角矩陣. 證畢（二）分解的算法以下給出正定陣的分解的兩種算法.算法2.2.1（直接遞推算法）設(shè)已知，可寫為： (1.3)（1）對比（1.3）式兩邊第一行元素對應(yīng)相等，可得：（2）對比（1.3）式兩邊第二行元素對應(yīng)相等，可得：例2. 以此類推，可得出計算的直接遞推公式為（對）： (1.4)算法2.2.2（順序分解算法或稱平方根分解算法）設(shè)，記，其中，則 (1.5)該算法是根據(jù)的特點(diǎn)（前個元素為）及關(guān)系式（1.5）依次求出的算法.記 具體步驟如下：例2. 令. 由于的第一個元素均

17、為，所以的第一行和第一列元素全為，即對比上式兩端，求得及：（2）令，類似的，由 的前兩行和前兩列元素均為0，可求得及：例2. 依次類推，步后得出及，求及的計算公式為（對）： （1.6）（4）令，則就是的分解式.注：觀察（1.6）式可知，用算法2.2.2求的分解式的過程實(shí)際上就是一種用初等變換化為特殊上三角矩陣的過程.例2.3 用平方根分解算法求矩陣的分解式.解 對利用遞推公式（1.6）即可求出，從而得到的分解式.下面我們來用初等變換法求的分解式. 記，則由例2.3也可以看出用遞推公式（1.6）求解矩陣的分解式實(shí)質(zhì)上就是一種用初等變換化為特殊上三角矩陣的算法.第三章 矩陣的正交-三角分解及其算法

18、矩陣的分解，實(shí)質(zhì)上是對作初等變換，化為上三角矩陣的過程.其實(shí)，我們還可以對作正交變換，即存在正交陣，使得（為上三角形矩陣），則，其中是正交陣.我們稱矩陣分解為正交陣和上三角矩陣的乘積的分解法為矩陣的正交-三角分解，或簡稱分解.通過正交變換化矩陣為上三角矩陣的這種變換思想在統(tǒng)計計算中是非常重要的.下面我們將介紹幾種簡單有效的正交變換方法.3.1 Householder變換 （一）矩陣定義3.1 設(shè)是歐式空間中的單位向量，形如的階矩陣稱為矩陣（或變換）.性質(zhì) 設(shè)為中的一個矩陣，則 （1） （對稱性）； （2） （正交性）； （3） （對合性）.將代入以上三式即可證得結(jié)論.為了進(jìn)一步了解矩陣，我們有

19、必要探討一下矩陣的幾何意義.當(dāng)時，與的關(guān)系如圖3-1所示:如果把看成一面鏡子，看成這面鏡子的單位法向量，則即為在鏡面下所成的像.因此，矩陣的幾何意義可描述為:把看成是中的一個維超平面的單位法向量，對任意，即為在維超平面下所成的鏡像.根據(jù)其幾何意義，矩陣也稱為反射（鏡像）矩陣或反射（鏡像）變換.如果有，將看成是中一個維超平面的法向量，那么矩陣又可寫為 （3.1）其中 （3.1）式告訴我們，只要給定一個超平面的法方向，我們就可以通過這個法方向去定義一個矩陣.再結(jié)合圖3-1可以看出，法方向與是共線的.所以，我們有以下定理. 定理3.1 設(shè)中有非零向量且，則必存在矩陣，使得.證明 令，為與共線的單位向

20、量.設(shè)，則由于，即，所以從而， 證畢下面我們將矩陣運(yùn)用于矩陣的正交-三角化.化為上三角矩陣的第步要求把的第列化為且的前列不變.因此，我們的想法是：若給定一個維向量，是否存在矩陣，使得事實(shí)上，由定理3.1可知，如果滿足（記為條件1），那么我們便可構(gòu)造一個矩陣，使得（只需令即可）.但由于化為上三角矩陣的過程中，第步我們不僅要求將第列化為，而且必須保證的前列不變，因此構(gòu)造的應(yīng)該形如（記為條件2），這樣才能保證的前列不變.根據(jù)條件1和條件2，我們可以令， 則 其中這樣選擇的，即滿足了條件1（），又滿足了條件2.而對于的第個元素的符號為什么選擇“”，那是因為當(dāng)計算的第個元素時，以“”作為的系數(shù)可以避免與

21、作減法運(yùn)算從而防止計算結(jié)果損失有效數(shù)字. （二）利用變換的分解設(shè)為階非奇異矩陣，記，對計算，其中是由的第列向量定義的矩陣，則即，其中為正交陣.對用數(shù)學(xué)歸納法，利用的性質(zhì)容易證明上述結(jié)論.以上結(jié)論說明非奇異矩陣存在分解，并且通過變換能夠得出分解式.當(dāng)為矩陣（），且（即為列滿秩矩陣）時，類似地，對計算，從而，為階上三角矩陣，為階正交陣.若記（為正交陣，為正交陣），則矩陣的分解式還可以寫為：定理3.2 設(shè)為列滿秩矩陣（），則可以分解為：，其中為正交陣，為階上三角矩陣.如果規(guī)定的對角元素取正時，分解式是唯一的. 證明 由知，為階正定陣，利用定理2.4知，存在分解：（為階非奇異上三角矩陣）.記，則，即為

22、正交陣，且；即存在分解.當(dāng)規(guī)定的對角元素取正時，的分解唯一，從而的分解也唯一. 證畢設(shè)為矩陣，對作分解的思路如下：（1）對作列變換，使的前列線性無關(guān).即存在列置換陣，使，其中為列滿秩矩陣，而可由的個列向量線性表出，即存在矩陣，使得，此時（2）對作分解，由定理3.2知，存在使得，為階非奇異上三角矩陣.故在實(shí)際計算時，列置換不必在對作變換之前執(zhí)行，這一步可以順便在執(zhí)行變換的過程中實(shí)現(xiàn).下面我們根據(jù)這一思路來導(dǎo)出求解的具體步驟如下： 記，對計算(不妨設(shè))：（2） 由的第列計算陣.當(dāng)出現(xiàn)時，則，此時的第列可由前列線性表出.把第列移到最后一列，即令，其中表示交換階單位矩陣的第列與第列所得到的初等置換陣.

23、最后對新的的第列（即原的第列）重新計算陣.（3） 計算 （3.2）由(3.2)式可知，我們只需計算 （3.3）為此，我們記，.第一步：計算，由(3.3)式知由于 即 所以 第二步：計算，由(3.3)式知， 通過以上兩步，我們便得到計算中各元素的計算公式：（3.4）經(jīng)過次變換后，得（上三角矩陣），令，則算法3.1.1（用變換化為上三角矩陣）（1）輸入矩陣，并置，對，重復(fù)（2）（5）；（2）由的第列計算 ，并置；（3）判斷是否成立：若成立，則令，置，轉(zhuǎn)第（2）步；若不成立，則轉(zhuǎn)下一步（4）（4）由的第列計算陣（5）計算，首先令，再進(jìn)行以下賦值 （6）重復(fù)（2）（5），直至循環(huán)結(jié)束，令，令，置，則用

24、變換化為上三角矩陣的算法是一種穩(wěn)定有效的算法.3.2 Givens變換對矩陣作正交變換化為上三角矩陣的另一種方法變換，這是1954年提出的方法.（一）旋轉(zhuǎn)變換陣首先考慮平面上的二維向量，用正交陣左乘，則使得向量順時針旋轉(zhuǎn)角后變成，當(dāng)?。ㄒ妶D3-2-1）時，.其中滿足：這樣的矩陣稱為平面旋轉(zhuǎn)變換陣，它是正交陣，且作用在向量上，可把向量簡化.這種形式的矩陣推廣到維空間中，有以下定義.定義3.2 設(shè)向量，令（不妨設(shè)），則稱階矩陣為變換陣很明顯，陣是由向量的第兩個元素定義的，它與單位陣只在第行和列相應(yīng)位置的四個元素上有差別.性質(zhì) 設(shè)是由向量定義的變換陣（），則有以下性質(zhì)：（1）為正交陣；（2）設(shè)，則，

25、；（3）用左乘任一矩陣，只改變的第行；用右乘任一矩陣，只改變的第列根據(jù)的特點(diǎn)及矩陣乘法可立即得到上述結(jié)論.為把向量化為后面?zhèn)€元素為0，記，其中是由定義的變換陣.利用性質(zhì)（2）可知：其中（二）用變換化為上三角矩陣設(shè)為列滿秩矩陣，記 則用變換化為上三角矩陣的步驟如下：（1）令，其中是由得第1個列向量定義的一系列變換陣的乘積.則，其中（4） 一般地，令，其中是由的第個列向量定義的一系列變換陣的乘積.則，其中是階上三角矩陣.故，即，其中是正交陣.算法3.2.1（用變換化為上三角矩陣）設(shè)為矩陣，假設(shè)已進(jìn)行到第步正交變換，即用正交陣依次左乘，得，第步擬把中的第列對角元以下的元素消為0，故第步對執(zhí)行以下步驟

26、： （1）令，并計算； （2）若，則?。蝗?，計算，并令 ，；（3）令；（4）對；計算用變換化為上三角矩陣的變換是一個正交變換，它常用于多元統(tǒng)計分析中；另外在增加或刪去一個觀測數(shù)據(jù)后的回歸分析計算中，變換還有特殊的作用.3.3 Gram-Schmidt正交化及其修正算法（一）正交化方法這是高等代數(shù)中我們很熟悉的正交化方法.設(shè)是維空間中個線性無關(guān)的向量，方法是求單位向量使得：（1）由生成的線性空間與由生成的線性空間相等，即；（2）兩兩正交.具體步驟如下：令 ，單位化得； ，單位化得；，單位化得；則滿足以上要求，且即 （二）算法（算法）記，假設(shè)，則由得：即 （3.5）注意到是兩兩正交的單位向量，由(

27、3.5)式第一個方程可求出及；然后用左乘(3.5)式第二個方程，可求出及和；依此進(jìn)行下去最后可求出和這一算法通常稱為算法，簡稱算法.算法3.3.1（算法）已知且（1），；（2）對 利用(3.5)式第個方程計算以上算法是將矩陣的個線性無關(guān)的列向量正交化為，故稱為正交化方法.分析算法將發(fā)現(xiàn)，此算法的計算是先求出(3.5)式第一個方程右邊的和；然后求出，和；直到求出和為止.由于各列是作為中各列的線性組合，因此一般說來，用算法求解列正交陣時舍入誤差較大，以致影響的正交性.特別是將算法用于求解最小二乘解時，常出現(xiàn)不穩(wěn)定現(xiàn)象.針對算法的缺點(diǎn)，下面給出修正的算法.（三）修正的正交化算法（算法）算法也是利用方

28、程組(3.5)，只是它求解的順序與算法不一樣，算法求解的順序為：先求解(3.5)式右邊的第一列，直到求出和為止.記，由(3.5)式的第一個方程首先求得，用左乘(3.5)式的第個方程，利用正交性可得這樣(3.5)式中右端第一列相應(yīng)的和便全部求出來了.為了求(3.5)式中右端第二列，令，則(3.5)式變?yōu)?（3.6）(3.6)式的左邊是已知的，用類似的方法可求出(3.6)式的右邊第一列（也就是(3.5)式右邊第二列）.依此做下去，即可求出和算法3.3.2（算法）已知且記（5） 對計算，令（6） 由可得，算法有時也會得到不太理想的正交陣，但經(jīng)驗表明，算法在求解最小二乘解時比算法更加穩(wěn)定. 故就一般問

29、題而言，算法的計算精度及穩(wěn)定性要比算法好. 由此可見，計算順序的不同，有時會大大影響算法的效果.第四章 矩陣的正交分解及其算法矩陣的正交-三角（）分解是用正交變換化矩陣為上三角矩陣.而矩陣的正交分解是基于矩陣的正交相似變換將矩陣化為更簡單的對角矩陣.本章分別討論對稱矩陣、非奇異矩陣以及一般矩陣的正交分解問題.4.1對稱陣的譜分解及Jacobi算法（一）對稱陣的譜分解 定理4.1 設(shè)為階實(shí)對稱矩陣，則存在階正交陣，使得 ， （4.1）其中為的特征值，若記，則是相對于的特征向量.另外，(4.1)式還可以寫成另一種形式：， （4.2）并稱(4.2)式為矩陣的譜分解式.也稱為的譜.定理4.1的證明可參

30、考1，這里不再一一陳述.實(shí)對稱矩陣的譜分解的計算問題其實(shí)就是計算的特征值和特征向量的過程.下面我們介紹求實(shí)對稱矩陣的特征值和特征向量的經(jīng)典算法方法.（二）算法在定義3.2中我們定義了變換陣，當(dāng)，時，它實(shí)質(zhì)上是相應(yīng)平面上的一個旋轉(zhuǎn)變換陣，記為，它作用在向量上，能使的坐標(biāo)旋轉(zhuǎn)角后變?yōu)橄旅嫖覀儗⒔榻B另一種旋轉(zhuǎn)變換陣，它作用在矩陣上之后，將使的位置和位置的元素簡化為定義4.1 在平面旋轉(zhuǎn)變換陣中，選擇角度，使得 （4.3）中的這樣的旋轉(zhuǎn)變換陣稱為變換陣，并記為當(dāng)用左乘矩陣時，中只有行的元素變化了，其他元素不變；當(dāng)用右乘矩陣后，中只有列元素變化了，其他元素不變.記，則 （4.4）為使，應(yīng)選擇合適的，使得

31、即 （4.5）由(4.5)式可解得 （4.6）其中，設(shè)為階實(shí)對稱矩陣，是變換陣.令，則有以下性質(zhì)：（1）仍是對稱陣；（2），且；（3）；（4），即變換后所有元素的平方和不變；（5），其中表示中所有非對角元素的平方和.證明 很顯然（1）、（2）是成立的，下面我們證明（3）、（4）、（5）（3）由(4.4)式及知所以結(jié)論成立；（4）由于相似矩陣具有相同的跡，即，所以即正交相似變換下，矩陣所有元素的平方和不變； （5）將， 以及代入即可得到 證畢以上性質(zhì)（5）表明，經(jīng)變換后，矩陣非對角元素的平方和減少了.對繼續(xù)實(shí)行變換，使非對角元素的平方和趨于零.這時將近似的化為對角矩陣.這就是用變換化對稱陣為對角

32、陣的基本思想.算法4.1.1（算法）記，并給定精度，置，實(shí)行以下步驟： （1）對，選非對角元素中絕對值最大者：；（2）由，和確定，使得；（3）利用（4.6）式計算出，及；（4）令，利用（4.4）式可計算出；（5）檢驗是否成立，若成立，則停止計算；否則令，重復(fù)（1）（5）假設(shè)時，已經(jīng)滿足了（5）的檢驗條件，這時認(rèn)為是對稱陣的特征值，為相應(yīng)的特征向量組成的正交陣.算法是否收斂的于對角形的問題，是個很重要的問題.下面的定理給出了滿意的結(jié)論.定理4.2 證明 設(shè)，則有由變換性質(zhì)（5）及上式可知，的非對角元素的平方和滿足：由于，所以當(dāng)時，；是一固定的常數(shù)，所以 證畢注：定理4.2也說明了必為對角形.進(jìn)一

33、步還可以證明，（其中為的特征值，為相應(yīng)的特征向量）.以上介紹的算法4.1常稱為經(jīng)典算法.它具有很多優(yōu)點(diǎn)，如收斂速度快，計算精度高，求得的特征向量正交性好等.4.2矩陣的奇異值分解及其算法對于實(shí)對稱矩陣，經(jīng)過正交相似變換一定可以化為對角形：對于一般矩陣，是否也存在正交變換，化為對角形： 這正是本節(jié)要討論的問題. （一）非奇異陣的奇異值分解定理4.3 設(shè)為階非奇異矩陣，則存在階正交陣和，使得 （4.7）其中，為的全部特征值.證明 因為非奇異陣，故是正定的.由定理4.1可知，存在正交陣，使得其中 是的特征值.令，并記顯然，于是由可得令，則其中，即也是正交陣. 證畢定理4.3告訴我們，非奇異陣能經(jīng)過正

34、交變換化為對角形：同時（4.7）式也可以寫為我們稱該分解式為的奇異值分解，為的奇異值.（二）一般矩陣的奇異值分解定義4.2 設(shè)為非零矩陣， 的非零特征值為，令，則稱為的奇異值.如果存在分解式： ， （4.8）其中，為正交陣，記，為對角陣，則稱分解式（4.8）為的奇異值分解.定理4.4 任意非零矩陣的奇異值分解必存在.證明 設(shè)為非零矩陣，則為半正定陣，由定理4.1可知，存在階正交陣，使得記，其中是的非零特征值.記，為正交陣，則令，為矩陣，則故是正交陣，且將擴(kuò)充為階正交陣，則即的奇異值分解存在. 證明在的奇異值分解中，若記，則的奇異值分解又可以寫為：（三）奇異值分解的算法事實(shí)上，定理4.4的證明過

35、程就是求的奇異值分解的過程.算法4.2.1 (奇異值分解的算法)已知為非零矩陣，.（3） 用經(jīng)典算法求解的特征值和特征向量，得其中，為正交陣； （2）計算正交陣；（3）擴(kuò)充為階正交陣；記為對角陣，則就是矩陣的奇異值分解式. 變換和奇異值分解都是對矩陣進(jìn)行正交分解的方法，但是變換只適用于對稱矩陣，而奇異值分解則適用于任何非零矩陣.在實(shí)際應(yīng)用中，具體問題具體分析，讀者可根據(jù)自己的需要選擇方法.第五章 矩陣算法在多元回歸分析中的應(yīng)用 回歸分析是處理變量間相關(guān)關(guān)系的一種很有效的統(tǒng)計方法.通過觀測數(shù)據(jù)，尋找某些指標(biāo)（因變量）與另一些指標(biāo)（自變量）之間相互依賴關(guān)系-相關(guān)關(guān)系.當(dāng)假設(shè)它們滿足線性關(guān)系時，所使

36、用的回歸方法就稱為線性回歸分析.本章重點(diǎn)討論矩陣分解在多元線性回歸計算中的應(yīng)用問題.5.1多元線性回歸模型的參數(shù)估計與假設(shè)檢驗設(shè)因變量與自變量線性相關(guān)，次觀測數(shù)據(jù)滿足以下多元線性回歸模型： （5.1）其中是觀測誤差，一般假定且相互獨(dú)立.記，則（5.1）式可以寫成矩陣形式： （5.2）回歸分析主要討論以下幾方面的問題：第一，參數(shù)和的估計問題；第二，對參數(shù)的線性函數(shù)進(jìn)行統(tǒng)計檢驗；第三，預(yù)測問題；第四，回歸變量的篩選問題；等等.這里我們只討論前兩個問題. （一）關(guān)于與的參數(shù)估計定義5.1 在回歸模型（5.2）中，如果則稱是參數(shù)的最小二乘估計，并稱為回歸模型（5.2）的最小二乘殘差（也稱為殘差平方和）

37、.顯然，的最小二乘估計是線性方程組的最小二乘解.由高等代數(shù)知識，我們知道的最小二乘解就是它的正規(guī)方程的解，因此求解最小二乘解的問題通常轉(zhuǎn)化為求正規(guī)方程解的問題.特別地，當(dāng)（列滿秩）時，正規(guī)方程有唯一解為.限于篇幅，這里我們只討論的情況.對于參數(shù)，在數(shù)理統(tǒng)計中，我們常用作為的無偏估計.，其中是的預(yù)測值（估計值）.表示由最小二乘估計得到的預(yù)測值與觀測值的偏差平方和，在回歸分析中，常簡記為（二）關(guān)于參數(shù)的假設(shè)檢驗在多元線性回歸模型（5.2）中，除了參數(shù)估計問題外，還有如下的一些顯著性檢驗問題：（1）變量的數(shù)學(xué)期望與之間是否確有線性關(guān)系？如果它們之間沒有線性關(guān)系，那么一切均應(yīng)為，這相當(dāng)于檢驗假設(shè)：是否

38、成立. （2）假如變量的數(shù)學(xué)期望與之間確有線性關(guān)系，那么是否每個變量都起著顯著作用？如果因子對作用不顯著，那么應(yīng)該為這相當(dāng)于檢驗假設(shè)：是否成立 （3）如果變量的數(shù)學(xué)期望與之間確有線性關(guān)系，而且每個變量都起著顯著作用，那么我們能否確定各個因子對顯著性作用的程度，這就相當(dāng)于檢驗假設(shè)：事實(shí)上，以上幾種檢驗問題，最終可歸結(jié)為檢驗假設(shè)：其中為矩陣（），且；為維列向量.例如第（3）種情況 ， （此時）為了構(gòu)造檢驗統(tǒng)計量，我們引入，可以看出表示回歸模型（5.2）在成立條件下的最小二乘殘差，有時也稱為帶有約束條件的最小二乘殘差由此，我們可以證明，在成立時，統(tǒng)計量利用統(tǒng)計量，就可以對線性假設(shè)進(jìn)行檢驗.總之，在多

39、元線性回歸分析中，我們要計算的幾個最基本的統(tǒng)計量為、和 下面我們分別用矩陣的三種分解來討論它們的計算方法.5.2基于Cholesky分解的回歸算法 回歸模型（5.2）中參數(shù)的最小二乘估計量的常用算法是求解正規(guī)方程 觀察系數(shù)矩陣，當(dāng)時，正定的.因此，很容易想到用分解對其進(jìn)行計算. （一）關(guān)于參數(shù)與的算法在回歸模型（5.2）中，設(shè)與的次觀測數(shù)據(jù)陣已知，且，記與的叉積陣為 （5.3）則為階正定矩陣，對作分解： （5.4）比較（5.3）與（5.4）兩邊，得到由此可得： （5.5）算法5.2.1（用分解求與）（1）輸入數(shù)據(jù)陣，計算叉積陣；（2）利用算法2.2.2（或2.2.1）對作分解：；（3）用回代法

40、求解線性方程組：，得；（4）計算殘差平方和（二）關(guān)于檢驗統(tǒng)計量的算法關(guān)于一般線性假設(shè)的檢驗統(tǒng)計量的計算問題，關(guān)鍵是求，為此我們不加證明地給出以下定理.定理5.1 對于回歸模型（5.2），在一般線性假設(shè)條件下，有 （5.6）為了簡化的計算，將與代入（5.6）式，得 （5.7）其中為矩陣.這里涉及到求的問題，為此，我們對進(jìn)行分解： 將其代入（5.7）式，得到 其中算法5.2.2（用分解求） （1）輸入矩陣與，用回代法求解線性方程組，得；（2）輸入數(shù)據(jù)與，計算和；（3）利用算法2.2.2（或2.2.1），對作分解：（4）用回代法求線性方程組，得；（5）計算，5.3基于Householder變換的回歸

41、算法除了可以利用分解進(jìn)行回歸計算以外，正交-三角分解也可以用于回歸計算.本節(jié)我們主要以變換為例來討論正交-三角分解在回歸計算中的應(yīng)用. 在回歸模型中，假設(shè)與的次觀測數(shù)據(jù)陣已知，且.對矩陣作變換，化其為上三角矩陣.即存在階正交陣，使得為矩陣.其中為階上三角矩陣；為維列向量；為維列向量.由于，故有 （5.8）對比（5.8）式兩端，有同樣地，利用變換也可以完成的計算，只需將算法5.2.2中的第（3）步改為對作變換，即存在，使得其中為階上三角矩陣，設(shè)，為正交陣，則，此時同樣有將它們代入（5.7）式，則有算法5.3.1（用變換求、與）（1）輸入數(shù)據(jù)陣，利用算法3.1.1，對作變換：（2）用回代法求解線性

42、方程組：，得；（3）計算殘差平方和；（4）輸入矩陣，用回代法求解線性方程組，得；（5）利用算法3.1.1，對矩陣作變換：（6）輸入數(shù)據(jù)，用回代法求解，得；（7）取的前列組成矩陣，計算；（8）計算， 注：（1）用正交-三角分解的方法計算回歸統(tǒng)計量，除了可以用變換外，同樣地也可以用變換或算法.利用正交-三角分解的回歸算法的計算精度以及算法的穩(wěn)定性都比基于正規(guī)方程的算法好.（2）利用變換計算回歸統(tǒng)計量時，有時也會出現(xiàn)問題.如對作變換，得到事實(shí)上，此時對作變換是沒有意義的，并且這樣得到的結(jié)果是病態(tài)的.若遇到此類問題，我們可以采用變換，見附錄中的算法5.3.1.5.4譜分解在嶺回歸估計中的應(yīng)用 從叉積陣

43、出發(fā)，利用對稱陣的譜分解同樣可以計算多元線性回歸模型（5.2）中的參數(shù)的最小二乘估計和殘差平方和 利用譜分解算法在嶺回歸估計的計算中更顯示出它的優(yōu)勢.（一）利用譜分解計算與對階叉積陣作譜分解，得 （5.9）其中 ， 是的特征值；為階正交陣，是對應(yīng)于的特征向量，記下面我們來導(dǎo)出與的計算公式.令, 為矩陣，為維行向量，對分解式作適當(dāng)變形： （5.10）一方面，由（5.10）式兩邊同乘矩陣，得到即所以 （5.11）另一方面，由（5.10）式本身可得所以 （5.12）結(jié)合（5.11）與（5.12）可得 由此便導(dǎo)出求解與的計算公式 （5.13） 利用譜分解求解與的算法，首先得利用算法求出叉積陣的特征值和

44、特征向量，然后計算出矩陣，進(jìn)而求出與 比起前兩節(jié)介紹的回歸算法，它的計算量較大，且精度較差.但它在嶺回歸估計的計算中卻有它的優(yōu)勢.（二）嶺回歸估計的算法在回歸模型（5.2）中，當(dāng)矩陣呈病態(tài)（即自變量出現(xiàn)共線關(guān)系）時，的最小二乘估計的均方差將會變大且不穩(wěn)定.從減少均方誤差的角度出發(fā)，引入嶺回歸估計.定義5.2 設(shè)，稱為的嶺回歸估計，為嶺參數(shù).由嶺回歸估計建立的回歸方程稱為嶺回歸方程.從理論上可以證明，存在，使得的均方誤差達(dá)到最小，即對任意，有 在嶺回歸估計中，的選取方法是關(guān)鍵問題.在實(shí)際應(yīng)用中，雖也有許多確定的原則和方法，這些方法常常必須對不同的值計算嶺估計后，再從中找出好的估計.如嶺跡法，就必

45、須計算時，各參數(shù)分量的值，然后在直角坐標(biāo)系下，以為橫坐標(biāo)，為縱坐標(biāo)畫出曲線圖，此曲線即為嶺跡.故在嶺回歸分析中，有必要設(shè)計一種對不同的值求的簡便算法.利用譜分解很容易計算記，由可知這表明是的特征值，對應(yīng)的特征向量仍為，記，則利用（一）中的結(jié)論，可知嶺回歸估計量是 從譜分解得出的嶺回歸估計量的計算公式（5.14）與最小二乘估計的公式（5.13）很相似，只需將（5.13）中的改為即得到（5.14）式.算法5.4.1（利用譜分解計算嶺回歸估計量與）（1）輸入數(shù)據(jù)陣，計算叉積陣；（2）利用算法4.1.1，對作譜分解：；（3）輸入的最大值，對，計算（4）取，使得；（5）此時的與即為的最優(yōu)嶺回歸估計量.至

46、此，我們已將矩陣算法在多元線性回歸計算中的應(yīng)用給大家作了一個簡單的介紹.在實(shí)際應(yīng)用中，我們可以根據(jù)具體情況選擇其中的算法來解決問題.5.5總結(jié)通過第2-4章的講解，我們對矩陣的三角分解、正交-三角分解以及正交分解有了一個深刻的認(rèn)識，結(jié)合具體算法的分析與介紹，我們知道了怎樣求解一個已知矩陣的這三類分解.第五章我們給出了這三類分解在多元回歸分析計算中的應(yīng)用.最后在本文的附錄中，我們給出了每一個算法的程序（Matlab編寫），方便讀者使用。總結(jié)這四章內(nèi)容，可將本文的框架概括如下：矩陣分解三角分解正交三角分解正交分解Grout分解LDU分解正定陣的GG分解Doolittle分解Householder變

47、換Givens變換GS算法MGS算法Jacobi變換奇異值分解A=(L)RA=L(R)A=LDUA=GGHA=RGA=RA=QRA=QRJAJ=DUAV=D基于cholesky分解基于譜分解的嶺回歸分析基于householder變換算法5.2.1，5.2.2算法5.3.1算法5.4.1多元線性回歸分析應(yīng)用附錄算法2.1.1(doolittle分解)function L,R=doolittle(A)%A a n-order matrix%L a n-order upper triangular matrix%R a n-order lower triangular matrixn=length(

48、A);L=eye(n);R=L;for j=1:n R(1,j)=A(1,j); L(j,1)=A(j,1)/R(1,1);endfor k=2:n for j=k:n R(k,j)=A(k,j)-sum(L(k,1:k-1)*R(1:k-1,j); end; for i=k+1:n L(i,k)=(A(i,k)-sum(L(i,1:k-1)*R(1:k-1,k)/R(k,k); endendif norm(A-L*R)<10(-10) 'Yes,you are right!'else 'No,you are wrong'End算法2.1.2(LDU分解)

49、function L,D,U=LDU(A)%A a n-order matrix%L a n-order upper triangular matrix%D a n-order diagonal matrix%U a n-order lower triangular matrixn=length(A);L=eye(n);R=L;U=L;D=L;for j=1:n R(1,j)=A(1,j); L(j,1)=A(j,1)/R(1,1);endfor k=2:n for j=k:n R(k,j)=A(k,j)-sum(L(k,1:k-1)*R(1:k-1,j); end; for i=k+1:n L(i,k)=(A(i,k)-sum(L(i,1:k-1)*R(1:k-1,k)/R(k,k); endendfor i=1:n D(i,i)=R(i,i); for j=i+1:n U(i,j)=R(i,j)/R(i,i); endendif norm(A-L*D*U)<10(-10) 'Yes,you are right!'else 'No,you are wrong'end算法2.2.1(chol