第六章病態(tài)方程解算方法

1、1 為什么要研究病態(tài)方程為什么要研究病態(tài)方程： 當(dāng)誤差方程為病態(tài)時(shí)，即使觀測(cè)數(shù)據(jù)服從正態(tài)分布，其最當(dāng)誤差方程為病態(tài)時(shí)，即使觀測(cè)數(shù)據(jù)服從正態(tài)分布，其最小二乘估值也不理想，甚至很差，其方差雖然在線性無(wú)偏估值小二乘估值也不理想，甚至很差，其方差雖然在線性無(wú)偏估值類中是最小，但類中是最小，但方差的值卻很大方差的值卻很大，即平差精度很差，而且，即平差精度很差，而且解相解相當(dāng)?shù)牟环€(wěn)定當(dāng)?shù)牟环€(wěn)定。1 1、矩陣的條件數(shù)、矩陣的條件數(shù)TxxybyybxxxbAx110001. 00,0001. 220001. 111102220001. 11112121方程組的解變?yōu)椋浩渲杏形⑿∽兓瘯r(shí)，有當(dāng)常數(shù)項(xiàng)其精確解為，即

2、例：有方程組一、病態(tài)問題與條件數(shù)若系數(shù)陣若系數(shù)陣A A或常數(shù)項(xiàng)或常數(shù)項(xiàng)b b的微小變化，會(huì)引起方程組的解的微小變化，會(huì)引起方程組的解x x有巨大變化，有巨大變化，則這種方程組稱為則這種方程組稱為“病態(tài)方程組病態(tài)方程組”。A A稱為病態(tài)矩陣。稱為病態(tài)矩陣。AAbbAAAAAAxxbbxxAAxbAbbAAxxbAxxAbbAxbAxbbxxAxbbAbAx11111211得解的相對(duì)誤差為：即有多大誤差？均有誤差時(shí)，解、）設(shè)所以：（范數(shù)特性）即有多大誤差？，導(dǎo)致解有誤差非奇異，設(shè)正常，）中，討論：在方程組定義定義 。中最大和最小的特征值分別是正定對(duì)稱矩陣和其中，數(shù)為陣的譜條件陣），（如法方程的為正

3、定實(shí)對(duì)稱矩陣時(shí)，當(dāng)感程度。組的解對(duì)原始數(shù)據(jù)的敏條件數(shù)。它刻畫了方程的為矩陣，稱乘積對(duì)非奇異陣AAAAcondANAAAAAminmaxminmax21221不穩(wěn)定模型：輸入數(shù)據(jù)很小的誤差會(huì)引起待估參數(shù)很大的誤差。不穩(wěn)定模型：輸入數(shù)據(jù)很小的誤差會(huì)引起待估參數(shù)很大的誤差。所以病態(tài)方程也是不穩(wěn)定模型。所以病態(tài)方程也是不穩(wěn)定模型。矩陣的條件數(shù)：矩陣的條件數(shù)：2 2、病態(tài)性程度的衡量方法、病態(tài)性程度的衡量方法。時(shí)，有嚴(yán)重的復(fù)共線性中等強(qiáng)度復(fù)共線性；時(shí)，有時(shí)，有弱復(fù)共線性；在復(fù)共線性；時(shí)，可以認(rèn)為不存中，的特征值通常的判斷標(biāo)準(zhǔn)，模糊的說法。很接近于零”是一個(gè)很個(gè)復(fù)共線性關(guān)系。但“中就有多少于零，設(shè)計(jì)矩陣有

4、多少個(gè)特征值很接近法矩陣、特征分析法01. 005. 001. 01 . 005. 01 . 0iiiiiNBNa解釋：復(fù)共線性解釋：復(fù)共線性 復(fù)共線性，指的是平差參數(shù)之間具有近似相關(guān)關(guān)系，反映在誤差方程的設(shè)計(jì)矩陣上，就是列向量間的某些數(shù)據(jù)列可以由其余的數(shù)據(jù)列近似（非精確）地線性表示。 在最小二乘平差中，在最小二乘平差中，“復(fù)共線性復(fù)共線性”就是指就是指“病態(tài)性病態(tài)性”。 方差分解比方法。條件指標(biāo)法、。中有幾個(gè)復(fù)共線性關(guān)系判定設(shè)計(jì)矩陣條件數(shù)法的缺點(diǎn)是不能情況修正取舍。對(duì)上述準(zhǔn)則應(yīng)根據(jù)實(shí)際左右。所以致在快速定位中，條件數(shù)大如數(shù)據(jù)處理實(shí)際應(yīng)用中，量前提下得到的。但在測(cè)對(duì)數(shù)據(jù)中心化標(biāo)準(zhǔn)化的呈病態(tài)。這

5、個(gè)指標(biāo)是在，系統(tǒng)時(shí)存在嚴(yán)重的復(fù)共線性時(shí)沒有復(fù)共線性；一般認(rèn)為、條件數(shù)法CTVDPcBKKNNNcondKb13minmax110GPS10001003 3、病態(tài)方程產(chǎn)生原因、病態(tài)方程產(chǎn)生原因1、參數(shù)選取原因。（參數(shù)近似相關(guān)或過度參數(shù)化）、參數(shù)選取原因。（參數(shù)近似相關(guān)或過度參數(shù)化）2、觀測(cè)原因。（樣本為局部采樣或接近重復(fù)采樣）、觀測(cè)原因。（樣本為局部采樣或接近重復(fù)采樣）3、模型選擇原因。（模型建立的方法不同，其病態(tài)程度不同）、模型選擇原因。（模型建立的方法不同，其病態(tài)程度不同）4、計(jì)算方面原因。（計(jì)算方法要穩(wěn)定，計(jì)算機(jī)字節(jié)長(zhǎng)度應(yīng)長(zhǎng)一些）、計(jì)算方面原因。（計(jì)算方法要穩(wěn)定，計(jì)算機(jī)字節(jié)長(zhǎng)度應(yīng)長(zhǎng)一些）4

6、 4、病態(tài)方程最小二乘估值的性質(zhì)、病態(tài)方程最小二乘估值的性質(zhì) 病態(tài)方程處理的觀測(cè)值可以是正態(tài)分布，但其LS估值并不理想，甚至很差。 雖然LS估計(jì)的方差在線性無(wú)偏類估值線性無(wú)偏類估值中是最小，但數(shù)值卻很大，并表現(xiàn)得相當(dāng)不穩(wěn)定。 常用均方誤差常用均方誤差MSE來(lái)評(píng)價(jià)病態(tài)情形下參數(shù)的估值質(zhì)量。來(lái)評(píng)價(jià)病態(tài)情形下參數(shù)的估值質(zhì)量。 的減小。部分，換取方差部分大偏差有偏估計(jì)實(shí)質(zhì)：適當(dāng)增。估值，即參數(shù)估值將不再是無(wú)偏用解病態(tài)方程法得到的的一個(gè)良好估值了。不再是估值很大，此時(shí)值較小，會(huì)導(dǎo)致的最小特征。而若法矩陣的無(wú)偏估值，即是真值上式的條件為由均方誤差公式：122120120212 2001xxExxLSxMS

7、ENxxBBtrxxEQtrxxxxExMSEitiiTxxT問題的適定性：?jiǎn)栴}的適定性：人們根據(jù)已獲取的觀測(cè)數(shù)據(jù)和物理規(guī)律，列出的數(shù)學(xué)模型，當(dāng)這些模型具有下述性質(zhì)： 1、解存在；、解唯一；、解穩(wěn)定。則這個(gè)問題稱為適定性問題。不適定性：不適定性： 不滿足上面三個(gè)條件中的任意一個(gè)或多個(gè)。不適定問題通常是病態(tài)的，但病態(tài)問題不一定就是不適定問題。不不適定問題通常是病態(tài)的，但病態(tài)問題不一定就是不適定問題。不適定問題通常是求方程的穩(wěn)定近似解。適定問題通常是求方程的穩(wěn)定近似解。5 5、什么樣的方程可能是病態(tài)的？、什么樣的方程可能是病態(tài)的？1）行列式的值很大或很小（如某些行、列近代相關(guān)）；2）元素間相差大數(shù)

8、量級(jí)，且無(wú)規(guī)則；3）主元消去過程中出現(xiàn)小主元；4）特征值相差大數(shù)量級(jí)。1 1、病態(tài)方程的截?cái)嗥娈愔到夥?、病態(tài)方程的截?cái)嗥娈愔到夥ㄆ娈愔捣纸饧夹g(shù)奇異值分解技術(shù)(Singular Value Decomposintion Technique，簡(jiǎn)記為，簡(jiǎn)記為SVD法法)均為正交矩陣。、為半正定的對(duì)角陣；式中陣可分解為時(shí)，對(duì)）當(dāng)（進(jìn)行奇異值分解：下面對(duì)的廣義逆。是為的最小二乘最小范數(shù)解是誤差向量。得是設(shè)計(jì)矩陣，已經(jīng)單位化）：的權(quán)陣測(cè)值向量設(shè)有觀測(cè)方程（式中觀VUVUAAtnppArankAAALAxxeAeLxAPLttTtnnntnLS,min)(11n1n1ttn minmax2212121212

9、,:. 0),min(,000AcondAvvvVuuuUVUAAAAtnARpdiagDDtniiiTiipptn數(shù)與奇異值的關(guān)系為：為長(zhǎng)方陣時(shí)，得其條件系：）奇異值與條件數(shù)的關(guān)（陣按列劃分，為和將。的關(guān)系為：的特征值或與矩陣奇異值陣全部的非零奇異值。是且其中：陣的分塊形式為 。近似秩虧的線性方程組法可解算滿秩、秩虧和看出，由有，而的通解為：線性方程組組的數(shù)值穩(wěn)定的方法。、特別是線性病態(tài)方程分解法是求線性方程組，可見奇異值超過時(shí)，奇異值的變化不會(huì)有擾動(dòng)此特性說明當(dāng)矩陣，有，則對(duì)均屬于與若。）、奇異值分解的擾動(dòng)（SVDVUAtnpARdiagDDUVVUALAxLAxEEAEAEAtptnRE

10、AATppntTTAAApAptnA12111211111220,min,000, 2 , 13性。了條件數(shù)，提高了穩(wěn)定關(guān)性很強(qiáng)的約束，降低量，這相當(dāng)于舍去了相及其相關(guān)的特征向的奇異值，舍去小于值截?cái)嘣瓌t：選擇一個(gè)閾程的截?cái)嗥娈愔捣ń猓翰綄?duì)其截?cái)?，得病態(tài)方在第得解為：的奇異值分解式可寫為inTinTitiitTnpinTitiitLSpiTiiiTLuvxTLuvLAxuvUVAA11111111111111平差中，設(shè)計(jì)矩陣平差中，設(shè)計(jì)矩陣B為病態(tài)，其秩為為病態(tài)，其秩為R(B)=t。通過截?cái)?，適當(dāng)去除。通過截?cái)啵m當(dāng)去除（t-T）個(gè)大誤差項(xiàng)，恢復(fù)了一些解的主要特性，但也喪失了一些）個(gè)大誤差項(xiàng)，

11、恢復(fù)了一些解的主要特性，但也喪失了一些解的精確性。解的精確性。13 均為單位陣）內(nèi)容嶺估計(jì)。（以下時(shí)，正則化估計(jì)也稱為正則化矩陣。當(dāng)滿足正則化參數(shù)光滑函數(shù)。RIRRTikhononvxxRxPVVxTT02min2 2、病態(tài)方程的正則化解法、病態(tài)方程的正則化解法）式：的正則化準(zhǔn)則作用于（，此時(shí)可取的特征值單調(diào)地趨向于若上式病態(tài)，則法矩陣）（有誤差方程：101TikhonovNlxBVPlBIPBBxTtT1得正則化參數(shù)解為： 可見 ，正則化方法的核心是通過附加“全部或部分參數(shù)（或其改正數(shù)）加權(quán)平方和極小”的條件，增加約束，補(bǔ)充（先驗(yàn)）信息，來(lái)克服不適定性，使解唯一且穩(wěn)定。14 QIIINQNQ

12、QxxQNQQxMSEMxQxxExBiasxBiasxxBlElIPBBQlxBVPlBQxINQtttTnTTt其中考慮了：陣為評(píng)定精度的均方誤差矩為的偏差值有參數(shù)的期望值與其真考慮為參數(shù)估值及殘差可表示設(shè),2201 正則化解的殘差及自由度與最小二乘解不同，因此其單位權(quán)方差估計(jì)式也不同。 2022201222:QtrtnPDtrBNQBQBBQPDxQQxVEVPEtrVEVPEtrPDtrVVPEtrPVVExBQVExBNBQlEIPBBQVEQINQVVTTVVTTTVVTTnTt而，有根據(jù)二次型的期望公式上兩式合并，有及殘差的期望：由 代替。，可以用參數(shù)估值參數(shù)真值計(jì)算時(shí)，由于無(wú)法

13、得到為差無(wú)偏估計(jì)的計(jì)算公式所以正則化法單位權(quán)方即有xxQtrtnxQQxPVVQtrtnxQQxPVVEPDtrVEVPEtrPVVETTTTVVTT22220202222 。數(shù)估值平衡，得到更準(zhǔn)確的參之間的與正則函數(shù)光滑度平方和，可以更好地控制殘差一個(gè)合適的如圖，參數(shù)。值，該值即為所求的嶺最大的那個(gè)點(diǎn)的曲線法上曲率曲線法的關(guān)鍵是定曲線法。的方法稱為選定嶺參數(shù)擬合曲線，用這條曲線為縱坐標(biāo)作圖，得一條為橫坐標(biāo)，值，以擇不同的的函數(shù)，選均為嶺參數(shù)和中，式法等。在曲線法、嶺跡法及有有多種選取法，常用的嶺參數(shù)xxxPVVLLLxxxPVVxxPVVxxPVVxLTTTTTTTT0943. 2minGC

14、V 當(dāng)均方誤差矩陣當(dāng)均方誤差矩陣 時(shí)時(shí)，求得的，求得的 為最優(yōu)值。為最優(yōu)值。但由于參數(shù)真值未知，若用最小二乘解作為近似值代入，也不會(huì)但由于參數(shù)真值未知，若用最小二乘解作為近似值代入，也不會(huì)得到得到 的最優(yōu)值。的最優(yōu)值。事實(shí)上，每一個(gè)計(jì)算正則化參數(shù)的準(zhǔn)則都有其事實(shí)上，每一個(gè)計(jì)算正則化參數(shù)的準(zhǔn)則都有其優(yōu)點(diǎn)和缺點(diǎn)及適用的特定場(chǎng)合，不存在一個(gè)準(zhǔn)則在所有場(chǎng)合都優(yōu)優(yōu)點(diǎn)和缺點(diǎn)及適用的特定場(chǎng)合，不存在一個(gè)準(zhǔn)則在所有場(chǎng)合都優(yōu)于其它準(zhǔn)則。于其它準(zhǔn)則。18 min xMSEM對(duì)應(yīng)的特征向量）陣所有特征值陣是征向量，而此處的陣的零特征值對(duì)應(yīng)的特是陣差的陣完全沒關(guān)系，秩虧平陣與秩虧平差的附加陣（注意：該?；蛘魂囂匦裕宏嚒⑻卣髦蹬艦榈奶卣飨蛄拷M成的正交的特征值為由，可作如下譜分解：對(duì)于實(shí)對(duì)稱法矩陣NGNGGGGGIGGNGGGPBBNPBBNTTniTTT121,0 的值。，可得到的元素。上式求和后為是向量式中，有求上式的跡并要求最小均方誤差矩陣為0min22222011211201121120220 xGZZZxMSEMtrGIGxxGIGGIIGINxxININNINQxxQNQQxMSEMTiiiiiTtTTtTtttTtttT20 為所有正實(shí)數(shù)）