極小范數(shù)最小二乘解

第十四講矛盾方程（組）的解---最小二乘法一、從實(shí)驗(yàn)數(shù)據(jù)處理談起設(shè)有一組實(shí)驗(yàn)數(shù)據(jù)（Ss>（t2，s2）, , （tn，sn）,希望由實(shí)驗(yàn)數(shù)據(jù)擬合給定規(guī)律，從而測(cè)出待測(cè)量的有關(guān)參數(shù)。st假定規(guī)律為:s=ct+c，由1于存在誤差s工ct+ci1i22(i=1,2, ,n)，令t1r 、s.1了 、1t1cs<2、X=<1>,b=v2>? ?? ?c????I2丿?t1s，貝y：Ax=b實(shí)際無(wú)解，或者說(shuō)矩陣方程Ax=b成為矛盾方程（不自洽、非相容），雖說(shuō)無(wú)解，但在物理上看，我們需要而且也理當(dāng)有“解”怎么辦?般處理是，定義一種目標(biāo)函數(shù)，例如:E(c,c)=蘭w(s-ct-c)2 w>0為加權(quán)系數(shù)1 2 ii1i2 iAx-Ax-bll2使誤差E(c,c)最小化。w.=1(i=1?n)時(shí)E(c,c)=11.1 2 i 12II二、最小二乘法（解）對(duì)于矛盾方程Ax=b,最小二乘法是求其“解”的一種方法。即求使||Ax-b=min的解。2引理：設(shè)AGCmxnd{1,3}由如下方程的通解構(gòu)成:AX=AA(13)tA{1,3}={As+(I一A(13)A)ZZg6m}其中，A(1,3)為A{1,3沖的某個(gè)矩陣。證：1。方程既然相容，設(shè)X是其某個(gè)解，則(i)AXA=AA(w)A=AtXgA{1}(iii)(AX)h=(AA(13)h=AA(i,3)=AXtXgA{3}即方程的解必在A{1^}中。2。設(shè)X為A的一個(gè){1,3卜逆矩陣，則AX=AA(m)AX=(AA(13》(AX為=(A(1,3) AhXhAh=(4(1,3)》(AXA)h=(AA(1,3)》=AA(1,3)即，A的{1,3卜逆矩陣必滿(mǎn)足方程AX=AA(1,3)A{1,3}={方程AX=AAw)的所有解}(1,3)+(I一A(13A)ZZGCnxm令X=Ad,3)+(I—A(13)A)Z，則XgA{1}(i)AXA=AA(1,3)A+AZA—AAdAZAXgA{1}(iii)AX=AAw)+(A一AAsA)Z=AAs=(AX)h XgA{3}定理：矩陣方程Ax=b的最小二乘解為x=Adb，其中A2)為A的任何一個(gè){1,3卜逆矩陣，反之，存在X,對(duì)于任何bGCm均有Xb成為Ax=b的最小二乘解，則XgA{1,3}。證明:Ax-b=(Ax-Pb)+(Pb-b)R(A) R(A)(Ax-Pb)GR(A),(Pb-b)=—(I-P)b=-P beR丄(A)R(A) R(A) R(A) R丄A)Ax-b22=||AxAx-b22=||Ax-Pb2+||P b-b2>||b-Pb||2,112取得極小值的條件是x為方程Ax=P所以，II故|Ax-b取一個(gè)A(i,3)gA{1,3}，我們知道AA(13)=P 。而對(duì)于x=Adb,R(A)R(A)R(A)1b的解。任R(A)R(A)有Ax=AA(13)b=P b(但最小二乘解是否一定具有A(i,3)b的形式R(A)呢？)方程Ax=AA(i,3)b的通解為y=Ad,3)b+z(1,3)AA(in)by=Ad,3)b+z(1,3)b+(I-AdA)zzeCn顯然最小二乘解并不一定都具有Adb的形式。反之，若對(duì)于VbeCm,x=Xb均使Ax=Pb=AA(i,3)b，即R(A)Vb,有AXb=AAg)bTAX=AA(w)tXeA{1,3}推論：x是方程Ax=b的最小二乘解的充要條件是，x為方程AhAx=AHb的解。證：x為最小二乘解oAx=Pb，而b=Pb+Pb，故R(A) R(A) N(AH)x為最小二乘解oAx-b=-P beN(Ah)tAh(Ax-b)=0N(AH)最小二乘解一般不唯一。三、極小范數(shù)最小二乘解定理2:設(shè)AeCmxn,beCm,則x=a+b是方程Ax=b的極小范數(shù)最小二乘解。反之，若存在XeCnxm，若對(duì)于所有beCm,x=Xb均成為方程Ax=b的極小范數(shù)最小二乘解，則X=a證：最小二乘解滿(mǎn)足Ax=AAd,3）b，其極小范數(shù)解唯一，且為x=A（i,4）（AA