最小二乘法原理及算例

關(guān)于最小二乘法原理及算例第1頁，課件共33頁，創(chuàng)作于2023年2月實例講解某種合成纖維的強度與其拉伸倍數(shù)有直接關(guān)系，下表是實際測定的24個纖維樣品的強度與相應(yīng)拉伸倍數(shù)的記錄。提示：將拉伸倍數(shù)作為x,強度作為y,在座標紙上標出各點，可以發(fā)現(xiàn)什么?第2頁，課件共33頁，創(chuàng)作于2023年2月數(shù)據(jù)表格第3頁，課件共33頁，創(chuàng)作于2023年2月第4頁，課件共33頁，創(chuàng)作于2023年2月

從上圖中可以看出強度與拉伸倍數(shù)大致成線形關(guān)系，可用一條直線來表示兩者之間的關(guān)系。解：設(shè)y*=a+bxi

，令δ=yi-y*i=yi-a-bxi，根據(jù)最小二乘原理，即使誤差的平方和達到最小，也就是令

nQ=∑δi2

i=1

為最小，即求使

(a,b)=

有最小值的a和b的值。第5頁，課件共33頁，創(chuàng)作于2023年2月計算出它的正規(guī)方程得解得：a=0.15,b=0.859

直線方程為：y*=0.15+0.859x第6頁，課件共33頁，創(chuàng)作于2023年2月一問題的提出

插值法是使用插值多項式來逼近未知或復(fù)雜函數(shù)的，它要求插值函數(shù)與被插函數(shù)在插值節(jié)點上函數(shù)值相同，而在其他點上沒有要求。在非插值節(jié)點上有時函數(shù)值會相差很大。若要求在被插函數(shù)的定義區(qū)間上，所選近似函數(shù)都能與被插函數(shù)有較好的近似，就是最佳逼近問題。最佳逼近是在函數(shù)空間M中選P(x)滿足

但由于絕對值函數(shù)不宜進行分析運算,常將上式化為來討論，于是最佳逼近問題變?yōu)樽罴哑椒奖平鼏栴},而離散的最佳平方逼進問題就是常說的曲線擬合它們都可用最小二乘法求解。

主頁第7頁，課件共33頁，創(chuàng)作于2023年2月曲線擬合的最小二乘法最小二乘原理當由實驗提供了大量數(shù)據(jù)時,不能要求擬合函數(shù)在數(shù)據(jù)點處的偏差,即(i=1,2,…,m)

嚴格為零,但為了使近似曲線盡量反映所給數(shù)據(jù)點的變化趨勢,需對偏差有所要求.通常要求偏差平方和最小,此即稱為最小二乘原理第8頁，課件共33頁，創(chuàng)作于2023年2月?最小二乘法的求法第9頁，課件共33頁，創(chuàng)作于2023年2月第10頁，課件共33頁，創(chuàng)作于2023年2月?最小二乘法的幾種特例第11頁，課件共33頁，創(chuàng)作于2023年2月第12頁，課件共33頁，創(chuàng)作于2023年2月例題第13頁，課件共33頁，創(chuàng)作于2023年2月第14頁，課件共33頁，創(chuàng)作于2023年2月二線性最小問題的存在與唯一在科學(xué)實驗中，很多情況數(shù)據(jù)間存在線性或可轉(zhuǎn)化為線性的關(guān)系。線性最小二乘是最基本也是最重要的一種。1線性最小二乘問題與線性最小二乘求解 設(shè) Ax=b

其中ARmn，bRm，xRn

當mn時，上方程超定方程組 令r=b-Ax，一般，超定方程無通常意義下解，既無x使t=0。對這類方程求解意義是求x，使 r22

=b-Ax22

為最小， 稱x為Ax=b的最小二乘解。 主頁第15頁，課件共33頁，創(chuàng)作于2023年2月2最小二乘解的存在性與唯一性 定理：x*為Ax=b的最小二乘解充要條件

ATAX*=ATb

證明：充分性：若存在X*，使ATAX*=ATb則對任意向量令x=x*+y有

b–Ax22=b–AX*22–2（y，AT（b–AX*））+Ay

22=b–AX*22+Ay

22

b–AX*22

X*為Ax=b的最小二乘解。必要性：令

b–AX22=（x1，x2，，xn）=（x）

則由多元函數(shù)極值的必要條件知，若X*為極值點，則

（x）

|——|=0

xi

|x=x*

第16頁，課件共33頁，創(chuàng)作于2023年2月而（x1，x2，，xn）=bTb–2Ax+（Ax）TAx

（x）

由——=0（i=1，2，n）ATAx=ATb。

xi

若x*為Ax=b最小二乘解，則ATAx*=ATb。證畢

ATAx=ATb稱為最小二乘問題的Ax=b法方程組。當A=（aIj）mn的秩為n，既A的列線性無關(guān)時，ATAx=ATb有唯一解。第17頁，課件共33頁，創(chuàng)作于2023年2月三線形模型的正規(guī)方程關(guān)于擬和模型必須能反映離散點分布基本特征。 常選取是線性擬和模型，既所屬函數(shù)類為 M=Span{0，1，…n}， 其中

0，1，…n

是線性無關(guān)的基函數(shù)

m于是（x）=cj

j（x）

j=0通常選取每個j是次數(shù)j的簡單多項式，即M

是次數(shù)

n

的n次多項式空間。 取j（x）=xj，j=0，1，…，n

M=Span{1,x,x2，…，xn}，從而（x）=C0+C1x1

+…+Cnxn =Pn(x)

主頁第18頁，課件共33頁，創(chuàng)作于2023年2月

n

設(shè)離散數(shù)據(jù)模型（x）=

cj

j（x）

j=0則求解歸結(jié)為n+1元函數(shù)S的極值問題:

m

n

S（c0，c1，…，cn）=i[yiˉcj

j（xi）]

2

i=0

j=0顯然S達最小值必要條件是

S

m

n—=2i[yiˉcj

j（xi）]

k（xi）=0

Cki=0

j=0

（k=0，1，…，n）這是關(guān)于c0，c1，…，cn

的方程組，

n改寫成（j

，k)

cj=(y,

k

)(k=0,1,2,…n)稱為正規(guī)方程組

j=0其中

mn（j

，k)=i

j（xi）

k（xi）

i=0j=0第19頁，課件共33頁，創(chuàng)作于2023年2月一般，n<m，函數(shù)

0，1，…，n，線性無關(guān)能保證正規(guī)方程組的系數(shù)矩陣（

0，

0

）（1，

0

）…，（n，

0）

G=…

…

…，…(**)（

0，n）（1，n）

…，（n，n）的行列式不為零。因此正規(guī)方程組有唯一解。設(shè)其解為

cj=cj*，j=0，1，…，n則所要求的離散點的擬合函數(shù)(最佳平方逼近)為

n

*（x）=cj*j（x）。

J=0對已知連續(xù)函數(shù)f(x)的最佳平方逼近問題與離散點的最佳平方逼近有相同形式的正規(guī)方程組和結(jié)論,只不過內(nèi)積公式變?yōu)?/p>

第20頁，課件共33頁，創(chuàng)作于2023年2月表中提供離散數(shù)據(jù)（xi，yi），（0i4）試用二次多項式進行擬合.ixiyi

*（xi）

yi-*（xi）

001.00001.0052-0.005210.251.28401.27400.010020.501.64871.64820.000530.752.11702.1279-0.010941.002.71832.71300.0053四線形模型舉例主頁第21頁，課件共33頁，創(chuàng)作于2023年2月解:取M=Span（1，x，x2

）其三個基函數(shù)為j

（x）=xjj=0,1,2

擬和函數(shù)是基函數(shù)的線性組合:（x）=c0+c1x+c2x2

取0=1==4=1,由公式

55（

j，k）=xi

j+k，（y，k）=yi

xi

k

，

i=1

i=1j，k=0，1，2

可以算出（0，0）=5，（1，

1）=1.875，（

2

，2）=1.3828

（0，1）=（

1，0）=2.5,（0，2）=（

2

，0）=1.875（1，2）=（

2，1）=1.5625（y，0）=8.7680，（y，1）=5.4514，（y，2）=4.4215

第22頁，課件共33頁，創(chuàng)作于2023年2月正規(guī)方程為5C0+2.5C1+1.875C2=8.76802.5C0+1.875C1+1.5625C2=5.45141.875C0+1.5625C1+1.3828C2=4.415解得C0=1.0052，C1=0.8641，C2=0.8427所求連續(xù)模型*為，*（x）=1.0052+0.8641x+0.8437x2最小平方殘差

5

||y—*||22=（yi

—*（xi))2=2.7610-4i=1第23頁，課件共33頁，創(chuàng)作于2023年2月由上述我們已經(jīng)知到上述線性模型實際上是最小二乘法的推廣，實際上也就是多項式逼近函數(shù)的問題。它不僅可以解決一元問題還可用于多元問題。除此外還可求解某些非線性問題。求解方法是將其通過一定的代數(shù)變換轉(zhuǎn)換為可用線性模型求解的問題。 比如對方程y=aebx

取對數(shù)，得lny=lna+bx，令Y=lny, A=lna,B=b則問題轉(zhuǎn)化為解Y=A+Bx的線性問題。 類似的再如，對y=a+b/x擬和可對此方程取倒數(shù)，則新變量1/y于x成線性關(guān)系。

五線性模型引深及推廣主頁第24頁，課件共33頁，創(chuàng)作于2023年2月六最小二乘法方法評注最小二乘法方曲線擬和是實驗數(shù)據(jù)處理的常用方法。最佳平方逼近可以在一個區(qū)間上比較均勻的逼近函數(shù)且具有方法簡單易行，實效性大，應(yīng)用廣泛等特點。但當正規(guī)方程階數(shù)較高時，往往出現(xiàn)病態(tài)。因此必須謹慎對待和加以巧妙處理。有效方法之一是引入正交多項式以改善其病態(tài)性。。主頁第25頁，課件共33頁，創(chuàng)作于2023年2月

正交多項式

在高等數(shù)學(xué)中介紹付立葉級數(shù)時，曾提到函數(shù)系

1,cosx,sinx,cos2x,sin2x,…cosnx,sinnx,…中，由于任意兩個函數(shù)乘積在區(qū)間[-，+]上的積分都等于零，則說這個函數(shù)系在[-，+]上是正交的，并稱這個函數(shù)系為正交函數(shù)系。下面給出正交函數(shù)系定義：設(shè)函數(shù)f(x),g(x)[a,b],且則稱f(x)與g(x)在[a,b]上帶權(quán)(x)正交,第26頁，課件共33頁，創(chuàng)作于2023年2月在[a,b]上連續(xù)的函數(shù)0(x),1(x),2(x),...k(x)...,

滿足

則稱該函數(shù)系是在區(qū)間[a,b]上帶權(quán)(x)正交函數(shù)系.下面介紹與上述定義有關(guān)的幾個概念，然后引出正交多項的概念，最后再介紹正交多項式的性質(zhì)以及幾種常見的正交多項式。1.權(quán)函數(shù):(1)設(shè)[a,b]是有限或無限區(qū)間,(x)是定義在[a,b]上的非零可積函數(shù)，若其滿足則稱(x)是[a,b]上的一個權(quán)函數(shù)。第27頁，課件共33頁，創(chuàng)作于2023年2月2內(nèi)積與范數(shù)設(shè)f(x),g(x)[a,b],(x)是[a,b]上的一個權(quán)函數(shù)，稱為f(x)與g(x)在為