第2章.最小二乘法

1曲線擬合的最小二乘法

1引言

在科學(xué)實(shí)驗和生產(chǎn)實(shí)踐中，經(jīng)常要從一組實(shí)驗數(shù)據(jù)出發(fā)，尋求函數(shù)y=f(x)的一個近似表達(dá)式y(tǒng)=φ（x）（稱為經(jīng)驗公式）。從幾何上，就是希望根據(jù)給出的m個點(diǎn)，求曲線y=f(x)的一條近似曲線y=φ（x）。因此，這是一個曲線擬合的問題。多項式插值雖然在一定程度上解決了由函數(shù)表求函數(shù)的近似表達(dá)式問題，但用它來解決這里提出的問題，有明顯缺陷。首先，實(shí)驗提供的數(shù)據(jù)通常帶有測試誤差。如要求近似曲線y=φ（x）嚴(yán)格地通過所給的每個數(shù)據(jù)點(diǎn)，就會使曲線保持原有的測試誤差。當(dāng)個別數(shù)據(jù)的誤差較大時，插值效果顯然是不理想的。其次，由實(shí)驗提供的數(shù)據(jù)往往較多（即m較大），用插值法得到的近似表達(dá)式，明顯地缺乏實(shí)用價值。2因此，怎樣從給定的一組數(shù)據(jù)出發(fā)，在某個函數(shù)類φ中尋求一個“最好”的函數(shù)φ（x）來擬合這組數(shù)據(jù)，是一個值得討論的問題。隨著擬合效果“好”、“壞”標(biāo)準(zhǔn)的不同，解決此類問題的方法也不同。這里介紹一種最常用的曲線擬合方法，即最小二乘法。。2什么是最小二乘法

如前所述，在一般情況下，我們不能要求近似曲線y=f（x）嚴(yán)格地通過所有數(shù)據(jù)點(diǎn)，亦即不能要求所有擬合曲線函數(shù)在xi處的偏差（亦稱殘差）都嚴(yán)格地趨于零。但是，為了使近似曲線盡量反映所給數(shù)據(jù)點(diǎn)的變化趨勢，要求∣δi∣都較小還是需要的。達(dá)到這一目標(biāo)的途徑很多，常見的有：

(1)選取φ（x），使偏差絕對值之和最小，即

(2.1)3(2)

選取φ（x），使偏差最大絕對值最小，即

(2.2)(3)選取φ（x），使偏差平方和最小，即

(2.3)

為了方便計算、分析與應(yīng)用，我們較多地根據(jù)“偏差平方和最小”的原則（稱為最小二乘原則）來選取擬合曲線y=φ（x）按最小二乘原則選擇擬合曲線的方法，稱為最小二乘法。本章要著重討論的線性最小二乘問題，其基本提法是：對于給定數(shù)據(jù)表

x x1x2…xm

y y1y2…ym

4要求在某個函數(shù)類（其中n<m）中尋求一個函數(shù)

(2.4)使φ*(x)滿足條件

(2.5)

式中是函數(shù)類中任一函數(shù)。

滿足關(guān)系式（2.5）的函數(shù)，稱為上述最小二乘問題的最小二乘解。由上可知，用最小二乘法解決實(shí)際問題包含兩個基本環(huán)節(jié)：先根據(jù)所給數(shù)據(jù)點(diǎn)的變化趨勢與問題的實(shí)際背景確定函數(shù)類,即確定所具有的形式；然后按最小二乘法原則（2.3）求取最小二乘解，即確定其系數(shù)。5最小二乘解的求法由最小二乘解（2.4）應(yīng)滿足條件（2.5）知，點(diǎn)是多元函數(shù)的極小點(diǎn)，從而滿足方程組即6亦即

若對任意的函數(shù)h(x)和g(x)，引入記號

則上述方程組可以表示成

寫成矩陣形式即

(3.1)(3.2)7

方程組(3.2)稱為法方程組。當(dāng)線性無關(guān)時，可以證明它有唯一解并且相應(yīng)的函數(shù)(2.4)就是滿足條件(2.5)的最小二乘解。綜上分析可得

定理1

對任意給定的一組實(shí)驗數(shù)據(jù)(其中互異),在函數(shù)類(線性無關(guān)）中,存在唯一的函數(shù)使得關(guān)系式(2.5)成立，并且其系數(shù)可以通過解方程組(3.2)得到。作為曲線擬合的一種常用的情況，若討論的是代數(shù)多項式擬合，即取

則由(3.1)知8故相應(yīng)的法方程組為

下面，通過兩個具體的例子來說明用最小二乘法解決實(shí)際的問題的具體步驟與某些技巧。(3.3)9例1

某種鋁合金的含鋁量為，其熔解溫度為c，由實(shí)驗測得與的數(shù)據(jù)如表3-1左邊三列。使用最小二乘法建立與之間的經(jīng)驗公式。解

根據(jù)前面的討論，解決問題的過程如下：

（1）

將表中給出的數(shù)據(jù)點(diǎn)描繪在坐標(biāo)紙上，如圖3-1所示。

`

（2）

確定擬合曲線的形式。由圖3-1可以看出，六個點(diǎn)位于一條直線的附近，故可以選用線性函數(shù)（直線）來擬合這組實(shí)驗數(shù)據(jù)，即令180圖3-1y30026022030507090x10

其中a,b為待定常數(shù)。（3）建立法方程組。由于問題歸結(jié)為一次多項式擬合問題，故由

(3.3)知，相應(yīng)的法方程組形如經(jīng)過計算（表3-1）即得確定待定系數(shù)a，b的法方程組

（4）解法方程(3.5)得a=95.3524,b=2.2337

代入(3.4)即得經(jīng)驗公式

y=95.3524+2.2337x(3.4)(3.5)(3.6)11

i136.91811361.616678.9246.71972180.899199.9363.72354057.6914969.5477.82706052.8421006.0584.02837056.0023772.0687.52927656.2525550.0396.6145828365.28101176.3表3-112

所得經(jīng)驗公式能否較好地反映客觀規(guī)律,還需通過實(shí)踐來檢驗.由(3.6)式算出的函數(shù)值(稱為擬合值)與實(shí)際值有一定的偏差。由表3-2可以看出，偏差的平方和

，其平方根（稱為均方誤差）在一定程度上反映了所得經(jīng)驗公式的好壞。同時，由表3-2還可以看出，最大偏差.

如果認(rèn)為這樣的誤差都允許的話，就可以用經(jīng)驗公式(3.6)來計算含鋁量在36.9~87.5%之間的溶解度。否則，就要用改變函數(shù)類型或者增加實(shí)驗數(shù)據(jù)等方法來建立新的經(jīng)驗公式。例2

在某化學(xué)放應(yīng)里，測得生成物的濃度y%與時間t的數(shù)據(jù)表見表3-3，是用最小二乘法建立t與y的經(jīng)驗公式。解

將已知數(shù)據(jù)點(diǎn)描述在坐標(biāo)紙上，見圖3-2。由圖3-2

及問題的物理背景可以看出，擬合曲線應(yīng)具下列特點(diǎn)：

13i12345636.946.763.777.884.087.5177.78199.67237.64269.13282.98290.80181197235270283292-3.222.672.64-0.87-0.02-1.2010.377.136.970.760.00041.4426.6704表3-214t12345678y4.006.408.008.809.229.509.709.86t910111213141516y10.0010.2010.3210.4210.5010.5510.5810.60表3-3

（1）曲線隨著t的增加而上升，但上升速度由快到慢。y10504812t16圖3-215（2）當(dāng)t=0時，反應(yīng)還未開始，即y=0;當(dāng)時，y趨于某一常數(shù).

故曲線應(yīng)通過原點(diǎn)(或者當(dāng)t=0時以原點(diǎn)為極限點(diǎn))，且有一條水平漸近線。

具有上述特點(diǎn)的曲線很多。選用不同的數(shù)學(xué)模型，可以獲得不同的擬合曲線與經(jīng)驗公式。

下面提供兩種方案:

方案1:

設(shè)想是雙曲線型的，并且具有下面的形式

(3.7)

此時，若直接按最小二乘法原則去確定參數(shù)a和b,則問題歸結(jié)為求二元函數(shù)

的極小點(diǎn)，這將導(dǎo)致求解非線性方程組:(3.8)16給計算帶來了麻煩?？赏ㄟ^變量替換來將它轉(zhuǎn)化為關(guān)于待定參數(shù)的線.性形函數(shù)。為此，將(3.7)改寫成于是，若引入新變量則(3.7)式就是17同時，由題中所給數(shù)據(jù)表3-3可以算出新的數(shù)據(jù)表表3-4這樣，問題就歸結(jié)為：根據(jù)數(shù)據(jù)表3-4，求形如的最小二乘解.

參照例1的做法，解方程組i123161.000000.500000.333330.062500.250000.156250.125000.09434表3-418既得

a=80.6621,b=161.6822代入(3.7)

,既得經(jīng)驗公式

(3.9)

方案2：設(shè)想具有指數(shù)形式

為了求參數(shù)a和b時，避免求解一個非線形方程組，對上式兩邊取對數(shù)

此時，若引入新變量

并記A=lna,B=b,則上式就是

(3.10)19又由數(shù)表3-3可算出新的數(shù)據(jù)表3-5。

表3-5于是將問題歸為：根據(jù)數(shù)據(jù)表3-5，求形如的最小二乘解。參照方案1，寫出相應(yīng)的法方程組并解之，即得

A=-4.4807，B=-1.0567于是i123161.000000.500000.333330.062501.386291.856302.079442.3608520故得另一個經(jīng)驗公式