計算方法 2.2 最小二乘擬合多項式

節(jié)最小二乘擬合多項式最小二乘擬合問題：為什么不能使用插值函數(shù)來逼近？由于觀測數(shù)據(jù)數(shù)目較大，又往往帶有觀測誤差，對于這類問題使用插值函數(shù)來逼近，插值函數(shù)會將這些誤差也包括在內(nèi)，這是不適當(dāng)?shù)?！換句話說：尋求，使其在某種準則下與所有數(shù)據(jù)點最為接近，即曲線擬合得最好。數(shù)據(jù)處理問題擬合的含義是：不要求所對應(yīng)的曲線完全通過所有的數(shù)據(jù)點，只要求它能夠反映數(shù)據(jù)的整體變化趨勢。~~~~~~~~因此，我們需要一種新的逼近原函數(shù)的辦法2021/5/91插值與擬合的關(guān)系：問題：給定一組數(shù)據(jù)點，構(gòu)造一個函數(shù)作為近似（或逼近）。解決方案：1.若要求所求曲線通過給定的所有數(shù)據(jù)點，就是插值問題；2.若不要求曲線通過所有數(shù)據(jù)點，而是要求它反映數(shù)據(jù)點的整體變化趨勢，這就是數(shù)據(jù)擬合，又稱曲線擬合，所求出的曲線稱為擬合曲線。解決方案：1.不要求過所有數(shù)據(jù)點（可以消除誤差影響）；2.盡可能地刻畫數(shù)據(jù)點的趨勢，靠近這些數(shù)據(jù)點。曲線擬合問題最常用的解法

最小二乘法考慮問題：測得銅導(dǎo)線在溫度時的電阻如下：k

1234567

溫度x

19.1025.0030.1036.0040.0045.1050.00

電阻y

76.3077.8079.2580.8082.3583.9085.10求電阻和溫度之間的關(guān)系.擬合問題的幾何背景是尋求一條近似通過給定離散點的曲線，故稱曲線擬合問題。2021/5/921)將變量所對應(yīng)的點(數(shù)據(jù)點)在坐標平面中描繪出來。這些點組成了變量之間的一個圖，通常稱這種圖為變量之間的散點圖。2)可以看出，電阻隨著溫度增加而增大，并且這7個點大致分布在一條直線附近，因此可認為電阻與溫度之間的主要關(guān)系是線性關(guān)系。建立適當(dāng)?shù)臄?shù)學(xué)模型。問題：如何選擇a和b，使得到的方程與實際情況比較符合.電阻溫度2021/5/93易見，在數(shù)據(jù)給定的前提下，誤差的大小僅依賴于a,b的選擇。反過來，衡量a,b的好壞可以由整體誤差的大小來確定。問題：如何得到參數(shù)a和b，使整體誤差達到最?。砍Ｓ玫娜N準則是：2021/5/94由于準測（１）、（２）含有絕對值不便于處理，通常采用準測（３），并稱基于準則（３）來選取擬合曲線的方法，稱為曲線擬合的最小二乘法。3)確定擬合曲線.求解如下的二元函數(shù)極值問題.利用極值必要條件，有2021/5/95整理，得到如下線性方程組一般地，我們有問題：實驗次數(shù)稱為數(shù)據(jù)的最小二乘擬合多項式！2021/5/96令稱為正規(guī)方程組（或法方程組）。n+1個方程n+1個變量2021/5/97法方程組可寫成以下形式:令則法方程系數(shù)矩陣為：常數(shù)項為：可以證明：當(dāng)互異時，該方程組有唯一解，并是最小值問題的解。2021/5/98其他類型的擬合問題最小二乘法并不只限于多項式，也可用于任何具體給出的函數(shù)形式。特別重要的是有些非線性最小二乘擬合問題通過適當(dāng)?shù)淖儞Q可以轉(zhuǎn)化為線性最小二乘問題求解。2021/5/99第3節(jié)

一般最小二乘逼近問題的提法

考慮一般的線性無關(guān)函數(shù)族={0(x),1(x),…,n(x),…}，其有限項的線性組合稱為廣義多項式

.定義常見的廣義多項式：

{j(x)=xj}對應(yīng)代數(shù)多項式

{j(x)=cosjx}、{j(x)=sinjx}{j(x),j(x)

}對應(yīng)三角多項式

{j(x)=ekjx,ki

kj

}對應(yīng)指數(shù)多項式2021/5/910定義權(quán)函數(shù)：①

離散型根據(jù)一系列離散點擬合時，在每一誤差前乘一正數(shù)

，即誤差函數(shù)

，這個

就稱作權(quán)，反映該點的重要程度。②

連續(xù)型在[a,b]上用廣義多項式

擬合連續(xù)函數(shù)

時,定義權(quán)函數(shù)

(x)C[a,b]，即誤差函數(shù)

。權(quán)函數(shù)必須(x)滿足：非負、可積，且在[a,b]的任何子區(qū)間上(x)0。2021/5/911定義廣義最小二乘擬合：①

離散型給定一組數(shù)據(jù)，和一組權(quán)系數(shù)下求廣義多項式

使得誤差函數(shù)

最小。

②

連續(xù)型已知以及權(quán)函數(shù)

，求廣義多項式

使得誤差函數(shù)

最小。內(nèi)積與范數(shù)離散型連續(xù)型則易證(f,g)

是內(nèi)積，而是范數(shù)。2021/5/912廣義最小二乘問題可統(tǒng)一地敘述為：求廣義多項式使得最小，其中)(...)()()(1100xaxaxaxPnnjjj+++=n由于內(nèi)積空間的最佳逼近問題2021/5/913利用極值必要條件，有即法方程組

1）矩陣

形式2021/5/914

0(x),1(x),…,n(x)線性無關(guān)它的Gram(格拉姆)行列式Gn非零，其中定理證明：參考《數(shù)值逼近》2021/5/9152）內(nèi)積

表示上式表明：所有基函數(shù)都與正交。特征定理定理2021/5/916定義最佳平方逼近誤差的估計2021/5/917例3.1：用來擬合如下數(shù)據(jù)，ρ

i1k

12345x

13467y

-2.1-0.9-0.60.60.9解：決定問題的維數(shù),為5維！其中的內(nèi)積是向量的標量積.因此，得到解之2021/5/918例：用來擬合，ρi

1解：0(x)=1，1(x)=x，2(x)=x27623)(463||||484,||||1==-=BcondBB注意：四維問題2021/5/919第4節(jié)

用正交多項式作最佳平方逼近問題背景：若使用一般的廣義多項式做基底，求最佳平方逼近多項式，當(dāng)較大時，系數(shù)矩陣是“高度病態(tài)的”，求法方程組的解，舍入誤差很大。另外，計算法方程中的以及求解法方程組的計算量都是很大的。改進：若能取函數(shù)族={0(x),1(x),…,n(x),…}，使得任意一對i(x)和j(x)兩兩（帶權(quán)）正交，則系數(shù)(Gram)矩陣可化為對角陣！

常用的正交多項式：1.不用解線性方程組!!!!2.2021/5/9204.3.廣義Fourier級數(shù)展開~右端稱為的廣義Fourier級數(shù)，稱為廣義Fourier系數(shù)。之所以使用“聯(lián)結(jié)符號”是：因為還不能斷定Fourier級數(shù)是否平均收斂于f(x)2021/5/921于是，我們得到當(dāng)時，期望f(x)的Parseval等式!?2021