最新-數(shù)值計(jì)算方法課件CH3插值法與最小二乘法—37數(shù)據(jù)擬合的最小二乘法-PPT

1、數(shù)值計(jì)算方法第三章 插值法與 最小二乘法蘇 麗自動(dòng)化學(xué)院3.7 數(shù)據(jù)擬合的最小二乘法華長生制作1 在科學(xué)實(shí)驗(yàn)中，往往要從一組實(shí)驗(yàn)數(shù)據(jù) 中，尋找自變量x與因變量y之間的函數(shù)關(guān)系y=f(x),但給出的觀測數(shù)據(jù)本身不一定完全可靠，個(gè)別數(shù)據(jù)的誤差甚至可能很大，如果用插值法求函數(shù)關(guān)系近似表達(dá)式，曲線通過所有節(jié)點(diǎn)會(huì)使曲線保留所有測量誤差的影響，這是我們不希望的.實(shí)例：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系,下表是實(shí)際測定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)的拉伸倍數(shù)的記錄:3.7 數(shù)據(jù)擬合的最小二乘法可見:纖維強(qiáng)度隨拉伸倍數(shù)增加而增加,并且24個(gè)點(diǎn)大致分布在一條直線附近.因此可以認(rèn)為強(qiáng)度S 與拉伸倍數(shù)t 的關(guān)系近似

2、滿足線性關(guān)系 數(shù)據(jù)擬合法是函數(shù)逼近的另一種方法.它與插值法不同，它不要求曲線完全通過所有已知的節(jié)點(diǎn)，而是從給出的一大堆數(shù)據(jù)中找出規(guī)律，即設(shè)法構(gòu)造一條曲線反映數(shù)據(jù)點(diǎn)的總的趨勢，以消除其局部波動(dòng)。這在一定條件下比插值法更能反映客觀實(shí)際.數(shù)據(jù)有誤差往往是難免的，數(shù)據(jù)擬合法是從總偏差最小的角度來取近似曲線. 根據(jù)上述實(shí)例圖中測試點(diǎn)的分布情況,可以畫出很多條靠近這些點(diǎn)的直線,其方程都可表示為：一、最小二乘法的基本概念(1)(2)其中: a, b 待定.要從形如(1)式的所有直線中,找出一條用某種度量標(biāo)準(zhǔn)來衡量最靠近所有數(shù)據(jù)點(diǎn) 的直線.若 a, b 給定,計(jì)算值 S(ti) 與測量數(shù)據(jù) si 之差為:稱之

3、為誤差, 其大小依賴于 a, b 的選取.(3)注:(1)式是一條直線，但現(xiàn)實(shí)生活中的函數(shù)關(guān)系并不都是線性關(guān)系，因此下面將問題推廣到一般情況.一般使用誤差的加權(quán)平方和用i 表示測量數(shù)據(jù) (ti, si) 的重度,稱為權(quán)系數(shù),表示在不同點(diǎn) (ti, si) 處的數(shù)據(jù)比重不同.作為衡量 S(t) 與數(shù)據(jù)點(diǎn) (ti, si) (i = 0,1,m)偏離大小的度量標(biāo)準(zhǔn).使 最小的 S(t) 最接近 ,以此為依據(jù)可確定(1)式中的待定系數(shù) a, b.問:如何衡量直線與數(shù)據(jù)點(diǎn)偏離程度?(4)(5)(6)最小二乘解 定義: 設(shè) 為給定一組數(shù)據(jù), 為各點(diǎn)的權(quán)系數(shù) ,要求在函數(shù)類中,求一函數(shù)使誤差的加權(quán)平方和最

4、小,即最小平方誤差其中： 為中任意函數(shù)，稱為擬合函數(shù).稱按條件(6)求函數(shù) S*(x) 的方法為數(shù)據(jù)擬合的最小二乘法,簡稱最小二乘法.數(shù)據(jù)點(diǎn)數(shù)-1基底個(gè)數(shù)-1已知求條件擬合條件構(gòu)造問：確定擬合函數(shù) S(x) 后,如何求擬合系數(shù) ,使得 滿足擬合條件(6)？二、法方程組由可知為擬合系數(shù) 的函數(shù).因此,可設(shè)平方誤差為:由多元函數(shù)取極值的必要條件得：移項(xiàng)整理得：轉(zhuǎn)化求最小二乘解 的問題 取極小值 的問題(7)交換求和號(hào)順序得：即顯然(7)式是一個(gè)關(guān)于 的n+1階線性方程組.定義向量：定義內(nèi)積：(9)方程組(7)便可化為:(10)(8)這是一個(gè)系數(shù)為 ,常數(shù)項(xiàng)為 的線性方程組.將其表示為矩陣形式：(1

5、1)稱為函數(shù)系 在離散點(diǎn) 的法方程組.并且其系數(shù)矩陣為對(duì)稱陣.坡度矩陣,Hilbert矩陣由于 為函數(shù)類的基,因此它們必然線性無關(guān),所以法方程組的系數(shù)矩陣非奇異,即根據(jù)Cramer法則,法方程組有唯一解：即的最小值.是可以證明, 所對(duì)應(yīng)的 是最小二乘解(證明見109頁).為均方差.稱為最小二乘解 的平方誤差.可以證明:例1. 求擬合下列數(shù)據(jù)的最小二乘解i01234560.00.20.40.60.81.01.20.91.92.83.34.05.76.5(12)平方誤差的內(nèi)積表示形式:故有解：1)在坐標(biāo)平面上描點(diǎn)（參見教材P111） 從散點(diǎn)圖可以看出函數(shù)關(guān)系近似線性關(guān)系，所以選擇線性函數(shù)：其基底為

6、3)建立法方程組根據(jù)內(nèi)積公式:計(jì)算下列各值：取作為擬合函數(shù),2)根據(jù)散點(diǎn)的分布情況，選擇基底（難點(diǎn)）得法方程組：4)解法方程組,求擬合函數(shù)系數(shù)因此, 為所有的最小二乘解.5)求擬合誤差求得線性函數(shù)兩系數(shù):最小二乘擬合的一般步驟:描點(diǎn)(若給定擬合函數(shù)形式,這一步驟可以省略);根據(jù)數(shù)據(jù)點(diǎn)的分布情況,確定擬合函數(shù),進(jìn)一步確定擬合函數(shù)的基底;建立法方程組(涉及到一些內(nèi)積運(yùn)算);求解法方程組(推薦使用Gauss列主元消去法),得擬合函數(shù)的系數(shù);將這組系數(shù)代入擬合函數(shù)，即為最小二乘解;求擬合誤差:最小平方誤差.例2. 求擬合下列數(shù)據(jù)的最小二乘解解:其中：a, b, c 為待定參數(shù), 基底為:0.240.6

7、50.951.241.732.012.232.532.772.990.23-0.26-1.10-0.450.270.10-0.290.240.561.00110.80.911110.90.91）在坐標(biāo)平面上描點(diǎn)2）根據(jù)散點(diǎn)的分布情況選擇基底由數(shù)據(jù)的散點(diǎn)圖,根據(jù)經(jīng)驗(yàn)判斷,所求函數(shù)可用的線性組合表示.故擬合函數(shù)類為：3）建立法方程組根據(jù)內(nèi)積公式：計(jì)算得法方程組為：4）用Gauss列主元消去法解法方程組,得擬合函數(shù)系數(shù):取擬合的平方誤差為：以上兩個(gè)例題均屬于線性最小二乘擬合.非線性最小二乘問題 當(dāng)用非多項(xiàng)式函數(shù) (例如: 指數(shù)函數(shù)類 或冪函數(shù)類 等) 擬合給定的一組數(shù)據(jù)時(shí), 擬合函數(shù)是關(guān)于待定參數(shù)的

8、非線性函數(shù). 若按最小二乘準(zhǔn)則:用極值原理建立的法方程組將是關(guān)于待定參數(shù)的非線性方程組.稱這類數(shù)據(jù)擬合問題為非線性最小二乘擬合.簡單的非線性最小二乘擬合問題求解方法: 轉(zhuǎn)化為線性最小二乘問題求解.例4 給定一組實(shí)驗(yàn)數(shù)據(jù)如下：1.22.84.35.46.87.92.111.528.141.972.391.4求最小二乘擬合函數(shù).解：2）根據(jù)散點(diǎn)分布情況取冪函數(shù)由題意知：構(gòu)造平方誤差函數(shù)：求 使1）在坐標(biāo)平面上描點(diǎn)(圖參見教材P118)作擬合函數(shù). 其中：a, b為待定參數(shù).由極值的必要條件：3）轉(zhuǎn)化為線性問題求解對(duì) 兩邊取對(duì)數(shù)有：令其中：b, c 是待定系數(shù)(1)(2)則有：0.07920.44720.63350.73240.83250.89760.32221.06071.44871.62221.85911.96094）建立法方程組：基底：由 可得相應(yīng) 的數(shù)據(jù)表:故法方程組為：解上述方程組得：再由(1)式可得：最小二乘擬合函數(shù)為：內(nèi)容總結(jié) 數(shù)據(jù)擬合法是函數(shù)逼近的另一種方法.它與插值法不同，它不要求曲線完全通過所有已知的節(jié)點(diǎn)，而是從給出的一大堆數(shù)據(jù)中找出