計算方法第六章最小二乘法與曲線擬合ppt課件

1、第六章第六章 最小二乘法與曲線擬合最小二乘法與曲線擬合6.0 6.0 問題的提出問題的提出6.1 6.1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組6.2 6.2 多項式擬合多項式擬合 假照實踐問題要求解在假照實踐問題要求解在a,ba,b區(qū)間的每一點都區(qū)間的每一點都“很很好地好地 逼近逼近f(x)f(x)的話，運用插值函數(shù)有時就要失敗。的話，運用插值函數(shù)有時就要失敗。另外，插值所需的數(shù)據(jù)往往來源于察看丈量，本身有另外，插值所需的數(shù)據(jù)往往來源于察看丈量，本身有一定的誤差。要求插值曲線經(jīng)過這些本身有誤差的點，一定的誤差。要求插值曲線經(jīng)過這些本身有誤差的點，勢必使插值結(jié)果更加不準確。勢必使

2、插值結(jié)果更加不準確。 假設(shè)由實驗提供的數(shù)據(jù)量比較大，又必然使得插假設(shè)由實驗提供的數(shù)據(jù)量比較大，又必然使得插值多項式的次數(shù)過高而效果不理想。值多項式的次數(shù)過高而效果不理想。6.0 6.0 問題的提出問題的提出 從給定的一組實驗數(shù)據(jù)出發(fā)，尋求函數(shù)的一個近從給定的一組實驗數(shù)據(jù)出發(fā)，尋求函數(shù)的一個近似表達式似表達式y(tǒng)=y=(x)(x)，要求近似表達式可以反映數(shù)據(jù)的，要求近似表達式可以反映數(shù)據(jù)的根本趨勢而又不一定過全部的點根本趨勢而又不一定過全部的點(xi,yi)(xi,yi)，這就是曲，這就是曲線擬合問題，函數(shù)的近似表達式線擬合問題，函數(shù)的近似表達式y(tǒng)=y=(x)(x)稱為擬合曲稱為擬合曲線。本章引見

3、用最小二乘法求擬合曲線。線。本章引見用最小二乘法求擬合曲線。6.1 6.1 用最小二乘法求解矛盾方程組用最小二乘法求解矛盾方程組一、矛盾方程組的定義一、矛盾方程組的定義設(shè)線性方程組設(shè)線性方程組或?qū)憺榛驅(qū)憺槠渚仃嚪绞綖槠渚仃嚪绞綖镹nNnNNnnnnbxaxaxabxaxaxabxaxaxa22112222212111212111), 2 , 1(1NjbxainjjijbxA 當方程組的系數(shù)矩陣合增廣矩陣的秩不相等時，當方程組的系數(shù)矩陣合增廣矩陣的秩不相等時，方程組無解，此時方程組稱為矛盾方程組。對于方程組無解，此時方程組稱為矛盾方程組。對于rankAnA的秩為的秩為n的矛盾方程組的矛盾方程組

4、Nn，我，我們尋求其最小二乘意義下的解。們尋求其最小二乘意義下的解。二、用最小二乘法求解矛盾方程組二、用最小二乘法求解矛盾方程組1.最小二乘原那么 由于矛盾方程組的準確解不存在，我們轉(zhuǎn)而由于矛盾方程組的準確解不存在，我們轉(zhuǎn)而尋求其某種意義下，即最小二乘意義下的解。尋求其某種意義下，即最小二乘意義下的解。令令), 2 , 1(1Nibxainjjiji稱稱 為偏向。為偏向。i到達最小值，這一條件稱為最小二乘原那么。到達最小值，這一條件稱為最小二乘原那么。 工程實踐中的許多問題都可以歸結(jié)為矛盾方程組，工程實踐中的許多問題都可以歸結(jié)為矛盾方程組，實踐中需求尋求矛盾方程組的一組解，以使得偏向的實踐中需

5、求尋求矛盾方程組的一組解，以使得偏向的絕對值之和絕對值之和 盡能夠地小。為了便于分析盡能夠地小。為了便于分析計算和運用，常采用使偏向的平方和計算和運用，常采用使偏向的平方和Nii1 NiinjjijNiibxaQ12112 按照最小二乘原那么來選擇未知數(shù)按照最小二乘原那么來選擇未知數(shù)x1,x2,xnx1,x2,xn的一組取值的方法稱為求解矛盾方程組的最小二乘的一組取值的方法稱為求解矛盾方程組的最小二乘法。符合條件的一組取值稱為矛盾方程組的最小二法。符合條件的一組取值稱為矛盾方程組的最小二乘解。乘解。 把把Q Q看成是看成是n n個自變量個自變量x1,x2,xnx1,x2,xn的二次函數(shù)，的二次

6、函數(shù)，記為記為Q Qf(x1,x2,xn)f(x1,x2,xn)，因此，求矛盾方程組的，因此，求矛盾方程組的最小二乘解就是求二次函數(shù)最小二乘解就是求二次函數(shù)Q Qf(x1,x2,xn)f(x1,x2,xn)的的最小值點。最小值點。問題：二次函數(shù)問題：二次函數(shù)Qf(x1,x2,xn)能否存在最小值？能否存在最小值？假設(shè)最小值存在，如何求出該最小值點？假設(shè)最小值存在，如何求出該最小值點？2.2.最小二乘解的存在獨一性最小二乘解的存在獨一性引理1：設(shè)n元實函數(shù)f(x1,x2,xn)在點P0(a1,a2,an)的某個鄰域內(nèi)延續(xù)，且有一階及二階延續(xù)的偏導數(shù)，假設(shè)(1)(2)矩陣),2,1(00nkxfP

7、k0000000002222122222212212212212PnPnPnPnPPPnPPxfxxfxxfxxfxfxxfxxfxxfxfM是正負定矩陣，那么是正負定矩陣，那么f(a1,a2,an)f(a1,a2,an)是是n n元元實函數(shù)實函數(shù)f(x1,x2,xn)f(x1,x2,xn)的極小大值。的極小大值。引理引理2 2：設(shè)非齊次線性方程組：設(shè)非齊次線性方程組 的系數(shù)矩陣的系數(shù)矩陣A=(aij)NA=(aij)Nn n，假設(shè)，假設(shè)rankA=nrankA=n，那么，那么bxA(1)(1)矩陣矩陣ATAATA是對稱正定矩陣；是對稱正定矩陣；(2)n(2)n階線性方程組階線性方程組 有獨一

8、的解。有獨一的解。bAxAATT證明：證明：1 1矩陣矩陣ATAATA顯然是對稱矩陣。顯然是對稱矩陣。設(shè)齊次線性方程組設(shè)齊次線性方程組0 xA由于由于rankA=n，故齊次方程組有獨一零解。，故齊次方程組有獨一零解。因此，對于恣意的因此，對于恣意的 ，有，有 ，從而，從而0 x0 xA0)()()(xAAxxAxATTT故矩陣故矩陣ATAATA是對稱正定矩陣。是對稱正定矩陣。(2)(2)由于矩陣由于矩陣ATAATA是正定矩陣，故是正定矩陣，故rank(ATA)=nrank(ATA)=n，從，從而線性方程組而線性方程組 有獨一的解。有獨一的解。bAxAATT證畢證畢定理：設(shè)矛盾方程組的系數(shù)矩陣的

9、秩為定理：設(shè)矛盾方程組的系數(shù)矩陣的秩為n n，那么二，那么二次函數(shù)次函數(shù) NiinjjijnbxaxxxfQ12121),(一定存在最小值。一定存在最小值。證明：由于證明：由于Q Q是是x1,x2,xnx1,x2,xn的二次函數(shù)，故的二次函數(shù)，故Q Q不僅不僅是延續(xù)函數(shù)，且有延續(xù)的一階及二階偏導數(shù)。是延續(xù)函數(shù)，且有延續(xù)的一階及二階偏導數(shù)。由于由于)(2)(2)(2112221111njNjNjNknjjjknjjjkkbxaabxaabxaaxQ 引理引理2 2闡明闡明, ,在條件在條件RankA=nRankA=n下下, ,無論線性方程組無論線性方程組Ax=bAx=b能否有解能否有解, ,構(gòu)造

10、的構(gòu)造的n n階方程組階方程組ATAx=ATbATAx=ATb一定有獨一解。一定有獨一解。njNjNjnjjjnjjjNkkkbxabxabxaaaa1122111212)(221bxAaaaNkkk故故)(2)(221bAxAAbxAAxQxQxQTTTn令令), 2 , 1(0nkxQk即即bAxAATT* * 由于由于rankA=nrankA=n，故由引理，故由引理2 2知，上式有獨一解。設(shè)解知，上式有獨一解。設(shè)解為為x1=a1, x2=a2, xn=anx1=a1, x2=a2, xn=an，記為點，記為點P0(a1,a2,an)P0(a1,a2,an)，即二元函數(shù)即二元函數(shù)Q Q存在

11、點存在點P0P0，使，使 。故。故滿足引理滿足引理1 1的條件的條件1 1。), 2 , 1(00nkxfPk由于由于), 2 , 1,(2)(2122112ntkaaaaaaaaxxQNiitikNtNktktktk故故AAaaaaaaaaaaaaaaaaaaaaaMTNiinNiiniNiiniNiiniNiiniNiiiNiiNiiiNiiniNiiiNiiiNii22121312111213212212111131121121 由引理由引理2 2知，當知，當rankA=nrankA=n時，矩陣時，矩陣M M是對稱正定陣，是對稱正定陣，M M滿足引理滿足引理1 1的條件的條件2 2，故由

12、引理，故由引理1 1知，二次函數(shù)知，二次函數(shù)Q Q存存在極小值。在極小值。 又因方程組又因方程組* *式有獨一解，故式有獨一解，故Q Q存在的極小值存在的極小值就是最小值，線性方程組就是最小值，線性方程組* *式的解就是最小值點。式的解就是最小值點。證畢證畢Remark1Remark1：線性方程組：線性方程組* *式稱為正那么方程組。式稱為正那么方程組。Remark2Remark2：該定理闡明，只需矛盾方程組的系數(shù)矩：該定理闡明，只需矛盾方程組的系數(shù)矩陣陣A A的秩的秩rankA=nrankA=n，那么，那么1 1矛盾方程組的最小二乘解存在；矛盾方程組的最小二乘解存在；2 2正那么方程組有獨一

13、解，此解就是矛盾方程組正那么方程組有獨一解，此解就是矛盾方程組的最小二乘解。的最小二乘解。3.3.最小二乘法解矛盾方程組最小二乘法解矛盾方程組計算步驟：1 1判別方程組的秩能否滿足判別方程組的秩能否滿足rankA=nrankA=n？2 2寫出正那么方程組；寫出正那么方程組；3 3求解正那么方程組，其解就是矛盾方程求解正那么方程組，其解就是矛盾方程組的最小二乘解。組的最小二乘解。一、曲線擬合模型一、曲線擬合模型確定曲線的類型：普通選取簡單的低次多項式。確定曲線的類型：普通選取簡單的低次多項式。定義：根據(jù)某種規(guī)范選擇一條定義：根據(jù)某種規(guī)范選擇一條“最好的簡單最好的簡單曲線作為一組離散數(shù)據(jù)曲線作為一

14、組離散數(shù)據(jù)的延續(xù)模型。的延續(xù)模型。Niiiyx0),(6.2 6.2 多項式擬合多項式擬合求一個次數(shù)不高于求一個次數(shù)不高于N N1 1次的多項式：次的多項式：) 1()(2210Nmxaxaxaaxymm其中其中a0,a1,ama0,a1,am待定，使其待定，使其“最好的擬合最好的擬合這組數(shù)據(jù)。這組數(shù)據(jù)?！白詈玫囊?guī)范是：使得最好的規(guī)范是：使得(x)(x)在在xixi的的偏向偏向), 2 , 1()(Niyxiii的平方和的平方和NiiiNiiyxQ1212)(到達最小。到達最小。 由于擬合曲線由于擬合曲線y=y=(x)(x)不一定過點不一定過點(xi,yi)(xi,yi)，因，因此，把點此，把

15、點(xi,yi)(xi,yi)帶入帶入y=y=(x) (x) ，便得到以，便得到以a0,a1,ama0,a1,am為未知量的矛盾方程組為未知量的矛盾方程組NmNmNNmmmmyxaxaxaayxaxaxaayxaxaxaa22102222221011212110其矩陣方式為其矩陣方式為bxA其中其中NmmNNNmmyyybaaaxxxxxxxxxxA2110222221211,111 (x)(x)在在xixi的偏向就是矛盾方程組各方程的偏向。的偏向就是矛盾方程組各方程的偏向。曲線擬合的條件就是確定曲線擬合的條件就是確定a0,a1,ama0,a1,am，使得偏向的平，使得偏向的平方和方和Q Q到

16、達最小值。到達最小值。bAxAATT 據(jù)此可知，據(jù)此可知， a0,a1,am a0,a1,am就是矛盾方程組的最小就是矛盾方程組的最小二乘解，也就是正那么方程組二乘解，也就是正那么方程組 的解。的解。二、曲線擬合的最小二乘解法二、曲線擬合的最小二乘解法NiimiNiiiNiiTNimiNimiNimiNimiNimiNiiNiiNiiNimiNiiNiiTyxyxybAxxxxxxxxxxxNAA111121211111131211121,正那么方程組為：正那么方程組為：NiimiNimimNimiNimiNimiNiiiNimimNiiNiiNiiNiiNimimNiiNiiyxxaxaxa

17、xayxxaxaxaxayxaxaxaNa112122111101111321211011122110三、解的存在獨一性三、解的存在獨一性定理：設(shè)定理：設(shè)x1,x2,xNx1,x2,xN互異，且互異，且Nm+1Nm+1，那么上，那么上面的正那么方程組有獨一的解。面的正那么方程組有獨一的解。證明：只需證明矛盾方程組的系數(shù)矩陣證明：只需證明矛盾方程組的系數(shù)矩陣A A的秩的秩rankA=mrankA=m1 1。 矛盾方程組的系數(shù)矩陣矛盾方程組的系數(shù)矩陣A A是是N N(m+1)(m+1)的矩陣，記的矩陣，記A A的前的前m m1 1行構(gòu)成行構(gòu)成m m1 1階子矩陣階子矩陣mmmmmmxxxxxxxx

18、xA1211222212111111 該矩陣是范德蒙矩陣，由該矩陣是范德蒙矩陣，由x1,x2,xNx1,x2,xN互異知行列互異知行列式不為零，從而有式不為零，從而有rankA=mrankA=m1 1。由引理。由引理2 2知，正那么方知，正那么方程組有獨一解。程組有獨一解。證畢證畢四、最小二乘法擬合曲線的步驟四、最小二乘法擬合曲線的步驟1.經(jīng)過察看、分析得到擬合曲線的數(shù)學模型，或根據(jù)閱歷公式確定數(shù)學模型。2.2.將擬合曲線的數(shù)學模型轉(zhuǎn)換為多項式。將擬合曲線的數(shù)學模型轉(zhuǎn)換為多項式。3.3.寫出矛盾方程組。寫出矛盾方程組。4.4.寫出正那么方程組。可由多項式模型直接得到寫出正那么方程組。可由多項式

19、模型直接得到5.5.求解正那么方程組，得到擬合曲線的待定系數(shù)。求解正那么方程組，得到擬合曲線的待定系數(shù)。6.6.將正那么方程組的解帶回到數(shù)學模型中，得到將正那么方程組的解帶回到數(shù)學模型中，得到擬合曲線。擬合曲線。Remark1.1.同一問題可以有不同的擬合曲線，通常根據(jù)同一問題可以有不同的擬合曲線，通常根據(jù)均方誤差均方誤差 和最大偏向和最大偏向 的大小來衡量擬合曲線的優(yōu)劣。均方誤差和最的大小來衡量擬合曲線的優(yōu)劣。均方誤差和最大偏向較小的擬合曲線為較優(yōu)的擬合曲線。大偏向較小的擬合曲線為較優(yōu)的擬合曲線。Niiiyx12)(iiNiyx)(max12.2.在處理實踐問題時，有時經(jīng)過察看選擇多個在處理

20、實踐問題時，有時經(jīng)過察看選擇多個函數(shù)類型進展計算、分析、比較，最終獲得較函數(shù)類型進展計算、分析、比較，最終獲得較好的數(shù)學模型；有時把閱歷公式作為數(shù)學模型，好的數(shù)學模型；有時把閱歷公式作為數(shù)學模型，只是用最小二乘法來確定公式中的待定常數(shù)。只是用最小二乘法來確定公式中的待定常數(shù)。RemarkRemark3.3.當擬合曲線當擬合曲線(x)(x)中的待定常數(shù)是線性方式中的待定常數(shù)是線性方式時，可直接根據(jù)矛盾方程組得到正那么方程組時，可直接根據(jù)矛盾方程組得到正那么方程組而求解。當待定常數(shù)不是線性方式時，那么應(yīng)而求解。當待定常數(shù)不是線性方式時，那么應(yīng)該先將待定常數(shù)線性化，再根據(jù)矛盾方程組寫該先將待定常數(shù)線

21、性化，再根據(jù)矛盾方程組寫出正那么方程組而求解。出正那么方程組而求解。例例1：bxaey bxay lnlnbBaAyu,ln,lnBxAubxay1bxay1yu1bxau例例2：曲線擬合運用實例曲線擬合運用實例: :例例1: 1: 試用最小二乘法求一個形如試用最小二乘法求一個形如 (a,b (a,b為常數(shù)為常數(shù)) ) 的閱歷公式的閱歷公式, ,使它與以下數(shù)據(jù)相擬合使它與以下數(shù)據(jù)相擬合( (取四位小數(shù)取四位小數(shù)) )xi12345678yi15.3 20.5 27.436.649.1 65.6 87.8 117.6bxaey 解解: :由于閱歷公式中待定常數(shù)由于閱歷公式中待定常數(shù)a,ba,b是非線性方式是非線性方式, ,故做故做如下變形如下變形: :bxay lnlnbBaAyu,ln,ln令令: :BxAu那么有那么有: : 將將x,ux,u帶入得到關(guān)于帶入得到關(guān)于A,BA,B的矛盾方程組，進而得正規(guī)的矛盾方程組，進而得