最小二乘法的基本原理和多項式擬合

1、最小二乘法的根本原理和多項式擬合一 最小二乘法的根本原理從整體上考慮近似函數(shù)同所給數(shù)據(jù)點(i=0,1,m)誤差(i=0,1,m)的大小，常用的方法有以下三種：一是誤差(i=0,1,m)絕對值的最大值，即誤差 向量的范數(shù)；二是誤差絕對值的和，即誤差向量r的1范數(shù)；三是誤差平方和的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種方法簡單、自然，但不便于微分運算 ，后一種方法相當于考慮 2范數(shù)的平方，因此在曲線擬合中常采用誤差平方和來 度量誤差(i=0，1，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對給定數(shù)據(jù) (i=0,1,，m)，在取定的函數(shù)類中,求,使誤差(i=0,1,m)的平方和最小，即 =å=

2、-miiiyxp02min)(從幾何意義上講，就是尋求與給定點(i=0,1,m)的距離平方和為最小的曲線圖6-1。函數(shù)稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的選取方法.61二 多項式擬合假設(shè)給定數(shù)據(jù)點(i=0,1,m)，為所有次數(shù)不超過的多項式構(gòu)成的函數(shù)類，現(xiàn)求一,使得 (1)當擬合函數(shù)為多項式時，稱為多項式擬合，滿足式1的稱為最小二乘擬合多項式。特別地，當n=1時，稱為線性擬合或直線擬合。顯然為的多元函數(shù)，因此上述問題即為求的極值 問題。由多元函數(shù)求極值的必要條件，得 (2)即 (3)3是關(guān)于的線性方程組，用矩陣表示為 (4)式3或式

3、4稱為正規(guī)方程組或法方程組?？梢宰C明，方程組4的系數(shù)矩陣是一個對稱正定矩陣，故存在唯一解。從式4中解出(k=0,1,，n)，從而可得多項式 (5)可以證明，式5中的滿足式1，即為所求的擬合多項式。我們把稱為最小二乘擬合多項式的平方誤差，記作由式(2)可得 (6)多項式擬合的一般方法可歸納為以下幾步： (1) 由數(shù)據(jù)畫出函數(shù)粗略的圖形散點圖，確定擬合多項式的次數(shù)n；(2) 列表計算和；(3) 寫出正規(guī)方程組，求出；(4) 寫出擬合多項式。在實際應(yīng)用中，或；當時所得的擬合多項式就是拉格朗日或牛頓插值多項式。 例1 測得銅導(dǎo)線在溫度()時的電阻如表6-1，求電阻R與溫度 T的近似函數(shù)關(guān)系。i0123

4、456()19.125.030.136.040.045.150.076.3077.8079.2580.8082.3583.9085.10解 畫出散點圖圖6-2，可見測得的數(shù)據(jù)接近一條直線，故取n=1，擬合函數(shù)為列表如下i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.832

5、0029.445正規(guī)方程組為解方程組得故得R與T的擬合直線為利用上述關(guān)系式，可以預(yù)測不同溫度時銅導(dǎo)線的電阻值。例如，由R=0得T=-242.5，即預(yù)測溫度T=-242.5時，銅導(dǎo)線無電阻。6-2例2 例2     實驗數(shù)據(jù)如下表  i01234567813456789101054211234試用最小二乘法求它的二次擬合多項式。解 設(shè)擬合曲線方程為列表如下I0110111101013592781154524416642561664352251256251050461362161296636571493432401749682645124

6、096161287938172965612724381041001000100004040053323813017253171471025得正規(guī)方程組解得故擬合多項式為*三 最小二乘擬合多項式的存在唯一性定理1 設(shè)節(jié)點互異，那么法方程組4的解存在唯一。證 由克萊姆法那么，只需證明方程組4的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組4的系數(shù)矩陣奇異，那么其所對應(yīng)的齊次方程組 7有非零解。式(7)可寫為 8將式8中第j個方程乘以(j=0,1,，n)，然后將新得到的n+1個方程左右兩端分別 相加，得因為其中所以 (i=0,1,m)是次數(shù)不超過n的多項式，它有m+1n個相異零點，由代數(shù)根本定理，必須有，與

7、齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組4必有唯一解 。定理2 設(shè)是正規(guī)方程組4的解，那么是滿足式1的最小二乘擬合多項式。證 只需證明，對任意一組數(shù)組成的多項式，恒有即可。因為(k=0,1,，n)是正規(guī)方程組4的解，所以滿足式2，因此有故為最小二乘擬合多項式。*四 多項式擬合中克服正規(guī)方程組的病態(tài)在多項式擬合中，當擬合多項式的次數(shù)較高時，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴重；擬合節(jié)點分布的區(qū)間偏離原點越遠，病態(tài)越嚴重；(i=0,1,，m)的數(shù)量級相差越大，病態(tài)越嚴重。為了克服以上缺點，一般采用以下措施：盡量少作高次擬合多項式，而作不同的分段低次擬合；不使用

8、原始節(jié)點作擬合，將節(jié)點分布區(qū)間作平移，使新的節(jié)點關(guān)于原 點對稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。平移公式為： (9)對平移后的節(jié)點(i=0,1,，m),再作壓縮或擴張?zhí)幚恚?10其中,r是擬合次數(shù) 11 經(jīng)過這樣調(diào)整可以使的數(shù)量級不太大也不太小，特別對于等距節(jié)點，作式10和式11兩項變換后，其正規(guī)方程組的系數(shù)矩陣設(shè) 為A，那么對14次多項式擬合，條件數(shù)都不太大，都可以得到滿意的結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234=1<9.9<50.3<435 在實際應(yīng)用中還可以利用正交多項式求擬合多項式。一種方法是構(gòu)造離散正交多項式；另一種方法是利用切比雪夫節(jié)點求出函數(shù)值后再使用正交多項式。這兩種方法都使正規(guī)方程 組的系數(shù)矩陣為對角矩陣，從而防止了正規(guī)方程組的病態(tài)。我們只介紹第一種，見第三節(jié)。例如 m=19,=328,h=1, =+ih，i=0,1,，19，即節(jié)點 分布在328,347，作二次多項式擬合時 直接用構(gòu)造正規(guī)方程組系數(shù)矩陣，計算可得嚴重病態(tài)，擬合結(jié)果完全不能用。 作平移變換用構(gòu)造正規(guī)方程組系數(shù)矩陣，計算可得比降低了