最小二乘法的基本原理和多項(xiàng)式擬合

1、最小二乘法的基本原理和多項(xiàng)式擬合最小二乘法的基本原理從整體上考慮近似函數(shù)同所給數(shù)據(jù)點(diǎn)(島n)(i=0,1,m)誤差(i=0,1,m)的大小，常用的方法布以卜三種:一是誤差(i=0,1,m)絕對(duì)值的最大值 颼汴,即誤差向量"優(yōu)八。)的8 范數(shù)；二是誤差絕對(duì)值的和 !,即誤差向量r的1一范數(shù)；三是誤差平方潞和M 的算術(shù)平方根，即誤差向量r的2范數(shù)；前兩種方法簡(jiǎn)單、自然，但不便于微分運(yùn)算，后一種方法相當(dāng)于考慮2范數(shù)的平方，因此在曲線擬合中常采用潞誤差平方和;來度量誤差”(i=0 ,1,，m)的整體大小。數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù)(i=0,1,，m),在取定的函數(shù)類力中，求雙次

2、9; ,使誤差廣P(均)- M (i=0,1，,m)的平方和最小,即-mm從幾何意義上講，就是尋求與給定點(diǎn)(百，必)(i=0,1,m)的距離平方和為最 小的曲線/二Pl)(圖6-1)。函數(shù)稱為擬合函數(shù)或最小二乘解，求擬合函數(shù)PH)的方法稱為曲線擬合的最小二乘在曲線擬合函數(shù)類4可有不同的選取方法.61二多項(xiàng)式擬合假設(shè)給定數(shù)據(jù)點(diǎn) 偽，M)(i=0,1,m),為所有次數(shù)不超過 雇方«陽的多項(xiàng)式構(gòu)成的函數(shù)類，現(xiàn)求一怨使得當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式(=min1)的巴 稱為最小二乘擬合多項(xiàng)式。特別地，當(dāng)n=1時(shí)，稱為線性擬合或直線擬合。 顯然A的多元函數(shù)，因此上述問題即為求/

3、= ,(為也I”)的極值 問題。由多元函數(shù)求極值的必要條件，得j二。工潭(2)彳二2£(£白苫-不岡二0, 孫 3-0 5工0鏟M二工小i.（3）是關(guān)于“。，勺的線性方程組，用矩陣表示為外£方i-ti骯2-0£球.?-0*.2-01-0式（3）或式（4）稱為正規(guī)方程組或法方程組?？梢宰C明，方程組（4）的系數(shù)矩陣是一個(gè)對(duì)稱正定矩陣, （4）中解出"（k=0,1，n）,從而可得多項(xiàng)式外（X）二工也,故存在唯一解從式(5)餐乙餐我們把可以證明，式（5）中的P1'）滿足式（1）,即Pm W為所求的擬合多項(xiàng)式。K西）-， ， 一、八一、i-0稱為

4、最小二乘擬合多項(xiàng)式名J刃的平方誤差，記作由式（2）可得(6)H = 2>”工42>%）2-0 上 2-0多項(xiàng)式擬合的一般方法可歸納為以下幾步：由已知數(shù)據(jù)畫出函數(shù)粗略的圖形-一散點(diǎn)圖，確定擬合多項(xiàng)式的次數(shù)n；列表計(jì)算三n網(wǎng)二心 ,及）和 i-0；寫出正規(guī)方程組，求出二P < x） = »h#寫出擬合多項(xiàng)式在實(shí)際應(yīng)用中，/<期或N4期；當(dāng)月二期時(shí)所得的擬合多項(xiàng)式就是拉格朗日或牛頓 插值多項(xiàng)式。例1測(cè)得銅導(dǎo)線在溫度Z（C）時(shí)的電阻&（口如表6-1 ,求電阻R與溫度T的 近似函數(shù)關(guān)系。i0123456芯(C)19.125.030.136.040.045.150

5、.076.3077.879.2580.882.3583.985.1解 畫出散點(diǎn)圖（圖6-2）,可見測(cè)得的數(shù)據(jù)接近一條直線，故取 n=1,擬合函數(shù)為 列表如下i019.176.30364.811457.330125.077.80625.001945.000230.179.25906.012385.425336.080.801296.002908.800440.082.351600.003294.000545.183.902034.013783.890650.085.102500.004255.000245.3565.59325.8320029.445正規(guī)方程組為解方程組得故得R與T的擬合直線為利

6、用上述關(guān)系式，可以預(yù)測(cè)不同溫度時(shí)銅導(dǎo)線的電阻值。例如，由R=0得T=-242.5 ,即預(yù)測(cè)溫度T=-242.5 C時(shí)，銅導(dǎo)線無電阻。6-2例2已知實(shí)驗(yàn)數(shù)據(jù)如下表i0123456781r 3456789101054211234試用最小二乘法求它的二次擬合多項(xiàng)式 解設(shè)擬合曲線方程為廣&+旬工+才列表如下I01r 1011110r 10135927811545244166425616643522512562510P 5046136216129663657r 496826451240961612879381729656127243810410010001000040r

7、 40053323813017253171471025得正規(guī)方程組 解得故擬合多項(xiàng)式為*三最小二乘擬合多項(xiàng)式的存在唯一性定理1 設(shè)節(jié)點(diǎn)工。內(nèi)，“再 互異,則法方程組（4）的解存在唯一。證 由克萊姆法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可。用反證法，設(shè)方程組（4）的系數(shù)矩陣奇異，則其所對(duì)應(yīng)的齊次方程組二螳i-0EZM 曲乙J-0,w+£7二出2-0二槨1-0有非零解。式（7）可寫為工必二產(chǎn)）4二0.1-0 i-0將式（8）中第j個(gè)方程乘以勺（j=0,1,（8），n）,然后將新得到的n+1個(gè)方程左右兩端分別相加，得網(wǎng)二0因?yàn)槠渲衘o所以力二0 （i=0,1,m）入（X）是次數(shù)不超過

8、n的多項(xiàng)式，它有m+1> n個(gè)相異零點(diǎn)，由代數(shù)基本定理，必須,與齊次方程組有非零解的假設(shè)矛盾。因此正規(guī)方程組（4）必有唯一解。定理2設(shè)弧/是正規(guī)方程組（4）的解，則 . 是滿 足式（1）的最小二乘擬合多項(xiàng)式。j >>QGbX瓦/證 只需證明，對(duì)任意一組數(shù) %9，'''，為組成的多項(xiàng)式% ，包有即可。因?yàn)? （k=0,1,，n）是正規(guī)方程組（4）的解，所以滿足式（2）,因此有 故入 為最小二乘擬合多項(xiàng)式。*四多項(xiàng)式擬合中克服正規(guī)方程組的病態(tài)在多項(xiàng)式擬合中，當(dāng)擬合多項(xiàng)式的次數(shù)較高時(shí)，其正規(guī)方程組往往是病態(tài)的。而且正規(guī)方程組系數(shù)矩陣的階數(shù)越高，病態(tài)越嚴(yán)重；擬

9、合節(jié)點(diǎn)分布的區(qū)間麗，X偏離原點(diǎn)越遠(yuǎn)，病態(tài)越嚴(yán)重；（i=0,1, .為了克服以上缺點(diǎn),m）的數(shù)量級(jí)相差越大，病態(tài)越嚴(yán)重。 一般采用以下措施：盡量少作高次擬合多項(xiàng)式，而作不同的分段低次擬合;不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn) 稱，可大大降低正規(guī)方程組的條件數(shù)，從而減低病態(tài)程度。%關(guān)于原點(diǎn)對(duì)平移公式為:對(duì)平移后的節(jié)點(diǎn)既（i=0,1,，m）,再作壓縮或擴(kuò)張?zhí)幚恚盒径?，i二0工，身（10）尸=加+1）/工（產(chǎn)其中 In , （r是擬合次數(shù)） （11）經(jīng)過這樣調(diào)整可以使X；的數(shù)量級(jí)不太大也不太小，特別對(duì)于等距節(jié)點(diǎn)%二/ +協(xié) 。=Q1麗,作式（10）和式（11）兩項(xiàng)變換后，其正規(guī)方程

10、組的 系數(shù)矩陣設(shè)為A,則對(duì)14次多項(xiàng)式擬合，條件數(shù)都不太大，都可以得到滿意的 結(jié)果。變換后的條件數(shù)上限表如下：擬合次數(shù)1234=1<9.9<50.3<435在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式。一種方法是構(gòu)造離散正交多項(xiàng)式；另一種方法是利用切比雪夫節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩種方法都使正規(guī)方程 組的系數(shù)矩陣為對(duì)角矩陣，從而避免了正規(guī)方程組的病態(tài)。我們 只介紹第一種，見第三節(jié)。例如 m=19,% =328,h=1,1l0+ih, i=0,1,，19,即節(jié)點(diǎn) 分布在328,347, 作二次多項(xiàng)式擬合時(shí)直接用4構(gòu)造正規(guī)方程組系數(shù)矩陣 4 ,計(jì)算可得嚴(yán)重病態(tài)，擬合結(jié)果完全不能用。作平移變換用均構(gòu)造正規(guī)方程組系數(shù)矩陣 4 ,計(jì)算可得比“劉力（4）降低了 13個(gè)數(shù)量級(jí)，病態(tài)顯著改善，擬合效果較好。取