計(jì)算方法-3-函數(shù)擬合法

1、2022-3-151第三章 曲線擬合 3.1 最小二乘法最小二乘法實(shí)例：考察某種纖維的強(qiáng)度與其拉伸倍數(shù)的關(guān)系,下表是實(shí)際測(cè)定的24個(gè)纖維樣品的強(qiáng)度與相應(yīng)的拉伸倍數(shù)是記錄:編 號(hào) 拉伸倍數(shù) 強(qiáng) 度編 號(hào) 拉伸倍數(shù) 強(qiáng) 度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54.2239.58.1124.63.524108.1iiyxiiyx22022-3-151234567891012345678

2、912345678910123456789纖維強(qiáng)度隨拉伸倍數(shù)增加而增加系要關(guān)系應(yīng)是線性關(guān)的主與拉伸倍數(shù)因此可以認(rèn)為強(qiáng)度xy并且24個(gè)點(diǎn)大致分布在一條直線附近xxy10)(為待定參數(shù)其中10,-(1)2022-3-153越接近越好樣本點(diǎn)與所有的數(shù)據(jù)點(diǎn)我們希望),)()(10iiyxxxy必須找到一種度量標(biāo)準(zhǔn)來(lái)衡量什么曲線最接近所有數(shù)據(jù)點(diǎn)一、最小二乘法的基本概念iiiyxy)(令一般使用mii0222在回歸分析中稱為殘差miiiyxy02)(準(zhǔn)偏離程度大小的度量標(biāo)與數(shù)據(jù)點(diǎn)作為衡量),()(iiyxxy稱為平方誤差42022-3-15在回歸分析中稱為誤差平方和從而確定(1)中的待定系數(shù)mii0222

3、miiiyxy02)(注意(1)式是一條直線關(guān)系的關(guān)系并不一定是線性但yx,因此將問(wèn)題一般化52022-3-15按誤差平方和達(dá)到極小構(gòu)造擬合函數(shù)的方法稱為最小二乘法。這一最小準(zhǔn)則稱為最小二乘原理。)(,xSyyx的關(guān)系為設(shè)來(lái)自函數(shù)類其中)(xS來(lái)自線性函數(shù)類中如)()1(xy為給定的一組數(shù)據(jù)設(shè)), 1 , 0)(,(miyxii), 1 , 0)(nixi的基函數(shù)為設(shè)函數(shù)類mn 一般要求即生成的函數(shù)集是由也稱,), 1 , 0)(nixi)(,),(),(10 xxxspannmii0222miiiyxS02)(仍定義平方誤差njjjxaxS0)()(2022-3-156我們選取的度量標(biāo)準(zhǔn)是)

4、(* xS中選取一個(gè)函數(shù)在函數(shù)類njjjxaxS0*)()(*)(*)(*)(*1100 xaxaxann22*miiiyxS02)(*(miiixSyxS02)()(min22)(minxS中的任意函數(shù)為其中mjjjxaxS0)()(-(2)-(3)2022-3-157數(shù)據(jù)擬合的最小二乘法的方法為的求函數(shù)稱滿足條件njjjxaxS0*)()(*)3(為最小二乘解njjjxaxS0*)()(*為擬合系數(shù)為擬合函數(shù)), 1 ,0(,)()(0njaxaxSjnjjj), 1 ,0(,)(njaxSj如何求擬合系數(shù)后在確定了擬合函數(shù)呢？滿足擬合條件使得)3()()(*0*njjjxaxS誤差稱為最

5、小二乘解的平方22*2022-3-158 miinjijjyxa020)(miiiyxS02)(二、法方程組22njjjxaxS0)()(由的函數(shù)為擬合系數(shù)), 1 ,0(njaj可知因此可假設(shè)),(10naaa miinjijjyxa020)(因此求最小二乘解轉(zhuǎn)化為二次函數(shù)92022-3-15的問(wèn)題點(diǎn)極小值的最小值求*,*,*,)(),(1010nnaaaaaa由多元函數(shù)取極值的必要條件0),(10knaaaank, 1 , 0)()(200ikmiinjijjxyxaka0得miikimiiknjijjxyxxa000)()()(即0)()()(00 ikmiinjikijjxyxxa10

6、2022-3-15miikimiiknjijjxyxxa000)()()( miikinjjikmiijxyaxx000)()()(nk, 1 , 0-(4)miikiikmiinnikmiiikmiixyxxaxxaxxa00011000)()()()()()()(nk, 1 , 0即112022-3-15元線性方程組的是一個(gè)關(guān)于顯然1,)4(10naaan引入記號(hào))(,),(),(10mrrrxxxr),(10myyyf)()(),(0ijmiikjkxx則由內(nèi)積的概念可知imiikkyxf0)(),(-(5)-(6),(jk),(kj顯然內(nèi)積滿足交換律122022-3-15方程組(4)便

7、可化為),(),(),(),(1100faaaknknkknk, 1 , 0-(7)的線性方程組常數(shù)項(xiàng)為這是一個(gè)系數(shù)為),(),(fkjk將其表示成矩陣形式naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn-(8)2022-3-1513上的法方程組在點(diǎn)式為函數(shù)序列稱mnxxxxxx,)(,),(),()8(1010的基為函數(shù)類由于)(,),(),(10 xxxn必然線性無(wú)關(guān)因此)(,),(),(10 xxxn并且其系數(shù)矩陣為對(duì)稱陣所以法方程組的系數(shù)矩陣非奇異,即0),det(nnji根據(jù)Cramer法則,法方程組

8、有唯一解*,*,*,1100nnaaaaaa142022-3-15*),*,*,(10naaa miinjijjyxa020)(),(10naaa即是的最小值miiiyxS02)(*(miiixSyxS02)()(min22*22)(minxS所以 miinjijjyxa020)(*( miinjijjxSyxa020)()(min miinjijjyxa020)(*(為最小二乘解njjjxaxS0*)()(*因此152022-3-15的擬合函數(shù)作為常使用多項(xiàng)式), 1 , 0)(,()()(miyxxPxSiin作為一種簡(jiǎn)單的情況,的基函數(shù)為擬合函數(shù))()(xPxSn, 1)(0 x,)(1

9、xx ,)(,kkxx nnxx )(基函數(shù)之間的內(nèi)積為)()(),(0ijmiikjkxxmijikixx0mijkix0imiikkyxf0)(),(miikiyx022*平方誤差miiiyxS02)(*(njjjfaff0),(*),(2022-3-1516例1. 回到本節(jié)開始的實(shí)例，從散點(diǎn)圖可以看出纖維強(qiáng)度和拉伸倍數(shù)之間近似與線性關(guān)系xaaxy10)(故可選取線性函數(shù)為擬合函數(shù)，其基函數(shù)為1)(0 xxx )(1建立法方程組根據(jù)內(nèi)積公式，可得172022-3-1524),(005 .127),(1061.829),(111 .113),(0f6 .731),(1f法方程組為61.829

10、5 .1275 .1272410aa6 .7311 .113即為所求的最小二乘解xxy8587. 01505. 0)(*1505. 00a8587. 01a解得6615. 5*22平方誤差為2022-3-15181234567891012345678912345678910123456789擬合曲線與散點(diǎn)的關(guān)系如右圖:192022-3-15例2.求擬合下列數(shù)據(jù)的最小二乘解x=.24 .65 .95 1.24 1.73 2.01 2.23 2.52 2.77 2.99y=.23 -.26 -1.10 -.45 .27 .10 -.29 .24.56 1解:xxycos之間具有三角函數(shù)關(guān)系與xex

11、y系之間還具有指數(shù)函數(shù)關(guān)與xxyln系之間還具有對(duì)數(shù)函數(shù)關(guān)與因此假設(shè)擬合函數(shù)與基函數(shù)分別為xcexbxaxScosln)(xex )(2xxln)(0 xxcos)(1202022-3-1500.511.522.53-1.5-1-0.500.51xy6.7941 -5.3475 63.2589-5.3475 5.1084 -49.008663.2589 -49.0086 1002.5 1.6163-2.382726.7728通過(guò)計(jì)算,得法方程組的系數(shù)矩陣及常數(shù)項(xiàng)矩陣為00.511.522.53-1.5-1-0.500.51xy212022-3-15用Gauss列主元消去法,得cba -1.04

12、10 -1.2613 0.030735xexxxS030735. 0cos2613. 1ln0410. 1)(*的最小二乘解是關(guān)于xy22*20)(*(miiiyxS20)030735. 0cos2613. 1ln0410. 1(miixiiyexxi92557. 0擬合的平方誤差為圖象如上圖222022-3-15例3.在某化學(xué)反應(yīng)里,測(cè)得生成物濃度y%與時(shí)間t的數(shù)據(jù)如下，試建立y關(guān)于t的經(jīng)驗(yàn)公式t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00, 10.20,10.32

13、,10.42,10.50,10.55,10.58,10.60解:的散點(diǎn)圖與濃度畫出時(shí)間yt具有圖示的圖形的曲線很多，本題提供兩種形式tbaey 指數(shù)函數(shù)形式batty雙曲線形式都是待定系數(shù)其中ba,tbay1lnlntbay112022-3-152302468101214164567891011tytbaey 指數(shù)函數(shù)形式).1(tbay1lnln兩邊取對(duì)數(shù),得aattyyln,1,ln設(shè)t bay得即為擬合函數(shù)基函數(shù)為, 1)(0 ttt)(10567. 1,427. 2ba解法方程組得325.11atey0567. 1325.11最小二乘解為11631. 0*221平方誤差為2022-3-

14、1524batty雙曲線形式).2(tbay1116272. 0080174. 0ba用最小二乘法得即16272. 0080174. 0tty無(wú)論從圖形還是從平方誤差考慮在本例中指數(shù)函數(shù)擬合比雙曲線擬合要好02468101214164567891011ty02468101214164567891011ty02468101214164567891011ty02468101214164567891011ty5621. 1*222平方誤差為2022-3-1525三、加權(quán)最小二乘法), 1 , 0)(,(miyxii對(duì)于一組給定的數(shù)據(jù)點(diǎn)中在擬合的數(shù)據(jù)點(diǎn)), 1 , 0)(,(miyxii各點(diǎn)的重要性可

15、能是不一樣的的重度表示數(shù)據(jù)點(diǎn)假設(shè)),(iiiyx重度: 即權(quán)重或者密度，統(tǒng)稱為權(quán)系數(shù)mk, 1 ,0 定義加權(quán)平方誤差為miii0222miiiiyxy02)(-(9)2022-3-1526來(lái)自函數(shù)類設(shè)擬合函數(shù))(xS), 1 , 0)(nixi的基函數(shù)為函數(shù)類)(,),(),(10 xxxspann)(xS)()()(1100 xaxaxann為擬合系數(shù)), 1 ,0(njaj), 1 ,0(*njaj組擬合的目標(biāo)仍然為找一miiiixSyxS02)()(min22)(minxSmiiiiyxS02)(*(22*使得2022-3-1527),(10naaa求miinjijjiyxa020)(

16、的問(wèn)題點(diǎn)極小值的最小值*,*,*,)(10naaa由多元函數(shù)取極值的必要條件0),(10knaaaank, 1 , 0ka0)()(200ikmiinjijjixyxa得 miikiimiiknjijjixyxxa000)()()(即0)()()(00ikmiiinjikijjixyxxa2022-3-1528 miikiimiiknjijjixyxxa000)()()( miikiinjjikmiijixyaxx000)()()(nk, 1 , 0元線性方程組的是一個(gè)關(guān)于顯然1,)10(10naaan引入記號(hào))(,),(),(10mrrrxxxr),(10myyyf定義加權(quán)內(nèi)積-(10)20

17、22-3-1529)()(),(0ijmiikijkxximiikikyxf0)(),(),(),(),(),(1100faaaknknkknk, 1 , 0矩陣形式(法方程組)為naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn方程組(10)式化為-(11)-(12)2022-3-1530平方誤差為miiiiyxS02)(*(22*作為特殊情形,用多項(xiàng)式作擬合函數(shù)的法方程組為miiniimiiiimiiinimiinimiinimiinimiiimiiimiinimiiimiimiiyxyxyaaaxxxxxx

18、xx000102010010200000-(13)2022-3-1531四、用正交多項(xiàng)式作最小二乘擬合*選為基底的基函數(shù)若擬合函數(shù))()(xS),()(00 xPx ,),()(11xPx )()(xPxnn為正交多項(xiàng)式且)(,),(),(10 xPxPxPn), 1 , 0)(,(miyxii對(duì)于一組給定的數(shù)據(jù)點(diǎn)),(jkPPjk 0jk kAmiijikixPxP1)()(即0kA其中正交多項(xiàng)式如何選取呢-(14)2022-3-1532線性無(wú)關(guān)顯然)(,),(),(10 xPxPxPn線性表示次多項(xiàng)式均可由任意且)(,),(),(10 xPxPxPkk1)(,),(),(10時(shí)令其首項(xiàng)均為

19、選取正交多項(xiàng)式xPxPxPn)(1xxPkk次多項(xiàng)式考慮 線性表示顯然其可由)(,),(),(110 xPxPxPk1 ,110kk即存在系數(shù))()()(110 xPxPxPkkkkjjj使得)(xxPk2022-3-1533)()()(110 xPxPxPkkkkjjj)(xxPk),(skPxP)(),()()(110 xPxPxPxPskkkkjjj)(ks ),(skPxP),(sssPP),(kkPxP),(kkkPP由可知因此),(),(kkkkPPPxPks),(),(ssskPPPxP2022-3-1534s),(),(ssskPPPxP而),(),(ssskPPxPP次多項(xiàng)式

20、為1)(sxxPs線性表示可由正交多項(xiàng)式組10)(sjxP時(shí)當(dāng)ks10),(skxPP時(shí)即1 ks因此s110ksks),(),(111kkkkPPxPP),(),(111kkkkPPxPP),(),(11kkkkPPPP2022-3-1535)()()()(101xPxPxxPxPkkkjjjkk)()()(11xPxPxkkkk可知最后可得正交多項(xiàng)式選取的方法:1)(0 xP01)( xxPmiiixm0011),(),(0000PPPxP)(1xPk)()()(11xPxPxkkkk),(),(111kkkkkPPPP),(),(kkkkPPPxPk-(15)ni,2 , 1)()()(

21、110 xPxPxPkkkkjjj)(xxPk由2022-3-1536naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn作擬合選擇正交多項(xiàng)式)(,),(),(10 xPxPxPn), 1 , 0)(,(miyxiii的數(shù)據(jù)點(diǎn)對(duì)于一組給定的帶權(quán))()()()(1100 xPaxPaxPaxSnnmiiiiyxS02)(*(22*miiiixSyxS02)()(min22)(minxS使得由正交多項(xiàng)式的性質(zhì),法方程組2022-3-1537),(),(fPaPPkkkkni,2 , 1 , 0-(16),(),(*kk

22、kkPPfPa-(17)naaa10),(),(),(10fPfPfPn00),(00PP0),(011PP),(00nnPP可化為即得)(*)(*)(*)(*1100 xPaxPaxPaxSnn即為利用正交多項(xiàng)式的最小二乘解2022-3-1538miiiiyxS02)(*(22*平方誤差為)(*,)(*(fxSfxS),()*,(2*)*,(fffSSS),(),(*2),(*002fffPaPPankkknkkkk),(),(*2),(*0202ffPPaPPankkkknkkkknkkkkPPaff02),(*),(2022-3-1539例4.如下及權(quán)重給定數(shù)據(jù)點(diǎn)iiiyx),(11111110 . 371. 244. 219. 296. 175. 110 . 19 . 08 . 07 . 06 . 05 . 00iiiyx用最小二乘法求擬合這組數(shù)據(jù)的多項(xiàng)式解:00.10.20.30.40.50.60.70.80.9111.21.41.61.822.22.42.62.83從散點(diǎn)圖可知數(shù)據(jù)和二次多項(xiàng)式擬合較好因此選用二次多項(xiàng)式作這組數(shù)據(jù)的擬合函數(shù)00.10.20.30.40.50.60.70.80.9111.21.41.61.822.22.42.62.8320