algorithm and filtering算法相關(guān)最小二乘法

一最小二乘法的基本原理p(x同所給數(shù)據(jù)點(diǎn)(xiyi(i=0,1,…,m)rip(xiyi(i=0,1,…,mrip(xiyi(i=0,1,…,m)絕對(duì)值的最大值maxrimr(r,r,r m0 的∞—范數(shù)；二是誤差絕對(duì)值的和 ，即誤差向量r的mri 的算術(shù)平方根，即誤差向量r的2—范數(shù)；前兩mm因此在曲線擬合中常采用誤差平方和i0 r 數(shù)據(jù)擬合的具體作法是：對(duì)給定數(shù)據(jù)(xiyi)(i=0,1,…，m)，在取定的函數(shù)類p(x,使誤差rip(xi)r mp(x)y2i

=小的曲線yp(x（6-1）p(x合函數(shù)p(x)的方法稱為曲線擬合的最小二乘法。在曲線擬合中，函數(shù)類可有不同的6—項(xiàng)式假設(shè)給定數(shù)據(jù)點(diǎn)(xi,yi)(i=0,1,…,m)，為所有次數(shù)不超過n(nm)n

pn(x)k

xk

, m m Ip(x)y2axky

i0k

k i

當(dāng)擬合函數(shù)為多項(xiàng)式時(shí)，稱為多項(xiàng)式擬合，滿足式（1）pn(x稱為n=1時(shí)，稱為線性擬合或直線擬合。顯 xiI(xii k

kyi)為a0a1,anII(a0a1,anI2m(

axky)xj j0,1,,k 即

km

(xjk xjy j0,1,,ik0

（3）是關(guān)于a0a1,anm

in

yi

0

m

1

xiyi

i0

i0 a

2n

n ii xi xnyii 從式（4）中解出ak(k=0,1,…，n)，nkpn(x)akkk 可以證明，式（5）pn(x滿足式（1），pn(xip(x)yi

)

r22

mp(x)y r2yiak(xiyi k m

(j

xij

(j；寫出正規(guī)方程組，求出a0a1,annkpn(x)akk k 在實(shí)際應(yīng)用中，nm或nm；當(dāng)nm時(shí)所得的擬合多項(xiàng)式就是日或牛i0123456TiRi解畫出散點(diǎn)圖（6-2）n=1，擬合函

Ra0iTi0123456

245.3a 0 9325.83a1 a0故得RT

79.77 a1R79.77 6-例2例 已知實(shí)驗(yàn)數(shù)據(jù)如下i0123456781345678954211234 列表如

ya0a1xa2xIxixixixix2 01111352465768279384得正規(guī)方

32 解a0故擬合多

a1 a2y13.45973.60530.2676x*三最小二乘擬合多項(xiàng)式的存在唯一定理1 設(shè)節(jié)點(diǎn)x0,x1,,xn互異，則法方程組（4）的解存在唯一。證由法則，只需證明方程組（4）的系數(shù)矩陣非奇異即可m m

x i

m

i0

xn1 1xiyi

i0

i0 a

n xn x xiyii0

i 有非零解。式(7) (xjk j0,1,, k0 將式（8）中第j方程乘以aj(j=0,1,…，n)，然后將新得到的

aj

)ak0個(gè)方程左右兩端分別相加，得因

nan(

j

aaxjk

aji ak

mp(xnj n

kj

x xi) j其

k0 i0j0k npn(x)

j k k所pn(xi) pn(x是次數(shù)不超過n多項(xiàng)式，它有m+1＞n相異零點(diǎn)，由代數(shù)基本定理必須有a0a1an0與齊次方程組有非零解的假設(shè)。因此正規(guī)方程組（4）必有唯一解。定理2a0,a1,an是正規(guī)方程nkpn(x)akk k 是滿足式（1）的最小二乘擬合多項(xiàng)式 只需證明，對(duì)任意一組數(shù)b0,b1,,bn組成的多項(xiàng)nkQn(x)bkkk Q(x)y2p(x)y即可m

m

Q(x)y2p(x)y

Q(x)p(x)22mQ(x)p(x)p(x)y

02

a

j

a

y

n a

m

a

jb k i jk yixibi0j k j0 i0k 因?yàn)閍k(k=0,1,…，n)是正規(guī)方程組（4）的解，所以滿足式（2），Q(x)y2p(x)y2 i

ipn(x)為最小二乘擬合多*四多項(xiàng)式擬合中克服正規(guī)方程組的①正規(guī)方程組系數(shù)矩陣的階數(shù)越高，越嚴(yán)重②擬合節(jié)點(diǎn)分布的區(qū)間x0,xm偏離原點(diǎn)越遠(yuǎn) 越嚴(yán)重③xi(i=0,1,…，m)的數(shù)量級(jí)相差越大，越嚴(yán)重。①盡量少作高次擬合多項(xiàng)式，而作不同的分段低次②不使用原始節(jié)點(diǎn)作擬合，將節(jié)點(diǎn)分布區(qū)間作平移，使新的節(jié)點(diǎn)xi關(guān)點(diǎn)對(duì)稱，可大大降低正規(guī)方程組的條件數(shù)，從而減 程度平移為

xi

x0xm,

③對(duì)平移后的節(jié)點(diǎn) (i=0,1,…，m),再作壓縮或擴(kuò)張?zhí)幚韎ixpx iip2r(m其

(x)ii

,（r是擬合次數(shù) 經(jīng)過這樣調(diào)整可以使i的數(shù)量級(jí)不太大也不太特別對(duì)于等距節(jié)xix0 (i0,1,m)，作式（10）和式（11）兩項(xiàng)變換后規(guī)方程組的系數(shù)矩陣設(shè)A，則對(duì)1～4多項(xiàng)式擬合，條件數(shù)都不變換后的條件數(shù)上限表擬合次1234cond2(④在實(shí)際應(yīng)用中還可以利用正交多項(xiàng)式求擬合多項(xiàng)式法是構(gòu)造離散正交多項(xiàng)式另法是利用切節(jié)點(diǎn)求出函數(shù)值后再使用正交多項(xiàng)式。這兩種方法都使正規(guī)方程組的系數(shù)矩陣為對(duì)角矩陣，從而避免了正規(guī)方程組的。我們只介紹第一種，見第三節(jié)。例如m=19,x0=328,h=1,x1x0+ih，i=0,1,…，19，即節(jié)點(diǎn)布［328,347］，作二次多項(xiàng)式①xi構(gòu)造正規(guī)方程組系數(shù)矩陣A0，計(jì)算可cond2(A)2.250嚴(yán)重，擬合結(jié)果完全不能用平移變xi

3283472

ixi構(gòu)造正規(guī)方程組系數(shù)矩A1，計(jì)cond2(A)1比cond2(A0)降低了13個(gè)數(shù)