LS法教學(xué)講解課件

第三講LS法(1/4)最小二乘法最小二乘(LeastSquare,以下簡稱LS)法是1795年高斯(Gauss)在星體運動預(yù)報研究工作中提出來的.1/4/20231第三講LS法(1/4)最小二乘法最小二乘(LeastSq第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)中有廣泛應(yīng)用,如:數(shù)學(xué)計算數(shù)學(xué)中的曲線擬合和函數(shù)逼近概率統(tǒng)計中的回歸分析與參數(shù)估計非相容(矛盾)方程解理論中的LS解系統(tǒng)與控制科學(xué)實驗建模(系統(tǒng)辨識)測量理論中的誤差分析……1/4/20232第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機離散系統(tǒng)辨識的參數(shù)估計方法是從數(shù)學(xué)中的概率統(tǒng)計理論發(fā)展而來的.只不過,系統(tǒng)辨識更關(guān)注的是動態(tài)系統(tǒng)模型的參數(shù)估計問題.LS法是概率統(tǒng)計中參數(shù)估計的主要方法,也為系統(tǒng)與控制科學(xué)中系統(tǒng)辨識的主要參數(shù)估計方法.由于LS法原理簡單,易于理解,與實際要求吻合,求解與應(yīng)用也并不困難,所以它頗受人們的重視,應(yīng)用相當(dāng)廣泛.1/4/20233第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機離散系統(tǒng)辨識的第三講LS法(4/4)本講主要講授:回歸模型表述LS法的基本原理和算法,LS估計的數(shù)值計算,LS法的應(yīng)用例子,及其LS估計值的統(tǒng)計特性分析.1/4/20234第三講LS法(4/4)本講主要講授:12/26/202241回歸模型表述(1/1)1回歸模型表述在討論LS算法之前,下面先討論在統(tǒng)計回歸與系統(tǒng)辨識中的回歸模型.靜態(tài)模型(回歸模型)動態(tài)模型(自回歸模型)1/4/202351回歸模型表述(1/1)1回歸模型表述12/26/2021回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型在數(shù)理統(tǒng)計中參數(shù)估計所討論的模型可用如下回歸式表示y(k)=T(k-1)+w(k)(1)其中y(k)為過程輸出,(k)為n維觀測數(shù)據(jù)向量,為n維回歸參數(shù)向量,w(k)為統(tǒng)計噪聲或誤差.對回歸模型(1),其參數(shù)估計問題是:基于已知的觀測數(shù)據(jù)向量(k)在回歸誤差平方最小的意義下求解回歸參數(shù)向量.1/4/202361回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型12/261回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計中,回歸式(1)表示的是靜態(tài)系統(tǒng),即過程輸出y(k)與過去的觀測數(shù)據(jù)向量(i-1)和統(tǒng)計噪聲w(i)無直接時間上的邏輯(因果)關(guān)系,i<k.對靜態(tài)回歸系統(tǒng)(1)的統(tǒng)計回歸問題,一般有如下假定:(1)觀測數(shù)據(jù)向量(k)中各分量可直接測量或根據(jù)測量推算得之;(2)噪聲w(k)為零均值噪聲,且與觀測數(shù)據(jù)向量(k-1)完全統(tǒng)計獨立.下面先回顧一個數(shù)理統(tǒng)計中常見的回歸問題.1/4/202371回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計中,回歸式(11回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過程其反應(yīng)產(chǎn)生的某成分的單位產(chǎn)生速率y與n個參加反應(yīng)的化學(xué)物質(zhì)的濃度xi有關(guān).若該關(guān)系可用線性關(guān)系建模,則可得如下回歸關(guān)系描述y=a1x1+a2x2+…+anxn=T其中ai為回歸系數(shù),描述回歸因素xi與回歸量y的相關(guān)系數(shù);=[x1x2…xn]T

=[a1a2…an]T某化工(熱工)過程對例1,只要將實驗中采集的多組實驗數(shù)據(jù),利用下面討論的LS法,即可回歸出相關(guān)系數(shù)ai.1/4/202381回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過1回歸模型表述—動態(tài)模型(1/7)B.動態(tài)模型20世紀(jì)中期,LS法引入到系統(tǒng)和控制科學(xué)中動態(tài)系統(tǒng)建模的系統(tǒng)辨識和參數(shù)估計中.對實際的被控對象，在其工作點附近，其動力學(xué)模型可用線性動態(tài)模型描述。1/4/202391回歸模型表述—動態(tài)模型(1/7)B.動態(tài)模型12/261回歸模型表述—動態(tài)模型(2/7)如下圖所示的直流電機，其電氣主回路的電阻與電感、機械轉(zhuǎn)動系統(tǒng)在一定工作范圍內(nèi)都可用線性動靜態(tài)模型描述。1/4/2023101回歸模型表述—動態(tài)模型(2/7)如下圖所示的直流電機，其1回歸模型表述—動態(tài)模型(3/7)因此，在動態(tài)系統(tǒng)辨識中,所討論的系統(tǒng)中較典型的如下述定常單輸入單輸出(SISO)線性系統(tǒng)的數(shù)學(xué)模型(亦稱為受控XAR模型)A(z-1)y(k)=B(z-1)u(k)+w(k)(2)其中y(k),u(k)和w(k)分別為系統(tǒng)輸出,輸入和隨機擾動;1/4/2023111回歸模型表述—動態(tài)模型(3/7)因此，在動態(tài)系統(tǒng)辨識中,1回歸模型表述—動態(tài)模型(4/7)上述的定常SISO線性系統(tǒng)的數(shù)學(xué)模型也可表示成如下的自回歸方程式y(tǒng)(k)=T(k-1)+w(k)(3)式中在動態(tài)系統(tǒng)的辨識中,所討論的問題是如何利用已知的或檢測到的系統(tǒng)(2)的輸入輸出數(shù)據(jù),確定多項式A(z-1)和B(z-1)的未知系數(shù),即自回歸方程(3)中的回歸參數(shù)向量.1/4/2023121回歸模型表述—動態(tài)模型(4/7)上述的定常SISO線性系1回歸模型表述—動態(tài)模型(5/7)對動態(tài)系統(tǒng)(2)的辨識問題,先明確如下一些基本假設(shè)和基本關(guān)系.(1)假定模型(2)的階次或階次的上界na和nb已知;(2)系統(tǒng)輸入輸出數(shù)據(jù)u(k)和y(k)可直接測量或可根據(jù)其它直接測量量推算得之;(3)噪聲w(k)為零均值噪聲,且與系統(tǒng)輸入u(k-1)統(tǒng)計獨立.1/4/2023131回歸模型表述—動態(tài)模型(5/7)對動態(tài)系統(tǒng)(2)的辨識問1回歸模型表述—動態(tài)模型(6/7)由前面所定義的回歸方程(1)和自回歸方程(3)可知,靜態(tài)系統(tǒng)辨識和動態(tài)系統(tǒng)辨識的共同之處為其辨識模型都可歸納為一統(tǒng)一的回歸方程.兩者不同之處在于,動態(tài)系統(tǒng)自回歸方程的觀測數(shù)據(jù)向量(k-1)中包含有以往時刻的系統(tǒng)輸出y(k-1),...,y(k-na).這樣,就使得在上述關(guān)于u(k-1)與w(k)統(tǒng)計獨立的假定并不能保證觀測數(shù)據(jù)向量(i)與噪聲w(j),對任意的i和j都統(tǒng)計獨立.因此,靜態(tài)系統(tǒng)和動態(tài)系統(tǒng)的參數(shù)估計問題既有共性又有不同之處.1/4/2023141回歸模型表述—動態(tài)模型(6/7)由前面所定義的回歸方程(1回歸模型表述—動態(tài)模型(7/7)對前面給出的回歸方程式(1)和(3),當(dāng)在k=1,2,...,L,已知系統(tǒng)(1)或(3)的觀測數(shù)據(jù)向量(k-1)時,回歸方程式(1)和(3)又可寫成如下統(tǒng)一的向量式回歸方程YL=L+WL(4)式中YL=[y(1),y(2),...,y(L)]TWL=[w(1),w(2),...,w(L)]TL=[(0),(1),...,(L-1)]T,L×(na+nb)1/4/2023151回歸模型表述—動態(tài)模型(7/7)對前面給出的回歸方程式(2基本算法(1/14)2基本算法對統(tǒng)一的回歸方程式,下面討論LS參數(shù)估計方法,然后再分別給出其不同的參數(shù)估計值的統(tǒng)計特性分析.LS法最早用于方程求解,數(shù)據(jù)擬合和數(shù)理統(tǒng)計中.所謂最小二乘(LeastSquare),即指其追求在方程求解、擬合和建模中的誤差平方和最小.二乘即為平方的意思.對系統(tǒng)辨識問題,即為系統(tǒng)辨識定義三要素中的等價準(zhǔn)則(函數(shù))為模型的辨識誤差的平方和最小.1/4/2023162基本算法(1/14)2基本算法12/26/2022162基本算法(2/14)LS法的思想是由已知的觀測數(shù)據(jù)對如下準(zhǔn)則函數(shù)求取最優(yōu)解而獲得未知參數(shù)q的估計值式中l(wèi)k>0為加權(quán)因子;LL=diag{l1,l2,...,lL}為加權(quán)矩陣.(5)1/4/2023172基本算法(2/14)LS法的思想是由已知的觀測數(shù)據(jù)對如下2基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測數(shù)據(jù)的可信度和噪聲w(k)的分布對估計值有較大影響,從而利用對觀測數(shù)據(jù)加權(quán)而減消其對LS估計的影響.若有理由認(rèn)為某步的觀測數(shù)據(jù)可靠和重要性程度高,可將該步的加權(quán)因子相對取得大一些.1/4/2023182基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測數(shù)據(jù)的2基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)求極值來推導(dǎo)LS法.由于對準(zhǔn)則函數(shù)求極值涉及對向量變量的偏導(dǎo),下面先給出對向量變量的導(dǎo)數(shù)公式:標(biāo)量f對n維向量x的導(dǎo)數(shù)f/x=[f/x1

f/x2…f/xn]Tm維向量y對n維向量x的導(dǎo)數(shù)1/4/2023192基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)2基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基于上述向量對向量的導(dǎo)數(shù),有1/4/2023202基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基2基本算法(6/14)內(nèi)積對向量的導(dǎo)數(shù).由上述定義的向量和矩陣的導(dǎo)數(shù),有1/4/2023212基本算法(6/14)內(nèi)積對向量的導(dǎo)數(shù).由上述定義的向量2基本算法(7/14)加權(quán)內(nèi)積對向量的導(dǎo)數(shù).

由上述定義的內(nèi)積對的導(dǎo)數(shù),有基于上述矩陣、向量對向量的導(dǎo)數(shù)的定義,下面進行對LS辨識的準(zhǔn)則函數(shù)進行求極小化.1/4/2023222基本算法(7/14)加權(quán)內(nèi)積對向量的導(dǎo)數(shù).由上述定義的2基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小的未知變量向量q應(yīng)滿足其對q的偏導(dǎo)為零的函數(shù)最優(yōu)化的必要條件.根據(jù)上述向量導(dǎo)數(shù),因此有1/4/2023232基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為求解上述正則方程.當(dāng)LTLL可逆時,即信號充分豐富時,則可求得q的如下加權(quán)LS估計上面討論的是極小值的必要條件，其充分條件為：即指標(biāo)函數(shù)的2階偏導(dǎo)矩陣為正定（偏導(dǎo)大于零）。1/4/202324這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為2基本算法(10/14)對指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正定矩陣,故只要LTLL可逆即為正定矩陣,即所以加權(quán)LS估計qWLS使得J(q)=min,即qWLS是LS指標(biāo)函數(shù)的唯一最優(yōu)解.1/4/2023252基本算法(10/14)對指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正2基本算法(11/14)因此,所謂LS估計,即通過實驗觀測數(shù)據(jù),構(gòu)造出系統(tǒng)輸出數(shù)據(jù)向量YL與觀測數(shù)據(jù)矩陣L,然后進行如下矩陣數(shù)值計算加權(quán)LS估計解的特例當(dāng)加權(quán)矩陣LL取為單位矩陣I時,則加權(quán)LS估計qWLS退化成如下一般LS估計1/4/2023262基本算法(11/14)因此,所謂LS估計,即通過實驗觀測2基本算法(13/14)對系統(tǒng)辨識問題,還存在一個可辨識性問題.當(dāng)給定輸入輸出數(shù)據(jù)時,對假定的模型結(jié)構(gòu)是否能唯一地確定模型的參數(shù),這就是可辨識問題.在上述LS估計問題中,可辨識性即為基于參數(shù)模型的辨識問題歸結(jié)的模型參數(shù)的LS最優(yōu)化問題是否存在唯一解問題.可辨識性直接與系統(tǒng)的結(jié)構(gòu)、系統(tǒng)的輸入輸出信號的性質(zhì)相關(guān).與系統(tǒng)結(jié)構(gòu)的關(guān)系對輸入輸出模型,要求系統(tǒng)階次準(zhǔn)確已知,系統(tǒng)傳遞函數(shù)模型的分子分母互質(zhì).對狀態(tài)空間模型,要求系統(tǒng)能控并能觀.1/4/2023272基本算法(13/14)對系統(tǒng)辨識問題,還存在一個可辨識性2基本算法(14/14)與輸入信號的關(guān)系.要求過程的所有模態(tài)都必須被輸入信號“持續(xù)激勵”,即系統(tǒng)的輸入輸出信息“充分豐富”.此外系統(tǒng)的觀測數(shù)據(jù)矩陣L的各列線性無關(guān),輸入u(k)應(yīng)有充分的變化(其頻帶較寬),還要與輸出y(k)相對“獨立”.對輸出反饋閉環(huán)系統(tǒng),反饋環(huán)應(yīng)存在純滯后環(huán)節(jié).LS估計的可辨識條件為矩陣LTLL必須是非奇異的.常用的輸入信號:隨機序列、偽隨機序列、頻帶較寬的離散序列.1/4/2023282基本算法(14/14)與輸入信號的關(guān)系.12/26/20最小二乘估計的統(tǒng)計特性1）無偏性對某一種估計算法，若其估計量的數(shù)學(xué)期望等于被估計量的真值，即：其中為參數(shù)的真值。則稱該估計為無偏的。否則稱為有偏估計。稱為偏差。

無偏估計的含義：同一個待辨識對象的不同組輸入輸出數(shù)據(jù)所得到的各估計量將圍繞參數(shù)的真值而上下擺動。

對于最小二乘估計，若殘差序列{e(k)}是獨立的零均值白噪聲序列，則最小二乘估計是無偏的。1/4/202329最小二乘估計的統(tǒng)計特性其中為參數(shù)的真值。則稱該估計因為兩邊取數(shù)學(xué)期望1/4/202330因為兩邊取數(shù)學(xué)期望12/26/2022302）有效性方差：隨機變量與其均值的偏離程度的衡量。因此估計量的方差越小，則該估計量處于參數(shù)真值附近的概率就越大。設(shè)是關(guān)于的兩個無偏估計，若的方差小于的方差，則稱比有效。稱對參數(shù)的一個估計算法為有效的，若其它任一種算法所得到的估計量的方差都比該估計算法所得的估計量的方差要大。

對于最小二乘估計，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則方差陣為：1/4/202331是關(guān)于的兩個無偏估計，若如果無偏估計滿足Cov()=M-1，則稱估計為有效的。其中：稱為Fisher信息矩陣，其逆M-1稱為Crammer-Rao下界。在一般情況下，有Crammer-Rao不等式：Cov()=E{(-)(-)T}≥M-11/4/202332如果無偏估計滿足Cov()=M-1，則稱估計為有效的。其中：3）一致性檢驗在待辨識對象的一次試驗或觀察中的觀測次數(shù)(輸入輸出數(shù)據(jù)的個數(shù))N越多時，估計量是否越接近被估計量的參數(shù)真值。即若下式成立則稱估計量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時，若估計量以概率1收斂于真值，則稱這樣的估計為一致性估計。

對于最小二乘估計，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則它是一致性估計。這是因為：

若u(k)是持續(xù)激勵的，則依概率1收斂于一個正定矩陣，并且由于方差是有界的，因此1/4/202333則稱估計量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時，若即：當(dāng)時以概率1收斂于真值。即：綜上所述，當(dāng)殘差為白噪聲時，最小二乘估計是無偏的，有效的和一致的。1/4/202334即：當(dāng)時以概率1收斂于真值4LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子為加深對LS辨識算法的理解,下面討論幾個LS辨識方法應(yīng)用的小例子.測電阻實驗數(shù)據(jù)處理

線性曲線擬合

非線性曲線擬合

不相容方程組

1/4/2023354LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子12/4LS法的應(yīng)用例子--例2(1/6)A.測電阻實驗數(shù)據(jù)處理例2某電路實驗課,測得某電阻兩端的電壓和通過其間的電流分別為Vi和Ii,其中i為實驗數(shù)據(jù)的組號.試根據(jù)L組該實驗數(shù)據(jù),推算電阻值R.解由電路理論,電阻的電流與電壓滿足如下歐姆定律V=RI(11)1/4/2023364LS法的應(yīng)用例子--例2(1/6)A.測電阻實驗數(shù)據(jù)處基于上述歐姆定律,利用實驗數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)系統(tǒng)辨識(回歸分析)問題.因此,將L組實驗數(shù)據(jù)分別代入上述歐姆定律,則可得如下向量回歸方程YL=L(12)式中=[R];YL=[V1,V2,...,VL]TL=[I1,I2,...,IL]T因此,由上述LS辨識算法,有4LS法的應(yīng)用例子--例2(2/6)1/4/202337基于上述歐姆定律,利用實驗數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)4LS法的應(yīng)用例子--例2(3/6)一般在進行實驗數(shù)據(jù)處理時,推算電阻值R采用如下算術(shù)平均值可以證明,若將在實驗中的所有擾動和測量誤差都等效地綜合反映在方程(11)等式左邊的電壓上且可以用白噪聲w描述,即方程(11)可描述為V=RI+w則LS估計(13)的估計誤差的方差可能將遠(yuǎn)遠(yuǎn)小于算術(shù)平均值估計(14).這就是說,LS法比算術(shù)平均法提供更精確的估計值.上述結(jié)論可證明如下:1/4/2023384LS法的應(yīng)用例子--例2(3/6)一般在進行實驗數(shù)據(jù)處理設(shè)電壓測量值中包含有噪聲,即Vi=RIi+wi因此有4LS法的應(yīng)用例子--例2(4/6)而對一般算術(shù)平均值,有1/4/202339設(shè)電壓測量值中包含有噪聲,即4LS法的應(yīng)用例子--例2(4若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計獨立),則有E(RLS)=E(Raverage)=R即兩種方法得到的估計值都為期望值無偏的,但對估計值的方差,有4LS法的應(yīng)用例子--例2(5/6)1/4/202340若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計獨立),則有4可以證明,對任意的電流值4LS法的應(yīng)用例子--例2(6/6)即V(RLS)V(Raverage)故LS估計方法的估計值比算術(shù)平均方法的估計值在期望值一致的情況下,但估計值的方差更小,即更加準(zhǔn)確.n/(1/a1+1/a2+...+1/an)≤(a1a2...an)1/n≤(a1+a2+...+an)/n≤[(a12+a22+...+an2)/n]1/2調(diào)幾算方不等式1/4/202341可以證明,對任意的電流值4LS法的應(yīng)用例子--例2(6/64LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi12345yi44.5688.5wi21311例4對給定的實驗數(shù)據(jù)點(yi,xi),試用自變量x的n階多項式函數(shù)進行曲線擬合.對例4,可列出如下擬合式y(tǒng)=a0+a1x+a2x2+…+anxn=φT(k-1)其中ai為回歸系數(shù);φ=[1x

…xn]T;=[a0

a1…an]T1/4/2023424LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi只要將待擬合的數(shù)據(jù)點(yi,xi)代入上述擬合式,利用前面得到的LS估計式,即可回歸出相關(guān)系數(shù)ai.4LS法的應(yīng)用例子--例4(2/3)xi12345yi44.5688.5wi21311若待擬合的實驗數(shù)據(jù)點(yi,xi)如上表所示,從數(shù)據(jù)坐標(biāo)圖(右圖)中看到各點在一條直線附近.1/4/202343只要將待擬合的數(shù)據(jù)點(yi,xi)代入上述擬合式,利用前面得故可選擇線性函數(shù)作擬合曲線,即令擬合函數(shù)為y=a0+a1x由加權(quán)LS估計式,可求得擬合函數(shù)為y=2.77+1.13x該擬合函數(shù)如圖所示.4LS法的應(yīng)用例子--例4(3/3)1/4/202344故可選擇線性函數(shù)作擬合曲線,即令擬合函數(shù)為4LS法的應(yīng)用例C.非線性曲線擬合上述針對線性模型回歸分析、系統(tǒng)辨識和曲線擬合中的LS法,還可以應(yīng)用于一些特殊的(即可通過模型變換為具有線性參數(shù))非線性模型的回歸分析、系統(tǒng)辨識和曲線擬合問題.例5在某化學(xué)反應(yīng)里,根據(jù)實驗所得生成物的濃度與時間關(guān)系如下表,求濃度y與時間t的擬合曲線y=f(t)4LS法的應(yīng)用例子--例5(1/9)t12345678f4.006.408.008.809.229.509.709.86t910111213141516f10.0010.2010.3210.4210.5010.5510.5810.601/4/202345C.非線性曲線擬合4LS法的應(yīng)用例子--例5(1/9)t4LS法的應(yīng)用例子--例5(2/9)1/4/2023464LS法的應(yīng)用例子--例5(2/9)12/26/20224解

從數(shù)據(jù)坐標(biāo)圖,我們看到開始時濃度增加較快,后來逐漸減弱,到一定時間就基本穩(wěn)定在一個數(shù)上,即當(dāng)t時,y趨于某個數(shù),故有一水平漸近線.另外,t=0時,反應(yīng)未開始,濃度為0.根據(jù)這些特點,可設(shè)想y=f(t)是雙曲線型,即y=t/(at+b).它與給定數(shù)據(jù)的規(guī)律大致符合.為了確定a、b,令y=1/y,x=1/t,于是可用x的線性函數(shù)y(x)=a+bx擬合數(shù)據(jù)(xi,yi)(i=1,…,16),xi,yi由原始數(shù)據(jù)(ti,yi)根據(jù)變換計算出來.4LS法的應(yīng)用例子--例5(3/9)1/4/202347解從數(shù)據(jù)坐標(biāo)圖,我們看到開始時濃度增加較快,后來逐漸減弱,由前面的LS估計式,解得a=0.0806621,b=0.1616822從而得到y(tǒng)1=t/(0.0806621t+0.1616822).由本例的數(shù)據(jù)坐標(biāo)圖可看出,符合給定數(shù)據(jù)的函數(shù)還可選為指數(shù)形式.此時可令擬合曲線形如y=aeb/t,顯然,當(dāng)t時,ya,當(dāng)t0時,若b<0,則y0,且t增加時y增加,與給出數(shù)據(jù)規(guī)律相同.為了確定a與b,對上式兩邊取對數(shù),得lny=lna+b/t4LS法的應(yīng)用例子--例5(4/9)1/4/202348由前面的LS估計式,解得4LS法的應(yīng)用例子--例5(4/9令y=lny,A=lna,x=1/t,于是由(ti,yi)計算出(xi,yi),擬合數(shù)據(jù)(xi,yi)(i=1,…,16)的曲線仍為y2(x)=A+bx.由前面的LS估計式,解得A=2.42704,b=-1.0567,從而求得y2=11.3253e-1.0567/t

所得到的2個擬合函數(shù)的效果如下圖所示.4LS法的應(yīng)用例子--例5(5/9)1/4/202349令4LS法的應(yīng)用例子--例5(5/9)12/26/20224LS法的應(yīng)用例子--例5(6/9)1/4/2023504LS法的應(yīng)用例子--例5(6/9)12/26/20225下面簡單比較兩種非線性曲線擬合的效果.為此先定義在數(shù)據(jù)點上的擬合誤差4LS法的應(yīng)用例子--例5(7/9)本例經(jīng)過計算可得兩種擬合曲線的最大誤差點(擬合誤差的-范數(shù))分別為1/4/202351下面簡單比較兩種非線性曲線擬合的效果.4LS法的應(yīng)用例子-4LS法的應(yīng)用例子--例5(8/9)而均方誤差(擬合誤差的2-范數(shù))分別為由此可知||(2)||2及||(2)||都比較小,所以用y=y2(t)作擬合曲線比較好,即對本例,指數(shù)模型就比雙曲線模型擬合程度要好得多.1/4/2023524LS法的應(yīng)用例子--例5(8/9)而均方誤差(擬合誤差的4LS法的應(yīng)用例子--例5(9/9)從本例看到選擇擬合曲線、回歸分析和系統(tǒng)辨識的數(shù)學(xué)模型,包括數(shù)學(xué)模型中的自變量因素的個數(shù)、非線性函數(shù)的形式(即辨識中的模型類)并不是一開始就能選得好,往往通過分析確定若干模型后,再經(jīng)過實際計算才能選到較好的模型.1/4/2023534LS法的應(yīng)用例子--例5(9/9)從本例看到選擇擬合曲線4LS法的應(yīng)用例子--例6(1/2)D.不相容方程組例6試求如下不相容(矛盾)方程組使方程組誤差LS意義解上式可列為如下向量回歸式1/4/2023544LS法的應(yīng)用例子--例6(1/2)D.不相容方程組上式4LS法的應(yīng)用例子--例6(2/2)根據(jù)前面討論的LS式,則有使上述不相容方程組的方程誤差LS意義的解為方程殘差為:1/4/2023554LS法的應(yīng)用例子--例6(2/2)根據(jù)前面討論的LS式,第三講LS法(1/4)最小二乘法最小二乘(LeastSquare,以下簡稱LS)法是1795年高斯(Gauss)在星體運動預(yù)報研究工作中提出來的.1/4/202356第三講LS法(1/4)最小二乘法最小二乘(LeastSq第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)中有廣泛應(yīng)用,如:數(shù)學(xué)計算數(shù)學(xué)中的曲線擬合和函數(shù)逼近概率統(tǒng)計中的回歸分析與參數(shù)估計非相容(矛盾)方程解理論中的LS解系統(tǒng)與控制科學(xué)實驗建模(系統(tǒng)辨識)測量理論中的誤差分析……1/4/202357第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機離散系統(tǒng)辨識的參數(shù)估計方法是從數(shù)學(xué)中的概率統(tǒng)計理論發(fā)展而來的.只不過,系統(tǒng)辨識更關(guān)注的是動態(tài)系統(tǒng)模型的參數(shù)估計問題.LS法是概率統(tǒng)計中參數(shù)估計的主要方法,也為系統(tǒng)與控制科學(xué)中系統(tǒng)辨識的主要參數(shù)估計方法.由于LS法原理簡單,易于理解,與實際要求吻合,求解與應(yīng)用也并不困難,所以它頗受人們的重視,應(yīng)用相當(dāng)廣泛.1/4/202358第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機離散系統(tǒng)辨識的第三講LS法(4/4)本講主要講授:回歸模型表述LS法的基本原理和算法,LS估計的數(shù)值計算,LS法的應(yīng)用例子,及其LS估計值的統(tǒng)計特性分析.1/4/202359第三講LS法(4/4)本講主要講授:12/26/202241回歸模型表述(1/1)1回歸模型表述在討論LS算法之前,下面先討論在統(tǒng)計回歸與系統(tǒng)辨識中的回歸模型.靜態(tài)模型(回歸模型)動態(tài)模型(自回歸模型)1/4/2023601回歸模型表述(1/1)1回歸模型表述12/26/2021回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型在數(shù)理統(tǒng)計中參數(shù)估計所討論的模型可用如下回歸式表示y(k)=T(k-1)+w(k)(1)其中y(k)為過程輸出,(k)為n維觀測數(shù)據(jù)向量,為n維回歸參數(shù)向量,w(k)為統(tǒng)計噪聲或誤差.對回歸模型(1),其參數(shù)估計問題是:基于已知的觀測數(shù)據(jù)向量(k)在回歸誤差平方最小的意義下求解回歸參數(shù)向量.1/4/2023611回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型12/261回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計中,回歸式(1)表示的是靜態(tài)系統(tǒng),即過程輸出y(k)與過去的觀測數(shù)據(jù)向量(i-1)和統(tǒng)計噪聲w(i)無直接時間上的邏輯(因果)關(guān)系,i<k.對靜態(tài)回歸系統(tǒng)(1)的統(tǒng)計回歸問題,一般有如下假定:(1)觀測數(shù)據(jù)向量(k)中各分量可直接測量或根據(jù)測量推算得之;(2)噪聲w(k)為零均值噪聲,且與觀測數(shù)據(jù)向量(k-1)完全統(tǒng)計獨立.下面先回顧一個數(shù)理統(tǒng)計中常見的回歸問題.1/4/2023621回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計中,回歸式(11回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過程其反應(yīng)產(chǎn)生的某成分的單位產(chǎn)生速率y與n個參加反應(yīng)的化學(xué)物質(zhì)的濃度xi有關(guān).若該關(guān)系可用線性關(guān)系建模,則可得如下回歸關(guān)系描述y=a1x1+a2x2+…+anxn=T其中ai為回歸系數(shù),描述回歸因素xi與回歸量y的相關(guān)系數(shù);=[x1x2…xn]T

=[a1a2…an]T某化工(熱工)過程對例1,只要將實驗中采集的多組實驗數(shù)據(jù),利用下面討論的LS法,即可回歸出相關(guān)系數(shù)ai.1/4/2023631回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過1回歸模型表述—動態(tài)模型(1/7)B.動態(tài)模型20世紀(jì)中期,LS法引入到系統(tǒng)和控制科學(xué)中動態(tài)系統(tǒng)建模的系統(tǒng)辨識和參數(shù)估計中.對實際的被控對象，在其工作點附近，其動力學(xué)模型可用線性動態(tài)模型描述。1/4/2023641回歸模型表述—動態(tài)模型(1/7)B.動態(tài)模型12/261回歸模型表述—動態(tài)模型(2/7)如下圖所示的直流電機，其電氣主回路的電阻與電感、機械轉(zhuǎn)動系統(tǒng)在一定工作范圍內(nèi)都可用線性動靜態(tài)模型描述。1/4/2023651回歸模型表述—動態(tài)模型(2/7)如下圖所示的直流電機，其1回歸模型表述—動態(tài)模型(3/7)因此，在動態(tài)系統(tǒng)辨識中,所討論的系統(tǒng)中較典型的如下述定常單輸入單輸出(SISO)線性系統(tǒng)的數(shù)學(xué)模型(亦稱為受控XAR模型)A(z-1)y(k)=B(z-1)u(k)+w(k)(2)其中y(k),u(k)和w(k)分別為系統(tǒng)輸出,輸入和隨機擾動;1/4/2023661回歸模型表述—動態(tài)模型(3/7)因此，在動態(tài)系統(tǒng)辨識中,1回歸模型表述—動態(tài)模型(4/7)上述的定常SISO線性系統(tǒng)的數(shù)學(xué)模型也可表示成如下的自回歸方程式y(tǒng)(k)=T(k-1)+w(k)(3)式中在動態(tài)系統(tǒng)的辨識中,所討論的問題是如何利用已知的或檢測到的系統(tǒng)(2)的輸入輸出數(shù)據(jù),確定多項式A(z-1)和B(z-1)的未知系數(shù),即自回歸方程(3)中的回歸參數(shù)向量.1/4/2023671回歸模型表述—動態(tài)模型(4/7)上述的定常SISO線性系1回歸模型表述—動態(tài)模型(5/7)對動態(tài)系統(tǒng)(2)的辨識問題,先明確如下一些基本假設(shè)和基本關(guān)系.(1)假定模型(2)的階次或階次的上界na和nb已知;(2)系統(tǒng)輸入輸出數(shù)據(jù)u(k)和y(k)可直接測量或可根據(jù)其它直接測量量推算得之;(3)噪聲w(k)為零均值噪聲,且與系統(tǒng)輸入u(k-1)統(tǒng)計獨立.1/4/2023681回歸模型表述—動態(tài)模型(5/7)對動態(tài)系統(tǒng)(2)的辨識問1回歸模型表述—動態(tài)模型(6/7)由前面所定義的回歸方程(1)和自回歸方程(3)可知,靜態(tài)系統(tǒng)辨識和動態(tài)系統(tǒng)辨識的共同之處為其辨識模型都可歸納為一統(tǒng)一的回歸方程.兩者不同之處在于,動態(tài)系統(tǒng)自回歸方程的觀測數(shù)據(jù)向量(k-1)中包含有以往時刻的系統(tǒng)輸出y(k-1),...,y(k-na).這樣,就使得在上述關(guān)于u(k-1)與w(k)統(tǒng)計獨立的假定并不能保證觀測數(shù)據(jù)向量(i)與噪聲w(j),對任意的i和j都統(tǒng)計獨立.因此,靜態(tài)系統(tǒng)和動態(tài)系統(tǒng)的參數(shù)估計問題既有共性又有不同之處.1/4/2023691回歸模型表述—動態(tài)模型(6/7)由前面所定義的回歸方程(1回歸模型表述—動態(tài)模型(7/7)對前面給出的回歸方程式(1)和(3),當(dāng)在k=1,2,...,L,已知系統(tǒng)(1)或(3)的觀測數(shù)據(jù)向量(k-1)時,回歸方程式(1)和(3)又可寫成如下統(tǒng)一的向量式回歸方程YL=L+WL(4)式中YL=[y(1),y(2),...,y(L)]TWL=[w(1),w(2),...,w(L)]TL=[(0),(1),...,(L-1)]T,L×(na+nb)1/4/2023701回歸模型表述—動態(tài)模型(7/7)對前面給出的回歸方程式(2基本算法(1/14)2基本算法對統(tǒng)一的回歸方程式,下面討論LS參數(shù)估計方法,然后再分別給出其不同的參數(shù)估計值的統(tǒng)計特性分析.LS法最早用于方程求解,數(shù)據(jù)擬合和數(shù)理統(tǒng)計中.所謂最小二乘(LeastSquare),即指其追求在方程求解、擬合和建模中的誤差平方和最小.二乘即為平方的意思.對系統(tǒng)辨識問題,即為系統(tǒng)辨識定義三要素中的等價準(zhǔn)則(函數(shù))為模型的辨識誤差的平方和最小.1/4/2023712基本算法(1/14)2基本算法12/26/2022162基本算法(2/14)LS法的思想是由已知的觀測數(shù)據(jù)對如下準(zhǔn)則函數(shù)求取最優(yōu)解而獲得未知參數(shù)q的估計值式中l(wèi)k>0為加權(quán)因子;LL=diag{l1,l2,...,lL}為加權(quán)矩陣.(5)1/4/2023722基本算法(2/14)LS法的思想是由已知的觀測數(shù)據(jù)對如下2基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測數(shù)據(jù)的可信度和噪聲w(k)的分布對估計值有較大影響,從而利用對觀測數(shù)據(jù)加權(quán)而減消其對LS估計的影響.若有理由認(rèn)為某步的觀測數(shù)據(jù)可靠和重要性程度高,可將該步的加權(quán)因子相對取得大一些.1/4/2023732基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測數(shù)據(jù)的2基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)求極值來推導(dǎo)LS法.由于對準(zhǔn)則函數(shù)求極值涉及對向量變量的偏導(dǎo),下面先給出對向量變量的導(dǎo)數(shù)公式:標(biāo)量f對n維向量x的導(dǎo)數(shù)f/x=[f/x1

f/x2…f/xn]Tm維向量y對n維向量x的導(dǎo)數(shù)1/4/2023742基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)2基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基于上述向量對向量的導(dǎo)數(shù),有1/4/2023752基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基2基本算法(6/14)內(nèi)積對向量的導(dǎo)數(shù).由上述定義的向量和矩陣的導(dǎo)數(shù),有1/4/2023762基本算法(6/14)內(nèi)積對向量的導(dǎo)數(shù).由上述定義的向量2基本算法(7/14)加權(quán)內(nèi)積對向量的導(dǎo)數(shù).

由上述定義的內(nèi)積對的導(dǎo)數(shù),有基于上述矩陣、向量對向量的導(dǎo)數(shù)的定義,下面進行對LS辨識的準(zhǔn)則函數(shù)進行求極小化.1/4/2023772基本算法(7/14)加權(quán)內(nèi)積對向量的導(dǎo)數(shù).由上述定義的2基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小的未知變量向量q應(yīng)滿足其對q的偏導(dǎo)為零的函數(shù)最優(yōu)化的必要條件.根據(jù)上述向量導(dǎo)數(shù),因此有1/4/2023782基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為求解上述正則方程.當(dāng)LTLL可逆時,即信號充分豐富時,則可求得q的如下加權(quán)LS估計上面討論的是極小值的必要條件，其充分條件為：即指標(biāo)函數(shù)的2階偏導(dǎo)矩陣為正定（偏導(dǎo)大于零）。1/4/202379這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為2基本算法(10/14)對指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正定矩陣,故只要LTLL可逆即為正定矩陣,即所以加權(quán)LS估計qWLS使得J(q)=min,即qWLS是LS指標(biāo)函數(shù)的唯一最優(yōu)解.1/4/2023802基本算法(10/14)對指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正2基本算法(11/14)因此,所謂LS估計,即通過實驗觀測數(shù)據(jù),構(gòu)造出系統(tǒng)輸出數(shù)據(jù)向量YL與觀測數(shù)據(jù)矩陣L,然后進行如下矩陣數(shù)值計算加權(quán)LS估計解的特例當(dāng)加權(quán)矩陣LL取為單位矩陣I時,則加權(quán)LS估計qWLS退化成如下一般LS估計1/4/2023812基本算法(11/14)因此,所謂LS估計,即通過實驗觀測2基本算法(13/14)對系統(tǒng)辨識問題,還存在一個可辨識性問題.當(dāng)給定輸入輸出數(shù)據(jù)時,對假定的模型結(jié)構(gòu)是否能唯一地確定模型的參數(shù),這就是可辨識問題.在上述LS估計問題中,可辨識性即為基于參數(shù)模型的辨識問題歸結(jié)的模型參數(shù)的LS最優(yōu)化問題是否存在唯一解問題.可辨識性直接與系統(tǒng)的結(jié)構(gòu)、系統(tǒng)的輸入輸出信號的性質(zhì)相關(guān).與系統(tǒng)結(jié)構(gòu)的關(guān)系對輸入輸出模型,要求系統(tǒng)階次準(zhǔn)確已知,系統(tǒng)傳遞函數(shù)模型的分子分母互質(zhì).對狀態(tài)空間模型,要求系統(tǒng)能控并能觀.1/4/2023822基本算法(13/14)對系統(tǒng)辨識問題,還存在一個可辨識性2基本算法(14/14)與輸入信號的關(guān)系.要求過程的所有模態(tài)都必須被輸入信號“持續(xù)激勵”,即系統(tǒng)的輸入輸出信息“充分豐富”.此外系統(tǒng)的觀測數(shù)據(jù)矩陣L的各列線性無關(guān),輸入u(k)應(yīng)有充分的變化(其頻帶較寬),還要與輸出y(k)相對“獨立”.對輸出反饋閉環(huán)系統(tǒng),反饋環(huán)應(yīng)存在純滯后環(huán)節(jié).LS估計的可辨識條件為矩陣LTLL必須是非奇異的.常用的輸入信號:隨機序列、偽隨機序列、頻帶較寬的離散序列.1/4/2023832基本算法(14/14)與輸入信號的關(guān)系.12/26/20最小二乘估計的統(tǒng)計特性1）無偏性對某一種估計算法，若其估計量的數(shù)學(xué)期望等于被估計量的真值，即：其中為參數(shù)的真值。則稱該估計為無偏的。否則稱為有偏估計。稱為偏差。

無偏估計的含義：同一個待辨識對象的不同組輸入輸出數(shù)據(jù)所得到的各估計量將圍繞參數(shù)的真值而上下擺動。

對于最小二乘估計，若殘差序列{e(k)}是獨立的零均值白噪聲序列，則最小二乘估計是無偏的。1/4/202384最小二乘估計的統(tǒng)計特性其中為參數(shù)的真值。則稱該估計因為兩邊取數(shù)學(xué)期望1/4/202385因為兩邊取數(shù)學(xué)期望12/26/2022302）有效性方差：隨機變量與其均值的偏離程度的衡量。因此估計量的方差越小，則該估計量處于參數(shù)真值附近的概率就越大。設(shè)是關(guān)于的兩個無偏估計，若的方差小于的方差，則稱比有效。稱對參數(shù)的一個估計算法為有效的，若其它任一種算法所得到的估計量的方差都比該估計算法所得的估計量的方差要大。

對于最小二乘估計，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則方差陣為：1/4/202386是關(guān)于的兩個無偏估計，若如果無偏估計滿足Cov()=M-1，則稱估計為有效的。其中：稱為Fisher信息矩陣，其逆M-1稱為Crammer-Rao下界。在一般情況下，有Crammer-Rao不等式：Cov()=E{(-)(-)T}≥M-11/4/202387如果無偏估計滿足Cov()=M-1，則稱估計為有效的。其中：3）一致性檢驗在待辨識對象的一次試驗或觀察中的觀測次數(shù)(輸入輸出數(shù)據(jù)的個數(shù))N越多時，估計量是否越接近被估計量的參數(shù)真值。即若下式成立則稱估計量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時，若估計量以概率1收斂于真值，則稱這樣的估計為一致性估計。

對于最小二乘估計，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則它是一致性估計。這是因為：

若u(k)是持續(xù)激勵的，則依概率1收斂于一個正定矩陣，并且由于方差是有界的，因此1/4/202388則稱估計量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時，若即：當(dāng)時以概率1收斂于真值。即：綜上所述，當(dāng)殘差為白噪聲時，最小二乘估計是無偏的，有效的和一致的。1/4/202389即：當(dāng)時以概率1收斂于真值4LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子為加深對LS辨識算法的理解,下面討論幾個LS辨識方法應(yīng)用的小例子.測電阻實驗數(shù)據(jù)處理

線性曲線擬合

非線性曲線擬合

不相容方程組

1/4/2023904LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子12/4LS法的應(yīng)用例子--例2(1/6)A.測電阻實驗數(shù)據(jù)處理例2某電路實驗課,測得某電阻兩端的電壓和通過其間的電流分別為Vi和Ii,其中i為實驗數(shù)據(jù)的組號.試根據(jù)L組該實驗數(shù)據(jù),推算電阻值R.解由電路理論,電阻的電流與電壓滿足如下歐姆定律V=RI(11)1/4/2023914LS法的應(yīng)用例子--例2(1/6)A.測電阻實驗數(shù)據(jù)處基于上述歐姆定律,利用實驗數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)系統(tǒng)辨識(回歸分析)問題.因此,將L組實驗數(shù)據(jù)分別代入上述歐姆定律,則可得如下向量回歸方程YL=L(12)式中=[R];YL=[V1,V2,...,VL]TL=[I1,I2,...,IL]T因此,由上述LS辨識算法,有4LS法的應(yīng)用例子--例2(2/6)1/4/202392基于上述歐姆定律,利用實驗數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)4LS法的應(yīng)用例子--例2(3/6)一般在進行實驗數(shù)據(jù)處理時,推算電阻值R采用如下算術(shù)平均值可以證明,若將在實驗中的所有擾動和測量誤差都等效地綜合反映在方程(11)等式左邊的電壓上且可以用白噪聲w描述,即方程(11)可描述為V=RI+w則LS估計(13)的估計誤差的方差可能將遠(yuǎn)遠(yuǎn)小于算術(shù)平均值估計(14).這就是說,LS法比算術(shù)平均法提供更精確的估計值.上述結(jié)論可證明如下:1/4/2023934LS法的應(yīng)用例子--例2(3/6)一般在進行實驗數(shù)據(jù)處理設(shè)電壓測量值中包含有噪聲,即Vi=RIi+wi因此有4LS法的應(yīng)用例子--例2(4/6)而對一般算術(shù)平均值,有1/4/202394設(shè)電壓測量值中包含有噪聲,即4LS法的應(yīng)用例子--例2(4若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計獨立),則有E(RLS)=E(Raverage)=R即兩種方法得到的估計值都為期望值無偏的,但對估計值的方差,有4LS法的應(yīng)用例子--例2(5/6)1/4/202395若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計獨立),則有4可以證明,對任意的電流值4LS法的應(yīng)用例子--例2(6/6)即V(RLS)V(Raverage)故LS估計方法的估計值比算術(shù)平均方法的估計值在期望值一致的情況下,但估計值的方差更小,即更加準(zhǔn)確.n/(1/a1+1/a2+...+1/an)≤(a1a2...an)1/n≤(a1+a2+...+an)/n≤[(a12+a22+...+an2)/n]1/2調(diào)幾算方不等式1/4/202396可以證明,對任意的電流值4LS法的應(yīng)用例子--例2(6/64LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi12345yi44.5688.5wi21311例4對給定的實驗數(shù)據(jù)點(yi,xi),試用自變量x的n階多項式函數(shù)進行曲線擬合.對例4,可列出如下擬合式y(tǒng)=a0+a1x+a2x2+…+anxn=φT(k-1)其中ai為回歸系數(shù);φ=[1x

…xn]T;=[a0

a1…an]T1/4/2023974LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi只要將待擬合的數(shù)據(jù)點(yi,xi)代入上述擬合式,利用前面得到的LS估計式,即可回歸出相關(guān)系數(shù)ai.4LS法的應(yīng)用例子--例4(2/3)xi12345yi44.5688.5wi21311若待擬合的實驗數(shù)據(jù)點(yi,xi)如上表所示,從數(shù)據(jù)坐標(biāo)圖(右圖)中看到各點在一條直線附近.1/4/202398只要將待擬合的數(shù)據(jù)點(yi,xi)代入上述擬合式,利用前面得故可選擇線性函數(shù)作擬合曲線,即令擬合函數(shù)為y=a0+a1x由加權(quán)LS估計式,可求得擬合函數(shù)為y=2.