LS法教學(xué)講解課件

第三講LS法(1/4)最小二乘法最小二乘(LeastSquare,以下簡(jiǎn)稱LS)法是1795年高斯(Gauss)在星體運(yùn)動(dòng)預(yù)報(bào)研究工作中提出來的.1/4/20231第三講LS法(1/4)最小二乘法最小二乘(LeastSq第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)中有廣泛應(yīng)用,如:數(shù)學(xué)計(jì)算數(shù)學(xué)中的曲線擬合和函數(shù)逼近概率統(tǒng)計(jì)中的回歸分析與參數(shù)估計(jì)非相容(矛盾)方程解理論中的LS解系統(tǒng)與控制科學(xué)實(shí)驗(yàn)建模(系統(tǒng)辨識(shí))測(cè)量理論中的誤差分析……1/4/20232第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機(jī)離散系統(tǒng)辨識(shí)的參數(shù)估計(jì)方法是從數(shù)學(xué)中的概率統(tǒng)計(jì)理論發(fā)展而來的.只不過,系統(tǒng)辨識(shí)更關(guān)注的是動(dòng)態(tài)系統(tǒng)模型的參數(shù)估計(jì)問題.LS法是概率統(tǒng)計(jì)中參數(shù)估計(jì)的主要方法,也為系統(tǒng)與控制科學(xué)中系統(tǒng)辨識(shí)的主要參數(shù)估計(jì)方法.由于LS法原理簡(jiǎn)單,易于理解,與實(shí)際要求吻合,求解與應(yīng)用也并不困難,所以它頗受人們的重視,應(yīng)用相當(dāng)廣泛.1/4/20233第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機(jī)離散系統(tǒng)辨識(shí)的第三講LS法(4/4)本講主要講授:回歸模型表述LS法的基本原理和算法,LS估計(jì)的數(shù)值計(jì)算,LS法的應(yīng)用例子,及其LS估計(jì)值的統(tǒng)計(jì)特性分析.1/4/20234第三講LS法(4/4)本講主要講授:12/26/202241回歸模型表述(1/1)1回歸模型表述在討論LS算法之前,下面先討論在統(tǒng)計(jì)回歸與系統(tǒng)辨識(shí)中的回歸模型.靜態(tài)模型(回歸模型)動(dòng)態(tài)模型(自回歸模型)1/4/202351回歸模型表述(1/1)1回歸模型表述12/26/2021回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型在數(shù)理統(tǒng)計(jì)中參數(shù)估計(jì)所討論的模型可用如下回歸式表示y(k)=T(k-1)+w(k)(1)其中y(k)為過程輸出,(k)為n維觀測(cè)數(shù)據(jù)向量,為n維回歸參數(shù)向量,w(k)為統(tǒng)計(jì)噪聲或誤差.對(duì)回歸模型(1),其參數(shù)估計(jì)問題是:基于已知的觀測(cè)數(shù)據(jù)向量(k)在回歸誤差平方最小的意義下求解回歸參數(shù)向量.1/4/202361回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型12/261回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計(jì)中,回歸式(1)表示的是靜態(tài)系統(tǒng),即過程輸出y(k)與過去的觀測(cè)數(shù)據(jù)向量(i-1)和統(tǒng)計(jì)噪聲w(i)無直接時(shí)間上的邏輯(因果)關(guān)系,i<k.對(duì)靜態(tài)回歸系統(tǒng)(1)的統(tǒng)計(jì)回歸問題,一般有如下假定:(1)觀測(cè)數(shù)據(jù)向量(k)中各分量可直接測(cè)量或根據(jù)測(cè)量推算得之;(2)噪聲w(k)為零均值噪聲,且與觀測(cè)數(shù)據(jù)向量(k-1)完全統(tǒng)計(jì)獨(dú)立.下面先回顧一個(gè)數(shù)理統(tǒng)計(jì)中常見的回歸問題.1/4/202371回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計(jì)中,回歸式(11回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過程其反應(yīng)產(chǎn)生的某成分的單位產(chǎn)生速率y與n個(gè)參加反應(yīng)的化學(xué)物質(zhì)的濃度xi有關(guān).若該關(guān)系可用線性關(guān)系建模,則可得如下回歸關(guān)系描述y=a1x1+a2x2+…+anxn=T其中ai為回歸系數(shù),描述回歸因素xi與回歸量y的相關(guān)系數(shù);=[x1x2…xn]T

=[a1a2…an]T某化工(熱工)過程對(duì)例1,只要將實(shí)驗(yàn)中采集的多組實(shí)驗(yàn)數(shù)據(jù),利用下面討論的LS法,即可回歸出相關(guān)系數(shù)ai.1/4/202381回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過1回歸模型表述—?jiǎng)討B(tài)模型(1/7)B.動(dòng)態(tài)模型20世紀(jì)中期,LS法引入到系統(tǒng)和控制科學(xué)中動(dòng)態(tài)系統(tǒng)建模的系統(tǒng)辨識(shí)和參數(shù)估計(jì)中.對(duì)實(shí)際的被控對(duì)象，在其工作點(diǎn)附近，其動(dòng)力學(xué)模型可用線性動(dòng)態(tài)模型描述。1/4/202391回歸模型表述—?jiǎng)討B(tài)模型(1/7)B.動(dòng)態(tài)模型12/261回歸模型表述—?jiǎng)討B(tài)模型(2/7)如下圖所示的直流電機(jī)，其電氣主回路的電阻與電感、機(jī)械轉(zhuǎn)動(dòng)系統(tǒng)在一定工作范圍內(nèi)都可用線性動(dòng)靜態(tài)模型描述。1/4/2023101回歸模型表述—?jiǎng)討B(tài)模型(2/7)如下圖所示的直流電機(jī)，其1回歸模型表述—?jiǎng)討B(tài)模型(3/7)因此，在動(dòng)態(tài)系統(tǒng)辨識(shí)中,所討論的系統(tǒng)中較典型的如下述定常單輸入單輸出(SISO)線性系統(tǒng)的數(shù)學(xué)模型(亦稱為受控XAR模型)A(z-1)y(k)=B(z-1)u(k)+w(k)(2)其中y(k),u(k)和w(k)分別為系統(tǒng)輸出,輸入和隨機(jī)擾動(dòng);1/4/2023111回歸模型表述—?jiǎng)討B(tài)模型(3/7)因此，在動(dòng)態(tài)系統(tǒng)辨識(shí)中,1回歸模型表述—?jiǎng)討B(tài)模型(4/7)上述的定常SISO線性系統(tǒng)的數(shù)學(xué)模型也可表示成如下的自回歸方程式y(tǒng)(k)=T(k-1)+w(k)(3)式中在動(dòng)態(tài)系統(tǒng)的辨識(shí)中,所討論的問題是如何利用已知的或檢測(cè)到的系統(tǒng)(2)的輸入輸出數(shù)據(jù),確定多項(xiàng)式A(z-1)和B(z-1)的未知系數(shù),即自回歸方程(3)中的回歸參數(shù)向量.1/4/2023121回歸模型表述—?jiǎng)討B(tài)模型(4/7)上述的定常SISO線性系1回歸模型表述—?jiǎng)討B(tài)模型(5/7)對(duì)動(dòng)態(tài)系統(tǒng)(2)的辨識(shí)問題,先明確如下一些基本假設(shè)和基本關(guān)系.(1)假定模型(2)的階次或階次的上界na和nb已知;(2)系統(tǒng)輸入輸出數(shù)據(jù)u(k)和y(k)可直接測(cè)量或可根據(jù)其它直接測(cè)量量推算得之;(3)噪聲w(k)為零均值噪聲,且與系統(tǒng)輸入u(k-1)統(tǒng)計(jì)獨(dú)立.1/4/2023131回歸模型表述—?jiǎng)討B(tài)模型(5/7)對(duì)動(dòng)態(tài)系統(tǒng)(2)的辨識(shí)問1回歸模型表述—?jiǎng)討B(tài)模型(6/7)由前面所定義的回歸方程(1)和自回歸方程(3)可知,靜態(tài)系統(tǒng)辨識(shí)和動(dòng)態(tài)系統(tǒng)辨識(shí)的共同之處為其辨識(shí)模型都可歸納為一統(tǒng)一的回歸方程.兩者不同之處在于,動(dòng)態(tài)系統(tǒng)自回歸方程的觀測(cè)數(shù)據(jù)向量(k-1)中包含有以往時(shí)刻的系統(tǒng)輸出y(k-1),...,y(k-na).這樣,就使得在上述關(guān)于u(k-1)與w(k)統(tǒng)計(jì)獨(dú)立的假定并不能保證觀測(cè)數(shù)據(jù)向量(i)與噪聲w(j),對(duì)任意的i和j都統(tǒng)計(jì)獨(dú)立.因此,靜態(tài)系統(tǒng)和動(dòng)態(tài)系統(tǒng)的參數(shù)估計(jì)問題既有共性又有不同之處.1/4/2023141回歸模型表述—?jiǎng)討B(tài)模型(6/7)由前面所定義的回歸方程(1回歸模型表述—?jiǎng)討B(tài)模型(7/7)對(duì)前面給出的回歸方程式(1)和(3),當(dāng)在k=1,2,...,L,已知系統(tǒng)(1)或(3)的觀測(cè)數(shù)據(jù)向量(k-1)時(shí),回歸方程式(1)和(3)又可寫成如下統(tǒng)一的向量式回歸方程YL=L+WL(4)式中YL=[y(1),y(2),...,y(L)]TWL=[w(1),w(2),...,w(L)]TL=[(0),(1),...,(L-1)]T,L×(na+nb)1/4/2023151回歸模型表述—?jiǎng)討B(tài)模型(7/7)對(duì)前面給出的回歸方程式(2基本算法(1/14)2基本算法對(duì)統(tǒng)一的回歸方程式,下面討論LS參數(shù)估計(jì)方法,然后再分別給出其不同的參數(shù)估計(jì)值的統(tǒng)計(jì)特性分析.LS法最早用于方程求解,數(shù)據(jù)擬合和數(shù)理統(tǒng)計(jì)中.所謂最小二乘(LeastSquare),即指其追求在方程求解、擬合和建模中的誤差平方和最小.二乘即為平方的意思.對(duì)系統(tǒng)辨識(shí)問題,即為系統(tǒng)辨識(shí)定義三要素中的等價(jià)準(zhǔn)則(函數(shù))為模型的辨識(shí)誤差的平方和最小.1/4/2023162基本算法(1/14)2基本算法12/26/2022162基本算法(2/14)LS法的思想是由已知的觀測(cè)數(shù)據(jù)對(duì)如下準(zhǔn)則函數(shù)求取最優(yōu)解而獲得未知參數(shù)q的估計(jì)值式中l(wèi)k>0為加權(quán)因子;LL=diag{l1,l2,...,lL}為加權(quán)矩陣.(5)1/4/2023172基本算法(2/14)LS法的思想是由已知的觀測(cè)數(shù)據(jù)對(duì)如下2基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測(cè)數(shù)據(jù)的可信度和噪聲w(k)的分布對(duì)估計(jì)值有較大影響,從而利用對(duì)觀測(cè)數(shù)據(jù)加權(quán)而減消其對(duì)LS估計(jì)的影響.若有理由認(rèn)為某步的觀測(cè)數(shù)據(jù)可靠和重要性程度高,可將該步的加權(quán)因子相對(duì)取得大一些.1/4/2023182基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測(cè)數(shù)據(jù)的2基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)求極值來推導(dǎo)LS法.由于對(duì)準(zhǔn)則函數(shù)求極值涉及對(duì)向量變量的偏導(dǎo),下面先給出對(duì)向量變量的導(dǎo)數(shù)公式:標(biāo)量f對(duì)n維向量x的導(dǎo)數(shù)f/x=[f/x1

f/x2…f/xn]Tm維向量y對(duì)n維向量x的導(dǎo)數(shù)1/4/2023192基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)2基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基于上述向量對(duì)向量的導(dǎo)數(shù),有1/4/2023202基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基2基本算法(6/14)內(nèi)積對(duì)向量的導(dǎo)數(shù).由上述定義的向量和矩陣的導(dǎo)數(shù),有1/4/2023212基本算法(6/14)內(nèi)積對(duì)向量的導(dǎo)數(shù).由上述定義的向量2基本算法(7/14)加權(quán)內(nèi)積對(duì)向量的導(dǎo)數(shù).

由上述定義的內(nèi)積對(duì)的導(dǎo)數(shù),有基于上述矩陣、向量對(duì)向量的導(dǎo)數(shù)的定義,下面進(jìn)行對(duì)LS辨識(shí)的準(zhǔn)則函數(shù)進(jìn)行求極小化.1/4/2023222基本算法(7/14)加權(quán)內(nèi)積對(duì)向量的導(dǎo)數(shù).由上述定義的2基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小的未知變量向量q應(yīng)滿足其對(duì)q的偏導(dǎo)為零的函數(shù)最優(yōu)化的必要條件.根據(jù)上述向量導(dǎo)數(shù),因此有1/4/2023232基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為求解上述正則方程.當(dāng)LTLL可逆時(shí),即信號(hào)充分豐富時(shí),則可求得q的如下加權(quán)LS估計(jì)上面討論的是極小值的必要條件，其充分條件為：即指標(biāo)函數(shù)的2階偏導(dǎo)矩陣為正定（偏導(dǎo)大于零）。1/4/202324這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為2基本算法(10/14)對(duì)指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正定矩陣,故只要LTLL可逆即為正定矩陣,即所以加權(quán)LS估計(jì)qWLS使得J(q)=min,即qWLS是LS指標(biāo)函數(shù)的唯一最優(yōu)解.1/4/2023252基本算法(10/14)對(duì)指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正2基本算法(11/14)因此,所謂LS估計(jì),即通過實(shí)驗(yàn)觀測(cè)數(shù)據(jù),構(gòu)造出系統(tǒng)輸出數(shù)據(jù)向量YL與觀測(cè)數(shù)據(jù)矩陣L,然后進(jìn)行如下矩陣數(shù)值計(jì)算加權(quán)LS估計(jì)解的特例當(dāng)加權(quán)矩陣LL取為單位矩陣I時(shí),則加權(quán)LS估計(jì)qWLS退化成如下一般LS估計(jì)1/4/2023262基本算法(11/14)因此,所謂LS估計(jì),即通過實(shí)驗(yàn)觀測(cè)2基本算法(13/14)對(duì)系統(tǒng)辨識(shí)問題,還存在一個(gè)可辨識(shí)性問題.當(dāng)給定輸入輸出數(shù)據(jù)時(shí),對(duì)假定的模型結(jié)構(gòu)是否能唯一地確定模型的參數(shù),這就是可辨識(shí)問題.在上述LS估計(jì)問題中,可辨識(shí)性即為基于參數(shù)模型的辨識(shí)問題歸結(jié)的模型參數(shù)的LS最優(yōu)化問題是否存在唯一解問題.可辨識(shí)性直接與系統(tǒng)的結(jié)構(gòu)、系統(tǒng)的輸入輸出信號(hào)的性質(zhì)相關(guān).與系統(tǒng)結(jié)構(gòu)的關(guān)系對(duì)輸入輸出模型,要求系統(tǒng)階次準(zhǔn)確已知,系統(tǒng)傳遞函數(shù)模型的分子分母互質(zhì).對(duì)狀態(tài)空間模型,要求系統(tǒng)能控并能觀.1/4/2023272基本算法(13/14)對(duì)系統(tǒng)辨識(shí)問題,還存在一個(gè)可辨識(shí)性2基本算法(14/14)與輸入信號(hào)的關(guān)系.要求過程的所有模態(tài)都必須被輸入信號(hào)“持續(xù)激勵(lì)”,即系統(tǒng)的輸入輸出信息“充分豐富”.此外系統(tǒng)的觀測(cè)數(shù)據(jù)矩陣L的各列線性無關(guān),輸入u(k)應(yīng)有充分的變化(其頻帶較寬),還要與輸出y(k)相對(duì)“獨(dú)立”.對(duì)輸出反饋閉環(huán)系統(tǒng),反饋環(huán)應(yīng)存在純滯后環(huán)節(jié).LS估計(jì)的可辨識(shí)條件為矩陣LTLL必須是非奇異的.常用的輸入信號(hào):隨機(jī)序列、偽隨機(jī)序列、頻帶較寬的離散序列.1/4/2023282基本算法(14/14)與輸入信號(hào)的關(guān)系.12/26/20最小二乘估計(jì)的統(tǒng)計(jì)特性1）無偏性對(duì)某一種估計(jì)算法，若其估計(jì)量的數(shù)學(xué)期望等于被估計(jì)量的真值，即：其中為參數(shù)的真值。則稱該估計(jì)為無偏的。否則稱為有偏估計(jì)。稱為偏差。

無偏估計(jì)的含義：同一個(gè)待辨識(shí)對(duì)象的不同組輸入輸出數(shù)據(jù)所得到的各估計(jì)量將圍繞參數(shù)的真值而上下擺動(dòng)。

對(duì)于最小二乘估計(jì)，若殘差序列{e(k)}是獨(dú)立的零均值白噪聲序列，則最小二乘估計(jì)是無偏的。1/4/202329最小二乘估計(jì)的統(tǒng)計(jì)特性其中為參數(shù)的真值。則稱該估計(jì)因?yàn)閮蛇吶?shù)學(xué)期望1/4/202330因?yàn)閮蛇吶?shù)學(xué)期望12/26/2022302）有效性方差：隨機(jī)變量與其均值的偏離程度的衡量。因此估計(jì)量的方差越小，則該估計(jì)量處于參數(shù)真值附近的概率就越大。設(shè)是關(guān)于的兩個(gè)無偏估計(jì)，若的方差小于的方差，則稱比有效。稱對(duì)參數(shù)的一個(gè)估計(jì)算法為有效的，若其它任一種算法所得到的估計(jì)量的方差都比該估計(jì)算法所得的估計(jì)量的方差要大。

對(duì)于最小二乘估計(jì)，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則方差陣為：1/4/202331是關(guān)于的兩個(gè)無偏估計(jì)，若如果無偏估計(jì)滿足Cov()=M-1，則稱估計(jì)為有效的。其中：稱為Fisher信息矩陣，其逆M-1稱為Crammer-Rao下界。在一般情況下，有Crammer-Rao不等式：Cov()=E{(-)(-)T}≥M-11/4/202332如果無偏估計(jì)滿足Cov()=M-1，則稱估計(jì)為有效的。其中：3）一致性檢驗(yàn)在待辨識(shí)對(duì)象的一次試驗(yàn)或觀察中的觀測(cè)次數(shù)(輸入輸出數(shù)據(jù)的個(gè)數(shù))N越多時(shí)，估計(jì)量是否越接近被估計(jì)量的參數(shù)真值。即若下式成立則稱估計(jì)量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時(shí)，若估計(jì)量以概率1收斂于真值，則稱這樣的估計(jì)為一致性估計(jì)。

對(duì)于最小二乘估計(jì)，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則它是一致性估計(jì)。這是因?yàn)椋?/p>

若u(k)是持續(xù)激勵(lì)的，則依概率1收斂于一個(gè)正定矩陣，并且由于方差是有界的，因此1/4/202333則稱估計(jì)量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時(shí)，若即：當(dāng)時(shí)以概率1收斂于真值。即：綜上所述，當(dāng)殘差為白噪聲時(shí)，最小二乘估計(jì)是無偏的，有效的和一致的。1/4/202334即：當(dāng)時(shí)以概率1收斂于真值4LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子為加深對(duì)LS辨識(shí)算法的理解,下面討論幾個(gè)LS辨識(shí)方法應(yīng)用的小例子.測(cè)電阻實(shí)驗(yàn)數(shù)據(jù)處理

線性曲線擬合

非線性曲線擬合

不相容方程組

1/4/2023354LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子12/4LS法的應(yīng)用例子--例2(1/6)A.測(cè)電阻實(shí)驗(yàn)數(shù)據(jù)處理例2某電路實(shí)驗(yàn)課,測(cè)得某電阻兩端的電壓和通過其間的電流分別為Vi和Ii,其中i為實(shí)驗(yàn)數(shù)據(jù)的組號(hào).試根據(jù)L組該實(shí)驗(yàn)數(shù)據(jù),推算電阻值R.解由電路理論,電阻的電流與電壓滿足如下歐姆定律V=RI(11)1/4/2023364LS法的應(yīng)用例子--例2(1/6)A.測(cè)電阻實(shí)驗(yàn)數(shù)據(jù)處基于上述歐姆定律,利用實(shí)驗(yàn)數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)系統(tǒng)辨識(shí)(回歸分析)問題.因此,將L組實(shí)驗(yàn)數(shù)據(jù)分別代入上述歐姆定律,則可得如下向量回歸方程YL=L(12)式中=[R];YL=[V1,V2,...,VL]TL=[I1,I2,...,IL]T因此,由上述LS辨識(shí)算法,有4LS法的應(yīng)用例子--例2(2/6)1/4/202337基于上述歐姆定律,利用實(shí)驗(yàn)數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)4LS法的應(yīng)用例子--例2(3/6)一般在進(jìn)行實(shí)驗(yàn)數(shù)據(jù)處理時(shí),推算電阻值R采用如下算術(shù)平均值可以證明,若將在實(shí)驗(yàn)中的所有擾動(dòng)和測(cè)量誤差都等效地綜合反映在方程(11)等式左邊的電壓上且可以用白噪聲w描述,即方程(11)可描述為V=RI+w則LS估計(jì)(13)的估計(jì)誤差的方差可能將遠(yuǎn)遠(yuǎn)小于算術(shù)平均值估計(jì)(14).這就是說,LS法比算術(shù)平均法提供更精確的估計(jì)值.上述結(jié)論可證明如下:1/4/2023384LS法的應(yīng)用例子--例2(3/6)一般在進(jìn)行實(shí)驗(yàn)數(shù)據(jù)處理設(shè)電壓測(cè)量值中包含有噪聲,即Vi=RIi+wi因此有4LS法的應(yīng)用例子--例2(4/6)而對(duì)一般算術(shù)平均值,有1/4/202339設(shè)電壓測(cè)量值中包含有噪聲,即4LS法的應(yīng)用例子--例2(4若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計(jì)獨(dú)立),則有E(RLS)=E(Raverage)=R即兩種方法得到的估計(jì)值都為期望值無偏的,但對(duì)估計(jì)值的方差,有4LS法的應(yīng)用例子--例2(5/6)1/4/202340若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計(jì)獨(dú)立),則有4可以證明,對(duì)任意的電流值4LS法的應(yīng)用例子--例2(6/6)即V(RLS)V(Raverage)故LS估計(jì)方法的估計(jì)值比算術(shù)平均方法的估計(jì)值在期望值一致的情況下,但估計(jì)值的方差更小,即更加準(zhǔn)確.n/(1/a1+1/a2+...+1/an)≤(a1a2...an)1/n≤(a1+a2+...+an)/n≤[(a12+a22+...+an2)/n]1/2調(diào)幾算方不等式1/4/202341可以證明,對(duì)任意的電流值4LS法的應(yīng)用例子--例2(6/64LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi12345yi44.5688.5wi21311例4對(duì)給定的實(shí)驗(yàn)數(shù)據(jù)點(diǎn)(yi,xi),試用自變量x的n階多項(xiàng)式函數(shù)進(jìn)行曲線擬合.對(duì)例4,可列出如下擬合式y(tǒng)=a0+a1x+a2x2+…+anxn=φT(k-1)其中ai為回歸系數(shù);φ=[1x

…xn]T;=[a0

a1…an]T1/4/2023424LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi只要將待擬合的數(shù)據(jù)點(diǎn)(yi,xi)代入上述擬合式,利用前面得到的LS估計(jì)式,即可回歸出相關(guān)系數(shù)ai.4LS法的應(yīng)用例子--例4(2/3)xi12345yi44.5688.5wi21311若待擬合的實(shí)驗(yàn)數(shù)據(jù)點(diǎn)(yi,xi)如上表所示,從數(shù)據(jù)坐標(biāo)圖(右圖)中看到各點(diǎn)在一條直線附近.1/4/202343只要將待擬合的數(shù)據(jù)點(diǎn)(yi,xi)代入上述擬合式,利用前面得故可選擇線性函數(shù)作擬合曲線,即令擬合函數(shù)為y=a0+a1x由加權(quán)LS估計(jì)式,可求得擬合函數(shù)為y=2.77+1.13x該擬合函數(shù)如圖所示.4LS法的應(yīng)用例子--例4(3/3)1/4/202344故可選擇線性函數(shù)作擬合曲線,即令擬合函數(shù)為4LS法的應(yīng)用例C.非線性曲線擬合上述針對(duì)線性模型回歸分析、系統(tǒng)辨識(shí)和曲線擬合中的LS法,還可以應(yīng)用于一些特殊的(即可通過模型變換為具有線性參數(shù))非線性模型的回歸分析、系統(tǒng)辨識(shí)和曲線擬合問題.例5在某化學(xué)反應(yīng)里,根據(jù)實(shí)驗(yàn)所得生成物的濃度與時(shí)間關(guān)系如下表,求濃度y與時(shí)間t的擬合曲線y=f(t)4LS法的應(yīng)用例子--例5(1/9)t12345678f4.006.408.008.809.229.509.709.86t910111213141516f10.0010.2010.3210.4210.5010.5510.5810.601/4/202345C.非線性曲線擬合4LS法的應(yīng)用例子--例5(1/9)t4LS法的應(yīng)用例子--例5(2/9)1/4/2023464LS法的應(yīng)用例子--例5(2/9)12/26/20224解

從數(shù)據(jù)坐標(biāo)圖,我們看到開始時(shí)濃度增加較快,后來逐漸減弱,到一定時(shí)間就基本穩(wěn)定在一個(gè)數(shù)上,即當(dāng)t時(shí),y趨于某個(gè)數(shù),故有一水平漸近線.另外,t=0時(shí),反應(yīng)未開始,濃度為0.根據(jù)這些特點(diǎn),可設(shè)想y=f(t)是雙曲線型,即y=t/(at+b).它與給定數(shù)據(jù)的規(guī)律大致符合.為了確定a、b,令y=1/y,x=1/t,于是可用x的線性函數(shù)y(x)=a+bx擬合數(shù)據(jù)(xi,yi)(i=1,…,16),xi,yi由原始數(shù)據(jù)(ti,yi)根據(jù)變換計(jì)算出來.4LS法的應(yīng)用例子--例5(3/9)1/4/202347解從數(shù)據(jù)坐標(biāo)圖,我們看到開始時(shí)濃度增加較快,后來逐漸減弱,由前面的LS估計(jì)式,解得a=0.0806621,b=0.1616822從而得到y(tǒng)1=t/(0.0806621t+0.1616822).由本例的數(shù)據(jù)坐標(biāo)圖可看出,符合給定數(shù)據(jù)的函數(shù)還可選為指數(shù)形式.此時(shí)可令擬合曲線形如y=aeb/t,顯然,當(dāng)t時(shí),ya,當(dāng)t0時(shí),若b<0,則y0,且t增加時(shí)y增加,與給出數(shù)據(jù)規(guī)律相同.為了確定a與b,對(duì)上式兩邊取對(duì)數(shù),得lny=lna+b/t4LS法的應(yīng)用例子--例5(4/9)1/4/202348由前面的LS估計(jì)式,解得4LS法的應(yīng)用例子--例5(4/9令y=lny,A=lna,x=1/t,于是由(ti,yi)計(jì)算出(xi,yi),擬合數(shù)據(jù)(xi,yi)(i=1,…,16)的曲線仍為y2(x)=A+bx.由前面的LS估計(jì)式,解得A=2.42704,b=-1.0567,從而求得y2=11.3253e-1.0567/t

所得到的2個(gè)擬合函數(shù)的效果如下圖所示.4LS法的應(yīng)用例子--例5(5/9)1/4/202349令4LS法的應(yīng)用例子--例5(5/9)12/26/20224LS法的應(yīng)用例子--例5(6/9)1/4/2023504LS法的應(yīng)用例子--例5(6/9)12/26/20225下面簡(jiǎn)單比較兩種非線性曲線擬合的效果.為此先定義在數(shù)據(jù)點(diǎn)上的擬合誤差4LS法的應(yīng)用例子--例5(7/9)本例經(jīng)過計(jì)算可得兩種擬合曲線的最大誤差點(diǎn)(擬合誤差的-范數(shù))分別為1/4/202351下面簡(jiǎn)單比較兩種非線性曲線擬合的效果.4LS法的應(yīng)用例子-4LS法的應(yīng)用例子--例5(8/9)而均方誤差(擬合誤差的2-范數(shù))分別為由此可知||(2)||2及||(2)||都比較小,所以用y=y2(t)作擬合曲線比較好,即對(duì)本例,指數(shù)模型就比雙曲線模型擬合程度要好得多.1/4/2023524LS法的應(yīng)用例子--例5(8/9)而均方誤差(擬合誤差的4LS法的應(yīng)用例子--例5(9/9)從本例看到選擇擬合曲線、回歸分析和系統(tǒng)辨識(shí)的數(shù)學(xué)模型,包括數(shù)學(xué)模型中的自變量因素的個(gè)數(shù)、非線性函數(shù)的形式(即辨識(shí)中的模型類)并不是一開始就能選得好,往往通過分析確定若干模型后,再經(jīng)過實(shí)際計(jì)算才能選到較好的模型.1/4/2023534LS法的應(yīng)用例子--例5(9/9)從本例看到選擇擬合曲線4LS法的應(yīng)用例子--例6(1/2)D.不相容方程組例6試求如下不相容(矛盾)方程組使方程組誤差LS意義解上式可列為如下向量回歸式1/4/2023544LS法的應(yīng)用例子--例6(1/2)D.不相容方程組上式4LS法的應(yīng)用例子--例6(2/2)根據(jù)前面討論的LS式,則有使上述不相容方程組的方程誤差LS意義的解為方程殘差為:1/4/2023554LS法的應(yīng)用例子--例6(2/2)根據(jù)前面討論的LS式,第三講LS法(1/4)最小二乘法最小二乘(LeastSquare,以下簡(jiǎn)稱LS)法是1795年高斯(Gauss)在星體運(yùn)動(dòng)預(yù)報(bào)研究工作中提出來的.1/4/202356第三講LS法(1/4)最小二乘法最小二乘(LeastSq第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)中有廣泛應(yīng)用,如:數(shù)學(xué)計(jì)算數(shù)學(xué)中的曲線擬合和函數(shù)逼近概率統(tǒng)計(jì)中的回歸分析與參數(shù)估計(jì)非相容(矛盾)方程解理論中的LS解系統(tǒng)與控制科學(xué)實(shí)驗(yàn)建模(系統(tǒng)辨識(shí))測(cè)量理論中的誤差分析……1/4/202357第三講LS法(2/4)LS法在數(shù)學(xué)各種分支以及其它應(yīng)用科學(xué)第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機(jī)離散系統(tǒng)辨識(shí)的參數(shù)估計(jì)方法是從數(shù)學(xué)中的概率統(tǒng)計(jì)理論發(fā)展而來的.只不過,系統(tǒng)辨識(shí)更關(guān)注的是動(dòng)態(tài)系統(tǒng)模型的參數(shù)估計(jì)問題.LS法是概率統(tǒng)計(jì)中參數(shù)估計(jì)的主要方法,也為系統(tǒng)與控制科學(xué)中系統(tǒng)辨識(shí)的主要參數(shù)估計(jì)方法.由于LS法原理簡(jiǎn)單,易于理解,與實(shí)際要求吻合,求解與應(yīng)用也并不困難,所以它頗受人們的重視,應(yīng)用相當(dāng)廣泛.1/4/202358第三講LS法(3/4)系統(tǒng)與控制科學(xué)中的隨機(jī)離散系統(tǒng)辨識(shí)的第三講LS法(4/4)本講主要講授:回歸模型表述LS法的基本原理和算法,LS估計(jì)的數(shù)值計(jì)算,LS法的應(yīng)用例子,及其LS估計(jì)值的統(tǒng)計(jì)特性分析.1/4/202359第三講LS法(4/4)本講主要講授:12/26/202241回歸模型表述(1/1)1回歸模型表述在討論LS算法之前,下面先討論在統(tǒng)計(jì)回歸與系統(tǒng)辨識(shí)中的回歸模型.靜態(tài)模型(回歸模型)動(dòng)態(tài)模型(自回歸模型)1/4/2023601回歸模型表述(1/1)1回歸模型表述12/26/2021回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型在數(shù)理統(tǒng)計(jì)中參數(shù)估計(jì)所討論的模型可用如下回歸式表示y(k)=T(k-1)+w(k)(1)其中y(k)為過程輸出,(k)為n維觀測(cè)數(shù)據(jù)向量,為n維回歸參數(shù)向量,w(k)為統(tǒng)計(jì)噪聲或誤差.對(duì)回歸模型(1),其參數(shù)估計(jì)問題是:基于已知的觀測(cè)數(shù)據(jù)向量(k)在回歸誤差平方最小的意義下求解回歸參數(shù)向量.1/4/2023611回歸模型表述—靜態(tài)模型(1/3)A.靜態(tài)模型12/261回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計(jì)中,回歸式(1)表示的是靜態(tài)系統(tǒng),即過程輸出y(k)與過去的觀測(cè)數(shù)據(jù)向量(i-1)和統(tǒng)計(jì)噪聲w(i)無直接時(shí)間上的邏輯(因果)關(guān)系,i<k.對(duì)靜態(tài)回歸系統(tǒng)(1)的統(tǒng)計(jì)回歸問題,一般有如下假定:(1)觀測(cè)數(shù)據(jù)向量(k)中各分量可直接測(cè)量或根據(jù)測(cè)量推算得之;(2)噪聲w(k)為零均值噪聲,且與觀測(cè)數(shù)據(jù)向量(k-1)完全統(tǒng)計(jì)獨(dú)立.下面先回顧一個(gè)數(shù)理統(tǒng)計(jì)中常見的回歸問題.1/4/2023621回歸模型表述—靜態(tài)模型(2/3)在數(shù)理統(tǒng)計(jì)中,回歸式(11回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過程其反應(yīng)產(chǎn)生的某成分的單位產(chǎn)生速率y與n個(gè)參加反應(yīng)的化學(xué)物質(zhì)的濃度xi有關(guān).若該關(guān)系可用線性關(guān)系建模,則可得如下回歸關(guān)系描述y=a1x1+a2x2+…+anxn=T其中ai為回歸系數(shù),描述回歸因素xi與回歸量y的相關(guān)系數(shù);=[x1x2…xn]T

=[a1a2…an]T某化工(熱工)過程對(duì)例1,只要將實(shí)驗(yàn)中采集的多組實(shí)驗(yàn)數(shù)據(jù),利用下面討論的LS法,即可回歸出相關(guān)系數(shù)ai.1/4/2023631回歸模型表述—靜態(tài)模型(3/3)—例1例1某化工反應(yīng)過1回歸模型表述—?jiǎng)討B(tài)模型(1/7)B.動(dòng)態(tài)模型20世紀(jì)中期,LS法引入到系統(tǒng)和控制科學(xué)中動(dòng)態(tài)系統(tǒng)建模的系統(tǒng)辨識(shí)和參數(shù)估計(jì)中.對(duì)實(shí)際的被控對(duì)象，在其工作點(diǎn)附近，其動(dòng)力學(xué)模型可用線性動(dòng)態(tài)模型描述。1/4/2023641回歸模型表述—?jiǎng)討B(tài)模型(1/7)B.動(dòng)態(tài)模型12/261回歸模型表述—?jiǎng)討B(tài)模型(2/7)如下圖所示的直流電機(jī)，其電氣主回路的電阻與電感、機(jī)械轉(zhuǎn)動(dòng)系統(tǒng)在一定工作范圍內(nèi)都可用線性動(dòng)靜態(tài)模型描述。1/4/2023651回歸模型表述—?jiǎng)討B(tài)模型(2/7)如下圖所示的直流電機(jī)，其1回歸模型表述—?jiǎng)討B(tài)模型(3/7)因此，在動(dòng)態(tài)系統(tǒng)辨識(shí)中,所討論的系統(tǒng)中較典型的如下述定常單輸入單輸出(SISO)線性系統(tǒng)的數(shù)學(xué)模型(亦稱為受控XAR模型)A(z-1)y(k)=B(z-1)u(k)+w(k)(2)其中y(k),u(k)和w(k)分別為系統(tǒng)輸出,輸入和隨機(jī)擾動(dòng);1/4/2023661回歸模型表述—?jiǎng)討B(tài)模型(3/7)因此，在動(dòng)態(tài)系統(tǒng)辨識(shí)中,1回歸模型表述—?jiǎng)討B(tài)模型(4/7)上述的定常SISO線性系統(tǒng)的數(shù)學(xué)模型也可表示成如下的自回歸方程式y(tǒng)(k)=T(k-1)+w(k)(3)式中在動(dòng)態(tài)系統(tǒng)的辨識(shí)中,所討論的問題是如何利用已知的或檢測(cè)到的系統(tǒng)(2)的輸入輸出數(shù)據(jù),確定多項(xiàng)式A(z-1)和B(z-1)的未知系數(shù),即自回歸方程(3)中的回歸參數(shù)向量.1/4/2023671回歸模型表述—?jiǎng)討B(tài)模型(4/7)上述的定常SISO線性系1回歸模型表述—?jiǎng)討B(tài)模型(5/7)對(duì)動(dòng)態(tài)系統(tǒng)(2)的辨識(shí)問題,先明確如下一些基本假設(shè)和基本關(guān)系.(1)假定模型(2)的階次或階次的上界na和nb已知;(2)系統(tǒng)輸入輸出數(shù)據(jù)u(k)和y(k)可直接測(cè)量或可根據(jù)其它直接測(cè)量量推算得之;(3)噪聲w(k)為零均值噪聲,且與系統(tǒng)輸入u(k-1)統(tǒng)計(jì)獨(dú)立.1/4/2023681回歸模型表述—?jiǎng)討B(tài)模型(5/7)對(duì)動(dòng)態(tài)系統(tǒng)(2)的辨識(shí)問1回歸模型表述—?jiǎng)討B(tài)模型(6/7)由前面所定義的回歸方程(1)和自回歸方程(3)可知,靜態(tài)系統(tǒng)辨識(shí)和動(dòng)態(tài)系統(tǒng)辨識(shí)的共同之處為其辨識(shí)模型都可歸納為一統(tǒng)一的回歸方程.兩者不同之處在于,動(dòng)態(tài)系統(tǒng)自回歸方程的觀測(cè)數(shù)據(jù)向量(k-1)中包含有以往時(shí)刻的系統(tǒng)輸出y(k-1),...,y(k-na).這樣,就使得在上述關(guān)于u(k-1)與w(k)統(tǒng)計(jì)獨(dú)立的假定并不能保證觀測(cè)數(shù)據(jù)向量(i)與噪聲w(j),對(duì)任意的i和j都統(tǒng)計(jì)獨(dú)立.因此,靜態(tài)系統(tǒng)和動(dòng)態(tài)系統(tǒng)的參數(shù)估計(jì)問題既有共性又有不同之處.1/4/2023691回歸模型表述—?jiǎng)討B(tài)模型(6/7)由前面所定義的回歸方程(1回歸模型表述—?jiǎng)討B(tài)模型(7/7)對(duì)前面給出的回歸方程式(1)和(3),當(dāng)在k=1,2,...,L,已知系統(tǒng)(1)或(3)的觀測(cè)數(shù)據(jù)向量(k-1)時(shí),回歸方程式(1)和(3)又可寫成如下統(tǒng)一的向量式回歸方程YL=L+WL(4)式中YL=[y(1),y(2),...,y(L)]TWL=[w(1),w(2),...,w(L)]TL=[(0),(1),...,(L-1)]T,L×(na+nb)1/4/2023701回歸模型表述—?jiǎng)討B(tài)模型(7/7)對(duì)前面給出的回歸方程式(2基本算法(1/14)2基本算法對(duì)統(tǒng)一的回歸方程式,下面討論LS參數(shù)估計(jì)方法,然后再分別給出其不同的參數(shù)估計(jì)值的統(tǒng)計(jì)特性分析.LS法最早用于方程求解,數(shù)據(jù)擬合和數(shù)理統(tǒng)計(jì)中.所謂最小二乘(LeastSquare),即指其追求在方程求解、擬合和建模中的誤差平方和最小.二乘即為平方的意思.對(duì)系統(tǒng)辨識(shí)問題,即為系統(tǒng)辨識(shí)定義三要素中的等價(jià)準(zhǔn)則(函數(shù))為模型的辨識(shí)誤差的平方和最小.1/4/2023712基本算法(1/14)2基本算法12/26/2022162基本算法(2/14)LS法的思想是由已知的觀測(cè)數(shù)據(jù)對(duì)如下準(zhǔn)則函數(shù)求取最優(yōu)解而獲得未知參數(shù)q的估計(jì)值式中l(wèi)k>0為加權(quán)因子;LL=diag{l1,l2,...,lL}為加權(quán)矩陣.(5)1/4/2023722基本算法(2/14)LS法的思想是由已知的觀測(cè)數(shù)據(jù)對(duì)如下2基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測(cè)數(shù)據(jù)的可信度和噪聲w(k)的分布對(duì)估計(jì)值有較大影響,從而利用對(duì)觀測(cè)數(shù)據(jù)加權(quán)而減消其對(duì)LS估計(jì)的影響.若有理由認(rèn)為某步的觀測(cè)數(shù)據(jù)可靠和重要性程度高,可將該步的加權(quán)因子相對(duì)取得大一些.1/4/2023732基本算法(3/14)引入加權(quán)因子的目的是考慮到觀測(cè)數(shù)據(jù)的2基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)求極值來推導(dǎo)LS法.由于對(duì)準(zhǔn)則函數(shù)求極值涉及對(duì)向量變量的偏導(dǎo),下面先給出對(duì)向量變量的導(dǎo)數(shù)公式:標(biāo)量f對(duì)n維向量x的導(dǎo)數(shù)f/x=[f/x1

f/x2…f/xn]Tm維向量y對(duì)n維向量x的導(dǎo)數(shù)1/4/2023742基本算法(4/14)下面討論由函數(shù)極值理論,根據(jù)準(zhǔn)則函數(shù)2基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基于上述向量對(duì)向量的導(dǎo)數(shù),有1/4/2023752基本算法(5/14)在不混淆的情況下,向量間導(dǎo)數(shù)又記為基2基本算法(6/14)內(nèi)積對(duì)向量的導(dǎo)數(shù).由上述定義的向量和矩陣的導(dǎo)數(shù),有1/4/2023762基本算法(6/14)內(nèi)積對(duì)向量的導(dǎo)數(shù).由上述定義的向量2基本算法(7/14)加權(quán)內(nèi)積對(duì)向量的導(dǎo)數(shù).

由上述定義的內(nèi)積對(duì)的導(dǎo)數(shù),有基于上述矩陣、向量對(duì)向量的導(dǎo)數(shù)的定義,下面進(jìn)行對(duì)LS辨識(shí)的準(zhǔn)則函數(shù)進(jìn)行求極小化.1/4/2023772基本算法(7/14)加權(quán)內(nèi)積對(duì)向量的導(dǎo)數(shù).由上述定義的2基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小的未知變量向量q應(yīng)滿足其對(duì)q的偏導(dǎo)為零的函數(shù)最優(yōu)化的必要條件.根據(jù)上述向量導(dǎo)數(shù),因此有1/4/2023782基本算法(8/14)由函數(shù)優(yōu)化理論知,使得準(zhǔn)則函數(shù)為最小這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為求解上述正則方程.當(dāng)LTLL可逆時(shí),即信號(hào)充分豐富時(shí),則可求得q的如下加權(quán)LS估計(jì)上面討論的是極小值的必要條件，其充分條件為：即指標(biāo)函數(shù)的2階偏導(dǎo)矩陣為正定（偏導(dǎo)大于零）。1/4/202379這就是加權(quán)LS公式2基本算法(9/14)即因此,LS解即為2基本算法(10/14)對(duì)指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正定矩陣,故只要LTLL可逆即為正定矩陣,即所以加權(quán)LS估計(jì)qWLS使得J(q)=min,即qWLS是LS指標(biāo)函數(shù)的唯一最優(yōu)解.1/4/2023802基本算法(10/14)對(duì)指標(biāo)函數(shù)求2階偏導(dǎo)，有因LL為正2基本算法(11/14)因此,所謂LS估計(jì),即通過實(shí)驗(yàn)觀測(cè)數(shù)據(jù),構(gòu)造出系統(tǒng)輸出數(shù)據(jù)向量YL與觀測(cè)數(shù)據(jù)矩陣L,然后進(jìn)行如下矩陣數(shù)值計(jì)算加權(quán)LS估計(jì)解的特例當(dāng)加權(quán)矩陣LL取為單位矩陣I時(shí),則加權(quán)LS估計(jì)qWLS退化成如下一般LS估計(jì)1/4/2023812基本算法(11/14)因此,所謂LS估計(jì),即通過實(shí)驗(yàn)觀測(cè)2基本算法(13/14)對(duì)系統(tǒng)辨識(shí)問題,還存在一個(gè)可辨識(shí)性問題.當(dāng)給定輸入輸出數(shù)據(jù)時(shí),對(duì)假定的模型結(jié)構(gòu)是否能唯一地確定模型的參數(shù),這就是可辨識(shí)問題.在上述LS估計(jì)問題中,可辨識(shí)性即為基于參數(shù)模型的辨識(shí)問題歸結(jié)的模型參數(shù)的LS最優(yōu)化問題是否存在唯一解問題.可辨識(shí)性直接與系統(tǒng)的結(jié)構(gòu)、系統(tǒng)的輸入輸出信號(hào)的性質(zhì)相關(guān).與系統(tǒng)結(jié)構(gòu)的關(guān)系對(duì)輸入輸出模型,要求系統(tǒng)階次準(zhǔn)確已知,系統(tǒng)傳遞函數(shù)模型的分子分母互質(zhì).對(duì)狀態(tài)空間模型,要求系統(tǒng)能控并能觀.1/4/2023822基本算法(13/14)對(duì)系統(tǒng)辨識(shí)問題,還存在一個(gè)可辨識(shí)性2基本算法(14/14)與輸入信號(hào)的關(guān)系.要求過程的所有模態(tài)都必須被輸入信號(hào)“持續(xù)激勵(lì)”,即系統(tǒng)的輸入輸出信息“充分豐富”.此外系統(tǒng)的觀測(cè)數(shù)據(jù)矩陣L的各列線性無關(guān),輸入u(k)應(yīng)有充分的變化(其頻帶較寬),還要與輸出y(k)相對(duì)“獨(dú)立”.對(duì)輸出反饋閉環(huán)系統(tǒng),反饋環(huán)應(yīng)存在純滯后環(huán)節(jié).LS估計(jì)的可辨識(shí)條件為矩陣LTLL必須是非奇異的.常用的輸入信號(hào):隨機(jī)序列、偽隨機(jī)序列、頻帶較寬的離散序列.1/4/2023832基本算法(14/14)與輸入信號(hào)的關(guān)系.12/26/20最小二乘估計(jì)的統(tǒng)計(jì)特性1）無偏性對(duì)某一種估計(jì)算法，若其估計(jì)量的數(shù)學(xué)期望等于被估計(jì)量的真值，即：其中為參數(shù)的真值。則稱該估計(jì)為無偏的。否則稱為有偏估計(jì)。稱為偏差。

無偏估計(jì)的含義：同一個(gè)待辨識(shí)對(duì)象的不同組輸入輸出數(shù)據(jù)所得到的各估計(jì)量將圍繞參數(shù)的真值而上下擺動(dòng)。

對(duì)于最小二乘估計(jì)，若殘差序列{e(k)}是獨(dú)立的零均值白噪聲序列，則最小二乘估計(jì)是無偏的。1/4/202384最小二乘估計(jì)的統(tǒng)計(jì)特性其中為參數(shù)的真值。則稱該估計(jì)因?yàn)閮蛇吶?shù)學(xué)期望1/4/202385因?yàn)閮蛇吶?shù)學(xué)期望12/26/2022302）有效性方差：隨機(jī)變量與其均值的偏離程度的衡量。因此估計(jì)量的方差越小，則該估計(jì)量處于參數(shù)真值附近的概率就越大。設(shè)是關(guān)于的兩個(gè)無偏估計(jì)，若的方差小于的方差，則稱比有效。稱對(duì)參數(shù)的一個(gè)估計(jì)算法為有效的，若其它任一種算法所得到的估計(jì)量的方差都比該估計(jì)算法所得的估計(jì)量的方差要大。

對(duì)于最小二乘估計(jì)，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則方差陣為：1/4/202386是關(guān)于的兩個(gè)無偏估計(jì)，若如果無偏估計(jì)滿足Cov()=M-1，則稱估計(jì)為有效的。其中：稱為Fisher信息矩陣，其逆M-1稱為Crammer-Rao下界。在一般情況下，有Crammer-Rao不等式：Cov()=E{(-)(-)T}≥M-11/4/202387如果無偏估計(jì)滿足Cov()=M-1，則稱估計(jì)為有效的。其中：3）一致性檢驗(yàn)在待辨識(shí)對(duì)象的一次試驗(yàn)或觀察中的觀測(cè)次數(shù)(輸入輸出數(shù)據(jù)的個(gè)數(shù))N越多時(shí)，估計(jì)量是否越接近被估計(jì)量的參數(shù)真值。即若下式成立則稱估計(jì)量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時(shí)，若估計(jì)量以概率1收斂于真值，則稱這樣的估計(jì)為一致性估計(jì)。

對(duì)于最小二乘估計(jì)，若殘差序列{e(k)}是同分布、零均值、方差為的白噪聲序列，則它是一致性估計(jì)。這是因?yàn)椋?/p>

若u(k)是持續(xù)激勵(lì)的，則依概率1收斂于一個(gè)正定矩陣，并且由于方差是有界的，因此1/4/202388則稱估計(jì)量有一致性。換句話說：當(dāng)樣本數(shù)N無限增大時(shí)，若即：當(dāng)時(shí)以概率1收斂于真值。即：綜上所述，當(dāng)殘差為白噪聲時(shí)，最小二乘估計(jì)是無偏的，有效的和一致的。1/4/202389即：當(dāng)時(shí)以概率1收斂于真值4LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子為加深對(duì)LS辨識(shí)算法的理解,下面討論幾個(gè)LS辨識(shí)方法應(yīng)用的小例子.測(cè)電阻實(shí)驗(yàn)數(shù)據(jù)處理

線性曲線擬合

非線性曲線擬合

不相容方程組

1/4/2023904LS法的應(yīng)用例子(1/1)3最小二乘法的應(yīng)用例子12/4LS法的應(yīng)用例子--例2(1/6)A.測(cè)電阻實(shí)驗(yàn)數(shù)據(jù)處理例2某電路實(shí)驗(yàn)課,測(cè)得某電阻兩端的電壓和通過其間的電流分別為Vi和Ii,其中i為實(shí)驗(yàn)數(shù)據(jù)的組號(hào).試根據(jù)L組該實(shí)驗(yàn)數(shù)據(jù),推算電阻值R.解由電路理論,電阻的電流與電壓滿足如下歐姆定律V=RI(11)1/4/2023914LS法的應(yīng)用例子--例2(1/6)A.測(cè)電阻實(shí)驗(yàn)數(shù)據(jù)處基于上述歐姆定律,利用實(shí)驗(yàn)數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)系統(tǒng)辨識(shí)(回歸分析)問題.因此,將L組實(shí)驗(yàn)數(shù)據(jù)分別代入上述歐姆定律,則可得如下向量回歸方程YL=L(12)式中=[R];YL=[V1,V2,...,VL]TL=[I1,I2,...,IL]T因此,由上述LS辨識(shí)算法,有4LS法的應(yīng)用例子--例2(2/6)1/4/202392基于上述歐姆定律,利用實(shí)驗(yàn)數(shù)據(jù)來推算電阻值的問題,可視為靜態(tài)4LS法的應(yīng)用例子--例2(3/6)一般在進(jìn)行實(shí)驗(yàn)數(shù)據(jù)處理時(shí),推算電阻值R采用如下算術(shù)平均值可以證明,若將在實(shí)驗(yàn)中的所有擾動(dòng)和測(cè)量誤差都等效地綜合反映在方程(11)等式左邊的電壓上且可以用白噪聲w描述,即方程(11)可描述為V=RI+w則LS估計(jì)(13)的估計(jì)誤差的方差可能將遠(yuǎn)遠(yuǎn)小于算術(shù)平均值估計(jì)(14).這就是說,LS法比算術(shù)平均法提供更精確的估計(jì)值.上述結(jié)論可證明如下:1/4/2023934LS法的應(yīng)用例子--例2(3/6)一般在進(jìn)行實(shí)驗(yàn)數(shù)據(jù)處理設(shè)電壓測(cè)量值中包含有噪聲,即Vi=RIi+wi因此有4LS法的應(yīng)用例子--例2(4/6)而對(duì)一般算術(shù)平均值,有1/4/202394設(shè)電壓測(cè)量值中包含有噪聲,即4LS法的應(yīng)用例子--例2(4若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計(jì)獨(dú)立),則有E(RLS)=E(Raverage)=R即兩種方法得到的估計(jì)值都為期望值無偏的,但對(duì)估計(jì)值的方差,有4LS法的應(yīng)用例子--例2(5/6)1/4/202395若噪聲wi為同分布的白噪聲(即wi與wj統(tǒng)計(jì)獨(dú)立),則有4可以證明,對(duì)任意的電流值4LS法的應(yīng)用例子--例2(6/6)即V(RLS)V(Raverage)故LS估計(jì)方法的估計(jì)值比算術(shù)平均方法的估計(jì)值在期望值一致的情況下,但估計(jì)值的方差更小,即更加準(zhǔn)確.n/(1/a1+1/a2+...+1/an)≤(a1a2...an)1/n≤(a1+a2+...+an)/n≤[(a12+a22+...+an2)/n]1/2調(diào)幾算方不等式1/4/202396可以證明,對(duì)任意的電流值4LS法的應(yīng)用例子--例2(6/64LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi12345yi44.5688.5wi21311例4對(duì)給定的實(shí)驗(yàn)數(shù)據(jù)點(diǎn)(yi,xi),試用自變量x的n階多項(xiàng)式函數(shù)進(jìn)行曲線擬合.對(duì)例4,可列出如下擬合式y(tǒng)=a0+a1x+a2x2+…+anxn=φT(k-1)其中ai為回歸系數(shù);φ=[1x

…xn]T;=[a0

a1…an]T1/4/2023974LS法的應(yīng)用例子--例4(1/3)B.線性曲線擬合xi只要將待擬合的數(shù)據(jù)點(diǎn)(yi,xi)代入上述擬合式,利用前面得到的LS估計(jì)式,即可回歸出相關(guān)系數(shù)ai.4LS法的應(yīng)用例子--例4(2/3)xi12345yi44.5688.5wi21311若待擬合的實(shí)驗(yàn)數(shù)據(jù)點(diǎn)(yi,xi)如上表所示,從數(shù)據(jù)坐標(biāo)圖(右圖)中看到各點(diǎn)在一條直線附近.1/4/202398只要將待擬合的數(shù)據(jù)點(diǎn)(yi,xi)代入上述擬合式,利用前面得故可選擇線性函數(shù)作擬合曲線,即令擬合函數(shù)為y=a0+a1x由加權(quán)LS估計(jì)式,可求得擬合函數(shù)為y=2.