系統(tǒng)辨識(shí)課件：第4章 數(shù)學(xué)模型的最小二乘法辨識(shí)

1、1 最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過(guò)最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。最小二乘法是用最簡(jiǎn)的方法求得一些絕對(duì)不可知的真值，而令誤差平方之和為最小。最小二乘法通常用于曲線擬合。很多其它的優(yōu)化問(wèn)題也可通過(guò)用最小二乘形式表達(dá)。 最小二乘法是一種比較古老的數(shù)學(xué)優(yōu)化技術(shù)，早在18世紀(jì)由Guass首先創(chuàng)立并成功應(yīng)用于天文觀測(cè)和大地測(cè)量工程中。此后近三百年來(lái)，它已廣泛應(yīng)用于科學(xué)實(shí)驗(yàn)與工程技術(shù)中。 最小二乘法是為了解決如何從一組測(cè)量值中尋求可信賴值的問(wèn)題。最小二乘法的基本原理是：成對(duì)等精度地測(cè)得一組數(shù)據(jù)xi，yi (i=1，2，n)，試找出一條最佳的擬合曲線，使得這條擬合曲線上的各點(diǎn)的值與測(cè)量值

2、的差的平方和在所有擬合曲線中最小。第4章 數(shù)學(xué)模型的最小二乘法辨識(shí) 24.1 最小二乘法辨識(shí)的基本思想 系統(tǒng)辨識(shí)的方法很多，其中最重要、最常用的方法是最小二乘法。 最小二乘法的基本思想是使系統(tǒng)實(shí)際輸出與估計(jì)輸出（帶有估計(jì)參數(shù)的系統(tǒng)的輸出）的偏差（殘差）的平方和最小。在這個(gè)原則下，通過(guò)殘差平方和關(guān)于估計(jì)參數(shù)向量的偏導(dǎo)數(shù)等于零這一方法來(lái)最終求得估計(jì)參數(shù)向量。3 設(shè)單輸入-單輸出線性定常系統(tǒng)的差分方程為 （2.81） 式中： 為輸入信號(hào)； 為理論上的輸出值。 4.2 最小二乘標(biāo)準(zhǔn)式 4 只有通過(guò)觀測(cè)才能得到，在觀測(cè)過(guò)程中往往附加有隨機(jī)干擾。 的觀測(cè)值 可表示為 （2.82） 式中 為隨機(jī)干擾。由式（

3、2.82）得 （2.83） 5將式（2.83）代入（2.81）得 （2.84） 我們可能不知道 的統(tǒng)計(jì)特性，在這種情況下，往往把 看作均值為0的白噪聲 6設(shè) （2.85） 則式（2.84）可寫成 （2.86） 7在測(cè)量 時(shí)也有測(cè)量誤差，系統(tǒng)內(nèi)部也可能有噪聲，應(yīng)當(dāng)考慮它們的影響。 因此假定 不僅包含了 的測(cè)量誤差，而且還包含了 的測(cè)量誤差和系統(tǒng)內(nèi)部噪聲。假定 是不相關(guān)隨機(jī)序列（實(shí)際上 是相關(guān)隨機(jī)序列）。 8現(xiàn)分別測(cè)出n+N個(gè)輸出輸入值，則可寫出N個(gè)方程，即9上述N個(gè)方程可寫成向量-矩陣形式 （2.87） 10設(shè) 則式（2.87）可寫為 （2.88） N維輸出向量2n+1維參數(shù)向量N維噪聲向量N(

4、2n+1)維測(cè)量矩陣11式中：y為N維輸出向量； 為N為噪聲向量； 為（2n+1）維參數(shù)向量； 為 測(cè)量矩陣。因此式（2.88）是一個(gè)含有（2n+1）個(gè)未知參數(shù)，由N個(gè)方程組成的聯(lián)立方程組。如果N(2n+1)， 即方程數(shù)目大于未知數(shù)數(shù)目。在這種情況下，不能用解方程的辦法來(lái)求 ，而要采用數(shù)理統(tǒng)計(jì)的辦法，以便減小噪聲對(duì)估值的影響。 在給定輸出向量y和測(cè)量矩陣 的條件下求系統(tǒng)參數(shù) 的估值，這就是系統(tǒng)辨識(shí)問(wèn)題。可用最小二乘法或極大似然法來(lái)求 的估值，在這里討論最小二乘法估計(jì)。 134.3 最小二乘辨識(shí)算法 設(shè) 表示 的最優(yōu)估值， 表示y的最優(yōu)估值，則有 （2.91） 式中 14寫出式（2.91）的某一

5、行，則有 （2.92） 15設(shè) 表示 與 之差，即 16（2.93） 式中 稱為殘差。 17 把 分別代入式（2.93）可得殘差 ， ， 。 設(shè) 則有 （2.94） 18 最小二乘估計(jì)要求殘差的平方和為最小，即按照指標(biāo)函數(shù) （2.95） 為最小來(lái)確定估值 。求J對(duì) 的偏導(dǎo)數(shù)并令其等于0可得 （2.96） （2.97） 19可得 的最小二乘估計(jì) （2.98） J為極小值的充分條件是 （2.99） 即矩陣 為正定矩陣，或者說(shuō)矩陣 是非奇異的。 下面舉例說(shuō)明最小二乘法的計(jì)算過(guò)程。20例4.1已知某一單輸入單輸出線性系統(tǒng)的差分方程形式為但其參數(shù) ， ， 為未知數(shù)，且 為不相關(guān)的隨機(jī)序列。經(jīng)過(guò)辨識(shí)試驗(yàn)，

6、測(cè)得5組輸入輸出數(shù)據(jù)為21試求出其最優(yōu)參數(shù)估計(jì)。22解 令最優(yōu)參數(shù)估計(jì)為 ， 令輸出 的最優(yōu)估計(jì)為 。 測(cè)量矩陣為 23該矩陣的轉(zhuǎn)置為 兩者之積為 24的特征值為 ， ， 。 由于它的特征值均為正數(shù)， 所以 為正定矩陣， 滿足殘差二次型 取最小的充分條件， 其中 。25矩陣 的逆為 于是26最后求得 即最優(yōu)參數(shù)估計(jì)為 274.4 最小二乘辨識(shí)中的輸入信號(hào)問(wèn)題 當(dāng)矩陣 的逆陣存在時(shí)，式（2.98）才有解。一般地，如果 是隨機(jī)序列或偽隨機(jī)二位式序列，則矩陣 是非奇異的，即 存在，式（2.98）有解?，F(xiàn)在從矩陣 必須是正定的這一要求出發(fā)，來(lái)討論對(duì) 的要求。在這里為了方便起見(jiàn)，假定 是均值為0的隨機(jī)過(guò)

7、程。 可以推出矩陣 為正定的必要條件是： 為持續(xù)激勵(lì)信號(hào)。（推導(dǎo)過(guò)程略） 隨機(jī)序列或偽隨機(jī)二位式序列都可以作為測(cè)試信號(hào) 。 284.5 最小二乘估計(jì)的概率性質(zhì) 如果(k)是不相關(guān)隨機(jī)數(shù)序列，且均值為0。1） 無(wú)偏性 2）一致性3） 漸進(jìn)正態(tài)性輔助變量法、廣義最小二乘法 如果是均值為0且服從正太分的白噪聲向量，則最小二乘參數(shù)估計(jì)值服從正態(tài)分布。29N維輸出向量2n+1維參數(shù)向量N維噪聲向量N(2n+1)維測(cè)量矩陣總結(jié)：為正定矩陣30（2.141） 上式中矩陣 的階數(shù)越大，所包含的信息量就越多，系統(tǒng)參數(shù)估計(jì)的精度就越高。為了獲得滿意的辨識(shí)結(jié)果，矩陣 的階數(shù)常常取得相當(dāng)大。這樣，在用式（2.142）

8、計(jì)算系統(tǒng)參數(shù)的估計(jì)值 時(shí)，矩陣求逆的計(jì)算量很大。本節(jié)介紹一種算法來(lái)代替矩陣求逆，在不降低辨識(shí)精度的前提下，可以使辨識(shí)速度有較大提高。具體算法如下。 系統(tǒng)的最小二乘辨識(shí)結(jié)果為 （2.142） 4.6 一種不需矩陣求逆的最小二乘法 31 設(shè)系統(tǒng)的微分方程模型為 （2.143） 令 （2.144） （2.145） 32則式（2.143）可以寫為 （2.146） 取 33首先設(shè)系統(tǒng)的階次為0，則有則有系統(tǒng)的最小二乘辨識(shí)結(jié)果為 34則 和 均為常數(shù)，即 （2.147） 35由式（2.147）可得 （2.148） 設(shè) （2.149） 36若系統(tǒng)階次為n時(shí)已經(jīng)求出 ，則系統(tǒng)階次數(shù)為n+1時(shí)有 （2.150）

9、 式中 （2.151） 37式中： 為列向量； 為一標(biāo)量。 由分塊矩陣求逆公式可得（2.152） 38式中 則 這時(shí)，仿照上述方法容易求出 39(2.153)40 這樣，就可以按照式（2.142）辨識(shí)出階次為n+1時(shí)系統(tǒng)的參數(shù)。由于這一過(guò)程只涉及矩陣相乘和矩陣與向量相乘等運(yùn)算，所以計(jì)算量較小，而矩陣求逆的精度不變。所以說(shuō)，本節(jié)算法在不損失辨識(shí)精度的前提下提高了辨識(shí)速度，這一算法尤其適用于階次未知情況下的系統(tǒng)辨識(shí)。 41 為了實(shí)現(xiàn)實(shí)時(shí)控制，必須采用遞推算法，這種辨識(shí)方法主要用于在線辨識(shí)。 另外，某些自適應(yīng)控制方法，比如自校正控制方法也要用到遞推最小二乘法。其基本原理是一邊辨識(shí)一邊控制，循環(huán)遞推。

10、4.7 遞推最小二乘法分析 遞推最小二乘算法是動(dòng)態(tài)系統(tǒng)實(shí)時(shí)辨識(shí)中使用得最多的。對(duì)其算法進(jìn)行深入研究具有較大的實(shí)用意義。42圖4.1 動(dòng)態(tài)系統(tǒng)遞推最小二乘在線辨識(shí)過(guò)程原理圖43這里忽略其推導(dǎo)過(guò)程，直接給出公式。 首先將式（2.88）改記為其中44如果再獲得一對(duì)新的觀測(cè)值 ，則有下面的遞推公式45（2.154）（2.155）（2.156）遞推最小二乘算法46其中為標(biāo)量，它表示在已測(cè)得的基礎(chǔ)上又多測(cè)得一個(gè)輸出 。另外表示在 的最后一行再補(bǔ)充一行，所以其列數(shù)與 的列數(shù)相等，均為2n+1列。47（1）設(shè) 為N的初始值，則可算出初值 （2）假定 ，c是充分大的常數(shù)， I為 單位矩陣 遞推之后能得到較好的參數(shù)估計(jì)。 ，則經(jīng)過(guò)若干次為了進(jìn)行遞推計(jì)算，需要給出 和 的初值 和 ，有兩種給出初值的辦法。 48（2.154）（2.155）（2.156）其中的公式（2.155）所表達(dá)的 可以理解為遞推最小二乘增益系數(shù)。公式（2.155）不具有遞推性。公式（2.154）和（2.156）具有遞推性。注釋494.6.1 遞推最小二乘法舉例例2.2已知某一單輸入單輸出線性系統(tǒng)的差分方程形式但其參數(shù)