最小二乘法辨識

系統(tǒng)辨識與自適應(yīng)控制最小二乘法辨識2012年五月系統(tǒng)辨識法(黑箱法)根據(jù)“輸入、輸出數(shù)據(jù)”獲取“系統(tǒng)”的數(shù)學(xué)模型。只考慮系統(tǒng)的輸入、輸出特性，不強調(diào)系統(tǒng)的內(nèi)部機理。辨識方法可以分為兩類：非參數(shù)模型辨識方法參數(shù)模型辨識方法用來進行系統(tǒng)參數(shù)辨識的最小二乘法，是一種經(jīng)典的數(shù)據(jù)處理方法，最早的應(yīng)用可追溯到18世紀(jì)，高斯為了提高天體運動觀測的準(zhǔn)確性，提出了最小二乘法。最小二乘的最早思想：未知量的最大可能的值是這樣一個數(shù)值，它是實際觀測值和計算值的差值的平方和達到最小的數(shù)值?；镜淖钚《斯烙嫿鉀Q問題：在模型階次n已知的情況下，根據(jù)系統(tǒng)的輸入輸出數(shù)據(jù)，估計出系統(tǒng)差分方程的各項系數(shù)。x(k)為理論輸出值，y(k)為實際觀測值n(k)為觀測噪聲。則有：1.基于輸入/輸出數(shù)據(jù)的系統(tǒng)模型描述

SISO系統(tǒng)的差分方程為將x(k)代入上式，可得輸入輸出數(shù)據(jù)方程為：則當(dāng)前輸出為：設(shè)觀測數(shù)據(jù)有(n+N)個，令k分別等于n+1,···,n+N,則有：若N=(2n+1)且ξ=0，則上式中的φ陣為(2n+1)×(2n+1)的方陣。由此，可解得θ的唯一解為：而在實際工程中，ξ肯定不等于0，且N>>(2n+1)，即方程個數(shù)遠大于未知數(shù)，故而上述θ的解不成立。當(dāng)前任務(wù)：在存在噪聲ξ和數(shù)據(jù)長度N>>(2n+1)的情況下，如何進行參數(shù)θ的估計?；镜淖钚《朔?LS)辨識準(zhǔn)則：殘差平方和最小。(1)殘差e為模型的計算值，即(2)指標(biāo)函數(shù)J最小二乘法辨識就是使J最小的參數(shù)估計方法。下面我們推導(dǎo)θ估計值的計算方法。J取得最小值，也即J為極值，則有：其中,為(2n+1)×(2n+1)的方陣。若其逆陣存在，則：上式即為最小二乘法的參數(shù)估計結(jié)果。最小二乘估計的概率性質(zhì)最小二乘估計的概率性質(zhì)：估計的無偏性；估計的一致性；估計的無偏性無偏性估計的定義：若，則稱是參數(shù)θ的無偏估計。下面討論無偏估計的條件。LS無偏估計的充要條件為：下面討論無偏估計的充分條件。y(k)只與ξ(k),ξ(k-1),ξ(k-2)···相關(guān)，而與ξ(k+1),ξ(k+2),ξ(k+3)···不相關(guān)?？疾槌湟獥l件若{ξ(k)}為零均值不相關(guān)隨機序列，且與{u(k)}無關(guān)。則由上式可知，ΦT與ξ不相關(guān)。則有：可見，在上述條件下我們得到了參數(shù)θ的無偏估計。{ξ(k)}為零均值不相關(guān)隨機序列，且與{u(k)}無關(guān)。LS無偏估計的充分條件為：(2)一致性估計一致性估計的定義：若，則稱是參數(shù)θ的一致性估計。若參數(shù)估計值以概率1收斂于真值θ，則稱估計值具有一致性?；虿捎孟率龆x：式中，為估計誤差的方差。下面討論一致性估計的充分條件。估計誤差的方差為：一致性估計的充分條件為：同樣，假設(shè){ξ(k)}為零均值不相關(guān)隨機序列，