核函數(shù)方法及其在過程控制中的應(yīng)用研究Studiesonthe課件

核函數(shù)方法及其在過程控制中的應(yīng)用研究

Studiesonthekernel-basedmethodsanditsapplicationsinprocesscontrol

核函數(shù)方法及其在過程控制中的應(yīng)用核函數(shù)方法及其在過程控制中的應(yīng)用研究核函數(shù)方法及其在過程控1主要內(nèi)容KerneltrickKernel-basedmethodsKernelchemometricKernelPCA,KernelPCRKernelPLSKernelFisherDiscriminantSupportvectormachinesSupportvectorclassificationmachinesSupportvectorregressionmachinesApplications核函數(shù)方法及其在過程控制中的應(yīng)用主要內(nèi)容Kerneltrick核函數(shù)方法及其在過程控制中的2研究背景人類具有通過事例學(xué)習(xí)能力，并能舉一反三。因此，希望在對機(jī)器智能的研究中，也希望它具有該能力。傳統(tǒng)方法及其局限性統(tǒng)計學(xué)在解決機(jī)器學(xué)習(xí)的問題中取基礎(chǔ)作用傳統(tǒng)統(tǒng)計學(xué)研究的主要是漸近理論，即當(dāng)樣本趨向無窮多時的統(tǒng)計性質(zhì)Vapnik等人系統(tǒng)地研究了有限樣本情況下的機(jī)器學(xué)習(xí)問題，建立了統(tǒng)計學(xué)習(xí)理論（SLT）的基本體系。SVM在應(yīng)用研究中展示了良好的性能核函數(shù)方法及其在過程控制中的應(yīng)用研究背景人類具有通過事例學(xué)習(xí)能力，并能舉一反三。因此，希望在3由于工業(yè)過程的復(fù)雜性，（多變量、非線性、時變、分布參數(shù)、信息不完全、信息冗余等）?；谶^程機(jī)理的方法在應(yīng)用研究中遇到困難。過程控制借鑒了機(jī)器學(xué)習(xí)中的理論與方法，如ANN。取得了較豐富的成果。ANN的困境缺乏堅實的理論基礎(chǔ)解決復(fù)雜問題表現(xiàn)出的局限性過學(xué)習(xí)局部最小點模型結(jié)構(gòu)何參數(shù)確定依賴于經(jīng)驗對樣本容量與分布特性要求核函數(shù)方法及其在過程控制中的應(yīng)用由于工業(yè)過程的復(fù)雜性，（多變量、非線性、時變、分布參數(shù)、信息4SLT與SVMSLT系統(tǒng)地研究了小樣本情況下的機(jī)器學(xué)習(xí)問題。理論扎實SVM是基于SLT的通用機(jī)器學(xué)習(xí)方法SVM方法又促進(jìn)了核函數(shù)方法的應(yīng)用研究SVM與BPNN的比較，有一系列優(yōu)點現(xiàn)有的研究表明，SVM在模式識別等領(lǐng)域的應(yīng)用研究中，對于一些Benchmark問題，結(jié)果優(yōu)于ANN方法。SVM的特點，十分有利于處理過程控制中的復(fù)雜特性。核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM核函數(shù)方法及其在過程控制中的應(yīng)用5過程控制中廣泛存在多變量問題，數(shù)據(jù)量大，信息冗余。線性多元特征提取方法應(yīng)用較多。如基于PCA的過程狀態(tài)監(jiān)測與故障診斷。但很難提取非線性特性?；貧w方法，如PCR,PLS等在過程建模上應(yīng)用較多。它們本質(zhì)上仍然屬于線性方法。用核函數(shù)方法改造傳統(tǒng)線性Chemometric方法受到廣泛重視。核函數(shù)方法及其在過程控制中的應(yīng)用過程控制中廣泛存在多變量問題，數(shù)據(jù)量大，信息冗余。線性多元特6Kerneltrick根據(jù)模式識別理論，低維空間線性不可分的模式通過非線性映射到高維特征空間則可能實現(xiàn)線性可分，而且在高維特征空間中再提取特征信息也會更容易。如函數(shù)型連接網(wǎng)絡(luò)。圖2函數(shù)型連接網(wǎng)絡(luò)

核函數(shù)方法及其在過程控制中的應(yīng)用Kerneltrick根據(jù)模式識別理論，低維空間線性不可7實際上很難單純采用這種方法，因為存在如下幾個難點：

非線性函數(shù)形式的確定。特征空間維數(shù)的確定。高維特征空間進(jìn)行計算時的維數(shù)災(zāi)難。

核函數(shù)技術(shù)（kerneltricks）的基本思想是把非線性變換后的高維特征空間的內(nèi)積運算轉(zhuǎn)換為原始輸入空間中的核函數(shù)的計算，即通過來實現(xiàn)的。把采用kerneltricks的方法稱為核函數(shù)方法。

核函數(shù)方法及其在過程控制中的應(yīng)用實際上很難單純采用這種方法，因為存在如下幾個難點：非線性8核函數(shù)方法的特點：避免了直接在變換后的特征空間的運算，大大減小了計算量，避免了“維數(shù)災(zāi)難”。采用核函數(shù)后，沒有必要知道非線性變換函數(shù)的形式特征空間的維數(shù)甚至可以是無窮大。核函數(shù)的選擇也不困難，滿足Mercer條件的任意對稱函數(shù)都可作核函數(shù)。

核函數(shù)方法及其在過程控制中的應(yīng)用核函數(shù)方法的特點：核函數(shù)方法及其在過程控制中的應(yīng)用9圖3Kerneltricks示意圖

核函數(shù)方法及其在過程控制中的應(yīng)用圖3Kerneltricks示意圖核函數(shù)方法及其在過10高斯核函數(shù)

指數(shù)型核函數(shù)

多項式核函數(shù)

感知器核函數(shù)B樣條核函數(shù)常用核函數(shù)核函數(shù)方法及其在過程控制中的應(yīng)用高斯核函數(shù)

常用核函數(shù)核函數(shù)方法及其在過程控制中的11SLT與SVM的主要內(nèi)容統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和預(yù)測的理論，主要內(nèi)容包括四個方面

經(jīng)驗風(fēng)險最小化準(zhǔn)則下統(tǒng)計學(xué)習(xí)一致性的條件

在這些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論

在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則

實現(xiàn)新的準(zhǔn)則的實際方法(算法)SLT主要內(nèi)容核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和12SLT與SVM的主要內(nèi)容（續(xù)）VC維為了研究學(xué)習(xí)過程一致收斂的速度和推廣性，SLT定義了一系列有關(guān)函數(shù)集學(xué)習(xí)性能的指標(biāo)，VC維是最重要的。定義：對一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開，則稱函數(shù)集能夠把h個樣本打散。函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。

VC維反映了函數(shù)集的學(xué)習(xí)能力，VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大)目前尚沒有通用的關(guān)于任意函數(shù)集VC維計算的理論

核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）VC維核函數(shù)方法及其在過程控13SLT與SVM的主要內(nèi)容（續(xù)）推廣性的界

SLT系統(tǒng)地研究了對于各種類型的函數(shù)集，經(jīng)驗風(fēng)險和實際風(fēng)險之間的關(guān)系，即推廣性的界。對于兩類分類問題，根據(jù)統(tǒng)計學(xué)習(xí)理論，對指示函數(shù)集中的所有函數(shù)（包括使經(jīng)驗風(fēng)險最小的函數(shù)），經(jīng)驗風(fēng)險和實際風(fēng)險之間以至少1－η的概率滿足以下關(guān)系：這一結(jié)論從理論上說明了學(xué)習(xí)機(jī)器的實際風(fēng)險由兩部分組成：一是經(jīng)驗風(fēng)險（訓(xùn)練誤差），另一部分稱作置信范圍，它和學(xué)習(xí)機(jī)器的VC維及訓(xùn)練樣本數(shù)有關(guān)核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）推廣性的界核函數(shù)方法及其在過14SLT與SVM的主要內(nèi)容（續(xù)）

在有限訓(xùn)練樣本條件下，分類模型的VC維越高（復(fù)雜性越高）則置信范圍越大，導(dǎo)致真實風(fēng)險與經(jīng)驗風(fēng)險之間可能的差別越大，這就是出現(xiàn)過學(xué)習(xí)的原因。機(jī)器學(xué)習(xí)過程不但要使經(jīng)驗風(fēng)險最小，還要使VC維盡量小以縮小置信范圍，才能取得較小的實際風(fēng)險，即對未來樣本有較好的推廣性。核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）在有限訓(xùn)練樣本條件下，分類模15SLT與SVM的主要內(nèi)容（續(xù)）結(jié)構(gòu)風(fēng)險最小化

函數(shù)集子集VC維：

圖4結(jié)構(gòu)風(fēng)險最小化示意圖

核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）結(jié)構(gòu)風(fēng)險最小化函數(shù)集子集圖416SLT與SVM的主要內(nèi)容（續(xù)）實現(xiàn)SRM原則可以有兩種思路

在每個函數(shù)子集中求最小經(jīng)驗風(fēng)險，然后選擇使最小經(jīng)驗風(fēng)險和置信范圍之和最小的子集。當(dāng)子集數(shù)目很大甚至是無窮時不可行

設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風(fēng)險（如使訓(xùn)練誤差為0），然后只需選擇選擇適當(dāng)?shù)淖蛹怪眯欧秶钚?，則這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)就是最優(yōu)函數(shù)。SVM即采用這種思路傳統(tǒng)方法，如ANN，選擇模型和算法的過程即為調(diào)整置信范圍。當(dāng)確定后，再最小化經(jīng)驗風(fēng)險?？上鲜鲞x擇和調(diào)整無理論指導(dǎo)，依賴設(shè)計者經(jīng)驗。核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）實現(xiàn)SRM原則可以有兩種思路17SLT與SVM的主要內(nèi)容（續(xù)）SVM方法是從線性可分情況下的最優(yōu)分類面提出的

所謂最優(yōu)分類面，就是這樣的分類超平面，它不但能夠?qū)⑺杏?xùn)練樣本正確分類，而且使訓(xùn)練樣本中離分類面最近的點到分類面的距離(定義為間隔)最大

在線性不可分的情況下，通過非線性變換將輸入空間變換到一個高維特征空間。在新的特征空間中求取最優(yōu)線性分類面，而這個非線性變換是通過核函數(shù)實現(xiàn)的

支持向量是訓(xùn)練數(shù)據(jù)集合的子集SVM主要內(nèi)容核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）SVM方法是從線性可分情況下的18SLT與SVM的主要內(nèi)容（續(xù)）圖5最優(yōu)分類面

核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）圖5最優(yōu)分類面核函數(shù)方法19SLT與SVM的主要內(nèi)容（續(xù)）通過使間隔最大化來控制分類器的復(fù)雜度、進(jìn)而實現(xiàn)較好的推廣能力

正則化方法應(yīng)用kerneltricks應(yīng)用把優(yōu)化問題轉(zhuǎn)換為二次規(guī)劃問題，因此避免了局部最小化問題。用于模式識別的SVC推廣到實函數(shù)估計的SVR核函數(shù)方法及其在過程控制中的應(yīng)用SLT與SVM的主要內(nèi)容（續(xù)）通過使間隔最大化來控制分類器的20SVC簡介最優(yōu)超平面：

已知數(shù)據(jù)集：支持向量到最優(yōu)超平面的距離為假設(shè)數(shù)據(jù)集可以被一個超平面沒有錯誤地分開，則與兩類樣本點距離最大的分類超平面會獲得最佳的推廣能力。

求最優(yōu)超平面的問題轉(zhuǎn)化為如下最優(yōu)化問題：

按照最優(yōu)化理論中二次規(guī)劃的解法，可把該問題轉(zhuǎn)化為Wolfe對偶問題來求解。構(gòu)造Lagrange函數(shù)：核函數(shù)方法及其在過程控制中的應(yīng)用SVC簡介最優(yōu)超平面：已知數(shù)據(jù)集：支持向量到最優(yōu)超平面21其中是Lagrange乘子根據(jù)最優(yōu)化原理有：

即：

核函數(shù)方法及其在過程控制中的應(yīng)用其中是Lagrange乘子根據(jù)最優(yōu)化原理有：即：核22將兩式代回Lagrange函數(shù)中，消去w和b，經(jīng)運算得到原最優(yōu)化問題的Wolfe對偶問題：其解是原最優(yōu)化問題的整體最優(yōu)解。可采用優(yōu)化算法解出；參數(shù)b可根據(jù)Karush-Kuhn-Tucker條件求出：

最后求得得最優(yōu)超平面為：

需要注意的是只有支持向量所對應(yīng)的Lagrange乘子才不是0。核函數(shù)方法及其在過程控制中的應(yīng)用將兩式代回Lagrange函數(shù)中，消去w和b，經(jīng)運算得到原最23對于線性不可分的分類問題，可以將輸入x通過非線性函數(shù)映射到高維特征空間，在此空間再進(jìn)行線性分類。最終結(jié)果為，以核函數(shù)代替上式中的。即

顯然，在結(jié)構(gòu)上它等效于三層前向神經(jīng)網(wǎng)絡(luò)。核函數(shù)方法及其在過程控制中的應(yīng)用對于線性不可分的分類問題，可以將輸入x通過非線性函數(shù)24圖6SVM結(jié)構(gòu)示意圖

核函數(shù)方法及其在過程控制中的應(yīng)用圖6SVM結(jié)構(gòu)示意圖核函數(shù)方法及其在過程控制中的應(yīng)用25表1前饋神經(jīng)網(wǎng)絡(luò)與SVMs比較不同點前饋神經(jīng)網(wǎng)絡(luò)SVMs理論基礎(chǔ)（優(yōu)化原則）經(jīng)驗風(fēng)險最小化結(jié)構(gòu)風(fēng)險最小化對訓(xùn)練數(shù)據(jù)要求大樣本，數(shù)據(jù)質(zhì)量要較高小樣本，可處理稀疏數(shù)據(jù)模型結(jié)構(gòu)和參數(shù)確定先確定模型結(jié)構(gòu)，再確定模型參數(shù)，反復(fù)訓(xùn)練、試湊。經(jīng)驗影響較大結(jié)構(gòu)和參數(shù)可以通過訓(xùn)練由訓(xùn)練算法自動同時確定優(yōu)化的全局性可能陷入局部最小點全局優(yōu)化模型參數(shù)數(shù)量模型參數(shù)多模型參數(shù)較少模型推廣能力較差較好模型訓(xùn)練難易程度通常較難相對較容易計算復(fù)雜度取決于樣本輸入變量的維數(shù)和樣本維數(shù)與樣本輸入變量維數(shù)無關(guān)，取決于樣本維數(shù)核函數(shù)方法及其在過程控制中的應(yīng)用表1前饋神經(jīng)網(wǎng)絡(luò)與SVMs比較不同點前饋神經(jīng)網(wǎng)絡(luò)SVMs26設(shè)給定l個訓(xùn)練樣本，其中是n維輸入；是樣本輸出。非線性回歸就是找到一個非線性函數(shù)f，能夠逼近輸入和輸出之間的關(guān)系。采用與非線性分類支持向量機(jī)類似的方法，首先將輸入通過非線性函數(shù)映射到高維特征空間F，將非線性函數(shù)回歸問題轉(zhuǎn)化為高維空間的線性回歸。SVR簡介設(shè)所求逼近函數(shù)為：，其中h為高維特征空間維數(shù)，b為偏置量。由于是固定不變的，因此影響w的有經(jīng)驗風(fēng)險的總和以及使函數(shù)f在高維空間平滑的。因此有：

其中e(.)是損失函數(shù)，是正則化常數(shù)

核函數(shù)方法及其在過程控制中的應(yīng)用設(shè)給定l個訓(xùn)練樣本，其中27最小化便得到用數(shù)據(jù)點表示的w

其中和是最小化的解，綜上所述有：對不同的損失函數(shù)e(.)，式（19）的優(yōu)化問題有不同的形式。

常用的損失函數(shù)有Vapnik－不靈敏度損失函數(shù)，二次－不靈敏度損失函數(shù)Huber損失函數(shù)等。參數(shù)b可根據(jù)Karush-Kuhn-Tucker條件求出。

核函數(shù)方法及其在過程控制中的應(yīng)用最小化便得到用數(shù)據(jù)點表示的w其中和是28模型選擇

SVMs模型性能很大程度上取決于模型參數(shù)，SVMs模型選擇包括多個方面，正則化參數(shù)損失函數(shù)核的類型及核參數(shù)等核函數(shù)方法及其在過程控制中的應(yīng)用模型選擇SVM29KernelchemometricKernelPCA,KernelPCRKernelPLSKernelFisherDiscriminant（KFD）核函數(shù)方法及其在過程控制中的應(yīng)用KernelchemometricKernelPCA,30國內(nèi)外研究現(xiàn)狀研究主要集中在各種改進(jìn)型SVM，如LS-SVM,v-SVM,FuzzySVMSVM算法SVM應(yīng)用，特別是模式識別問題目前應(yīng)用領(lǐng)域與成果模式識別回歸估計數(shù)據(jù)挖掘工程應(yīng)用研究結(jié)果令人滿意核函數(shù)方法及其在過程控制中的應(yīng)用國內(nèi)外研究現(xiàn)狀研究主要集中在核函數(shù)方法及其在過程控制中的應(yīng)用31SVM算法SVMlight為代表的分解算法在線訓(xùn)練算法序貫分類算法SMO，適用于回歸和函數(shù)估計對多類分類問題，標(biāo)準(zhǔn)算法是對于n類問題構(gòu)造n個兩類分類器，第i個SVM用第i類中的訓(xùn)練樣本作為正的訓(xùn)練樣本，而將其它的樣本作為負(fù)的訓(xùn)練樣本，這種算法稱為“一對多”（oneagainstallmodel）。這樣需要構(gòu)造的SVM分類器的數(shù)目等于數(shù)據(jù)樣本的模式數(shù)目。這種方式的缺點是對每個分類器的要求較高。第二種是“一對一”（oneagainstonemodel）策略，即為了對n個類的訓(xùn)練樣本進(jìn)行兩兩區(qū)分，分別構(gòu)造n(n+1)/2個SVM分類器。在測試時，使用成對的SVM進(jìn)行鑒別比較，每一次淘汰一個SVM分類器，而優(yōu)勝者間繼續(xù)進(jìn)行競爭淘汰，直到最后僅剩一個優(yōu)勝者。該優(yōu)勝SVM分類器的輸出決定測試數(shù)據(jù)的類別。核函數(shù)方法及其在過程控制中的應(yīng)用SVM算法對32核函數(shù)方法及其在過程控制中的應(yīng)用核函數(shù)方法及其在過程控制中的應(yīng)用33我國研究現(xiàn)狀80年代末，邊肇祺等注意到該研究，但由于SVM還沒提出，研究較少90年代末，研究逐步增多，到2000以后，迅速增多，形成研究熱點2000年后，過程控制領(lǐng)域的應(yīng)用開始見諸報道軟測量系統(tǒng)辨識但多數(shù)是仿真研究，工業(yè)應(yīng)用研究報道較少。核函數(shù)方法及其在過程控制中的應(yīng)用我國研究現(xiàn)狀80年代末，邊肇祺等注意到該研究，但由于SVM還34本人工作介紹基于SVM和核函數(shù)方法的過程軟測量建模研究SVM軟測量建模PCA-SVM軟測量建模，KPCA-SVM軟測量建模核函數(shù)PCA、核函數(shù)PLS、核函數(shù)PCR等軟測量建?；赟OM-SVM的多模型軟測量建模基于SVM的故障診斷方法研究故障診斷是典型的小樣本問題，因此用SVM方法研究故障診斷問題是十分合適的SVM用于故障診斷：直接建立故障診斷模型用于殘差分析分別采用SVM分類中的“一對多”和“一對一”策略，將復(fù)雜故障診斷問題分解，研究其基于SVM的遞階故障診斷方法核函數(shù)方法及其在過程控制中的應(yīng)用本人工作介紹基于SVM和核函數(shù)方法的過程軟測量建模研究核函35本人工作介紹（續(xù)）基于SVM的動態(tài)建模方法研究研究適合于動態(tài)建模的核函數(shù)及參數(shù)選擇策略提出SVM-PLS混合模型建模方法，并用于復(fù)雜工業(yè)過程動態(tài)建模基于SVM的數(shù)據(jù)挖掘方法及其在過程控制中的應(yīng)用研究基于SVM的數(shù)據(jù)挖掘方法在過程優(yōu)化中的應(yīng)用基于SVM的數(shù)據(jù)挖掘方法在狀態(tài)監(jiān)測中的應(yīng)用核函數(shù)PCA等