基于cpso的svm參數(shù)優(yōu)化方法

基于cpso的svm參數(shù)優(yōu)化方法

1混合核的權(quán)系數(shù)尋優(yōu)支持向量機(jī)使用核函數(shù)技術(shù)將低維空間的數(shù)據(jù)映射到高維空間，并利用高維空間的線性方法解決低維空間的非線性問題。一個模型的很多特性都取決于核函數(shù)的類型?；旌虾撕瘮?shù)就是為了提高支持向量機(jī)模型的精度而提出來的一種新型的核函數(shù),它一般由一個高斯核和一個多項(xiàng)式核的線性組合而成,權(quán)系數(shù)的確定對混合核函數(shù)是否最優(yōu)起著關(guān)鍵作用,所以有必要對其進(jìn)行尋優(yōu)。而目前有關(guān)混合核支持向量機(jī)尋優(yōu)的文獻(xiàn)中都只對懲罰系數(shù)C和核參數(shù)σ進(jìn)行尋優(yōu),對混合核中的權(quán)系數(shù)一般只取經(jīng)驗(yàn)值,這樣的參數(shù)選取不是全局參數(shù)的最優(yōu)組合。在這種情況下,本文提出對混合核的所有參數(shù)進(jìn)行綜合尋優(yōu)的想法。而且實(shí)驗(yàn)表明這種綜合尋優(yōu)比只對{σ,C}進(jìn)行尋優(yōu)的普通尋優(yōu)效果要好。本文采用的尋優(yōu)方法是發(fā)展比較成熟的粒子群算法同混沌算法相結(jié)合的算法?；煦缢惴ㄊ切掳l(fā)展起來的智能優(yōu)化算法,具有很強(qiáng)的隨機(jī)性和遍歷性,能彌補(bǔ)粒子群算法中早熟收斂的不足。由于支持向量機(jī)模型的復(fù)雜性,采用一種精確的方法進(jìn)行優(yōu)化成為一種必然要求,因此本文采用混沌粒子群尋優(yōu)方法。2混合核的mercer模型將2個不同的核函數(shù)結(jié)合起來,使得混合后的核函數(shù)具有更適合建模問題的特性,這是混合核函數(shù)方法的基本思想。核函數(shù)的類型有許多,歸結(jié)起來,核函數(shù)有2種主要類型,即局部性核函數(shù)和全局性核函數(shù)。RBF核函數(shù)就是一個典型的局部性核函數(shù),它的表達(dá)式如下:k(x,xi)=exp[-‖x-xi‖2/(2σ2)](1)全局性核函數(shù)的一個典型代表是多項(xiàng)式核函數(shù),其表達(dá)式如下:k(x,xi)=(x·xi+1)d(2)核函數(shù)結(jié)合的方法有很多,但最終的混合核要滿足mercer條件。因?yàn)榫植啃院撕瘮?shù)學(xué)習(xí)能力強(qiáng)、泛化性能較弱,而全局性核函數(shù)泛化性能強(qiáng)、學(xué)習(xí)能力較弱,因此,考慮把具有局部特性的RBF核函數(shù)與具有全局特性的多項(xiàng)式核函數(shù)結(jié)合起來,構(gòu)造如下形式的混合核函數(shù):kmix=mkpoly+(1-m)kRBF(0≤m≤1)(3)式中,kpoly,kRBF分別為多項(xiàng)式核函數(shù)及RBF核函數(shù),本文kpoly中d=1;m為調(diào)節(jié)2種核函數(shù)對總的混合核函數(shù)影響的參數(shù),即權(quán)系數(shù)。顯然,當(dāng)m=0時,混合核函數(shù)退化為RBF核函數(shù);m=1時,混合核函數(shù)退化為多項(xiàng)式核函數(shù)。通過調(diào)節(jié)m,使混合核函數(shù)適應(yīng)不同的數(shù)據(jù)分布,等效于在核函數(shù)的選擇中,融入對具體問題的先驗(yàn)知識。這里需要確定最優(yōu)權(quán)系數(shù)m∈(0,1)。3混沌優(yōu)化算法目前,混沌算法和粒子群算法相結(jié)合的方法主要包括采用混沌系列初始化粒子的位置和速度,用對陷入局部極小點(diǎn)的粒子重新初始化。其中,混沌初始化算法只對個體粒子重新初始化,并沒改變粒子群的當(dāng)前結(jié)構(gòu),使粒子獲得持續(xù)搜索的能力,保持了粒子群運(yùn)算和結(jié)構(gòu)簡單的特點(diǎn),本文就采用這種改進(jìn)算法。這里采用經(jīng)典的Logistic方程來實(shí)現(xiàn)混沌序列:yi+1=λyi(1-yi)(4)式中,yi為(0,1)的隨機(jī)數(shù);λ一般取4,此時Logistic方程處于完全混沌的狀態(tài)。然后,通過下式:xij=aj+yij(bj-aj)(5)將其引入優(yōu)化空間,就是將混沌變量的值域擴(kuò)大到優(yōu)化變量的取值范圍上,其中,(aj,bj)為變量的取值范圍。混沌優(yōu)化的缺點(diǎn)是局部優(yōu)化效果不理想,可與一般的局部搜索算法相結(jié)合,吸取各自方法的優(yōu)點(diǎn)來改進(jìn)優(yōu)化算法。因此,可以將其引入到粒子群算法中,去求解優(yōu)化問題。利用混沌初始化后,粒子群通過迭代找到最優(yōu)解。在每一次迭代中,粒子通過跟蹤2個極值(個體極值pbest與全局極值gbest)來不斷更新自己在解空間的位置,從而找到問題的最優(yōu)解。隨著PSO優(yōu)化算法的不斷改進(jìn),現(xiàn)在常用的更新粒子速度與位置的公式如下:vid=wvid+c1r1(pbest-xid)+c2r2(gbest-xid)(6)xid=xid+vid(7)式中,d=1,2,…,n;i=1,2,…,m;n和m分別為搜索空間的維數(shù)和種群規(guī)模;xid表示混合核支持向量機(jī)參數(shù){C,σ,m}的當(dāng)前取值;v∈[-vmax,vmax]為粒子的速度,決定下一代{C,σ,m}的更新方向和大小;c1=c2=2;r1,r2為分布于(0,1)之間的隨機(jī)數(shù);ω為慣性權(quán)重。4實(shí)驗(yàn)結(jié)果的輸出混沌粒子群算法的結(jié)合是以混沌初始化為前提,得到混沌序列,然后再進(jìn)行粒子群尋優(yōu),是一個先后過程的結(jié)合。即先把PSO算法中xid(SVM中的{C,σ,m})及vid用混沌進(jìn)行初始化賦值,然后再用粒子群算法尋優(yōu)。算法具體步驟描述如下:1)混沌初始化算法①讀取樣本數(shù)據(jù),并對數(shù)據(jù)進(jìn)行必要的預(yù)處理。②隨機(jī)產(chǎn)生上的d個隨機(jī)數(shù)y11,y12,…,y1d,其中,d是xid的維數(shù)(實(shí)驗(yàn)中d取3,即要尋優(yōu)參數(shù)的個數(shù))。③以y1i(i=1,2,…,d)為初值,利用Logistic映射式(4)產(chǎn)生混沌序列y2i,y3i,…,yni(i=1,2,…,d),其中,n為種群中粒子個數(shù)(實(shí)驗(yàn)中n取20,即有20個{C,σ,m})。④將混沌序列用式(5)映射到對應(yīng)變量的取值區(qū)間,即把初始化后的{C,σ,m}映射到它們各個的取值范圍。⑤vid的混沌初始化方法同xid。2)更新粒子群算法①計(jì)算粒子群的適應(yīng)值,并記憶個體與群體所對應(yīng)的最佳適應(yīng)值pbest和gbest,實(shí)驗(yàn)中用k-flod交叉驗(yàn)證誤差值作為適應(yīng)值。②在由混沌算法得到{C,σ,m}及vid的初始值后,根據(jù)式(6)對粒子的速度進(jìn)行更新,利用式(7)更新粒子群眾粒子的位置,直到滿足最大迭代次數(shù)。③輸出運(yùn)行結(jié)果,程序結(jié)束。④利用處理后的樣本數(shù)據(jù)及尋優(yōu)到的最優(yōu){C,σ,m}對混合核支持向量機(jī)模型進(jìn)行訓(xùn)練。5混合核參數(shù)優(yōu)化方法用于雙酚a軟測量建模的仿真研究1原料回收單元的確定雙酚A(BPA)是重要的有機(jī)化工原料,是苯酚和丙酮的重要下游產(chǎn)品。主要用于生產(chǎn)多種高分子材料,如環(huán)氧樹脂(ER)、聚碳酸酯(PC)、酚醛不飽和樹脂、聚砜樹脂、聚醚酰亞胺、改性酚醛樹脂,還可用以生產(chǎn)PVC熱穩(wěn)定劑、橡膠防老劑、油漆和油墨抗氧劑和增塑劑等。而反應(yīng)生成的水是丙酮轉(zhuǎn)化成BPA的抑制劑,所以副產(chǎn)物水的分離在原料回收單元的精餾塔完成。根據(jù)工藝原理和操作人員的經(jīng)驗(yàn),選擇塔頂壓力、塔頂溫度、塔底溫度、進(jìn)料流量和回流流量作為軟測量建模的輔助變量。數(shù)據(jù)通過DCS系統(tǒng)采集,每天定時進(jìn)行一次水份含量的人工分析。匯總現(xiàn)場采集的數(shù)據(jù),共得建模數(shù)據(jù)58組。2混合核svm的優(yōu)化將采集到的58組數(shù)據(jù)經(jīng)過數(shù)據(jù)處理后,按間隔法得到訓(xùn)練數(shù)據(jù)為38組,測試數(shù)據(jù)為20組。以最小化5-fold交叉驗(yàn)證誤差為目標(biāo),利用混沌粒子群算法對RBF核參數(shù)σ、懲罰系數(shù)C以及權(quán)系數(shù)m進(jìn)行選優(yōu)。其中,混合核SVM采用ε=0.01的一次不敏感損失函數(shù);σ,C和m分別在(0,50),(0,500)和(0,1)內(nèi)混沌初始化;粒子群中vmax取100;w采用線性下降法;種群大小取20;最大迭代次數(shù)為1000次。經(jīng)混沌粒子群優(yōu)化算法尋優(yōu)后,混合核支持向量機(jī)的參數(shù)確定如下:σ=0.0255,C=450,m=0.65。當(dāng)m取文獻(xiàn)中的經(jīng)驗(yàn)值0.98時,尋優(yōu)后的參數(shù)為σ=0.035,C=300。2組參數(shù)下混合核SVM的訓(xùn)練和測試比較圖,分別如圖1,圖2所示。實(shí)驗(yàn)表明,對m的尋優(yōu)和僅憑經(jīng)驗(yàn)來確定它的值,模型的精度是不一樣的,前者泛化能力有所提升。由圖1,圖2可以看出,對m尋優(yōu)后的模型在擬合和泛化方面均比普通尋優(yōu)的要好。為了更直觀地比較這2種尋優(yōu)方法的優(yōu)劣,分別記錄2種方法下的泛化誤差,見表1。由表1可以看出,混合核尋優(yōu)后的SVM模型比普通尋優(yōu)