基于主成分分析和BP神經(jīng)網(wǎng)絡(luò)的氣體識別方法研究

1、基于主成分分析和BP神經(jīng)網(wǎng)絡(luò)的氣體識別方法研究魏廣芬,唐禎安,余雋(大連理工大學傳感技術(shù)研究所,遼寧大連116023摘要:本文將主成分分析法與B P算法相結(jié)合應(yīng)用于氣體傳感器陣列信號的處理,并以一個由4個SnO2氣體傳感器組成的陣列為例,對其受到不同濃度的汽車、酒精二元氣體的響應(yīng)信號進行了分析.結(jié)果表明,主成分分析能夠在保留測試數(shù)據(jù)最大量信息的前提下,給數(shù)據(jù)有效降維和預分類,以消除樣本間的相關(guān)性,然后,再將所產(chǎn)生的新的樣本空間作為B P 網(wǎng)絡(luò)的輸入,使之減少網(wǎng)絡(luò)的輸入數(shù),簡化網(wǎng)絡(luò)結(jié)構(gòu),并在保持相同正確率的前提下,大大提高網(wǎng)絡(luò)的學習速率.關(guān)鍵詞:氣體傳感器陣列,主成分分析(PCA,B P神經(jīng)網(wǎng)絡(luò)

2、1引言自從Zarom b和Stetter1提出采用靈敏度部分重疊的氣體傳感器陣列解決氣體傳感器的交叉敏和低選擇性問題以來,人們對氣體傳感器陣列的信號處理技術(shù)研究表現(xiàn)了極大興趣.先后研究了變換最小方差法(TL S2、局部模型構(gòu)造法(PM B3、主成分分析法(PCA4等傳統(tǒng)模式識別方法,以及誤差反向傳播神經(jīng)網(wǎng)絡(luò)(B P5、自適應(yīng)共振神經(jīng)網(wǎng)絡(luò)(A R T6、自組織特征映射神經(jīng)網(wǎng)絡(luò)(SO FM7等人工神經(jīng)網(wǎng)絡(luò)方法,在氣體傳感器陣列信號處理中的應(yīng)用.B P網(wǎng)絡(luò)是一種基于誤差反向傳播算法的神經(jīng)網(wǎng)絡(luò),在氣體傳感器陣列信號處理中使用非常廣泛8,但B P網(wǎng)絡(luò)的訓練速率和識別正確率受訓練樣本的選取、樣本間的相關(guān)性

3、和網(wǎng)絡(luò)結(jié)構(gòu)的影響很大9.主成分分析(P rinci p al Com ponen t A nalysis,PCA是一種數(shù)據(jù)壓縮和特征提取的多變量統(tǒng)計分析技術(shù),能夠有效去除數(shù)據(jù)間的相關(guān)性.因此,本文將PCA和B P網(wǎng)絡(luò)結(jié)合起來,首先采用主成分分析法對現(xiàn)有的樣本空間進行某種正交組合變換產(chǎn)生新的學習樣本空間,使得新的學習樣本空間維數(shù)低、分量間相關(guān)性小,并對氣體模式進行預分類,然后將新的學習樣本空間作為B P網(wǎng)絡(luò)的輸入,實現(xiàn)氣體的濃度識別.2識別算法的基本原理2.1主成分分析法主成分分析,是在基本保持原變量信息不變的前提下,通過原變量的少數(shù)幾個線性組合2001年12月傳感技術(shù)學報第4期來稿日期:200

4、1204225基金項目:國家自然科學基金重大項目二級課題(59995550-5和S863項目的資助來代替原變量并揭示原變量之間關(guān)系的一種數(shù)學分析方法.設(shè)使用一個由p 個不同選擇性的氣體傳感器組成的陣列共測試了n 組數(shù)據(jù),R ij 表示第j 個傳感器在第i 次測試時的電阻值,純凈空氣中電阻值記為R 0=(R 01,R 02,R 0p ,為消除氣體傳感器自身漂移的影響,一般采用傳感器電阻值的相對變化x ij =R ij -R 0j 組成樣本數(shù)據(jù)集X =(x ij n ×p .若記X 的協(xié)方差陣為2,2的p 個特征值為12p 0,相應(yīng)的標準正交化特征向量為V =(l 1,l 2,l p ,

5、那么數(shù)學上已經(jīng)證明X 的第i 主成分為y i =l T i X ,其方差為D Y i =i (i =1,2,p .所以求X 的主成分就轉(zhuǎn)化為求X 的協(xié)方差陣的特征值和對應(yīng)的單位正交特征向量.為了衡量各主成分的貢獻,定義i pj =1j 為主成分y i 的貢獻率,pi =1i pj =1j 為主成分y i ,y 2,y k的累計貢獻率,其中k 為選取的主成分的個數(shù).累計貢獻率越大,丟失的數(shù)據(jù)信息就越少,但后續(xù)處理計算量大,所以通常k 的取值范圍以使累計貢獻率在7080為宜10,11.在實際應(yīng)用中,取樣本(x ij n ×p 的均值x -=(x 1-,x 2-,x p -、樣本協(xié)方差陣S

6、 =(s ij n ×p 和相關(guān)系數(shù)矩陣R (r ij p ×p 為樣本總體的數(shù)學期望、協(xié)方差陣和相關(guān)系數(shù)矩陣的估計量,其計算公式分別為x j -=1nni =1xijs ij =1n -1nk =1(x k i -x i -(x k j -x j -r ij =s ij s iis j j其中:i ,j =1,2,p ,當i =j 時,s ij =2ii =1n -12nk -1(x k i -x i -2,r ii =1.樣本主成分一般是隨著度量單位而變化的,當變量的度量單位不同或單位相同但變化范圍彼此差異很大時,應(yīng)當考慮變量標準化10.標準化方法很多,本文采用標準差標

7、準化方法,即以x ij -x j-s j j代替x ij 進行計算,這樣標準化后的x ij 的協(xié)方差陣即為其相關(guān)系數(shù)矩陣.綜上所述,主成分分析法的主要計算步驟如下:(1原始數(shù)據(jù)樣本集(x ij n ×p 的標準化.(2建立相關(guān)系數(shù)矩陣R ,求R 的特征值和標準正交特征向量.借助矩陣分析手段,直接對樣本集(x ij n ×p 進行奇異值分解,可以得到(x ij n ×p 的奇異值和R 的標準正交特征向量V ,(x ij n ×p 的奇異值的平方就是R 的特征值.(3選取主成分,根據(jù)要求的累計貢獻率選取主成分.(4建立主成分方程,計算各主成分值.2.2B P

8、 網(wǎng)絡(luò)法B P 網(wǎng)絡(luò)的計算一般分為模式的前傳,期望輸出和實際輸出的誤差計算,誤差反向傳播和權(quán)值修正三個步驟.輸出神經(jīng)元的期望值一般為0,1(或-1,15,12,輸出神經(jīng)元的一種編碼組合就對應(yīng)一種氣體模式(不同濃度不同種類氣體的任一組合對應(yīng)一種氣體模式,若輸出神經(jīng)元數(shù)為N ,就對應(yīng)2N 種氣體模式.這樣做的優(yōu)點是輸出模式明確,缺點是當氣體模式很多時,訓練樣本、輸出神經(jīng)元數(shù)急劇增大,收斂困難.本文采用三層網(wǎng)絡(luò)結(jié)構(gòu),取Sig 2392第4期魏廣芬,唐禎安等:基于主成分分析和BP 神經(jīng)網(wǎng)絡(luò)的氣體識別方法研究m o id函數(shù)為神經(jīng)元非線性函數(shù),輸出層的神經(jīng)元數(shù)代表混合氣體的種類數(shù),期望輸出值為各氣體的濃

9、度值與所用的測試數(shù)據(jù)集中氣體濃度的最大值的比值(為了將其限制在01范圍內(nèi),與Sigm o id函數(shù)的值域?qū)?yīng),該最大值相當于我們所使用的傳感器的量程.這樣可以充分利用神經(jīng)網(wǎng)絡(luò)的非線性,輸出也不會僅僅限于幾種固定的模式,其檢測值更接近于實際情況.3實驗及識別結(jié)果本文分析的信號是一個氣體傳感器陣列對不同濃度的酒精、汽油以及酒精和汽油的混合氣體的響應(yīng).該傳感器陣列由4個SnO2旁熱式燒結(jié)型元件構(gòu)成,其中兩個對汽油的靈敏度高,另兩個對酒精的靈敏度高.原有數(shù)據(jù)共四組樣本79個12,從每組樣本中任選58個數(shù)據(jù)組成測試樣本集(27個,其余數(shù)據(jù)組成訓練樣本集(52個.3.1主成分分析結(jié)果我們用M A TLAB

10、語言編寫了PCA計算程序,通過計算得到樣本數(shù)據(jù)集相關(guān)系數(shù)矩陣R的特征值和相應(yīng)特征向量V,Y=XV即為變換后的新的樣本空間,R的特征值及所解釋的方差貢獻率見表1.從表1可知,選用第一、第二兩個主成分組成新的樣本集就能夠代表原始數(shù)據(jù)所能提供的信息的98.68%.使用第一、第二主成分作為橫縱坐標值,作出氣體模式分類圖(見圖1,圖2.l1l2l3l4 V=表1R的特征值及所解釋的方差貢獻率主成分特征值方差貢獻率累計方差貢獻率12.27357.93%57.93%21.59940.75%98.68%30.0461.18%99.86%40.0060.14%100%由圖1可以看出,主成分分析法將各種氣體模式分

11、成了汽油、酒粗、汽油與酒精的混合氣體三類,類間離散度非常大,沒有類重合現(xiàn)象.圖2是一次測量的一組數(shù)據(jù)(共18種氣體模式的PCA分類圖,各點的濃度值標識于圖中.結(jié)合圖1和圖2可以看出氣體濃度與PCA1,PCA2之間的關(guān)系:PCA1體現(xiàn)了氣體濃度的高低,隨著PCA1值的增加,氣體濃度也逐漸增加:PCA2體現(xiàn)了氣體的分類情況,PCA2>0時汽油占多數(shù),PCA2<0時酒精占多數(shù),并且純汽油和純酒精的濃度與PCA1、PCA2呈一定的線性關(guān)系.對此的解釋為:PCA1 =Xl1,而l1的各分量大小相當,并且都為正,表明PCA1的四個傳感器響應(yīng)的總體反映,實際上傳感器對氣體的響應(yīng)是隨著氣體濃度增加

12、而增大的,故PCA1應(yīng)當體現(xiàn)氣體濃度的高低;PCA2=Xl2,l2前兩分量為負,后兩分量為正,表明前兩個傳感器對酒精的選擇性高,后兩個傳感器對汽油的選擇性高,與該傳感器陣列構(gòu)成相符,故PCA2體現(xiàn)的是氣體的分類情況.由此可以看出,使用主成分分析法可以分析氣體傳感器的選擇性,便于合理設(shè)計氣體傳感器陣列.492傳感技術(shù)學報2001年 圖1 使用主成分分析法得到的氣體模式分類圖圖218種氣體模式的分類圖3.2使用B P 網(wǎng)絡(luò)進行濃度識別本文對由PCA 方法分成的汽油純氣體、酒精純氣體、汽油與酒精的混合氣體三類分別建立三個結(jié)構(gòu)相同的簡化的B P 網(wǎng)絡(luò)(結(jié)構(gòu)為2,4,2型,訓練時采用分段變化的學習步長(

13、從0.4變化到0.05,慣性量系數(shù)取為0.7,使用52種氣體模式的第一、第二主分量作為訓練樣本,其余27個作為測試樣本.網(wǎng)絡(luò)的總誤差能量值0.0005.當網(wǎng)絡(luò)識別的氣體濃度值與實際濃度值的差即殘差的絕對值都<50×10-6時,認為識別正確.網(wǎng)絡(luò)訓練和測試情況見表2.綜合三個網(wǎng)絡(luò),總迭代次數(shù)為543000,訓練樣本的識別正確率為76.92%,測試樣本的識別正確率為62.96%.直接使用原始數(shù)據(jù)建立的B P 神經(jīng)網(wǎng)絡(luò)(結(jié)構(gòu)為4,8,2型,當誤差能量函數(shù)值也為0.0005時總訓練迭代次數(shù)為2724000,訓練正確率為80.77%,測試正確率為66.67%.顯然,經(jīng)過PCA 預處理后,

14、網(wǎng)絡(luò)的收斂速度比未經(jīng)PCA 處理時要快得多,而其識別正確率卻基本與未處理時持平,繼續(xù)降低誤差能量值,識別正確率將會提高很多.592第4期魏廣芬,唐禎安等:基于主成分分析和BP 神經(jīng)網(wǎng)絡(luò)的氣體識別方法研究表2BP 網(wǎng)絡(luò)的訓練和測試結(jié)果BP 網(wǎng)絡(luò)訓練測試樣本數(shù)識別正確數(shù)識別正確率 %樣本數(shù)識別正確數(shù)識別正確率 %訓練迭代次數(shù)綜合訓練識別正確率 %綜合測試 識別正確率 %217114132000圖3和圖4分別是通過上述方法采用B P 網(wǎng)絡(luò)識別的氣體濃度與實際氣體濃度的比較原因有傳感器的漂移以及溫度、濕度等外界因素對氣體傳感器的影響以及B P 網(wǎng)絡(luò)訓練的總誤差能量不夠小,B P 網(wǎng)絡(luò)的非線性函數(shù)與氣體

15、傳感器的非線性響應(yīng)之間的相似性比較差等.降低B P 網(wǎng)絡(luò)訓練時的總誤差能量,采用與氣體傳感器非線性響應(yīng)相似性較高的非線性函數(shù)作為B P 網(wǎng)絡(luò)的神經(jīng)元非線性函數(shù),并且將傳感器的漂移、溫度和濕度的變化也納入主成分分析中,識別誤差將會大大減少,限于篇幅,本文不討論這些問題.圖3識別濃度與實際濃度的散點圖比較4結(jié)論本文將主成分分析法和B P 神經(jīng)網(wǎng)絡(luò)方法相結(jié)合,對一組測試數(shù)據(jù)進行了預分類和濃度識別.結(jié)果表明,主成分分析法能夠在保留數(shù)據(jù)最大量信息的前提下,對數(shù)據(jù)進行維數(shù)壓縮和有效預分類,消除B P 網(wǎng)絡(luò)輸入間的相關(guān)性,減少網(wǎng)絡(luò)的輸入數(shù),簡化網(wǎng)絡(luò)結(jié)構(gòu),提高網(wǎng)絡(luò)學習速率,使用B P 神經(jīng)網(wǎng)絡(luò)能夠?qū)怏w的濃度

16、進行識別.692傳感技術(shù)學報2001年第 4 期魏廣芬, 唐禎安等: 基于主成分分析和 BP 神經(jīng)網(wǎng)絡(luò)的氣體識別方法研究 297 圖 4識別濃度與實際濃度的殘差散點圖 參考文獻 1 Za rom b S, Stetter J R. Sen so rs and A ctua to rsJ , D ec. 1984; 225 243 2 Ga llM , M u ller R. Sen so rs and A ctua to rsJ , 1989; 17: 583 586 3 Ho rner G, CHR H iero ld. Sen so rs and A ctua to rs B J , 19

17、90; 2: 173 184 4 Ga rdner J u lian W. Sen so rs and A ctua to rs B J , 1991; 4: 109 115 5 Hong H yung 2K i, Kw on Chu l H an, et a l Sen so rs and A ctua to rs B J , 2000; 66: 49 52 . 6 Shuk la K K, D a s R R , Dw ived i R. Sen so rs and A ctua to rs B J , 1998; 50: 194 203 7 曲建嶺, 高峰等 測控技術(shù) J , 2000;

18、 19 ( 3 : 6 8 . 8 焦伯恒, 戴國瑞等. 云南大學學報 ( 自然科學版 J . 1997; 19 ( 2 : 217 219 10 王學仁, 王松桂 實用多元統(tǒng)計分析 M . 上海科學技術(shù)出版社. 1990 . 11 Jo llife I T. P rincip a l Com ponen ts A na lysis Sp ringer2 erlag. 1986 . V 12 刁成鳳. 大連理工大學碩士學位論文 D . 1998. 3 9 徐秉諍, 張百靈, 韋崗 神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用 J . 華南理工大學出版社. 1994 . 2傳感技術(shù)學報2001 年 98 Study on

19、 Ga s Recogn it ion M ethod w ith Pr in c ipa l Com ponen t Ana lys is and Back- Propaga t ion Neura l Network W E I Guangf en , TA N G Z hen , YU J un an ( In stitu te fo r Sen so r T echno logy, D alian U n iversity of T echno logy, D alian, L iaon ing 116023 P. R. Ch ina w o rk w ere u sed fo r p

20、 rocessing signa ls of a ga s sen so r a rray con sisted of 4 SnO 2 ga s sen 2 . so rs T he respon ses of the a rray to ga so line, ethano l, and m ix tu re of ga so line and ethano l . w ere ana lyzed w ith the PCA and B P in series T he resu lt s show ed tha t PCA can g ive a hanced g rea t ly due to the num ber of the B P inp u t s is reduced. good cla ssi