神經(jīng)網(wǎng)絡模式識別

神經(jīng)網(wǎng)絡模式識別法2.1人工神經(jīng)網(wǎng)絡發(fā)展概況2.2神經(jīng)網(wǎng)絡基本概念2.3前饋神經(jīng)網(wǎng)絡2.4反饋網(wǎng)絡模型Hopfield網(wǎng)絡2.5基于神經(jīng)網(wǎng)絡的電子鼻識別技術第2章神經(jīng)網(wǎng)絡模式識別法2.1人工神經(jīng)網(wǎng)絡發(fā)展概況人工神經(jīng)網(wǎng)絡(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡。模擬人腦神經(jīng)細胞的工作特點：與目前按串行安排程序指令的計算機結構截然不同。*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應的學習能力等。優(yōu)點：

(1)較強的容錯性;(2)很強的自適應學習能力；(3)可將識別和若干預處理融為一體進行；(4)并行工作方式；(5)對信息采用分布式記憶，具有魯棒性。四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經(jīng)元的數(shù)學模型提出。第二階段：低潮期，始于1969年。《感知器》(Perceptions)一書出版，指出局限性。第三階段：復興期，從1982年到1986年。Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡模型；《并行分布處理》出版，提出反向傳播算法。第四個階段：1987年至今，趨于平穩(wěn)?；仡櫺跃C述文章“神經(jīng)網(wǎng)絡與人工智能”。2.2神經(jīng)網(wǎng)絡基本概念2.2.1生物神經(jīng)元1．生物神經(jīng)元的結構細胞體、樹突、軸突和突觸。2．生物神經(jīng)元的工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)的神經(jīng)元由樹突和細胞體接收傳來的興奮電位不應期產(chǎn)生輸出脈沖輸入興奮總量超過閾值神經(jīng)元被激發(fā)進入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元2.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡人工神經(jīng)元：生物神經(jīng)元的簡化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權值：兩個互連的神經(jīng)元之間相互作用的強弱。人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出)

互連強度作比較的閾值n維輸入向量X

輸出輸出函數(shù)神經(jīng)元的動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時：設，點積形式：式中，2.2.3神經(jīng)網(wǎng)絡的學習學習：

同一個訓練集的樣本輸入輸出模式反復作用于網(wǎng)絡，網(wǎng)絡按照一定的訓練規(guī)則自動調節(jié)神經(jīng)元之間的連接強度或拓撲結構，使實際輸出滿足期望的要求或者趨于穩(wěn)定。實質：1．Hebb學習規(guī)則典型的權值修正方法：Hebb學習規(guī)則、誤差修正學習

如果神經(jīng)網(wǎng)絡中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度應該加強。神經(jīng)網(wǎng)絡的最重要特征之一。wij(t+1)：修正一次后的某一權值；η：學習因子，表示學習速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經(jīng)元的狀態(tài)（輸出）。由有：

神經(jīng)元間的連接2.δ學習規(guī)則（3）更新權值，閾值可視為輸入恒為（－1）的一個權值；（1）選擇一組初始權值wij(1)；（2）計算某一輸入模式對應的實際輸出與期望輸出的誤差；式中，（4）返回(2)，直到對所有訓練模式網(wǎng)絡輸出均能滿足要求。dj，yj(t)：第j個神經(jīng)元的期望輸出與實際輸出；xi(t)：第j個神經(jīng)元的第i個輸入。神經(jīng)網(wǎng)絡的學習體現(xiàn)在：η：學習因子；權值變化；網(wǎng)絡結構變化。2.2.4神經(jīng)網(wǎng)絡的結構分類分層結構有明顯層次，信息流向由輸入層到輸出層。——前饋網(wǎng)絡

沒有明顯層次，任意兩個神經(jīng)元之間可達，具有輸出單元到隱層單元或輸入單元的反饋連接?！答伨W(wǎng)絡相互連接結構2.3前饋神經(jīng)網(wǎng)絡2.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器結構示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權值可調。結構特點：*輸出層神經(jīng)元個數(shù)等于類別數(shù)（兩類問題時輸出層為一個神經(jīng)元）。設輸入模式向量，，共M類。輸出層第j個神經(jīng)元對應第j個模式類，θj：第j個神經(jīng)元的閾值；wij：輸入模式第i個分量與輸出層第j個神經(jīng)元間的連接權。令。取

有輸出為

輸出單元對所有輸入數(shù)值加權求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。M類問題判決規(guī)則(神經(jīng)元的輸出函數(shù))為*正確判決的關鍵：輸出層每個神經(jīng)元必須有一組合適的權值。

*感知器采用監(jiān)督學習算法得到權值；*權值更新方法：δ學習規(guī)則。算法描述第一步：設置初始權值wij(1)，w(n+1)j(1)為第j個神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計算神經(jīng)元的實際輸出。設第k次輸入的模式向量為Xk，與第j個神經(jīng)元相連的權向量為第j個神經(jīng)元的實際輸出為第四步：修正權值。dj：第j個神經(jīng)元的期望輸出。第五步：轉到第二步。當全部學習樣本都能正確分類時，學習過程結束。經(jīng)驗證明，當η隨k的增加而減小時，算法一定收斂。2.3.2BP網(wǎng)絡BP網(wǎng)絡：采用BP算法（Back-PropagationTrainingAlgorithm）的多層感知器。誤差反向傳播算法認識最清楚、應用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器

針對感知器學習算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡；結構：只允許一層連接權可調。2．BP算法兩個階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學習過程

設：某層任一神經(jīng)元j的輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i的輸出為yi。jiwij：神經(jīng)元i與j之間的連接權；f(?)：神經(jīng)元的輸出函數(shù)。S型輸出函數(shù)：θj：神經(jīng)元閾值；

h0：修改輸出函數(shù)形狀的參數(shù)。設：輸出層中第k個神經(jīng)元的實際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。

對輸入模式Xp，若輸出層中第k個神經(jīng)元的期望輸出為dpk，實際輸出為ypk。輸出層的輸出方差：若輸入N個模式，網(wǎng)絡的系統(tǒng)均方差為：當輸入Xp時，wjk的修正增量：其中，由式得到：令，可得輸出單元的誤差：輸出單元的修正增量：

對于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i

：

輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對各層之間的權值進行修正。BP算法步驟：第一步：對權值和神經(jīng)元閾值初始化：(0，1)上分布的隨機數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。第三步：依次計算每層神經(jīng)元的實際輸出，直到輸出層。第四步：從輸出層開始修正每個權值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉到第二步，循環(huán)至權值穩(wěn)定為止。改進的權值修正：——收斂快、權值平滑變化α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數(shù)目的選取無一般指導原則；*新加入的學習樣本影響已學完樣本的學習結果。*輸出層各單元之間相互用較大的負權值輸入對方，構成正反饋。2.3.3競爭學習神經(jīng)網(wǎng)絡1．競爭學習典型的非監(jiān)督學習策略。與二層前饋網(wǎng)絡類似；結構特點：輸出層具有側抑制。競爭層：競爭學習網(wǎng)絡的核心側抑制：加強自身*具有最高輸入總和的單元的輸出狀態(tài)為1，其他單元為0。2．漢明(Hamming)網(wǎng)分類器結構：仿效生物神經(jīng)網(wǎng)“中心激勵，側向抑制”的功能。工作原理：*每個模式類由一個典型樣本代表；*匹配網(wǎng)計算輸入樣本與各類典型樣本的匹配度，由匹配度決定匹配網(wǎng)的輸出；*由最大網(wǎng)給出輸入樣本所在類別號（分類）。匹配度=n－輸入樣本與典型樣本之間的漢明距離xij：第j類典型樣本的第i個分量；xi

：輸入樣本的第i個分量；n：樣本向量的維數(shù)。輸入樣本與典型樣本越相似：漢明距離越小，匹配度越大。二值模式向量(分量：+1,-1)分類準則：樣本間漢明距離最小。匹配網(wǎng)上層每個神經(jīng)元的輸出：：輸入樣本第i個分量與匹配網(wǎng)上層第j個神經(jīng)元的連接權；：第j個神經(jīng)元的閾值。

wij由第j類典型樣本的各分量確定。匹配網(wǎng)輸出函數(shù)f(?)：漢明網(wǎng)算法步驟：

第一步：設置權值和神經(jīng)元閾值。wlk：最大網(wǎng)中第l個神經(jīng)元和第k個神經(jīng)元的連接權；最大網(wǎng)中神經(jīng)元的閾值為零。xij：第j類典型樣本的第i個分量；wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個分量的連接權;θj

：神經(jīng)元j的閾值。第三步，進行迭代運算直到收斂。第四步：轉到第二步。第二步：輸入未知樣本，計算匹配網(wǎng)上層各神經(jīng)元的輸出sj，設置最大網(wǎng)中神經(jīng)元輸出的初始值。設最大網(wǎng)中第j個神經(jīng)元在t時刻的輸出為y(t)，則3．自組織特征映射神經(jīng)網(wǎng)絡

（SOM網(wǎng)絡）神經(jīng)元之間相互作用與距離的關系

神經(jīng)網(wǎng)絡中鄰近的各神經(jīng)元通過側向交互作用彼此相互競爭，自適應地發(fā)展成檢測不同信號的特殊檢測器。T.Kohonen關于自組織特征映射的含義：輸入層：每個神經(jīng)元與輸出層所有神經(jīng)元連接。輸入連續(xù)值模式向量。SOM網(wǎng)絡結構：輸出層：廣泛連接，格陣形式。競爭學習算法：由交互作用函數(shù)取代簡單的側抑制。自組織特征映射算法步驟：

第一步：設置初始權值，定義輸出層神經(jīng)元的鄰域。第二步：輸入新的模式向量。第三步：計算輸入模式到每個輸出層神經(jīng)元j的距離dj。wij(t)：t時刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間的連接權。第四步：選擇與輸入模式距離最小的輸出層神經(jīng)元j*。第五步：修改與j*及其鄰域中神經(jīng)元連接的權值。設t時刻神經(jīng)元j*的鄰域用表示，權值修改為：：修正參數(shù)，，隨t的增加而減小。第六步：轉到第二步。聚類中心：存儲在與神經(jīng)元j*連接的權值上。輸出層神經(jīng)元鄰域的選擇：初始鄰域選擇大些，隨算法的進行逐步收縮。2.4反饋網(wǎng)絡模型Hopfield網(wǎng)絡尋找記憶：模擬人腦聯(lián)想記憶功能的神經(jīng)網(wǎng)絡模型。網(wǎng)絡由初始狀態(tài)向穩(wěn)定狀態(tài)演化的過程。初始輸出模式向量單層全互連、權值對稱的神經(jīng)網(wǎng)絡。結構：Hopfield網(wǎng)絡（HNN）離散型HNN(DHNN)：M-P模型二值神經(jīng)元連續(xù)型HNN(CHNN)：神經(jīng)元為連續(xù)時間輸出。*每個神經(jīng)元的輸出通過加權與其余神經(jīng)元的輸入端連接；*輸入模式向量的各分量及神經(jīng)元的輸出值取(+1)或(-1)；*神經(jīng)元的個數(shù)與輸入模式向量的維數(shù)相同；*記憶樣本記憶在神經(jīng)元之間的連接權上。DHNN：*每個模式類有一個記憶樣本，是網(wǎng)絡的一個穩(wěn)定輸出狀態(tài)。

設是第s類的記憶樣本。為了存儲M個記憶樣本，神經(jīng)元i和神經(jīng)元j之間的權值wij為

設有M類模式，則有M個記憶樣本，分別是網(wǎng)絡的M個穩(wěn)定輸出狀態(tài)。若神經(jīng)元i的輸入為ui，輸出為，則式中，

若輸入一個未知類別的模式X，網(wǎng)絡初始狀態(tài)由X決定，根據(jù)上述算法，網(wǎng)絡從初始狀態(tài)開始逐步演化，最終趨向于一個穩(wěn)定狀態(tài)，即輸出一個與未知類別模式相似的記憶樣本。說明：定義網(wǎng)絡的能量函數(shù)由某一神經(jīng)元的狀態(tài)的變化量引起的E變化量為式中，，。?E<0，E有界，網(wǎng)絡最終可達到一個不隨時間變化的穩(wěn)定狀態(tài)。算法步驟：

第一步：給神經(jīng)元的連接權賦值，即存貯記憶樣本。第二步：用輸入的未知類別的模式

設置網(wǎng)絡的初始狀態(tài)。

若表示神經(jīng)元i在t時刻的輸出狀態(tài)，則初始值：第三步：迭代計算至算法收斂。第四步：轉到第二步，輸入新模式。神經(jīng)元輸出與未知模式匹配最好的記憶樣本。Hopfield神經(jīng)網(wǎng)絡的局限性：*網(wǎng)絡能記憶和正確回憶的樣本數(shù)相當有限；*如果記憶中的某一樣本的某些分量與別的記憶樣本的對應分量相同，這個記憶樣本可能是一個不穩(wěn)定的平衡點。

已證明：當記憶不同模式類的樣本數(shù)小于網(wǎng)絡中神經(jīng)元個數(shù)（或模式向量的維數(shù)）的0.15倍時，收斂于偽樣本的情況才不會發(fā)生?？梢岳谜凰惴ㄏ?.5基于神經(jīng)網(wǎng)絡的電子鼻識別技術電子鼻技術什么是電子鼻？電子鼻技術的發(fā)展歷史電子鼻技術的基本原理電子鼻技術的研究現(xiàn)狀電子鼻技術的應用前景什么是電子鼻？電子鼻是利用氣體傳感器陣列的響應圖案來識別氣味的電子系統(tǒng)，它可以在幾小時、幾天甚至數(shù)月的時間內連續(xù)地、實時地監(jiān)測特定位置的氣味狀況。電子鼻主要由氣味取樣操作器、氣體傳感器陣列和信號處理系統(tǒng)三種功能器件組成。電子鼻識別的主要機理是在陣列中的每個傳感器對被測氣體都有不同的靈敏度，例如，一號氣體可在某個傳感器上產(chǎn)生高響應，而對其他傳感器則是低響應；同樣，二號氣體產(chǎn)生高響應的傳感器對一號氣體則不敏感，歸根結底，整個傳感器陣列對不同氣體的響應圖案是不同的，正是這種區(qū)別，才使系統(tǒng)能根據(jù)傳感器的響應圖案來識別氣體。

電子鼻技術的發(fā)展歷史由于氣體傳感器的交叉敏、選擇性差等缺點，單一傳感器往往對被測環(huán)境中的各種氣體敏感，因而很難有選擇地測量出某種氣體的成分和含量。電子鼻技術是解決這一問題的有效途徑，它正是利用各個氣敏器件對復雜成分氣體都有響應卻又互不相同這一特點，借助數(shù)據(jù)處理方法對多種氣味進行識別，從而對氣味質量進行分析與評定。1982年，英國學者Persuad和Dodd用3個商品化的SnO2氣體傳感器（TGS813、812、711）模擬哺乳動物嗅覺系統(tǒng)中的多個嗅感受器細胞對戊基醋酸酯、乙醇、乙醚、戊酸、檸檬油、異茉莉酮等有機揮發(fā)氣進行了類別分析，開電子鼻研究之先河。1989年在北大西洋公約組織的一次關于化學傳感器信息處理會議上對電子鼻做了如下定義:“電子鼻是由多個性能彼此重疊的氣敏傳感器和適當?shù)哪Ｊ椒诸惙椒ńM成的具有識別單一和復雜氣味能力的裝置?！彪S后,于1990年舉行了第一屆電子鼻國際學術會議。為了促進電子鼻技術的交流和發(fā)展，國際上每年舉行一次化學傳感器國際學術會議。電子鼻技術是探索如何模仿生物嗅覺機能的一門學問。其研究涉及材料、精密制造工藝、多傳感器融合、計算機、應用數(shù)學以及各具體應用領域的科學與技術，具有重要的理論意義和應用前景。其中傳感器技術和計算機技術處于當今科學技術研究和發(fā)展的前沿。

商品化的電子鼻電子鼻技術的基本原理電子鼻的工作可簡單歸納為：傳感器陣列－信號預處理－神經(jīng)網(wǎng)絡和各種算法－計算機識別(氣體定性定量分析）。從功能上講，氣體傳感器陣列相當于生物嗅覺系統(tǒng)中的大量嗅感受器細胞，神經(jīng)網(wǎng)絡和計算機識別相當于生物的大腦，其余部分則相當于嗅神經(jīng)信號傳遞系統(tǒng)。

氣體傳感器陣列電子鼻系統(tǒng)中，傳感器及其陣列是電子鼻的關鍵,它的功能是把不同的氣味分子在其表面的化學作用轉化為可測的電信號。傳感器陣列可以采用數(shù)個單獨的氣敏傳感器組合而成，也可以采用集成工藝制作專門的氣敏傳感器陣列。后者體積小，功耗低，便于信號的集中采集與處理。

西班牙《ACMOSmonolithicallyintegratedgassensorarraywithelectronicsfortemperaturecontrolandsignalinterfacing》

作傳感器的材料必須具備兩個基本條件:1)對不同的氣味均有響應,即通用性要強,要求對成千上萬種不同的嗅味能在分子水平上作出鑒別。2)與嗅味分子的相互作用或反應必須是快速、可遞的,不產(chǎn)生任何“記憶效應”。金屬氧化物型傳感器已被普遍應用在電子鼻中。最常見的材料有錫、鋅、鈦、鎢和銥的氧化物,并摻入像鉑和鈀等貴金屬催化劑。酞菁類聚合物是有機半導體敏感材料的代表,它們所具有的環(huán)狀結構使得吸附氣體分子與有機半導體之間產(chǎn)生電子授受關系。不同的酞菁聚合物可選擇如真空升華技術、ＬＢ膜技術、旋涂技術和自組織膜技術等制膜技術在檢測器件上制得薄膜型氣敏元件,并可制得傳感器陣列,使其與計算機模式識別技術結合使用。聚吡咯、蒽、二萘嵌苯、β—胡蘿卜素等近年來也被用作有機半導體氣敏材料受到人們關注。

傳感器陣列數(shù)據(jù)采集系統(tǒng)傳感器陣列的模擬輸出經(jīng)Ａ/Ｄ轉換為數(shù)字信號輸入計算機中的數(shù)據(jù)處理和模式識別系統(tǒng)被測嗅覺的強度既可用每個傳感器的輸出的絕對電壓、電阻或電導來表示,也可用相對信號值如歸一化的電阻或電導值,即它們的變化率來比較嗅味的性質。

傳感器陣列的數(shù)據(jù)采集系統(tǒng)模式識別處理傳感器陣列輸出的信號經(jīng)專用軟件采集、加工、處理后，利用多元數(shù)據(jù)統(tǒng)計分析方法、神經(jīng)網(wǎng)絡方法和模糊方法將多維響應信號轉換為感官評定指標值或組成成分的濃度值，得到被測氣味定性分析結果的智能解釋器。早期的電子鼻多用主成分分析、多元線性擬合、模板匹配、聚類等數(shù)據(jù)處理方法。模式識別——人工神經(jīng)網(wǎng)絡由于氣體傳感器的響應與被測氣體體積分數(shù)之間的關系一般是非線性的，現(xiàn)在的電子鼻系統(tǒng)多用神經(jīng)網(wǎng)絡方法和偏最小二乘法。近些年發(fā)展起來的人工神經(jīng)網(wǎng)絡(artificialneuralnetwork)由于具有很強的非線性處理能力及模式識別能力而得到了廣泛的應用.神經(jīng)網(wǎng)絡通過學習自動掌握隱藏在傳感器響應和氣味類型與強度之間的、難以用明確的模型數(shù)學表示的對應關系。許多統(tǒng)計技術和ＡＮＮｓ是互為補充的,所以常常與ＡＮＮｓ聯(lián)合使用,以得到一組比用單個技術得到的數(shù)據(jù)更加全面的分類和聚類。這類統(tǒng)計學或化學計量學方法包括主分量分析,部分最小平方法,辨別分析法,辨別因子分析法,和聚類分析法等。

人工神經(jīng)網(wǎng)絡腦細胞神經(jīng)元人工神經(jīng)網(wǎng)絡神經(jīng)元