神經(jīng)網(wǎng)絡基礎

神經(jīng)網(wǎng)絡理論基礎§1引言當你現(xiàn)在學習神經(jīng)網(wǎng)絡知識的時候，你實際上正在使用著一個復雜的生物神經(jīng)網(wǎng)絡。神經(jīng)生理學和神經(jīng)解剖學證明，人的思維是由腦完成的。神經(jīng)元是組成人腦的最基本單元，能夠接受并處理信息。人腦約由101l~1012個神經(jīng)元組成，其中，每個神經(jīng)元約與104~105個神經(jīng)元通過突觸聯(lián)接，形成極為錯縱復雜而且又靈活多變的神經(jīng)網(wǎng)絡。雖然，每個神經(jīng)元都比較簡單，但是，如此多的神經(jīng)元經(jīng)過復雜的聯(lián)接卻可以演化出豐富多彩的行為方式。因此，人腦是一個復雜的信息并行加工處理巨系統(tǒng)。探索腦組織的結構、工作原理及信息處理的機制，是整個人類面臨的一項挑戰(zhàn)，也是整個自然科學的前沿。關于人腦的功能，一方面受先天因素的制約，即由遺傳信息先天確定了其結構與特性，另一方面后天因素也起重要的作用，即大腦可通過其自組織(Self-Organization)、自學習(Self-Learning)，不斷適應外界環(huán)境的變化。一般認為，包括記憶在內的所有生物神經(jīng)功能，都存貯在神經(jīng)元及其之間的連接上。學習被看作是在神經(jīng)元之間建立新的連接或對已有的連接進行修改的過程。大腦的自組織、自學習性，來源于神經(jīng)網(wǎng)絡結構的這種可塑性(Plasticity)，它主要反映在神經(jīng)元之間聯(lián)接強度是可變的。既然我們已經(jīng)對生物神經(jīng)網(wǎng)絡有一個基本的認識，那么能否利用一些簡單的人工“神經(jīng)元”構造一個小神經(jīng)網(wǎng)絡系統(tǒng)，然后對其進行訓練，從而使它們具有一定有用功能呢？答案是肯定的。當然，人工神經(jīng)元不是生物神經(jīng)元，它們是對生物神經(jīng)元極其簡單的抽象，可以用程序或硅電路實現(xiàn)。雖然由這些神經(jīng)元組成的網(wǎng)絡的能力遠遠不及人腦的那么強大，但是可以對其進行訓練，以實現(xiàn)一些有用的功能?！?神經(jīng)網(wǎng)絡模型2.1生物神經(jīng)網(wǎng)絡的啟示前面分析可知，人腦由大量的、高度互連的神經(jīng)元組成。神經(jīng)元主要由三部分組成：樹突、細胞體和軸突。樹突是樹狀的神經(jīng)纖維接收網(wǎng)絡，它將電信號傳送到細胞體，細胞體對這些輸入信號進行整合并進行閾值處理。軸突是單根長纖維，它把細胞體的輸出信號導向其他神經(jīng)元。一個神經(jīng)細胞的軸突和另一個神經(jīng)細胞樹突的結合點稱為突觸。神經(jīng)元的排列和突觸的強度(由復雜的化學過程決定)確立了神經(jīng)網(wǎng)絡的功能。圖2.1是兩個生物神經(jīng)元的連接情況。圖2.1生物神經(jīng)元網(wǎng)絡結構生物學研究表明一些神經(jīng)結構是與生俱來的，而其他部分則是在學習的過程中形成的。在學習的過程中，可能會產(chǎn)生一些新的連接，也可能會使以前的一些連接消失。這個過程在生命早期最為顯著。比如，如果在某一段關鍵的時期內禁止一只小貓使用它某一只眼睛，則它的這只眼在以后很難形成正常的視力。神經(jīng)結構在整個生命期內不斷地進行著改變，后期的改變主要是加強或減弱突觸連接。生物學研究結果認為，新記憶的形成實際上是通過改變突觸強度而實現(xiàn)的，因此，記住一位新朋友的面孔實質上是對各種突觸改變的過程。前面分析可知，生物神經(jīng)網(wǎng)絡是由大量的生物神經(jīng)元（信息處理單元）高度互連而成，網(wǎng)絡的功能主要取決于神經(jīng)元的連接狀態(tài)。人工神經(jīng)網(wǎng)絡正是基于生物神經(jīng)網(wǎng)絡的特點而構成的，可以通過電子電路實現(xiàn)。雖然沒有人腦那么復雜，但二者之間的關鍵相似之處是：兩個網(wǎng)絡的構成都是可計算單元的高度互連(雖然人工神經(jīng)元比生物神經(jīng)元簡單得多)，處理單元之間的連接決定了網(wǎng)絡的功能。值得注意的是，雖然生物神經(jīng)元相對于電子電路來說非常慢(10-3秒相對于10-9秒)，但人腦卻能以比現(xiàn)有計算機快得多的速度完成許多任務。這主要是因為生物神經(jīng)網(wǎng)絡具有巨大的并行性，即所有的神經(jīng)元能同時操作。目前，大多數(shù)人工神經(jīng)網(wǎng)絡通過傳統(tǒng)的數(shù)字計算機實現(xiàn)，但其并行處理結構也適合于采用電子、光學器件和并行處理技術實現(xiàn)。2.2人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(ANN—ArtificialNeuralNetwork)是模擬人類智能的一條重要途徑，具有模擬人的部分形象思維的能力。它是由簡單信息處理單元(人工神經(jīng)元，簡稱神經(jīng)元)互連組成的網(wǎng)絡，能接受并處理信息，網(wǎng)絡的信息處理由處理單元之間的相互作用來實現(xiàn)，通過把問題表達成處理單元之間的聯(lián)接權來處理。一、單輸入神經(jīng)元對照生物神經(jīng)元網(wǎng)絡結構（圖2.1），可以得到一個單輸入神經(jīng)元如圖2.2所示。其權值對應于突觸的連接強度，細胞體對應于累加器和作用函數(shù)，神經(jīng)元輸出即軸突的信號。圖2.2單輸入神經(jīng)元模型圖中，是指神經(jīng)元的輸入；是指連接權值；是神經(jīng)元的閾值；是神經(jīng)元的凈輸入；是非線性函數(shù)；是神經(jīng)元的輸出。神經(jīng)元的輸出：(2.1)當輸入，權值，閾值時，神經(jīng)元輸出?？梢姡窠?jīng)元的實際輸出還取決于所選擇的作用函數(shù)。神經(jīng)元的閾值可以看作為一個輸入值是常數(shù)1的連接權值。根據(jù)實際情況，也可以在神經(jīng)元模型中忽略它。關于作用函數(shù)的選擇將在后面詳細討論。在單輸入神經(jīng)元模型中，和是神經(jīng)元的可調整標量參數(shù)。設計者也可以選擇特定的作用函數(shù)，依據(jù)一定的學習規(guī)則來調整參數(shù)和，以滿足特定的需要。二、多輸入神經(jīng)元生物學研究結果表明一個神經(jīng)元不止一個輸入，每個神經(jīng)元約與104~105個神經(jīng)元通過突觸連接。1943年由美國心理學家WarrenMcCulloch和數(shù)理邏輯學家WalterPitts首先提出了一個簡單的多輸入人工神經(jīng)元模型，被稱為MP的人工神經(jīng)元模型，其結構如圖5.2.3所示。圖2.3MP神經(jīng)元模型圖中，是第個神經(jīng)元的輸出，它可與其它多個神經(jīng)元通過權連接；,,…,,…,分別是指與第個神經(jīng)元連接的其它神經(jīng)元的輸出；,,…,,…,分別是指其它神經(jīng)元與第個神經(jīng)元聯(lián)接的權值；是第個神經(jīng)元的閾值；是第個神經(jīng)元的凈輸入；是非線性函數(shù)，又稱作用函數(shù)。這是一個多輸入／單輸出的非線性信息處理單元。該模型的主要特點是把神經(jīng)元輸入信號的加權和其閾值相比較，以確定神經(jīng)元的輸出。如果加權和小于閾值，則神經(jīng)元輸出為零；如果加權和大于閾值，則神經(jīng)元輸出為1。神經(jīng)元的輸出為：(2.2)設(2.3)則(2.4)是作用函數(shù)(ActivationFunction)，也稱激發(fā)函數(shù)。MP神經(jīng)元模型中作用函數(shù)為單位階躍函數(shù)，見圖2.4所示。圖2.4單位階躍函數(shù)其表達式為由式(2.2)~(2.4)可知，當神經(jīng)元的輸入信號加權和超過閾值時，輸出為“1”，即“興奮”狀態(tài)；反之，輸出為“0”，是“抑制”狀態(tài)。WarrenMcCulloch和WalterPitts進一步證明由這樣神經(jīng)元構成的網(wǎng)絡原則上可以完成任何數(shù)學和邏輯函數(shù)的計算。但是，由于沒有找到訓練神經(jīng)網(wǎng)絡的方法，所以必須提前設計出神經(jīng)網(wǎng)絡的參數(shù)以實現(xiàn)特定的功能。若把閾值也作為一個權值，則式(2.2)可寫為(2.5)式中，，。三、神經(jīng)元的作用函數(shù)MP神經(jīng)元模型是人工神經(jīng)元模型的基礎，也是神經(jīng)網(wǎng)絡理論的基礎。在神經(jīng)元模型中，作用函數(shù)除了單位階躍函數(shù)之外，還有其它形式。不同的作用函數(shù)，可構成不同的神經(jīng)元模型。1、非對稱型Sigmoid函數(shù)非對稱型Sigmoid函數(shù)如圖2.3(a)所示，可以用式(2.6)表示：(2.6)Sigmoid函數(shù)也稱為S型作用函數(shù)，是可微分的。有時為了需要，也可表達為如下的形式，見圖2.3(b)。(2.7)式(2.7)中，。(a)(b)圖2.5非對稱型Sigmoid函數(shù)作用函數(shù)2、對稱型Sigmoid函數(shù)對稱型Sigmoid函數(shù)如圖2.4所示，可以用式(2.8)和式(2.9)表示：(2.8)(2.9)式(2.9)中，。(a)(b)圖2.6對稱型Sigmoid函數(shù)作用函數(shù)3、對稱型階躍函數(shù)圖2.5所示的作用函數(shù)，為對稱型階躍函數(shù)，也稱之為符號函數(shù)。可以表示為：(2.10)采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。圖2.7符號函數(shù)作用函數(shù)4、線性函數(shù)線性作用函數(shù)的輸出等于輸入，即(2.11)飽和線性作用函數(shù)(2.12)對稱飽和線性作用函數(shù)(2.13)線性作用函數(shù)如圖2.8所示：線性飽和線性對稱飽和線性圖2.8線性作用函數(shù)5、高斯函數(shù)圖2.9所示的作用函數(shù)是高斯函數(shù)，可以表示為：(2.14)式(2.14)中的反映出高斯函數(shù)的寬度。圖2.9高斯函數(shù)作用函數(shù)2.3人工神經(jīng)網(wǎng)絡模型人工神經(jīng)網(wǎng)絡(簡稱神經(jīng)網(wǎng)絡——NN)是由人工神經(jīng)元(簡稱神經(jīng)元)互連組成的網(wǎng)絡，它是從微觀結構和功能上對人腦的抽象、簡化，是模擬人類智能的一條重要途徑，反映了人腦功能的若干基本特征，如并行信息處理、學習、聯(lián)想、模式分類、記憶等。一、神經(jīng)網(wǎng)絡組成對于絕大多數(shù)的信息處理問題，即使是多輸入單輸出的神經(jīng)元也不能滿足實際需要，因此，實際應用中往往需要多個并行操作的神經(jīng)元。若干個神經(jīng)元通過相互連接就形成一個神經(jīng)網(wǎng)絡，這個神經(jīng)網(wǎng)絡的拓撲結構稱為神經(jīng)網(wǎng)絡的互連模式。圖2.10給出了一個簡單的神經(jīng)網(wǎng)絡，其中每個小圓圈表示一個神經(jīng)元(也稱處理單元或節(jié)點)。各個神經(jīng)元之間的連接并不只是一個單純的傳送信號的通道，而是在每對神經(jīng)元之間的連接上有一個加權系數(shù)，這個加權系數(shù)起著生物神經(jīng)系統(tǒng)中神經(jīng)元的突觸強度的作用，它可以加強或減弱上一個神經(jīng)元的輸出對下一個神經(jīng)元的刺激。這個加權系數(shù)通常稱為權值(或稱為連接強度、突觸強度)。圖2.10簡單的神經(jīng)網(wǎng)絡在神經(jīng)網(wǎng)絡中，連接權值并非固定不變，而是按照一定的規(guī)則和學習算法進行自動修改。這也體現(xiàn)出神經(jīng)網(wǎng)絡系統(tǒng)的“進化”行為。神經(jīng)網(wǎng)絡中神經(jīng)元模型、數(shù)量及互連模式確定了神經(jīng)網(wǎng)絡的結構，而神經(jīng)網(wǎng)絡結構又決定了神經(jīng)網(wǎng)絡信息處理的能力。最初的神經(jīng)網(wǎng)絡結構只由輸入層和輸出層組成。這種結構的神經(jīng)網(wǎng)絡信息處理能力極為有限，不能進行復雜的計算。后來在這種雙層神經(jīng)網(wǎng)絡的基礎上引入了中間隱含層，大大地提高了神經(jīng)網(wǎng)絡的計算能力。研究表明由具有Sigmoid型作用函數(shù)的隱含層和具有線性作用函數(shù)的輸出層構成的三層神經(jīng)網(wǎng)絡，經(jīng)過訓練后，可以以任意精度逼近絕大多數(shù)的函數(shù)。二、神經(jīng)網(wǎng)絡結構目前，神經(jīng)網(wǎng)絡模型的種類比較多，已有近40余種神經(jīng)網(wǎng)絡模型，其中典型的有BP網(wǎng)絡、Hopfield網(wǎng)絡、CMAC小腦模型、ART自適應共振理論和Blotzman機網(wǎng)絡等。眾所周知，神經(jīng)網(wǎng)絡強大的計算功能是通過神經(jīng)元的互連而達到的。根據(jù)神經(jīng)元的拓撲結構形式不同，神經(jīng)網(wǎng)絡可分成以下兩大類：1、層次型神經(jīng)網(wǎng)絡神經(jīng)元分層排列，順序連接。由輸入層施加輸入信息，通過中間各層，加權后傳遞到輸出層后輸出(圖2.11(a))。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入，各神經(jīng)元之間不存在反饋。所以這種網(wǎng)絡形式又稱為前向神經(jīng)網(wǎng)絡。感知器(Perceptron)、BP神經(jīng)網(wǎng)絡和徑向基函數(shù)(RBF---RedialBasisFunction)神經(jīng)網(wǎng)絡都屬于這種類型。(a)(b)(c)圖2.11層次神經(jīng)網(wǎng)絡模型在前向神經(jīng)網(wǎng)絡中有的在同一層中的各神經(jīng)元相互有連接，見圖2.11(b)。通過層內神經(jīng)元的相互結合，可以實現(xiàn)同一層內神經(jīng)元之間的橫向抑制或興奮機制，這樣可以限制每層內能同時動作的神經(jīng)元數(shù)，或者把每層內的神經(jīng)元分為若干組，讓每組作為一個整體來動作。在層次網(wǎng)絡結構中，只在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋，如圖2.11(c)所示。這種模式可用來存儲某種模式序列，如神經(jīng)認知機即屬于此類，也可以用于動態(tài)時間序列過程的神經(jīng)網(wǎng)絡建模。2、互連型神經(jīng)網(wǎng)絡在互連網(wǎng)絡模型中，任意兩個神經(jīng)元之間都可能有相互連接的關系，如圖2.12所示。其中，有的神經(jīng)元之間是雙向的，有的是單向的。Hopfield網(wǎng)絡、Boltzman機網(wǎng)絡屬于這一類。圖2.12互連神經(jīng)網(wǎng)絡模型在無反饋的前向網(wǎng)絡中，信號一旦通過某個神經(jīng)元，過程就結束了。而在互連網(wǎng)絡中，信號要在神經(jīng)元之間反復往返傳遞，神經(jīng)網(wǎng)絡處在一種不斷改變狀態(tài)的動態(tài)之中。從某個初始狀態(tài)開始，經(jīng)過若干次的變化，才會到達某種平衡狀態(tài)，根據(jù)神經(jīng)網(wǎng)絡的結構和神經(jīng)元的特性，還有可能進入周期振蕩或其它如渾沌等平衡狀態(tài)。根據(jù)神經(jīng)網(wǎng)絡的連接結構及功能特點可知，層次型神經(jīng)網(wǎng)絡主要用于函數(shù)映射，互連型神經(jīng)網(wǎng)絡主要用作各種聯(lián)想存儲器或用于求解最優(yōu)化問題?！?神經(jīng)網(wǎng)絡的效能神經(jīng)網(wǎng)絡是由大量神經(jīng)元廣泛連接而成的復雜系統(tǒng)，是人腦神經(jīng)系統(tǒng)的某種簡化、抽象或模擬，它可以反映出人腦功能的部分特性。雖然構成神經(jīng)網(wǎng)絡的每個神經(jīng)元的功能和結構比較簡單，但是，由大量神經(jīng)元廣泛連接起來的神經(jīng)網(wǎng)絡卻能演化出豐富多彩、異常復雜的動力學行為。神經(jīng)網(wǎng)絡具有良好的自學習能力，通過訓練后可以獲得期望的輸出特性，因此，神經(jīng)網(wǎng)絡在復雜計算及智能信息處理過程得到廣泛應用。3.1神經(jīng)網(wǎng)絡的工作過程神經(jīng)網(wǎng)絡的工作過程主要分為學習期和工作期兩個階段：在學習期，神經(jīng)元之間的連接權值按照一定的學習規(guī)則進行自動調整，調整的目標是使性能函數(shù)達到最小。當性能指標滿足要求時，學習過程結束；在工作期，神經(jīng)網(wǎng)絡中各神經(jīng)元的連接權值固定，由網(wǎng)絡輸入信號計算出網(wǎng)絡的輸出結果。由神經(jīng)網(wǎng)絡的結構分析可知，其輸出性能主要取決于以下幾個因素：=1\*GB2⑴神經(jīng)元的模型結構；=2\*GB2⑵神經(jīng)網(wǎng)絡的拓撲結構；=3\