人工神經(jīng)網(wǎng)絡(luò)算法(基礎(chǔ)精講)

人工神經(jīng)網(wǎng)絡(luò)二〇一五年十二月現(xiàn)在是1頁\一共有67頁\編輯于星期三目錄2一、人工神經(jīng)網(wǎng)絡(luò)的基本概念二、人工神經(jīng)網(wǎng)絡(luò)的學習方法三、前向式神經(jīng)網(wǎng)絡(luò)與算法四、神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例（matlab）現(xiàn)在是2頁\一共有67頁\編輯于星期三一、人工神經(jīng)網(wǎng)絡(luò)的基本概念3現(xiàn)在是3頁\一共有67頁\編輯于星期三一、人工神經(jīng)網(wǎng)絡(luò)的基本概念4人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，即ANN）可以概括的定義為：由大量具有適應(yīng)性的處理元素（神經(jīng)元）組成的廣泛并行互聯(lián)網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)，是模擬人工智能的一條重要途徑。人工神經(jīng)網(wǎng)絡(luò)與人腦相似性主要表現(xiàn)在：

①神經(jīng)網(wǎng)絡(luò)獲取的知識是從外界環(huán)境學習得來的；

②各神經(jīng)元的連接權(quán)，即突觸權(quán)值，用于儲存獲取的知識。

神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元，它是神經(jīng)網(wǎng)絡(luò)的設(shè)計基礎(chǔ)。神經(jīng)元是以生物的神經(jīng)系統(tǒng)的神經(jīng)細胞為基礎(chǔ)的生物模型。在人們對生物神經(jīng)系統(tǒng)進行研究，以探討人工智能的機制時，把神經(jīng)元數(shù)學化，從而產(chǎn)生了神經(jīng)元數(shù)學模型。因此，要了解人工神經(jīng)模型就必須先了解生物神經(jīng)元模型?，F(xiàn)在是4頁\一共有67頁\編輯于星期三1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史5

最早的研究可以追溯到20世紀40年代。1943年，心理學家McCulloch和數(shù)學家Pitts合作提出了形式神經(jīng)元的數(shù)學模型。這一模型一般被簡稱M-P神經(jīng)網(wǎng)絡(luò)模型，至今仍在應(yīng)用，可以說，人工神經(jīng)網(wǎng)絡(luò)的研究時代，就由此開始了。1949年，心理學家Hebb提出神經(jīng)系統(tǒng)的學習規(guī)則，為神經(jīng)網(wǎng)絡(luò)的學習算法奠定了基礎(chǔ)?，F(xiàn)在，這個規(guī)則被稱為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡(luò)的學習還遵循這一規(guī)則。1957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron)模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究從純理論的探討付諸工程實踐，掀起了人工神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。現(xiàn)在是5頁\一共有67頁\編輯于星期三1.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展簡史620世紀60年代以后，數(shù)字計算機的發(fā)展達到全盛時期，人們誤以為數(shù)字計算機可以解決人工智能、專家系統(tǒng)、模式識別問題，而放松了對“感知器”的研究。于是，從20世紀60年代末期起，人工神經(jīng)網(wǎng)絡(luò)的研究進入了低潮。1982年，美國加州工學院物理學家Hopfield提出了離散的神經(jīng)網(wǎng)絡(luò)模型，標志著神經(jīng)網(wǎng)絡(luò)的研究又進入了一個新高潮。1984年，Hopfield又提出連續(xù)神經(jīng)網(wǎng)絡(luò)模型，開拓了計算機應(yīng)用神經(jīng)網(wǎng)絡(luò)的新途徑。1986年，Rumelhart和Meclelland提出多層網(wǎng)絡(luò)的誤差反傳(backpropagation)學習算法，簡稱BP算法。BP算法是目前最為重要、應(yīng)用最廣的人工神經(jīng)網(wǎng)絡(luò)算法之一。

現(xiàn)在是6頁\一共有67頁\編輯于星期三1.2生物神經(jīng)元結(jié)構(gòu)7生物神經(jīng)元結(jié)構(gòu)（1）細胞體:細胞核、細胞質(zhì)和細胞膜。（2）樹突：胞體短而多分枝的突起。相當于神經(jīng)元的輸入端。（3）軸突：胞體上最長枝的突起，也稱神經(jīng)纖維。端部有很多神經(jīng)末稍傳出神經(jīng)沖動。

現(xiàn)在是7頁\一共有67頁\編輯于星期三1.2生物神經(jīng)元結(jié)構(gòu)

（4）突觸：神經(jīng)元間的連接接口，每個神經(jīng)元約有1萬～10萬個突觸。神經(jīng)元通過其軸突的神經(jīng)末稍，經(jīng)突觸與另一神經(jīng)元的樹突聯(lián)接，實現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。突觸結(jié)構(gòu)示意圖現(xiàn)在是8頁\一共有67頁\編輯于星期三1.3生物神經(jīng)元的信息處理機理9神經(jīng)元的興奮與抑制當傳入神經(jīng)元沖動，經(jīng)整和使細胞膜電位升高，超過動作電位的閾值時，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突經(jīng)神經(jīng)末稍傳出。當傳入神經(jīng)元的沖動，經(jīng)整和，使細胞膜電位降低，低于閾值時，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動?，F(xiàn)在是9頁\一共有67頁\編輯于星期三延時性傳遞生物神經(jīng)元的特點單向性傳遞閾值特性生物神經(jīng)元的特點：1.4生物神經(jīng)元的特點現(xiàn)在是10頁\一共有67頁\編輯于星期三1.5人工神經(jīng)元模型11

神經(jīng)元模型從神經(jīng)元的特性和功能可以知道，神經(jīng)元相當于一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的，人工神經(jīng)元的模型如圖所示：神經(jīng)元的n個輸入對應(yīng)的連接權(quán)值net=閾值輸出激活函數(shù)現(xiàn)在是11頁\一共有67頁\編輯于星期三12上面的神經(jīng)元模型可以用一個數(shù)學表達式進行抽象與概括，從而得到神經(jīng)元的數(shù)學模型：1.5人工神經(jīng)元模型神經(jīng)元的網(wǎng)絡(luò)輸入記為net，即net=

現(xiàn)在是12頁\一共有67頁\編輯于星期三13

有時為了方便起見，常把-?也看成是恒等于1的輸入X0

的權(quán)值，這時上面的數(shù)學模型可以寫成：1.5人工神經(jīng)元模型其中，W0=-?；x0=1現(xiàn)在是13頁\一共有67頁\編輯于星期三14神經(jīng)元的模型具有以下特點：①神經(jīng)元是一個多輸入、單輸出單元。②它具有非線性的輸入、輸出特性。③它具有可塑性，反應(yīng)在新突觸的產(chǎn)生和現(xiàn)有的神經(jīng)突觸的調(diào)整上，其塑性變化的部分主要是權(quán)值w的變化，這相當于生物神經(jīng)元的突出部分的變化，對于激發(fā)狀態(tài)，w取正直，對于抑制狀態(tài)，w取負值。④神經(jīng)元的輸出和響應(yīng)是個輸入值的綜合作用的結(jié)果。⑤興奮和抑制狀態(tài)，當細胞膜電位升高超過閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動；當膜電位低于閾值時，細胞進入抑制狀態(tài)。1.5人工神經(jīng)元模型現(xiàn)在是14頁\一共有67頁\編輯于星期三1.6激活函數(shù)15神經(jīng)元的描述有多種，其區(qū)別在于采用了不同的激活函數(shù)，不同的激活函數(shù)決定神經(jīng)元的不同輸出特性，常用的激活函數(shù)有如下幾種類型：1.閾值型2.S型3.分段線性4.概率型現(xiàn)在是15頁\一共有67頁\編輯于星期三161.閾值型激活函數(shù)

閾值型激活函數(shù)是最簡單的，前面提到的M-P模型就屬于這一類。其輸出狀態(tài)取二值（1、0或+1、-1），分別代表神經(jīng)元的興奮和抑制。1.6激活函數(shù)當f（x）取0或1時，現(xiàn)在是16頁\一共有67頁\編輯于星期三17當f（x）取1或-1時，f（x）為下圖所示的sgn（符號）函數(shù)sgn（x）=1.6激活函數(shù)現(xiàn)在是17頁\一共有67頁\編輯于星期三181.6激活函數(shù)2.S型激活函數(shù)

神經(jīng)元的狀態(tài)與輸入級之間的關(guān)系是在（0,1）內(nèi)連續(xù)取值的單調(diào)可微函數(shù)，稱為S型函數(shù)。雙極性S型函數(shù)：單極性S型函數(shù)：現(xiàn)在是18頁\一共有67頁\編輯于星期三193.分段線性激活函數(shù)分段線性激活函數(shù)的定義為：1.6激活函數(shù)現(xiàn)在是19頁\一共有67頁\編輯于星期三204.概率型激活函數(shù)

概率型激活函數(shù)的神經(jīng)元模型輸入和輸出的關(guān)系是不確定的，需要一種隨機函數(shù)來描述輸出狀態(tài)為1或為0的概率，設(shè)神經(jīng)元輸出（狀態(tài)）為1的概率為：1.6激活函數(shù)（其中，T為溫度函數(shù)）現(xiàn)在是20頁\一共有67頁\編輯于星期三21激活函數(shù)的基本作用表現(xiàn)在:1.6激活函數(shù)控制輸入對輸出的激活作用將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出對輸入、輸出進行函數(shù)轉(zhuǎn)換現(xiàn)在是21頁\一共有67頁\編輯于星期三22神經(jīng)網(wǎng)絡(luò)是由許多神經(jīng)元互相在一起所組成的神經(jīng)結(jié)構(gòu)。把神經(jīng)元之間相互作用關(guān)系進行數(shù)學模型化就可以得到人工神經(jīng)網(wǎng)絡(luò)模型。

神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的關(guān)系是元素與整體的關(guān)系。

人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點或處理單元，每個節(jié)點均具有相同的結(jié)構(gòu)，其動作在時間和空間上均同步。1.7人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是22頁\一共有67頁\編輯于星期三23人工神經(jīng)網(wǎng)絡(luò)的基本屬性1.7人工神經(jīng)網(wǎng)絡(luò)模型1）非線性2）非局域性3）非定常性4）非凸性現(xiàn)在是23頁\一共有67頁\編輯于星期三24神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)元的連接方式不同，網(wǎng)絡(luò)的拓撲結(jié)構(gòu)也不同，人工神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)是決定人工神經(jīng)網(wǎng)絡(luò)特征的第二要素，根據(jù)神經(jīng)元之間連接的拓撲結(jié)構(gòu)不同，可將人工神經(jīng)網(wǎng)絡(luò)分成兩類，即分層網(wǎng)絡(luò)和相互連接型網(wǎng)絡(luò)。1.7人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)分層型網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò)現(xiàn)在是24頁\一共有67頁\編輯于星期三25分層網(wǎng)絡(luò)

分層網(wǎng)絡(luò)將一個神經(jīng)網(wǎng)絡(luò)中的所有神經(jīng)元按功能分為若干層，一般有輸入層、中間層（隱藏層）和輸出層。

分層網(wǎng)絡(luò)按照信息的傳遞方向可分為前向式網(wǎng)絡(luò)（如圖a）和反饋網(wǎng)絡(luò)（如圖b、c）。1.7人工神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是25頁\一共有67頁\編輯于星期三26相互連接型網(wǎng)絡(luò)

相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任意單元之間都是可以相互雙向連接的。1.7人工神經(jīng)網(wǎng)絡(luò)模型上述的分類方法是對目前常見的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象，實際應(yīng)用的神經(jīng)網(wǎng)絡(luò)可能同時兼有其中的一種或幾種形式。現(xiàn)在是26頁\一共有67頁\編輯于星期三27二、人工神經(jīng)網(wǎng)絡(luò)的學習方法現(xiàn)在是27頁\一共有67頁\編輯于星期三282.1學習機理學習機理

人工神經(jīng)網(wǎng)絡(luò)信息處理可以用數(shù)學過程來說明，這個過程可以分為兩個階段：執(zhí)行階段和學習階段。

學習是智能的基本特征之一，人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它能從環(huán)境中學習的能力，并通過改變權(quán)值達到預期的目的。神經(jīng)網(wǎng)絡(luò)通過施加于它的權(quán)值和閾值調(diào)節(jié)的交互過程來學習它的環(huán)境，人工神經(jīng)網(wǎng)絡(luò)具有近似于與人類的學習能力，是其關(guān)鍵的方面之一。

現(xiàn)在是28頁\一共有67頁\編輯于星期三292.2學習方法學習方法

按照廣泛采用的分類方法，可以將神經(jīng)網(wǎng)絡(luò)的學習方法歸為三類：

無導師學習灌輸式學習有導師學習現(xiàn)在是29頁\一共有67頁\編輯于星期三302.2學習方法①有導師學習有導師學習又稱為有監(jiān)督學習，在學習時需要給出導師信號或稱為期望輸出。神經(jīng)網(wǎng)絡(luò)對外部環(huán)境是未知的，但可以將導師看做對外部環(huán)境的了解，由輸入-輸出樣本集合來表示。導師信號或期望響應(yīng)代表了神經(jīng)網(wǎng)絡(luò)執(zhí)行情況的最佳效果，即對于網(wǎng)絡(luò)輸入調(diào)整權(quán)值，使得網(wǎng)絡(luò)輸出逼近導師信號或期望輸出。

現(xiàn)在是30頁\一共有67頁\編輯于星期三312.2學習方法②無導師學習無導師學習也稱無監(jiān)督學習。在學習過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息（學習樣本），而不提供理想的輸出，網(wǎng)絡(luò)根據(jù)特有的學習規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時能根據(jù)網(wǎng)絡(luò)的功能和輸入調(diào)整權(quán)值。

③灌輸式學習灌輸式學習是指將網(wǎng)絡(luò)設(shè)計成記憶特別的例子，以后當給定有關(guān)該例子的輸入信息時，例子便被回憶起來。灌輸式學習中網(wǎng)絡(luò)的權(quán)值不是通過訓練逐漸形成的，而是通過某種設(shè)計方法得到的。權(quán)值一旦設(shè)計好，即一次性“灌輸給神經(jīng)網(wǎng)絡(luò)不再變動，因此網(wǎng)絡(luò)對權(quán)值的”“學習”是“死記硬背”式的，而不是訓練式的?，F(xiàn)在是31頁\一共有67頁\編輯于星期三2.3學習規(guī)則學習規(guī)則

在神經(jīng)網(wǎng)絡(luò)的學習中，各神經(jīng)元的連接權(quán)值需按一定的規(guī)則調(diào)整，這種權(quán)值調(diào)整規(guī)則稱為學習規(guī)則。下面介紹幾種常見的學習規(guī)則。

1.Hebb學習規(guī)則2.Delta（δ）學習規(guī)則3.LMS學習規(guī)則4.勝者為王學習規(guī)則5.Kohonen學習規(guī)則6.概率式學習規(guī)則現(xiàn)在是32頁\一共有67頁\編輯于星期三332.3學習規(guī)則1.Hebb學習規(guī)則

當神經(jīng)元i與神經(jīng)元j同時處于興奮狀態(tài)時，在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為連接權(quán)增加。根據(jù)該假設(shè)定義權(quán)值調(diào)整的方法，稱為Hebb學習規(guī)則。Hebb學習規(guī)則的數(shù)學描述：

假設(shè)oi（n）和oj（n）是神經(jīng)元i和j在時刻n的狀態(tài)反應(yīng)，Wij（n）表示時刻n時，連接神經(jīng)元i和神經(jīng)元j的權(quán)值，△Wij（n）表示從時刻n到時刻n+1時連接神經(jīng)元i和神經(jīng)元j權(quán)值的改變量，則

其中，η是正常數(shù)，它決定了在學習過程中從一個步驟到另一個步驟的學習速率，稱為學習效率現(xiàn)在是33頁\一共有67頁\編輯于星期三342.3學習規(guī)則2.Delta（δ）學習規(guī)則

Delta學習規(guī)則是最常用的學習規(guī)則，其要點是通過改變神經(jīng)元之間的連接權(quán)來減小系統(tǒng)實際輸出與理想輸出的誤差。假設(shè)n時刻輸出誤差準則函數(shù)如下：

其中，

Ok=f（netk）為實際輸出；yk代表理想輸出；W是網(wǎng)絡(luò)的所有權(quán)值組成權(quán)矩陣W=（wij）；K為輸出個數(shù)。

使用梯度下降法調(diào)整權(quán)值W，使誤差準則函數(shù)最小，得到W的修正Delta規(guī)則為：注：Delta學習規(guī)則只適用于線性可分函數(shù)，無法用于多層網(wǎng)絡(luò)現(xiàn)在是34頁\一共有67頁\編輯于星期三352.3學習規(guī)則3.LMS學習規(guī)則

LMS學習規(guī)則又稱為最小均方差規(guī)則，其學習規(guī)則為：

注：LMS學習規(guī)則可以看成是Delta學習規(guī)則的一個特殊情況。該學習規(guī)則具有學習速度快和精度高的特點，權(quán)值可以初始化為任何值?，F(xiàn)在是35頁\一共有67頁\編輯于星期三362.3學習規(guī)則4.勝者為王學習規(guī)則

勝者為王（Winner-Take-All）學習規(guī)則是一種競爭學習規(guī)則，用于無導師學習。一般將網(wǎng)絡(luò)的某一層確定為競爭層，對于一個特定的輸入X，競爭層的K個神經(jīng)元均有輸出響應(yīng)，其中響應(yīng)值最大的神經(jīng)元j*為競爭中獲勝的神經(jīng)元，即

只有獲勝的神經(jīng)元才有權(quán)調(diào)整其權(quán)向量Wj，調(diào)整量為：其中，η為學習參數(shù)（0＜η≤1）現(xiàn)在是36頁\一共有67頁\編輯于星期三372.3學習規(guī)則5.Kohonen學習規(guī)則

該規(guī)則只用于無導師指導下訓練的網(wǎng)絡(luò)。在學習過程中，處理單元競爭學習時，具有高輸出的單元為勝利者，它有能力阻止它的競爭者并激活相鄰的單元，只有勝利者才能有輸出，也只有勝利者與其相鄰單元可以調(diào)節(jié)權(quán)重。

在訓練周期內(nèi)，相鄰單元的規(guī)模是可變的。一般的方法是從定義較大的相鄰單元開始，在訓練過程中不斷減少相鄰的范圍。勝利單元可定義為與輸入模式最為接近的單元。Kohonen網(wǎng)絡(luò)可以模擬輸入的分配

現(xiàn)在是37頁\一共有67頁\編輯于星期三382.3學習規(guī)則5.概率式學習

從統(tǒng)計學、分子熱力學和概率論中關(guān)于系統(tǒng)穩(wěn)態(tài)能量的標準出發(fā)，進行神經(jīng)網(wǎng)絡(luò)學習的方式稱為概率是學習。神經(jīng)網(wǎng)絡(luò)處于某一狀態(tài)的概率主要取決于在此狀態(tài)下的能量，能量越低，概率越大。概率式學習的典型代表是玻爾茲曼（Boltzmann）機學習規(guī)則。這是基于模擬退火的統(tǒng)計優(yōu)化算法。

現(xiàn)在是38頁\一共有67頁\編輯于星期三39三、前向式神經(jīng)網(wǎng)絡(luò)與算法現(xiàn)在是39頁\一共有67頁\編輯于星期三3.1感知器及算法感知器

感知器是具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，由線性元件和閾值元件組成。感知器的結(jié)構(gòu)如下圖所示，其中X=（x1，x2

，…，xn）為n個輸入，有m個輸出，即O=（o1

，o2，...，om），W=(wij)n×m為連接權(quán)矩陣。(wij)n×m為連接權(quán)矩陣感知器結(jié)構(gòu)現(xiàn)在是40頁\一共有67頁\編輯于星期三3.1感知器及算法感知器的數(shù)學模型其中，?j是閾值；wj0=-?j；x0=1；f（.）是躍階函數(shù)，即注：可以看出，單輸出感知器模型就是人工神經(jīng)單元現(xiàn)在是41頁\一共有67頁\編輯于星期三3.1感知器及算法感知器學習是有導師學習。感知器的訓練算法來源于Hebb學習規(guī)則，其基本思想是：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣。設(shè)網(wǎng)絡(luò)的輸入向量為X=（x1，x2

，…，xn），W=（wji）為網(wǎng)絡(luò)的連接權(quán)矩陣，網(wǎng)絡(luò)的訓練樣本集為｛（X，Y）丨X為輸入向量，Y為X對應(yīng)的輸出｝

下面介紹多輸出感知器學習算法現(xiàn)在是42頁\一共有67頁\編輯于星期三3.1感知器及算法多輸出感知器學習算法步驟如下：Step1

設(shè)置連接權(quán)W的初值。對權(quán)系數(shù)W=（wji）的各個元素置一個較小的隨機值。Step2

輸入樣本X=（x1，x2

，…，xn），以及它的期望輸出Y=（

y1，y2

，…，yn）。Step3

計算感知器的實際輸出值

Step4

根據(jù)實際輸出求誤差現(xiàn)在是43頁\一共有67頁\編輯于星期三3.1感知器及算法Step5

用誤差ej去調(diào)整權(quán)值其中，Wji（n）是第n次調(diào)整連接權(quán)值；η稱為學習效率，且0＜η≤1，用于調(diào)整權(quán)值的調(diào)整速度。通常，η的取值不能太大，如果η的取值太大，則會影響Wji（n）的穩(wěn)定，η的取值太小則會使Wji（n）得收斂速度太慢。當實際輸出和期望值y相同時，有Wji（n+1）=Wji（n）。Step6

轉(zhuǎn)到step2，一直執(zhí)行到一切樣本均穩(wěn)定為止?，F(xiàn)在是44頁\一共有67頁\編輯于星期三453.1感知器及算法注1：上述算法涉及循環(huán)控制問題，常用的方法有：（1）循環(huán)次數(shù)控制法。對樣本集進執(zhí)行規(guī)定次數(shù)的迭代。（2）分階段迭代次數(shù)控制法。設(shè)定一個基本的迭代次數(shù)N，每當訓練完成N次迭代后，就給出一個中間結(jié)果。（3）精度控制法。給定一個精度控制參數(shù)，精度度量可選擇：①實際輸出向量與理想輸出向量的對應(yīng)分量的差的絕對值之和；②實際輸出向量與理想輸出向量的歐氏距離之和；③“死循環(huán)”：網(wǎng)絡(luò)無法表示樣本所代表的問題。（4）綜合控制法。將上述三種方法結(jié)合起來使用?，F(xiàn)在是45頁\一共有67頁\編輯于星期三463.1感知器及算法注2：由于感知器的激活函數(shù)采用的是閾值函數(shù)，輸出矢量只能取0或1，所以只能用它來解決簡單的分類問題，它不是對所有的問題都適用。注3：當輸入矢量中有一個數(shù)比其他數(shù)都大或小很多時，可能導致收斂速度較慢?，F(xiàn)在是46頁\一共有67頁\編輯于星期三473.2BP神經(jīng)網(wǎng)絡(luò)算法BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)（BackPropagationNeuralNetwork），即誤差后向傳播神經(jīng)網(wǎng)絡(luò)，是一種按誤差逆向傳播算法訓練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學習和儲存大量輸入-輸出模式的映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學方程。它的學習規(guī)則是使用最速下降法，通過后向傳播來不斷調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)中出了有輸入層、輸出層外，還至少有一層隱藏層，每一層的神經(jīng)元輸出均傳送到下一層，而每層內(nèi)神經(jīng)元之間無連接?，F(xiàn)在是47頁\一共有67頁\編輯于星期三483.2BP神經(jīng)網(wǎng)絡(luò)算法BP神經(jīng)元的結(jié)構(gòu)模型與感知器模型類似，如下圖：注：與感知器模型不同的是，BP網(wǎng)絡(luò)的激活函數(shù)f（·）要求是可微的，所以不能用二值函數(shù)，常用S型的對數(shù)、正切函數(shù)或線性函數(shù)?，F(xiàn)在是48頁\一共有67頁\編輯于星期三493.2BP神經(jīng)網(wǎng)絡(luò)算法BP算法BP算法由數(shù)據(jù)流的正向傳播和誤差信號的反向傳播兩個過程構(gòu)成。1）正向傳播

設(shè)BP網(wǎng)絡(luò)的輸入層有n個節(jié)點，隱藏層有q個節(jié)點，輸出層有m個節(jié)點，輸入層與隱藏層之間的權(quán)值為vki

，隱藏層與輸出層的權(quán)值為wjk，隱藏層的激活函數(shù)為f1（·），輸出層的激活函數(shù)為f2（·），則隱藏層節(jié)點的輸出為現(xiàn)在是49頁\一共有67頁\編輯于星期三3.2BP神經(jīng)網(wǎng)絡(luò)算法輸出層節(jié)點的輸出為：至此，BP網(wǎng)絡(luò)完成了n維空間向量對m維空間的近似映射?，F(xiàn)在是50頁\一共有67頁\編輯于星期三513.2BP神經(jīng)網(wǎng)絡(luò)算法2）反向傳播BP算法的實質(zhì)是求取誤差函數(shù)的最小值問題，這種算法采用的是非線性規(guī)劃中的最速下降法，按誤差函數(shù)的負梯度方向修改權(quán)值。設(shè)訓練樣本總數(shù)為P，用X1，X2，...，Xp來表示。第P個樣本輸入所得到實際輸出和理想輸出分別記為采用理想輸出和實際輸出值差的平方和為誤差函數(shù)，于是得到第P個樣本的誤差：現(xiàn)在是51頁\一共有67頁\編輯于星期三523.2BP神經(jīng)網(wǎng)絡(luò)算法則P個樣本的總誤差為：網(wǎng)絡(luò)誤差是各層權(quán)值的函數(shù)，按照最速下降法，可得輸出層各神經(jīng)元的權(quán)值和第n次輸出層權(quán)值的迭代公式分別為：現(xiàn)在是52頁\一共有67頁\編輯于星期三533.2BP神經(jīng)網(wǎng)絡(luò)算法隱藏層各神經(jīng)元的權(quán)值和第n次隱藏層權(quán)值的迭代公式分別為：求解的過程現(xiàn)在是53頁\一共有67頁\編輯于星期三543.2BP神經(jīng)網(wǎng)絡(luò)算法BP網(wǎng)絡(luò)學習算法的具體步驟如下：Step1從訓練樣本集中取某一樣本，把它的輸入信息輸入到網(wǎng)絡(luò)中。Step2由網(wǎng)絡(luò)正向計算出各層節(jié)點的輸出。Step3計算網(wǎng)絡(luò)的實際輸出和期望輸出的誤差。Step4從輸出層開始反向計算到第一個隱藏層，按一定的原則向減少誤差方向調(diào)整整個網(wǎng)絡(luò)的各個連接權(quán)值。Step5對訓練樣本集中的每一個樣本重復上述步驟，直到對整個網(wǎng)絡(luò)訓練樣本集的誤差達到要求為止。

現(xiàn)在是54頁\一共有67頁\編輯于星期三553.2BP神經(jīng)網(wǎng)絡(luò)算法設(shè)三層BP網(wǎng)絡(luò)，則其算法可描述為：A初始化連接權(quán)值vki

和wjk；B初始化精度控制系數(shù)?；CE=?+1；EwhileE＞?doE.1E=0E.2對S中的每一個樣本（Xp，Yp）E.2.1計算出Xp，對應(yīng)的實際輸出op；E.2.2計算出Ep；E.2.3E=E+Ep；E.2.4根據(jù)調(diào)整輸出層的權(quán)值wjk（n）；E.2.4根據(jù)調(diào)整輸出層的權(quán)值vki（n）；E.3E=E/2.0現(xiàn)在是55頁\一共有67頁\編輯于星期三563.2BP神經(jīng)網(wǎng)絡(luò)算法BP網(wǎng)絡(luò)的優(yōu)點：1)

非線性映射能力：BP神經(jīng)網(wǎng)絡(luò)實質(zhì)上實現(xiàn)了一個從輸入到輸出的映射功能，數(shù)學理論證明三層的神經(jīng)網(wǎng)絡(luò)就能夠以任意精度逼近任何非線性連續(xù)函數(shù)。

2)

自學習和自適應(yīng)能力：BP神經(jīng)網(wǎng)絡(luò)在訓練時，能夠通過學習自動提取輸出、輸出數(shù)據(jù)間的“合理規(guī)則”，并自適應(yīng)的將學習內(nèi)容記憶于網(wǎng)絡(luò)的權(quán)值中。

3)

泛化能力：所謂泛化能力是指在設(shè)計模式分類器時，即要考慮網(wǎng)絡(luò)在保證對所需分類對象進行正確分類，還要關(guān)心網(wǎng)絡(luò)在經(jīng)過訓練后，能否對未見過的模式或有噪聲污染的模式，進行正確的分類。

4)

容錯能力：BP神經(jīng)網(wǎng)絡(luò)在其局部的或者部分的神經(jīng)元受到破壞后對全局的訓練結(jié)果不會造成很大的影響，也就是說即使系統(tǒng)在受到局部損傷時還是可以正常工作的。現(xiàn)在是56頁\一共有67頁\編輯于星期三573.2BP神經(jīng)網(wǎng)絡(luò)算法BP網(wǎng)絡(luò)的缺點：1)

局部極小化問題：

BP神經(jīng)網(wǎng)絡(luò)為一種局部搜索的優(yōu)化方法，它要解決的是一個復雜非線性化問題，這樣會使算法陷入局部極值，權(quán)值收斂到局部極小點

2)

BP

神經(jīng)網(wǎng)絡(luò)算法的收斂速度慢：由于BP神經(jīng)網(wǎng)絡(luò)算法本質(zhì)上為梯度下降法，它所要優(yōu)化的目標函數(shù)是非常復雜的，這使得BP算法低效；

3)

BP

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇不一：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇至今尚無一種統(tǒng)一而完整的理論指導，一般只能由經(jīng)驗選定。4）

BP神經(jīng)網(wǎng)絡(luò)樣本依賴性問題：網(wǎng)絡(luò)模型的逼近和推廣能力與學習樣本的典型性密切相關(guān)，而從問題中選取典型樣本實例組成訓練集是一個很困難的問題。

現(xiàn)在是57頁\一共有67頁\編輯于星期三四、BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例(matlab實現(xiàn))

58現(xiàn)在是58頁\一共有67頁\編輯于星期三59四、神經(jīng)網(wǎng)絡(luò)的應(yīng)用(matlab實現(xiàn))

例一：輸入向量P=[012345678910];期望輸出T=[01234321234];創(chuàng)建兩層的BP網(wǎng)絡(luò)net=newff

(

[010],

[51],

{'tansig','purelin'}

);Y=sim(net,P);plot(P,T,P,Y,'o')輸出結(jié)果為：Y=-2.3431-2.7532-2.4510-1.2784-0.8590-0.29810.24950.48111.03751.22681.4232現(xiàn)在是59頁\一共有67頁\編輯于星期三60四、神經(jīng)網(wǎng)絡(luò)的應(yīng)用(matlab實現(xiàn))

誤差很大！未訓練，非線性映射能力差?，F(xiàn)在是60頁\一共有67頁\編輯于星期三61四、神經(jīng)網(wǎng)絡(luò)的應(yīng)用(matlab實現(xiàn))

P=[012345678910];T=[01234321234];net=newff([010],[51],{'tansig''purelin'});net.trainparam.show=50;%每次循環(huán)50次net.trainParam.epochs=500;%最大循環(huán)500次net.trainparam.goal=0.01;%期望目標誤差最小值net=train(net,P,T);%對網(wǎng)絡(luò)進行反復訓練Y=sim(net,P)plot(P,T,P,Y,'o')修改程序：現(xiàn)在是61頁\一共有67頁\編輯于星期三62四、