（首選）人工神經(jīng)網(wǎng)絡(ANN)方法簡介

1、 大腦與神經(jīng)細胞、神經(jīng)細胞與神經(jīng)大腦與神經(jīng)細胞、神經(jīng)細胞與神經(jīng) 細胞構(gòu)成了龐大天文數(shù)字量級的細胞構(gòu)成了龐大天文數(shù)字量級的高高 度復雜的網(wǎng)絡系統(tǒng)度復雜的網(wǎng)絡系統(tǒng)。也正是有了這。也正是有了這 樣的樣的復雜巨系統(tǒng)復雜巨系統(tǒng)，大腦才能擔負起，大腦才能擔負起 人類認識世界和改造世界的任務。人類認識世界和改造世界的任務。 “世界上最大的未開發(fā)疆域，是我世界上最大的未開發(fā)疆域，是我 們兩耳之間的空間。們兩耳之間的空間?！保绹鴿h諾（美國漢諾 威保險公司總裁比爾威保險公司總裁比爾奧伯萊恩）奧伯萊恩） 生物系統(tǒng)是世界上生物系統(tǒng)是世界上最為復雜的系統(tǒng)最為復雜的系統(tǒng)。 生物神經(jīng)系統(tǒng)活動和腦的功能，其生物神經(jīng)系統(tǒng)活動

2、和腦的功能，其復雜性是難以想象復雜性是難以想象的。的。 人大腦平均只有人大腦平均只有3磅左右。磅左右。 只占身體重量比例的只占身體重量比例的1/30； 使眼睛可以辨別使眼睛可以辨別1000萬種細萬種細 微的顏色；微的顏色； 使肌肉使肌肉(如果全部向同一個如果全部向同一個 方向運動方向運動)產(chǎn)生產(chǎn)生25噸的拉力；噸的拉力； 是由是由100億個腦細胞和億個腦細胞和10兆兆 個神經(jīng)交匯叢組成。整個大腦個神經(jīng)交匯叢組成。整個大腦 的神經(jīng)網(wǎng)絡足足有的神經(jīng)網(wǎng)絡足足有10英里長。英里長。 “你的大腦就像一個沉睡的巨人。你的大腦就像一個沉睡的巨人。” （英國的心理學家、教（英國的心理學家、教 育家托尼育家托尼

3、布贊）布贊） “如果我們迫使頭腦開足如果我們迫使頭腦開足1/4的馬力，我們就會毫不費力地學的馬力，我們就會毫不費力地學 會會40種語言，把整個百科全書從頭到尾背下來，還可以完成十種語言，把整個百科全書從頭到尾背下來，還可以完成十 幾個大學的博士學位。幾個大學的博士學位?！保ㄇ疤K聯(lián)學者伊凡）（前蘇聯(lián)學者伊凡） 一個正常的大腦記憶容量有大約一個正常的大腦記憶容量有大約6億本書的知識總量，億本書的知識總量， 相當于一部大型電腦儲存量的相當于一部大型電腦儲存量的120萬倍萬倍 大腦使你從出生開始每一秒鐘可存儲大腦使你從出生開始每一秒鐘可存儲1000條信息，直到條信息，直到 老死為止老死為止 全世界的全

4、世界的 線路的運作只相當于大約一粒綠豆體積的腦線路的運作只相當于大約一粒綠豆體積的腦 細胞細胞 即使世界上記憶力最好的人，其大腦的使用也沒有達到即使世界上記憶力最好的人，其大腦的使用也沒有達到 其功能的其功能的1% 人類的知識與智慧，仍是人類的知識與智慧，仍是“低度開發(fā)低度開發(fā)”！人的大腦是個無盡！人的大腦是個無盡 寶藏，可惜的是每個人終其一生，都忽略了如何有效地發(fā)揮它寶藏，可惜的是每個人終其一生，都忽略了如何有效地發(fā)揮它 的的“潛能潛能”潛意識中激發(fā)出來的能量。潛意識中激發(fā)出來的能量。 重新構(gòu)造人腦，并讓其代替人類完成相應的工作。重新構(gòu)造人腦，并讓其代替人類完成相應的工作。 （無數(shù)科幻故事）

5、（無數(shù)科幻故事） 探索智能的奧秘探索智能的奧秘 “觀察、學習、理解和認識的能力觀察、學習、理解和認識的能力”(牛津大辭典牛津大辭典) “理解和各種適應性行為的能力理解和各種適應性行為的能力”(韋氏大辭典韋氏大辭典) 智能是個體有目的的行為、合理的思維、以及有效的適應環(huán)境智能是個體有目的的行為、合理的思維、以及有效的適應環(huán)境 的綜合能力；也可以說是個體認識客觀事物和運用知識解決問的綜合能力；也可以說是個體認識客觀事物和運用知識解決問 題的能力。題的能力。 與認識客觀事物、客觀世界和自我的能力；與認識客觀事物、客觀世界和自我的能力； 通過通過獲得經(jīng)驗、積累知識的能力；獲得經(jīng)驗、積累知識的能力； 理

6、解知識、理解知識、知識和經(jīng)驗分析、解決問題的能力；知識和經(jīng)驗分析、解決問題的能力； 聯(lián)想、聯(lián)想、判斷、決策的能力；、判斷、決策的能力； 運用運用進行抽象、概括的能力；進行抽象、概括的能力； 以上以上5點是人類智能的基本能力。點是人類智能的基本能力。 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力；發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力； 實時、迅速、合理地應付復雜環(huán)境的能力；實時、迅速、合理地應付復雜環(huán)境的能力； 預測、洞察事物發(fā)展、變化的能力。預測、洞察事物發(fā)展、變化的能力。 以上以上3點是前點是前5種能力新的綜合表現(xiàn)形式。種能力新的綜合表現(xiàn)形式。 “人工智能（人工智能（Artificial Intelligence）

7、” 1956年初次引入年初次引入 人工智能研究怎樣人工智能研究怎樣用計算機模仿人腦用計算機模仿人腦從事推理、設計、思從事推理、設計、思 考、學習等思維活動，以解決和處理較復雜的問題。考、學習等思維活動，以解決和處理較復雜的問題。 目的之一：增加人類探索世界、推動社會前進的能力目的之一：增加人類探索世界、推動社會前進的能力 通過制造和使用工具來加強和延伸人類的生存、發(fā)展。通過制造和使用工具來加強和延伸人類的生存、發(fā)展。 目的之二：進一步認識自己。目的之二：進一步認識自己。 用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。 1991年，人工智能學

8、家年，人工智能學家D. Krish在在Int. J. Artificial Intelligence上提出人工智能的上提出人工智能的5個基本問題：個基本問題： 知識和概念化是否人工智能的核心？知識和概念化是否人工智能的核心？ 認知能力能否與載體分開來研究？認知能力能否與載體分開來研究？ 認知的軌跡是否可以用類自然語言來描述？認知的軌跡是否可以用類自然語言來描述？ 學習能力能否與認知分開來研究？學習能力能否與認知分開來研究？ 所有的認識是否有一種統(tǒng)一的結(jié)構(gòu)？所有的認識是否有一種統(tǒng)一的結(jié)構(gòu)？ 對以上對以上5個基本問題的不同回答已經(jīng)形成個基本問題的不同回答已經(jīng)形成3個主要的學術(shù)流派：個主要的學術(shù)流派

9、： 符號主義（符號主義（Symbolicisim） 聯(lián)結(jié)主義（聯(lián)結(jié)主義（connetionism） 行為主義（行為主義（actionism） 即傳統(tǒng)的人工智能，認為人工智能源于數(shù)理邏輯，主張以知即傳統(tǒng)的人工智能，認為人工智能源于數(shù)理邏輯，主張以知 識為基礎，通過推理來進行問題求解，在研究方法上采用計算識為基礎，通過推理來進行問題求解，在研究方法上采用計算 機模擬人類認知系統(tǒng)功能的功能模擬方法機模擬人類認知系統(tǒng)功能的功能模擬方法 Simon、Minsky和和Newell等認為，人和計算機都是一個物理等認為，人和計算機都是一個物理 符號系統(tǒng)，因此可用計算機的符號演算來模擬人的認知過程；符號系統(tǒng)，因

10、此可用計算機的符號演算來模擬人的認知過程； 作為智能基礎的知識是可用符號表示的一種信息形式，因此作為智能基礎的知識是可用符號表示的一種信息形式，因此人人 工智能的核心問題是知識表示、知識推理和知識運用的信息處工智能的核心問題是知識表示、知識推理和知識運用的信息處 理過程理過程。 符號主義對符號符號主義對符號 系統(tǒng)的描述系統(tǒng)的描述 又稱又稱仿生學派仿生學派，認為人工智能源于仿生學，人思維的基本單，認為人工智能源于仿生學，人思維的基本單 元是神經(jīng)元，而非符號處理過程，主張用大腦工作模式取代符元是神經(jīng)元，而非符號處理過程，主張用大腦工作模式取代符 號操作的電腦工作模式；號操作的電腦工作模式； 智能的

11、本質(zhì)是聯(lián)結(jié)機制。神經(jīng)網(wǎng)絡是一個由大量簡單的處理智能的本質(zhì)是聯(lián)結(jié)機制。神經(jīng)網(wǎng)絡是一個由大量簡單的處理 單元組成的高度復雜的大規(guī)模非線性自適應系統(tǒng)；單元組成的高度復雜的大規(guī)模非線性自適應系統(tǒng)； “結(jié)構(gòu)功能結(jié)構(gòu)功能”的研究方法：認為功能、結(jié)構(gòu)和智能行為是的研究方法：認為功能、結(jié)構(gòu)和智能行為是 密切相關的；密切相關的； 1943年，年，McCulloch和和 Pitts從神經(jīng)元入手研究神從神經(jīng)元入手研究神 經(jīng)網(wǎng)絡模型經(jīng)網(wǎng)絡模型MP模型模型。 此為人工神經(jīng)網(wǎng)絡研究之此為人工神經(jīng)網(wǎng)絡研究之 始。始。 人工神經(jīng)網(wǎng)絡（人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN）從四個方）從四個方

12、 面刻畫人腦的基本特征：面刻畫人腦的基本特征： （1）、）、 模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡 Cell body Axon Nucleus Synapse 突觸突觸 Dendrite 樹突樹突 （2）、）、 人腦神經(jīng)元既有局部的計算和存儲功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一人腦神經(jīng)元既有局部的計算和存儲功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一 的系統(tǒng)，人腦的計算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎的系統(tǒng)，人腦的計算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎 之上。之上。 ANN以具有局部計算能力的神經(jīng)元為基礎，同樣實現(xiàn)信息的大以具有局部計算能力的神經(jīng)元為基礎，同樣實

13、現(xiàn)信息的大 規(guī)模并行處理。規(guī)模并行處理。 （3）、）、 大腦對信息的記憶是通過改變突觸的聯(lián)結(jié)強度來實現(xiàn)并分布存大腦對信息的記憶是通過改變突觸的聯(lián)結(jié)強度來實現(xiàn)并分布存 儲。儲。 ANN模擬信息的大規(guī)模分布存儲。模擬信息的大規(guī)模分布存儲。 （4）、）、 后天的訓練使得人腦具有很強的自組織和自適應性。后天的訓練使得人腦具有很強的自組織和自適應性。 ANN根據(jù)人工神經(jīng)元網(wǎng)絡的結(jié)構(gòu)特性，使用不同的訓練過程，根據(jù)人工神經(jīng)元網(wǎng)絡的結(jié)構(gòu)特性，使用不同的訓練過程， 自動從自動從“實踐實踐”（即訓練樣本）中獲取相關知識，并存儲在系（即訓練樣本）中獲取相關知識，并存儲在系 統(tǒng)中。統(tǒng)中。 “進化主義學派進化主義學派”

14、、“控制論學派控制論學派”； 認為人工智能來源于認為人工智能來源于控制論控制論，智能取決于感知和行動。提出，智能取決于感知和行動。提出 智能行為的智能行為的“感知動作感知動作”模式模式，采用，采用行為模擬方法行為模擬方法； 對符號主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識、對符號主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識、 表示和推理，只需要與環(huán)境交互作用）表示和推理，只需要與環(huán)境交互作用） 80年代誕生智能控制和智能機器人系統(tǒng)學科（年代誕生智能控制和智能機器人系統(tǒng)學科（R. A. Brooks），為機器人研究開創(chuàng)了新的方法。），為機器人研究開創(chuàng)了新的方法。 聯(lián)結(jié)主義學派與高速發(fā)展的計

15、算機技術(shù)相結(jié)合，發(fā)展為聯(lián)結(jié)主義學派與高速發(fā)展的計算機技術(shù)相結(jié)合，發(fā)展為 ，是人工智能在，是人工智能在1980年代后的深化和發(fā)展年代后的深化和發(fā)展 計算智能：借助現(xiàn)代計算機技術(shù)模擬人的智能控制、生命演計算智能：借助現(xiàn)代計算機技術(shù)模擬人的智能控制、生命演 化過程和人的智能行為，從而進行信息獲取、處理、應用的化過程和人的智能行為，從而進行信息獲取、處理、應用的 理論和方法理論和方法 計算智能是以數(shù)學模型、計算模型為基礎，以分布、并行、計算智能是以數(shù)學模型、計算模型為基礎，以分布、并行、 仿生計算為特征，包含數(shù)據(jù)、算法和實現(xiàn)的信息系統(tǒng)仿生計算為特征，包含數(shù)據(jù)、算法和實現(xiàn)的信息系統(tǒng) 計算智能強調(diào)模型的建

16、立和構(gòu)成，強調(diào)系統(tǒng)的自組織、自學計算智能強調(diào)模型的建立和構(gòu)成，強調(diào)系統(tǒng)的自組織、自學 習和自適應習和自適應 計算智能的計算智能的3個主要分支：個主要分支： （模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)）（模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)） （模擬生命生成過程與智能進化過程）（模擬生命生成過程與智能進化過程） （模擬智能的表現(xiàn)行為）（模擬智能的表現(xiàn)行為） 人工神經(jīng)網(wǎng)絡是受生物神經(jīng)網(wǎng)絡的啟發(fā)構(gòu)造而成。人工神經(jīng)網(wǎng)絡是受生物神經(jīng)網(wǎng)絡的啟發(fā)構(gòu)造而成。 James（心理學心理學，1890年）年） ：大腦皮層每一點的活力產(chǎn)生：大腦皮層每一點的活力產(chǎn)生 于其它點勢能釋放的綜合效能，即其它點的于其它點勢能釋放的綜合效能，

17、即其它點的興奮次數(shù)興奮次數(shù)、強度強度和和 所接受的能量所接受的能量。 大腦含大腦含1011個神經(jīng)元，它們通過個神經(jīng)元，它們通過 1015個聯(lián)結(jié)構(gòu)成一個網(wǎng)絡。個聯(lián)結(jié)構(gòu)成一個網(wǎng)絡。 每個神經(jīng)元具有獨立的接受、處理和傳遞電化學信號的能力，每個神經(jīng)元具有獨立的接受、處理和傳遞電化學信號的能力， 這種傳遞由神經(jīng)通道來完成。這種傳遞由神經(jīng)通道來完成。 樹突從細胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號的聯(lián)結(jié)點樹突從細胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號的聯(lián)結(jié)點 為突觸。通過突觸輸入的信號起著興奮為突觸。通過突觸輸入的信號起著興奮/抑制作用。當細胞體接抑制作用。當細胞體接 受的累加興奮作用超過某閾值時，細胞進

18、入興奮狀態(tài)，產(chǎn)生沖受的累加興奮作用超過某閾值時，細胞進入興奮狀態(tài)，產(chǎn)生沖 動，并由軸突輸出。動，并由軸突輸出。 Cell body Axon Nucleus Synapse 突觸突觸 Dendrite 樹突樹突 神經(jīng)元及其聯(lián)結(jié)神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱 神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓練而改變神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓練而改變 信號分為興奮型和抑制型信號分為興奮型和抑制型 一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài) 每個神經(jīng)元有一個閾值每個神經(jīng)元有一個閾值 w1 Z= wixi

19、 w2 wn x1 x2 xn y = f( wixi- ) 軸突軸突 突觸突觸 樹突樹突 內(nèi)核內(nèi)核 軸突軸突 第一階段第一階段 1943年，心理學家年，心理學家McCulloch和數(shù)學家和數(shù)學家Pitts對神經(jīng)元進行形式化研究，提對神經(jīng)元進行形式化研究，提 出了神經(jīng)元的數(shù)學模型出了神經(jīng)元的數(shù)學模型MP模型模型。 1944年，年，D. O. Hebb提出改變神經(jīng)元聯(lián)結(jié)強度的提出改變神經(jīng)元聯(lián)結(jié)強度的Hebb學習規(guī)則學習規(guī)則，至今仍然，至今仍然 是人工神經(jīng)網(wǎng)絡學習算法的一個基本原則。是人工神經(jīng)網(wǎng)絡學習算法的一個基本原則。 1957年，年，Rosenblatt首次引進感知器首次引進感知器(Perce

20、ptron)概念來模擬生物的感知、概念來模擬生物的感知、 學習能力。學習能力。 1962年，年，Widros提出用于自適應系統(tǒng)的連續(xù)取值的線性網(wǎng)絡。提出用于自適應系統(tǒng)的連續(xù)取值的線性網(wǎng)絡。 第二階段第二階段 1969年，年，M. L. Minsky和和S. Papert從理論上證明了當時單隱含層感知器網(wǎng)絡從理論上證明了當時單隱含層感知器網(wǎng)絡 模型無法解決的許多簡單問題，包括最基本的模型無法解決的許多簡單問題，包括最基本的“異或異或(XOR)”問題。使問題。使ANN 理論的發(fā)展進入一個低谷；理論的發(fā)展進入一個低谷； 1974年，年，Webos提出提出BP學習理論；學習理論； S. Grossbe

21、rg提出自適應共振理論（提出自適應共振理論（ART）。）。 第三階段第三階段 突破性進展：突破性進展：1982年，年，CalTech的物理學家的物理學家J. Hopfield提出提出Hopfield神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡 系統(tǒng)系統(tǒng)(HNNS)模型，提出能量函數(shù)的概念，用非線性動力學方法來研究模型，提出能量函數(shù)的概念，用非線性動力學方法來研究ANN， 開拓了開拓了ANN用于聯(lián)想記憶和優(yōu)化計算的新途徑；用于聯(lián)想記憶和優(yōu)化計算的新途徑； 1988年，年，McClelland和和Rumelhart利用多層反饋學習算法解決了利用多層反饋學習算法解決了“異或異或 （XOR）”問題。問題。 多輸入、多輸出的多層無

22、環(huán)圖，同一層間無聯(lián)結(jié)。多輸入、多輸出的多層無環(huán)圖，同一層間無聯(lián)結(jié)。 神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層 從輸出層到輸入層存在反饋的前向網(wǎng)。從輸出層到輸入層存在反饋的前向網(wǎng)。 在無反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。在無反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。 任意兩個神經(jīng)元間都可能存在有向聯(lián)結(jié)。任意兩個神經(jīng)元間都可能存在有向聯(lián)結(jié)。 網(wǎng)絡處在動態(tài)中，直至達到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。網(wǎng)絡處在動態(tài)中，直至達到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。 感知器（感知器（Perceptron）：最早被設計并實現(xiàn)的人工神經(jīng)網(wǎng)絡。）

23、：最早被設計并實現(xiàn)的人工神經(jīng)網(wǎng)絡。 W. McCulloch和和W. Pitts總結(jié)生物神經(jīng)元的基本生理特征，提出總結(jié)生物神經(jīng)元的基本生理特征，提出 一種簡單的數(shù)學模型與構(gòu)造方法，建立了一種簡單的數(shù)學模型與構(gòu)造方法，建立了閾值加權(quán)和模型閾值加權(quán)和模型，簡，簡 稱稱M-P模型模型(“A Logical Calculus Immanent in Nervous Activity”, Bulletin of Mathematical Biophysics, 1943(5): 115133）。 人工神經(jīng)元模型是人工神經(jīng)元模型是M-P模型的基礎。模型的基礎。 Warren McCulloch （1898

24、1969） Walter Pitts (19231969) 神經(jīng)元及其聯(lián)結(jié)神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱 神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓練而改變神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓練而改變 信號分為興奮型和抑制型信號分為興奮型和抑制型 一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài) 每個神經(jīng)元有一個閾值每個神經(jīng)元有一個閾值 突觸突觸 樹突樹突 突觸突觸 樹突樹突 內(nèi)核內(nèi)核 軸突軸突 模擬神經(jīng)元的首要目標：輸入信號的加權(quán)和模擬神經(jīng)元的首要目標：輸入信號的加權(quán)和 （生物神經(jīng)元的一階特征）（生物神經(jīng)

25、元的一階特征） 人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號，人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號， 每個輸入對應一個權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激每個輸入對應一個權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激 活狀態(tài)。每個權(quán)就相當于突觸的聯(lián)結(jié)強度?；顮顟B(tài)。每個權(quán)就相當于突觸的聯(lián)結(jié)強度。 w1 wi xiw2 wn x1 x2 xn XWxwXu ii )( 多輸入、單輸出的加權(quán)和結(jié)構(gòu)多輸入、單輸出的加權(quán)和結(jié)構(gòu) 設設X = (x1, x2, , xn)表示表示n個輸入，個輸入，W = (w1, w2, , wn)表示它表示它 們對應的聯(lián)結(jié)權(quán)重。們對應的聯(lián)結(jié)權(quán)重。 故神經(jīng)

26、元所獲得的輸入信號累計效果為：故神經(jīng)元所獲得的輸入信號累計效果為： 1 , n ii i uXw xWX 稱稱u(X)為整合函數(shù)。為整合函數(shù)。 w1 wi xiw2 wn x1 x2 xn 神經(jīng)元獲得網(wǎng)絡輸入信號后，信號累計效果整合函數(shù)神經(jīng)元獲得網(wǎng)絡輸入信號后，信號累計效果整合函數(shù)u(X)大于大于 某閾值某閾值 時，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀時，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀 態(tài)。態(tài)。 構(gòu)造構(gòu)造激活函數(shù)激活函數(shù) ，用于表示這一轉(zhuǎn)換過程。要求，用于表示這一轉(zhuǎn)換過程。要求 是是-1, 1之間之間 的單調(diào)遞增函數(shù)。的單調(diào)遞增函數(shù)。 激活函數(shù)激活函數(shù) 通常為通常為3種類型，

27、由此決定了神經(jīng)元的輸出特征。種類型，由此決定了神經(jīng)元的輸出特征。 激活函數(shù)激活函數(shù) 為符號函數(shù)：為符號函數(shù)： 0, 1 0, 1 )sgn()( u u uu 1 -1 u 激活函數(shù)激活函數(shù) 為分段線性函數(shù)：為分段線性函數(shù)： 2 1 , 1 2 1 2 1 , 2 1 , 1 )( u uu u u 1 -1 u 激活函數(shù)激活函數(shù) 為為Sigmoid函數(shù)，其特點是單調(diào)遞增、光滑且具函數(shù)，其特點是單調(diào)遞增、光滑且具 有漸近值，具有解析上的優(yōu)點和神經(jīng)生理學特征。有漸近值，具有解析上的優(yōu)點和神經(jīng)生理學特征。 1 1 2 )( u e u u u e e u 1 1 )( 1 -1 u 將人工神經(jīng)元的

28、基本模型與激活函數(shù)將人工神經(jīng)元的基本模型與激活函數(shù) 結(jié)合，即結(jié)合，即McCulloch Pitts模型。模型。 w1 u= wixi w2 wn x1 x2 xn y= (u(X)- ) 1 n ii i yuXw x “The conceptual scheme for learning in this context is a machine with an input channel for figures, a pair of YES and NO output indicators, and a reinforcement or reward button that the mach

29、ines operator can use to indicate his approval or disapproval of the machines behavior.” M. L. Minsky and S. A. Papert, “Perceptron”(1988) ANN學習定理學習定理ANN可以學會它表達的任何東西?？梢詫W會它表達的任何東西。 （Rosenblatt，1962年）年） ANN的表達能力有限，其學習能力也受到限制。的表達能力有限，其學習能力也受到限制。 ANN的學習過程就是訓練過程，在將訓練樣本集輸入到網(wǎng)絡的的學習過程就是訓練過程，在將訓練樣本集輸入到網(wǎng)絡的 過程中

30、，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使過程中，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使 得網(wǎng)絡能夠?qū)⒂柧殬颖炯膬?nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲起得網(wǎng)絡能夠?qū)⒂柧殬颖炯膬?nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲起 來，從而使得網(wǎng)絡在接受輸入時，能夠給出適當?shù)妮敵?。來，從而使得網(wǎng)絡在接受輸入時，能夠給出適當?shù)妮敵觥?有監(jiān)督的學習（有監(jiān)督的學習（Supervised learning） 無監(jiān)督的學習（無監(jiān)督的學習（Unsupervised learning） 感知器的學習是有監(jiān)督的學習。學習的問題歸結(jié)為求權(quán)重系數(shù)感知器的學習是有監(jiān)督的學習。學習的問題歸結(jié)為求權(quán)重系數(shù) W = (w1, w2, ,

31、wn)和閾值和閾值 的問題。的問題。 基本思想：逐步將訓練集中的樣本輸入到網(wǎng)絡中，根據(jù)當前輸基本思想：逐步將訓練集中的樣本輸入到網(wǎng)絡中，根據(jù)當前輸 出結(jié)果和理想輸出結(jié)果之間的差別來調(diào)整網(wǎng)絡中的權(quán)重值。出結(jié)果和理想輸出結(jié)果之間的差別來調(diào)整網(wǎng)絡中的權(quán)重值。 w1 u= wixi w2 wn x1 x2 xn y= (u(X)- ) 設設X = (x1, x2, , xn)表示表示n個輸入，個輸入，W = (w1, w2, , wn)表示它表示它 們對應的聯(lián)結(jié)權(quán)重。假設取們對應的聯(lián)結(jié)權(quán)重。假設取符號函數(shù)為激活函數(shù)符號函數(shù)為激活函數(shù) ， 此為經(jīng)典的此為經(jīng)典的M-P模型：模型： 0, 1 0, 1 )s

32、gn()( u u uu w1 u= wixi w2 wn x1 x2 xn +1 or -1 1,0 sgn( ()sgn(,) 1,0 u yu XW X u 訓練集的樣本（輸入向量、輸出值）為：訓練集的樣本（輸入向量、輸出值）為： t xxxX ,., , 21 t yyyY ,., , 21 t為樣本數(shù)目。其中，為樣本數(shù)目。其中， tkxxxx k n kkk ,.,2,1 ,., , 21 tky k ,.,2,11 重復下列過程，直至訓練完成：重復下列過程，直至訓練完成： 對訓練集中的每一個樣本對訓練集中的每一個樣本(xk, yk)，重復如下過程重復如下過程： 輸入輸入xk 計算計

33、算 若輸出不正確，則若輸出不正確，則 初始化權(quán)重向量初始化權(quán)重向量W = (w1, w2, , wn)，不妨取，不妨取w1= w2=,= wn=1 tkxwy n i k ii ,.,2,1, sgn 1 k iii k iii xwwyif xwwyif ,1 ,1 Marvin Minsky MIT Media Lab and MIT AI Lab Toshiba Professor of Media Arts and Sciences Professor of E.E. and C.S., M.I.T 1969年，年，Minsky和和Papert在

34、在 “Perceptron”一書中從理論一書中從理論 上證明單層感知器無法解決上證明單層感知器無法解決 許多簡單的問題，包括許多簡單的問題，包括“異異 或或(XOR)”問題。使得問題。使得ANN理理 論的發(fā)展在論的發(fā)展在197080年代處年代處 于低潮。導致政府和企業(yè)資于低潮。導致政府和企業(yè)資 助減少，研究人員撤退助減少，研究人員撤退 others yxif yxf , 1 ,0 ),( f (x, y) y 01 x 001 110 是一個雙輸入、單輸出問題。對應的單層感知器為：是一個雙輸入、單輸出問題。對應的單層感知器為： x y a b z ax+by= x y 無論如何選擇參數(shù)無論如何

35、選擇參數(shù)a，b， ，都無法滿足劃分。這種由單層，都無法滿足劃分。這種由單層 感知器不能表達的問題稱為感知器不能表達的問題稱為線性不可分問題線性不可分問題。 考慮考慮n個自變量的二值函數(shù)，當個自變量的二值函數(shù)，當n 4時，線性不可分的函數(shù)個數(shù)時，線性不可分的函數(shù)個數(shù) 遠遠超過線性可分函數(shù)的個數(shù)遠遠超過線性可分函數(shù)的個數(shù)。 自變量個數(shù) 函數(shù)的個數(shù) 線性可分函數(shù)的個數(shù) 144 21614 3256104 465,5361,882 54.3 10994,572 61.8 10195,028,134 （R. O. Windner, 1960） 表明單層感知器不能表達的問題的數(shù)量遠遠超過它可以表達的表明單

36、層感知器不能表達的問題的數(shù)量遠遠超過它可以表達的 問題的數(shù)量問題的數(shù)量。 一個單層網(wǎng)絡可以將空間劃分成兩部分，用多個單層網(wǎng)絡組一個單層網(wǎng)絡可以將空間劃分成兩部分，用多個單層網(wǎng)絡組 合在一起，并用其中的一個去綜合其它單層網(wǎng)絡的結(jié)果，構(gòu)合在一起，并用其中的一個去綜合其它單層網(wǎng)絡的結(jié)果，構(gòu) 成一個二層網(wǎng)絡，即可用來在空間劃分出一個封閉或開放的成一個二層網(wǎng)絡，即可用來在空間劃分出一個封閉或開放的 凸域（子空間）。凸域（子空間）。 x1 z0 xn z1 zn 對于線性可分問題，感知器的學習算法是收斂的。對于線性可分問題，感知器的學習算法是收斂的。 （略）（略） （略）（略） 取權(quán)重函數(shù)為非線性函數(shù)的單

37、級傳感器系統(tǒng)。其學習過程涉及取權(quán)重函數(shù)為非線性函數(shù)的單級傳感器系統(tǒng)。其學習過程涉及 到求解非線性方程組的方法。到求解非線性方程組的方法。 主要討論可線性化的非線性傳感器系統(tǒng)。主要討論可線性化的非線性傳感器系統(tǒng)。 設有設有c 1個感知器，其中第個感知器，其中第k個感知器的輸出為個感知器的輸出為yk；對于；對于 輸入信號輸入信號x = (x1, x2, , xn)，每個感知器有，每個感知器有d個輸入個輸入uj(x)，j=1, 2, , d。 1 k c x1 xn x2 u1(x) u2(x) ud(x) x3 wk1 wk2 wk3 yk 輸入層輸入層輸出層輸出層 一個單層前向網(wǎng)可表示為：一個單

38、層前向網(wǎng)可表示為： ckxuwxuwxy kkk d j jkjk ,.,2 , 1)(, 1 ：激活函數(shù)；：激活函數(shù)； wk=(wk1, wk2, , wkd) ：第：第k個感知器的權(quán)重系數(shù)；個感知器的權(quán)重系數(shù)； k：第：第k個感知器的閾值；個感知器的閾值； u=(u1, u2, , ud)：基函數(shù)：基函數(shù) x Rn，u(x) Rd 若記若記wk0 = k ， u0=1，則上式變換為：，則上式變換為： ckxuwxy d j jkjk ,.,2 , 1 0 記記yk(wk; x) 為第為第k個感知器當權(quán)重系數(shù)為個感知器當權(quán)重系數(shù)為wk Rd，輸入為，輸入為x Rn時的輸出。時的輸出。 設訓練

39、集為設訓練集為A = (x , t ) | =1, 2, , N ，其中，其中 表示訓練集表示訓練集 數(shù)據(jù)編號，數(shù)據(jù)編號，x Rn為輸入，為輸入，t Rc為輸出，為輸出， tk 為第為第k個感知器的個感知器的 期望輸出。期望輸出。 基于訓練集基于訓練集A的誤差函數(shù)定義為：的誤差函數(shù)定義為： Nc k kkk txwywE 11 2 ; 2 1 )( 學習的目標就是求學習的目標就是求wk ，k=1,2,c，使得誤差函數(shù)，使得誤差函數(shù)E(w)取最取最 小值：小值： )(minwE A 這就是這就是。 單層前向網(wǎng)的學習原理本質(zhì)上仍是感知器的學習原理。單層前向網(wǎng)的學習原理本質(zhì)上仍是感知器的學習原理。

40、關于基函數(shù)關于基函數(shù)u(x)，對學習集的每一個數(shù)據(jù)，記：，對學習集的每一個數(shù)據(jù)，記： d d uuu xuxuxuu ,., )(),.,(),( 21 21 其中其中 =1, 2, , N。由此，定義學習集。由此，定義學習集A的擴展集的擴展集B： NtuB,.,2,1),( 不妨假設激活函數(shù)不妨假設激活函數(shù) 為恒等函數(shù)，此時網(wǎng)絡為線性單層前向網(wǎng)。為恒等函數(shù)，此時網(wǎng)絡為線性單層前向網(wǎng)。 由此寫出誤差函數(shù)：由此寫出誤差函數(shù)： Nc k kk d j jkj Nc k k d j jkj tuw tuwwE 11 2 1 11 2 0 2 1 2 1 )( 優(yōu)化的目標函數(shù)為：優(yōu)化的目標函數(shù)為： )

41、(minwE B 根據(jù)最小二乘法求解目標函數(shù)。根據(jù)最小二乘法求解目標函數(shù)。 由多元函數(shù)取極值的必要條件，有：由多元函數(shù)取極值的必要條件，有： djck w wE kj ,.,1 ,0;,.,10 )( j Nd i kiki kj utuw w wE 10 )( 0 10 j Nd i kiki utuw N jk d i N jiki utuuw 101 寫成矩陣形式寫成矩陣形式 UTUUW TT cdcc d d www www www W . . . 10 22120 11110 N d NN d d uuu uuu uuu U . . . 10 22 1 2 0 11 1 1 0 N

42、c NN c c ttt ttt ttt T . . . 21 22 2 2 1 11 2 1 1 解的形式為：解的形式為： 1 UUUTW TT 解存在的條件？解存在的條件？ （略）（略） 多層前向網(wǎng)的結(jié)構(gòu)特點：多層前向網(wǎng)的結(jié)構(gòu)特點： 1、允許網(wǎng)絡具有數(shù)層相連的處理單元；、允許網(wǎng)絡具有數(shù)層相連的處理單元； 2、聯(lián)結(jié)是從前一層的每一個節(jié)點到下一層所有節(jié)點，不存在、聯(lián)結(jié)是從前一層的每一個節(jié)點到下一層所有節(jié)點，不存在 其它聯(lián)結(jié)；其它聯(lián)結(jié)； 3、同一層內(nèi)的節(jié)點之間不存在聯(lián)結(jié)；、同一層內(nèi)的節(jié)點之間不存在聯(lián)結(jié)； 4、不含任何反饋，故輸出可以用輸入和權(quán)重來表示。、不含任何反饋，故輸出可以用輸入和權(quán)重來表示

43、。 L層神經(jīng)網(wǎng)絡：具有層神經(jīng)網(wǎng)絡：具有L層可調(diào)節(jié)權(quán)重參數(shù)層可調(diào)節(jié)權(quán)重參數(shù) 1 2 M 2 1 x1 xN N x2 y1 1 2 c y2 yc W(1) W(2) 輸入層輸入層 (X) 隱層隱層 (Z) 輸出層輸出層 (Y) 雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反 饋的人工神經(jīng)網(wǎng)絡。饋的人工神經(jīng)網(wǎng)絡。 X層層輸入層輸入層 Y層層輸出層輸出層 Z層層隱層隱層 兩層可調(diào)節(jié)權(quán)重參數(shù)：兩層可調(diào)節(jié)權(quán)重參數(shù)：W(1)、W(2) 設輸入層的輸入為設輸入層的輸入為(x1, x2, , xn) Rn。 首先考察隱層，設隱層神經(jīng)元的激活函數(shù)為

44、首先考察隱層，設隱層神經(jīng)元的激活函數(shù)為 。第。第j個隱層個隱層 神經(jīng)元的整合函數(shù)為神經(jīng)元的整合函數(shù)為aj、輸出值為、輸出值為zj： Mjaz xwxwa jj N i iji N i jijij ,.,2,1 0 )1( 1 )1()1( )1( ji w 第第1層（隱層）層（隱層） 權(quán)重矩陣中第權(quán)重矩陣中第i個個 輸入聯(lián)結(jié)到第輸入聯(lián)結(jié)到第j個個 隱神經(jīng)元的權(quán)重隱神經(jīng)元的權(quán)重 )1( j 第第j個隱神經(jīng)元的個隱神經(jīng)元的 閾值閾值 1 2 M 2 1 x1 xN N x2 y11 2 c y2 yc W(1) W(2) 輸入層輸入層 (X) 隱層隱層 (Z) 輸出層輸出層 (Y) 同樣考察輸出層

45、，設輸出層神經(jīng)元的激活函數(shù)為同樣考察輸出層，設輸出層神經(jīng)元的激活函數(shù)為 。第。第k個個 輸出神經(jīng)元以輸出神經(jīng)元以z=(z1, z2, , zM) RM為輸入，其整合函數(shù)為為輸入，其整合函數(shù)為bk、 輸出值為輸出值為yk： ckby zwzwb kk M j jkj M j kjkjk ,.,2,1 0 )2( 1 )2()2( )2( kj w 第第2層（輸出層）層（輸出層） 權(quán)重矩陣中第權(quán)重矩陣中第j 個隱神經(jīng)元聯(lián)個隱神經(jīng)元聯(lián) 結(jié)到第結(jié)到第k個輸出個輸出 神經(jīng)元的權(quán)重神經(jīng)元的權(quán)重 第第k個輸出神經(jīng)元個輸出神經(jīng)元 的閾值的閾值 )2( k 1 2 M 2 1 x1 xN N x2 y11 2

46、c y2 yc W(1) W(2) 輸入層輸入層 (X) 隱層隱層 (Z) 輸出層輸出層 (Y) 聯(lián)合得到雙層前向網(wǎng)的輸出表達式：聯(lián)合得到雙層前向網(wǎng)的輸出表達式： 1 2 M 2 1 x1 xN N x2 y11 2 c y2 yc W(1) W(2) 輸入層輸入層 (X) 隱層隱層 (Z) 輸出層輸出層 (Y) ckxww xwwy M j N i ijikj M j k N i jijikjk ,.,2,1, 00 )1()2( 1 )2( 1 )1()1()2( 記為：記為： xWWTy;, )2()1()2()1( 為簡化計，考慮兩類的分類問題。為簡化計，考慮兩類的分類問題。 設設A、

47、B是分類空間是分類空間Rd中兩個不相交的集合?？紤]離散型雙層前中兩個不相交的集合?？紤]離散型雙層前 向網(wǎng)向網(wǎng)T(W(1),W(2), (1), (2); x)，取其激活函數(shù)，取其激活函數(shù) 、 為符號函數(shù)為符號函數(shù)sgn (u)。 Bx Ax xWWT , 1 , 1 );,( )2()1()2()1( 該雙層前向網(wǎng)的學習目標是，對該雙層前向網(wǎng)的學習目標是，對(A, B)求求(W(1),W(2), (1), (2)使得：使得： 求解上述方程。求解上述方程。 多層前向網(wǎng)的學習原理：基于適當定義的誤差函數(shù)，在網(wǎng)絡中多層前向網(wǎng)的學習原理：基于適當定義的誤差函數(shù)，在網(wǎng)絡中 調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得

48、誤差函數(shù)極小化。調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得誤差函數(shù)極小化。 與單層前向網(wǎng)和感知器相比較，多層前向網(wǎng)由于隱層的存在，與單層前向網(wǎng)和感知器相比較，多層前向網(wǎng)由于隱層的存在， 無法判別隱層神經(jīng)元對輸入誤差的直接影響（無法知道隱層神無法判別隱層神經(jīng)元對輸入誤差的直接影響（無法知道隱層神 經(jīng)元的理想輸出值）。因此，對參數(shù)權(quán)重矩陣和閾值的調(diào)整遇經(jīng)元的理想輸出值）。因此，對參數(shù)權(quán)重矩陣和閾值的調(diào)整遇 到困難。到困難。 1 2 M 2 1 x1 N y1 1 2 c y2 yc W(1) W(2) 輸入層輸入層 (X) 隱層隱層 (Z) 輸出層輸出層 (Y) x2 xN 解決方案解決方案計算兩個傳播方向：

49、計算兩個傳播方向： “前向傳播前向傳播(Forward propagation)”：輸入：輸入xi進入網(wǎng)絡，按照進入網(wǎng)絡，按照 信息在網(wǎng)絡中前進移動的方向，逐次計算信息在網(wǎng)絡中前進移動的方向，逐次計算aj，zj直至輸出直至輸出yk的的 過程；（輸入向輸出方向的前向傳播）過程；（輸入向輸出方向的前向傳播） “后向傳播后向傳播(Back propagation)”：利用輸出層的誤差來估計輸：利用輸出層的誤差來估計輸 出層的直接前導層的誤差，再依次估計更前一層的誤差，獲得出層的直接前導層的誤差，再依次估計更前一層的誤差，獲得 所有各層的誤差估計。（輸出誤差向輸入方向的后向傳播）所有各層的誤差估計。（

50、輸出誤差向輸入方向的后向傳播） （Rumelhart, Hinton & Williams, 1986） 1 2 M 2 1 x1 N y1 1 2 c y2 yc W(1) W(2) 輸入層輸入層 (X) 隱層隱層 (Z) 輸出層輸出層 (Y) x2 xN 設學習集有設學習集有T個樣本，記為個樣本，記為x , t ， =1, 2, , T，其中：，其中： c c N N Rtttt Rxxxx ,., ,., 21 21 輸入輸入 理想輸出理想輸出 c c Ryyyy ,., 21 計算實際輸出，記為：計算實際輸出，記為： 實際輸出實際輸出 顯然有：顯然有： 2,1 1 )()( l w E

51、 w E T l ij l ij 因此只需討論某一個樣本點的誤差傳播，以下略去上標因此只需討論某一個樣本點的誤差傳播，以下略去上標 。 故誤差函數(shù)為：故誤差函數(shù)為： Tc k kk T c T ty yyyEEE 11 2 1 21 1 2 1 ,., Mjaz xwxwa jj N i iji N i jijij ,.,2,1 0 )1( 1 )1()1( ckby zwzwb kk M j jkj M j kjkjk ,.,2,1 0 )2( 1 )2()2( 已知下列記號：已知下列記號： 又定義第又定義第k個輸出神經(jīng)元和第個輸出神經(jīng)元和第j個隱層神經(jīng)元的個隱層神經(jīng)元的為：為： Mj a

52、E ck b E j j k k ,.,2,1, ,.,2,1, )1( )2( 輸出層誤差率輸出層誤差率 隱層誤差率隱層誤差率 由微分鏈式法則，計算可得：由微分鏈式法則，計算可得： c k kkjj j j c k j k k k kj j wa a z z b b y y E a E 1 )2()2( 1 )1( 輸出層誤差率輸出層誤差率 隱層誤差率隱層誤差率 k k k k kk k y E b b y y E b E )2( 因此，得到：因此，得到： ij ji j jji jk kj k kkj x w a a E w E z w b b E w E )1( )1()1( )2( )

53、2()2( )2( k )1( j )1( )2( ji kj w E w E )2( )1( ij ij w E w E 取步長因子為固定步長取步長因子為固定步長 ，得到學習規(guī)則：，得到學習規(guī)則： T ijji T jkkj xw zw 1 )1()1( 1 )2()2( 其中其中 k(2)、 k(1)均與均與 有關，有關，k=1,2,c；j=0, 1,M；i=0, 1, , N。 已知已知D Rn是一個凸集。求解無約束優(yōu)化問題是一個凸集。求解無約束優(yōu)化問題 )(minxf Dx 就是尋求就是尋求x* D使得使得 )()(min xfxf Dx 若若f (x)為連續(xù)可微凸函數(shù)，問題歸結(jié)為求解

54、為連續(xù)可微凸函數(shù)，問題歸結(jié)為求解 n Rxf 00)( 可運用可運用Newton迭代法數(shù)值求解。迭代法數(shù)值求解。 （但（但f (x) 的凸性難以保證，求解也非常困難的凸性難以保證，求解也非常困難） 構(gòu)造逐次使目標函數(shù)值下降的搜索算法：構(gòu)造逐次使目標函數(shù)值下降的搜索算法： ,.1 ,0 1 kxfxx k k kk 滿足：滿足： 0 k kk xfxf 1 k0：步長因子步長因子 設學習集有設學習集有T個樣本，記為個樣本，記為x , t ， =1, 2, , T，其中：，其中： c c N N Rtttt Rxxxx ,., ,., 21 21 輸入輸入 理想輸出理想輸出 又設又設k=1,2,c

55、；j=0, 1,M；i=0, 1, , N。對于給定的。對于給定的 =1, 2, , T，指標，指標 仍然不標出。仍然不標出。 初始化權(quán)重矩陣和閾值初始化權(quán)重矩陣和閾值wji(1)(0)、 wkj(2)(0) （已包含（已包含 閾值）閾值），選擇學習效率，選擇學習效率 。 設第設第t次迭代值次迭代值wji(1)(t)、 wkj(2)(t)已知，已知， （1）前向過程：對）前向過程：對 =1, 2, , T，依次計算：，依次計算： （2）后向過程：利用公式）后向過程：利用公式 對對 =1, 2, , N，依次計算，依次計算 kkjj ybza, )1()2( , jk k kk y E b )2

56、( c k kkjjj wa 1 )2()2()1( 設第設第t次迭代值次迭代值wji(1)(t)、 wkj(2)(t)已知，已知， . . . （3）迭代過程：計算第）迭代過程：計算第t +1次權(quán)重矩陣次權(quán)重矩陣 T jjjiji T jkkjkj xttwtw zttwtw 1 )1()1()1( 1 )2()2()2( 1 1 由此得到序列由此得到序列 滿足滿足 直至滿足停機準則（滿足某種優(yōu)化準則，或者迭代次數(shù)）直至滿足停機準則（滿足某種優(yōu)化準則，或者迭代次數(shù)） )(),(),(),( )2()1()2()1( twtwtt kjjikj c k kkjj j j k k k k wa

57、a E y E b b E 1 )2()2()1( )2( T jjjiji T jkkjkj xttwtw zttwtw 1 )1()1()1( 1 )2()2()2( 1 1 考慮某雙層前向網(wǎng)，設激活函數(shù)為：考慮某雙層前向網(wǎng)，設激活函數(shù)為： u e uu 1 1 誤差函數(shù)為：誤差函數(shù)為： NTc k kk EtyE 111 2 2 1 注意到：注意到： 2 , 1)(1)()(luuu kk kk kk k ty ty yy E 2 )( 2 1 于是有于是有 c k kkjjjj kkkkk waa tybb 1 )2()2()1( )2( )(1)( )(1)( 其中：其中： jj N

58、 i ijij az xwa 0 )1( kk M j jkjk by zwb 0 )2( 利用：利用： T jjjiji T jkkjkj xttwtw zttwtw 1 )1()1()1( 1 )2()2()2( 1 1 得到迭代公式。得到迭代公式。 （感知器算法具有優(yōu)勢）（感知器算法具有優(yōu)勢） 例子：原核基因例子：原核基因RBS（核糖體結(jié)合位點）（核糖體結(jié)合位點）E. coli翻譯起始翻譯起始 位點的序列特征的分析位點的序列特征的分析 參考文獻：參考文獻： G. D. Stormo, T. D. Schneider, L. M. Gold, and A. Ehrenfeucht. Use

59、 of the perceptron algorithm to distinguish translational initiation sites in E. coli. Nucleic Acid Research. (1982) 10:2997-3011 G. D. Stormo, T. D. Schneider, and L. M. Gold. Characterization of translational initiation sites in E. coli. Nucleic Acid Research (1982) 10:2971- 2996 （BP算法得到廣泛的應用）算法得到廣泛的應用） 參考文獻：參考文獻： N. Qian and T. J. Sejnowski. Predicting the secondary structure of globular proteins using neural network models. Journal of Molecula