最新人工神經(jīng)網(wǎng)絡(luò)ANN方法簡介精選PPT文檔

1、 大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神大腦與神經(jīng)細(xì)胞、神經(jīng)細(xì)胞與神經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級的經(jīng)細(xì)胞構(gòu)成了龐大天文數(shù)字量級的高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)高度復(fù)雜的網(wǎng)絡(luò)系統(tǒng)。也正是有了。也正是有了這樣的這樣的復(fù)雜巨系統(tǒng)復(fù)雜巨系統(tǒng)，大腦才能擔(dān)負(fù)，大腦才能擔(dān)負(fù)起人類認(rèn)識世界和改造世界的任務(wù)。起人類認(rèn)識世界和改造世界的任務(wù)。 “世界上最大的未開發(fā)疆域，是世界上最大的未開發(fā)疆域，是我們兩耳之間的空間。我們兩耳之間的空間?！保绹鴿h（美國漢諾威保險公司總裁比爾諾威保險公司總裁比爾奧伯萊恩）奧伯萊恩） 生物系統(tǒng)是世界上生物系統(tǒng)是世界上最為復(fù)雜的系統(tǒng)最為復(fù)雜的系統(tǒng)。 生物神經(jīng)系統(tǒng)活動和腦的功能，其生物神經(jīng)系統(tǒng)活動和腦的功能，

2、其復(fù)雜性是難以想象復(fù)雜性是難以想象的。的。 人大腦平均只有人大腦平均只有3磅左右。磅左右。只占身體重量比例的只占身體重量比例的1/30； 使眼睛可以辨別使眼睛可以辨別1000萬種細(xì)萬種細(xì)微的顏色；微的顏色； 使肌肉使肌肉(如果全部向同一個如果全部向同一個方向運動方向運動)產(chǎn)生產(chǎn)生25噸的拉力；噸的拉力； 是由是由100億個腦細(xì)胞和億個腦細(xì)胞和10兆兆個神經(jīng)交匯叢組成。整個大腦個神經(jīng)交匯叢組成。整個大腦的神經(jīng)網(wǎng)絡(luò)足足有的神經(jīng)網(wǎng)絡(luò)足足有10英里長。英里長。 “你的大腦就像一個沉睡的巨人。你的大腦就像一個沉睡的巨人?！?（英國的心理學(xué)家、教育家（英國的心理學(xué)家、教育家托尼托尼布贊）布贊） “如果我們

3、迫使頭腦開足如果我們迫使頭腦開足1/4的馬力，我們就會毫不費力地的馬力，我們就會毫不費力地學(xué)會學(xué)會40種語言，把整個百科全書從頭到尾背下來，還可以完成種語言，把整個百科全書從頭到尾背下來，還可以完成十幾個大學(xué)的博士學(xué)位。十幾個大學(xué)的博士學(xué)位?！保ㄇ疤K聯(lián)學(xué)者伊凡）（前蘇聯(lián)學(xué)者伊凡） 一個正常的大腦記憶容量有大約一個正常的大腦記憶容量有大約6億本書的知識總量，相當(dāng)于一部大億本書的知識總量，相當(dāng)于一部大型電腦儲存量的型電腦儲存量的120萬倍萬倍 大腦使你從出生開始每一秒鐘可存儲大腦使你從出生開始每一秒鐘可存儲1000條信息，直到老死為止條信息，直到老死為止 全世界的電話線路的運作只相當(dāng)于大約一粒綠豆

4、體積的腦細(xì)胞全世界的電話線路的運作只相當(dāng)于大約一粒綠豆體積的腦細(xì)胞 即使世界上記憶力最好的人，其大腦的使用也沒有達(dá)到其功能的即使世界上記憶力最好的人，其大腦的使用也沒有達(dá)到其功能的1% 人類的知識與智慧，仍是人類的知識與智慧，仍是“低度開發(fā)低度開發(fā)”！人的大腦是個無！人的大腦是個無盡寶藏，可惜的是每個人終其一生，都忽略了如何有效地發(fā)揮盡寶藏，可惜的是每個人終其一生，都忽略了如何有效地發(fā)揮它的它的“潛能潛能”潛意識中激發(fā)出來的能量。潛意識中激發(fā)出來的能量。 重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。重新構(gòu)造人腦，并讓其代替人類完成相應(yīng)的工作。（無數(shù)科幻故事）（無數(shù)科幻故事） 探索智能的奧秘探索

5、智能的奧秘 “觀察、學(xué)習(xí)、理解和認(rèn)識的能力觀察、學(xué)習(xí)、理解和認(rèn)識的能力”(牛津大辭典牛津大辭典) “理解和各種適應(yīng)性行為的能力理解和各種適應(yīng)性行為的能力”(韋氏大辭典韋氏大辭典)智能是個體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境智能是個體有目的的行為、合理的思維、以及有效的適應(yīng)環(huán)境的綜合能力；也可以說是個體認(rèn)識客觀事物和運用知識解決問的綜合能力；也可以說是個體認(rèn)識客觀事物和運用知識解決問題的能力。題的能力。 與認(rèn)識客觀事物、客觀世界和自我的能力；與認(rèn)識客觀事物、客觀世界和自我的能力； 通過通過獲得經(jīng)驗、積累知識的能力；獲得經(jīng)驗、積累知識的能力； 理解知識、理解知識、知識和經(jīng)驗分析、解決問題

6、的能力；知識和經(jīng)驗分析、解決問題的能力； 聯(lián)想、聯(lián)想、判斷、決策的能力；、判斷、決策的能力； 運用運用進行抽象、概括的能力；進行抽象、概括的能力；以上以上5點是人類智能的基本能力。點是人類智能的基本能力。 發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力；發(fā)現(xiàn)、發(fā)明、創(chuàng)造、創(chuàng)新的能力； 實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力；實時、迅速、合理地應(yīng)付復(fù)雜環(huán)境的能力； 預(yù)測、洞察事物發(fā)展、變化的能力。預(yù)測、洞察事物發(fā)展、變化的能力。以上以上3點是前點是前5種能力新的綜合表現(xiàn)形式。種能力新的綜合表現(xiàn)形式。 “人工智能（人工智能（artificial intelligence）” 1956年初次引入年初次引入 人工智能研究

7、怎樣人工智能研究怎樣用計算機模仿人腦用計算機模仿人腦從事推理、設(shè)計、思從事推理、設(shè)計、思考、學(xué)習(xí)等思維活動，以解決和處理較復(fù)雜的問題?？肌W(xué)習(xí)等思維活動，以解決和處理較復(fù)雜的問題。 目的之一：增加人類探索世界、推動社會前進的能力目的之一：增加人類探索世界、推動社會前進的能力 通過制造和使用工具來加強和延伸人類的生存、發(fā)展。通過制造和使用工具來加強和延伸人類的生存、發(fā)展。 目的之二：進一步認(rèn)識自己。目的之二：進一步認(rèn)識自己。 用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。用物化的智能來考察和研究人腦智能的物質(zhì)過程和規(guī)律。1991年，人工智能學(xué)家年，人工智能學(xué)家d. krish在在int. j

8、. artificial intelligence上提出人工智能的上提出人工智能的5個基本問題：個基本問題： 知識和概念化是否人工智能的核心？知識和概念化是否人工智能的核心？ 認(rèn)知能力能否與載體分開來研究？認(rèn)知能力能否與載體分開來研究？ 認(rèn)知的軌跡是否可以用類自然語言來描述？認(rèn)知的軌跡是否可以用類自然語言來描述？ 學(xué)習(xí)能力能否與認(rèn)知分開來研究？學(xué)習(xí)能力能否與認(rèn)知分開來研究？ 所有的認(rèn)識是否有一種統(tǒng)一的結(jié)構(gòu)？所有的認(rèn)識是否有一種統(tǒng)一的結(jié)構(gòu)？對以上對以上5個基本問題的不同回答已經(jīng)形成個基本問題的不同回答已經(jīng)形成3個主要的學(xué)術(shù)流派：個主要的學(xué)術(shù)流派：符號主義（符號主義（symbolicisim）聯(lián)結(jié)

9、主義（聯(lián)結(jié)主義（connetionism）行為主義（行為主義（actionism） 即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以即傳統(tǒng)的人工智能，認(rèn)為人工智能源于數(shù)理邏輯，主張以知識為基礎(chǔ)，通過推理來進行問題求解，在研究方法上采用計知識為基礎(chǔ)，通過推理來進行問題求解，在研究方法上采用計算機模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法算機模擬人類認(rèn)知系統(tǒng)功能的功能模擬方法 simon、minsky和和newell等認(rèn)為，人和計算機都是一個物理等認(rèn)為，人和計算機都是一個物理符號系統(tǒng)，因此可用計算機的符號演算來模擬人的認(rèn)知過程；符號系統(tǒng)，因此可用計算機的符號演算來模擬人的認(rèn)知過程；作為智能基礎(chǔ)的知識是可

10、用符號表示的一種信息形式，因此作為智能基礎(chǔ)的知識是可用符號表示的一種信息形式，因此人人工智能的核心問題是知識表示、知識推理和知識運用的信息處工智能的核心問題是知識表示、知識推理和知識運用的信息處理過程理過程。符號主義對符號符號主義對符號系統(tǒng)的描述系統(tǒng)的描述 又稱又稱仿生學(xué)派仿生學(xué)派，認(rèn)為人工智能源于仿生學(xué)，人思維的基本，認(rèn)為人工智能源于仿生學(xué)，人思維的基本單元是神經(jīng)元，而非符號處理過程，主張用大腦工作模式取代單元是神經(jīng)元，而非符號處理過程，主張用大腦工作模式取代符號操作的電腦工作模式；符號操作的電腦工作模式； 智能的本質(zhì)是聯(lián)結(jié)機制。神經(jīng)網(wǎng)絡(luò)是一個由大量簡單的處智能的本質(zhì)是聯(lián)結(jié)機制。神經(jīng)網(wǎng)絡(luò)是一

11、個由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)；理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)； “結(jié)構(gòu)功能結(jié)構(gòu)功能”的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為的研究方法：認(rèn)為功能、結(jié)構(gòu)和智能行為是密切相關(guān)的；是密切相關(guān)的；1943年，年，mcculloch和和pitts從神經(jīng)元入手研究神從神經(jīng)元入手研究神經(jīng)網(wǎng)絡(luò)模型經(jīng)網(wǎng)絡(luò)模型mp模型模型。此為人工神經(jīng)網(wǎng)絡(luò)研究之此為人工神經(jīng)網(wǎng)絡(luò)研究之始。始。人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ann）從四個方）從四個方面刻畫人腦的基本特征：面刻畫人腦的基本特征：（1）、）、模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的

12、聯(lián)結(jié)網(wǎng)絡(luò)模仿生物神經(jīng)元的功能，構(gòu)造人工神經(jīng)元的聯(lián)結(jié)網(wǎng)絡(luò)cell bodyaxonnucleussynapse突觸突觸dendrite樹突樹突（2）、）、人腦神經(jīng)元既有局部的計算和存儲功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一人腦神經(jīng)元既有局部的計算和存儲功能，又通過聯(lián)結(jié)構(gòu)成統(tǒng)一的系統(tǒng)，人腦的計算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)的系統(tǒng)，人腦的計算建立在該系統(tǒng)的大規(guī)模并行模擬處理基礎(chǔ)之上。之上。ann以具有局部計算能力的神經(jīng)元為基礎(chǔ)，同樣實現(xiàn)信息的大以具有局部計算能力的神經(jīng)元為基礎(chǔ)，同樣實現(xiàn)信息的大規(guī)模并行處理。規(guī)模并行處理。（3）、）、大腦對信息的記憶是通過改變突觸的聯(lián)結(jié)強度來實現(xiàn)并分布存大腦對信息的記憶是通

13、過改變突觸的聯(lián)結(jié)強度來實現(xiàn)并分布存儲。儲。ann模擬信息的大規(guī)模分布存儲。模擬信息的大規(guī)模分布存儲。（4）、）、后天的訓(xùn)練使得人腦具有很強的自組織和自適應(yīng)性。后天的訓(xùn)練使得人腦具有很強的自組織和自適應(yīng)性。ann根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過程，根據(jù)人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)特性，使用不同的訓(xùn)練過程，自動從自動從“實踐實踐”（即訓(xùn)練樣本）中獲取相關(guān)知識，并存儲在系（即訓(xùn)練樣本）中獲取相關(guān)知識，并存儲在系統(tǒng)中。統(tǒng)中。 “進化主義學(xué)派進化主義學(xué)派”、“控制論學(xué)派控制論學(xué)派”； 認(rèn)為人工智能來源于認(rèn)為人工智能來源于控制論控制論，智能取決于感知和行動。提，智能取決于感知和行動。提出智能行為的出

14、智能行為的“感知動作感知動作”模式模式，采用，采用行為模擬方法行為模擬方法； 對符號主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知對符號主義、聯(lián)結(jié)主義采取批判的態(tài)度；（智能不需要知識、表示和推理，只需要與環(huán)境交互作用）識、表示和推理，只需要與環(huán)境交互作用） 80年代誕生智能控制和智能機器人系統(tǒng)學(xué)科（年代誕生智能控制和智能機器人系統(tǒng)學(xué)科（r. a. brooks），為機器人研究開創(chuàng)了新的方法。），為機器人研究開創(chuàng)了新的方法。 聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計算機技術(shù)相結(jié)合，發(fā)展為聯(lián)結(jié)主義學(xué)派與高速發(fā)展的計算機技術(shù)相結(jié)合，發(fā)展為，是人工智能在，是人工智能在1980年代后的深化和發(fā)展年代后的深化和發(fā)展 計算

15、智能：借助現(xiàn)代計算機技術(shù)模擬人的智能控制、生命計算智能：借助現(xiàn)代計算機技術(shù)模擬人的智能控制、生命演化過程和人的智能行為，從而進行信息獲取、處理、應(yīng)用演化過程和人的智能行為，從而進行信息獲取、處理、應(yīng)用的理論和方法的理論和方法 計算智能是以數(shù)學(xué)模型、計算模型為基礎(chǔ)，以分布、并行、計算智能是以數(shù)學(xué)模型、計算模型為基礎(chǔ)，以分布、并行、仿生計算為特征，包含數(shù)據(jù)、算法和實現(xiàn)的信息系統(tǒng)仿生計算為特征，包含數(shù)據(jù)、算法和實現(xiàn)的信息系統(tǒng) 計算智能強調(diào)模型的建立和構(gòu)成，強調(diào)系統(tǒng)的自組織、自計算智能強調(diào)模型的建立和構(gòu)成，強調(diào)系統(tǒng)的自組織、自學(xué)習(xí)和自適應(yīng)學(xué)習(xí)和自適應(yīng) 計算智能的計算智能的3個主要分支：個主要分支： （

16、模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)）（模擬智能產(chǎn)生與作用賴以存在的結(jié)構(gòu)） （模擬生命生成過程與智能進化過程）（模擬生命生成過程與智能進化過程） （模擬智能的表現(xiàn)行為）（模擬智能的表現(xiàn)行為）人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成。 james（心理學(xué)心理學(xué)，1890年）年） ：大腦皮層每一點的活力產(chǎn)生：大腦皮層每一點的活力產(chǎn)生于其它點勢能釋放的綜合效能，即其它點的于其它點勢能釋放的綜合效能，即其它點的興奮次數(shù)興奮次數(shù)、強度強度和和所接受的能量所接受的能量。大腦含大腦含1011個神經(jīng)元，它們通過個神經(jīng)元，它們通過 1015個聯(lián)結(jié)構(gòu)成一個網(wǎng)絡(luò)。個聯(lián)結(jié)構(gòu)成

17、一個網(wǎng)絡(luò)。每個神經(jīng)元具有獨立的接受、處理和傳遞電化學(xué)信號的能力，每個神經(jīng)元具有獨立的接受、處理和傳遞電化學(xué)信號的能力，這種傳遞由神經(jīng)通道來完成。這種傳遞由神經(jīng)通道來完成。樹突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號的聯(lián)結(jié)點樹突從細(xì)胞體伸向其它神經(jīng)元，神經(jīng)元之間接受信號的聯(lián)結(jié)點為突觸。通過突觸輸入的信號起著興奮為突觸。通過突觸輸入的信號起著興奮/抑制作用。當(dāng)細(xì)胞體接抑制作用。當(dāng)細(xì)胞體接受的累加興奮作用超過某閾值時，細(xì)胞進入興奮狀態(tài)，產(chǎn)生沖受的累加興奮作用超過某閾值時，細(xì)胞進入興奮狀態(tài)，產(chǎn)生沖動，并由軸突輸出。動，并由軸突輸出。cell bodyaxonnucleussynapse突觸突觸den

18、drite樹突樹突 神經(jīng)元及其聯(lián)結(jié)神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱 神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓(xùn)練而改變神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓(xùn)練而改變 信號分為興奮型和抑制型信號分為興奮型和抑制型 一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài) 每個神經(jīng)元有一個閾值每個神經(jīng)元有一個閾值w1 z= wixiw2wnx1x2xny = f( wixi- )軸突軸突突觸突觸樹突樹突內(nèi)核內(nèi)核軸突軸突第一階段第一階段1943年，心理學(xué)家年，心理學(xué)家mcculloch和數(shù)學(xué)家和數(shù)學(xué)家pitts對神經(jīng)元進行形

19、式化研究，提對神經(jīng)元進行形式化研究，提出了神經(jīng)元的數(shù)學(xué)模型出了神經(jīng)元的數(shù)學(xué)模型mp模型模型。1944年，年，d. o. hebb提出改變神經(jīng)元聯(lián)結(jié)強度的提出改變神經(jīng)元聯(lián)結(jié)強度的hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則，至今仍然，至今仍然是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個基本原則。是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的一個基本原則。1957年，年，rosenblatt首次引進感知器首次引進感知器(perceptron)概念來模擬生物的感知、概念來模擬生物的感知、學(xué)習(xí)能力。學(xué)習(xí)能力。1962年，年，widros提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。提出用于自適應(yīng)系統(tǒng)的連續(xù)取值的線性網(wǎng)絡(luò)。第二階段第二階段1969年，年，m. l.

20、minsky和和s. papert從理論上證明了當(dāng)時單隱含層感知器網(wǎng)絡(luò)從理論上證明了當(dāng)時單隱含層感知器網(wǎng)絡(luò)模型無法解決的許多簡單問題，包括最基本的模型無法解決的許多簡單問題，包括最基本的“異或異或(xor)”問題。使問題。使ann理論的發(fā)展進入一個低谷；理論的發(fā)展進入一個低谷；1974年，年，webos提出提出bp學(xué)習(xí)理論；學(xué)習(xí)理論；s. grossberg提出自適應(yīng)共振理論（提出自適應(yīng)共振理論（art）。）。第三階段第三階段突破性進展：突破性進展：1982年，年，caltech的物理學(xué)家的物理學(xué)家j. hopfield提出提出hopfield神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)系統(tǒng)系統(tǒng)(hnns)模型，提出能量

21、函數(shù)的概念，用非線性動力學(xué)方法來研究模型，提出能量函數(shù)的概念，用非線性動力學(xué)方法來研究ann，開拓了開拓了ann用于聯(lián)想記憶和優(yōu)化計算的新途徑；用于聯(lián)想記憶和優(yōu)化計算的新途徑；1988年，年，mcclelland和和rumelhart利用多層反饋學(xué)習(xí)算法解決了利用多層反饋學(xué)習(xí)算法解決了“異或異或（xor）”問題。問題。多輸入、多輸出的多層無環(huán)圖，同一層間無聯(lián)結(jié)。多輸入、多輸出的多層無環(huán)圖，同一層間無聯(lián)結(jié)。神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層神經(jīng)元分層排列，組成輸入層、中間層（隱層）、輸出層從輸出層到輸入層存在反饋的前向網(wǎng)。從輸出層到輸入層存在反饋的前向網(wǎng)。在無反饋前向網(wǎng)中同一層內(nèi)

22、存在神經(jīng)元間的聯(lián)結(jié)回路。在無反饋前向網(wǎng)中同一層內(nèi)存在神經(jīng)元間的聯(lián)結(jié)回路。任意兩個神經(jīng)元間都可能存在有向聯(lián)結(jié)。任意兩個神經(jīng)元間都可能存在有向聯(lián)結(jié)。網(wǎng)絡(luò)處在動態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。網(wǎng)絡(luò)處在動態(tài)中，直至達(dá)到某一平衡態(tài)、周期態(tài)或者混沌狀態(tài)。感知器（感知器（perceptron）：最早被設(shè)計并實現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。）：最早被設(shè)計并實現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。w. mcculloch和和w. pitts總結(jié)生物神經(jīng)元的基本生理特征，提出總結(jié)生物神經(jīng)元的基本生理特征，提出一種簡單的數(shù)學(xué)模型與構(gòu)造方法，建立了一種簡單的數(shù)學(xué)模型與構(gòu)造方法，建立了閾值加權(quán)和模型閾值加權(quán)和模型，簡，簡稱稱m-p模型模

23、型(“a logical calculus immanent in nervous activity”, bulletin of mathematical biophysics, 1943(5): 115133）。人工神經(jīng)元模型是人工神經(jīng)元模型是m-p模型的基礎(chǔ)。模型的基礎(chǔ)。warren mcculloch（18981969）walter pitts(19231969) 神經(jīng)元及其聯(lián)結(jié)神經(jīng)元及其聯(lián)結(jié) 神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱神經(jīng)元之間的聯(lián)結(jié)強度決定信號傳遞的強弱 神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓(xùn)練而改變神經(jīng)元之間的聯(lián)結(jié)強度可以隨訓(xùn)練而改變 信號分為興奮型和抑制型信號分為興奮型和抑制型

24、 一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài)一個神經(jīng)元接受的信號的累計效果決定該神經(jīng)元的狀態(tài) 每個神經(jīng)元有一個閾值每個神經(jīng)元有一個閾值突觸突觸樹突樹突突觸突觸樹突樹突內(nèi)核內(nèi)核軸突軸突模擬神經(jīng)元的首要目標(biāo)：輸入信號的加權(quán)和模擬神經(jīng)元的首要目標(biāo)：輸入信號的加權(quán)和 （生物神經(jīng)元的一階特征）（生物神經(jīng)元的一階特征）人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號，人工神經(jīng)元可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號，每個輸入對應(yīng)一個權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激每個輸入對應(yīng)一個權(quán)重，所有輸入的加權(quán)和決定該神經(jīng)元的激活狀態(tài)。每個權(quán)就相當(dāng)于突觸的聯(lián)結(jié)強度。活狀態(tài)。每個權(quán)就相當(dāng)于突觸的聯(lián)結(jié)

25、強度。w1 wi xiw2wnx1x2xnxwxwxuii)(多輸入、單輸出的加權(quán)和結(jié)構(gòu)多輸入、單輸出的加權(quán)和結(jié)構(gòu)設(shè)設(shè)x = (x1, x2, , xn)表示表示n個輸入，個輸入，w = (w1, w2, , wn)表示它表示它們對應(yīng)的聯(lián)結(jié)權(quán)重。們對應(yīng)的聯(lián)結(jié)權(quán)重。故神經(jīng)元所獲得的輸入信號累計效果為：故神經(jīng)元所獲得的輸入信號累計效果為：1,niiiu xw xw x稱稱u(x)為整合函數(shù)。為整合函數(shù)。w1 wi xiw2wnx1x2xn神經(jīng)元獲得網(wǎng)絡(luò)輸入信號后，信號累計效果整合函數(shù)神經(jīng)元獲得網(wǎng)絡(luò)輸入信號后，信號累計效果整合函數(shù)u(x)大于大于某閾值某閾值 時，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于

26、抑制狀時，神經(jīng)元處于激發(fā)狀態(tài)；反之，神經(jīng)元處于抑制狀態(tài)。態(tài)。構(gòu)造構(gòu)造激活函數(shù)激活函數(shù) ，用于表示這一轉(zhuǎn)換過程。要求，用于表示這一轉(zhuǎn)換過程。要求 是是-1, 1之間之間的單調(diào)遞增函數(shù)。的單調(diào)遞增函數(shù)。激活函數(shù)激活函數(shù) 通常為通常為3種類型，由此決定了神經(jīng)元的輸出特征。種類型，由此決定了神經(jīng)元的輸出特征。激活函數(shù)激活函數(shù) 為符號函數(shù)：為符號函數(shù)：0, 10, 1)sgn()(uuuu1-1u 激活函數(shù)激活函數(shù) 為分段線性函數(shù)：為分段線性函數(shù)：21, 12121,21, 1)(uuuuu1-1u 激活函數(shù)激活函數(shù) 為為sigmoid函數(shù)，其特點是單調(diào)遞增、光滑且具函數(shù)，其特點是單調(diào)遞增、光滑且具有漸

27、近值，具有解析上的優(yōu)點和神經(jīng)生理學(xué)特征。有漸近值，具有解析上的優(yōu)點和神經(jīng)生理學(xué)特征。112)( ueuuueeu11)( 1-1u將人工神經(jīng)元的基本模型與激活函數(shù)將人工神經(jīng)元的基本模型與激活函數(shù) 結(jié)合，即結(jié)合，即mcculloch pitts模型。模型。w1 u= wixiw2wnx1x2xny= (u(x)- )1niiiyu xw x“the conceptual scheme for learning in this context is a machine with an input channel for figures, a pair of yes and no output in

28、dicators, and a reinforcement or reward button that the machines operator can use to indicate his approval or disapproval of the machines behavior.”m. l. minsky and s. a. papert, “perceptron”(1988)ann學(xué)習(xí)定理學(xué)習(xí)定理ann可以學(xué)會它表達(dá)的任何東西。可以學(xué)會它表達(dá)的任何東西。（rosenblatt，1962年）年）ann的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。的表達(dá)能力有限，其學(xué)習(xí)能力也受到限制。an

29、n的學(xué)習(xí)過程就是訓(xùn)練過程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的的學(xué)習(xí)過程就是訓(xùn)練過程，在將訓(xùn)練樣本集輸入到網(wǎng)絡(luò)的過程中，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使過程中，按照一定的方式來調(diào)整神經(jīng)元之間的聯(lián)結(jié)權(quán)重值，使得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲起得網(wǎng)絡(luò)能夠?qū)⒂?xùn)練樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)重矩陣的方式存儲起來，從而使得網(wǎng)絡(luò)在接受輸入時，能夠給出適當(dāng)?shù)妮敵?。來，從而使得網(wǎng)絡(luò)在接受輸入時，能夠給出適當(dāng)?shù)妮敵?。有監(jiān)督的學(xué)習(xí)（有監(jiān)督的學(xué)習(xí)（supervised learning）無監(jiān)督的學(xué)習(xí)（無監(jiān)督的學(xué)習(xí)（unsupervised learning）感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問題歸結(jié)

30、為求權(quán)重系數(shù)感知器的學(xué)習(xí)是有監(jiān)督的學(xué)習(xí)。學(xué)習(xí)的問題歸結(jié)為求權(quán)重系數(shù)w = (w1, w2, , wn)和閾值和閾值 的問題。的問題?；舅枷耄褐鸩綄⒂?xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸基本思想：逐步將訓(xùn)練集中的樣本輸入到網(wǎng)絡(luò)中，根據(jù)當(dāng)前輸出結(jié)果和理想輸出結(jié)果之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)重值。出結(jié)果和理想輸出結(jié)果之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)重值。w1 u= wixiw2wnx1x2xny= (u(x)- )設(shè)設(shè)x = (x1, x2, , xn)表示表示n個輸入，個輸入，w = (w1, w2, , wn)表示它表示它們對應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取們對應(yīng)的聯(lián)結(jié)權(quán)重。假設(shè)取符號函數(shù)為激活函數(shù)符號函數(shù)為激活

31、函數(shù) ，此為經(jīng)典的此為經(jīng)典的m-p模型：模型：0, 10, 1)sgn()(uuuuw1 u= wixiw2wnx1x2xn+1 or -11,0sgn( ()sgn(,)1,0uyu xw xu訓(xùn)練集的樣本（輸入向量、輸出值）為：訓(xùn)練集的樣本（輸入向量、輸出值）為：txxxx,.,21tyyyy,.,21t為樣本數(shù)目。其中，為樣本數(shù)目。其中，tkxxxxknkkk,.,2,1,.,21tkyk,.,2,11 重復(fù)下列過程，直至訓(xùn)練完成：重復(fù)下列過程，直至訓(xùn)練完成： 對訓(xùn)練集中的每一個樣本對訓(xùn)練集中的每一個樣本(xk, yk)，重復(fù)如下過程重復(fù)如下過程： 輸入輸入xk 計算計算 若輸出不正確，

32、則若輸出不正確，則 初始化權(quán)重向量初始化權(quán)重向量w = (w1, w2, , wn)，不妨取，不妨取w1= w2=,= wn=1 tkxwynikii,.,2,1,sgn1kiiikiiixwwyifxwwyif,1,1marvin minskymit media lab and mit ai labtoshiba professor of media arts and sciencesprofessor of e.e. and c.s., m.i.t1969年，年，minsky和和papert在在“perceptron”一書中從理論一書中從理論上證明單層

33、感知器無法解決上證明單層感知器無法解決許多簡單的問題，包括許多簡單的問題，包括“異異或或(xor)”問題。使得問題。使得ann理理論的發(fā)展在論的發(fā)展在197080年代處年代處于低潮。導(dǎo)致政府和企業(yè)資于低潮。導(dǎo)致政府和企業(yè)資助減少，研究人員撤退助減少，研究人員撤退othersyxifyxf, 1,0),(f (x, y)y01x001110是一個雙輸入、單輸出問題。對應(yīng)的單層感知器為：是一個雙輸入、單輸出問題。對應(yīng)的單層感知器為：xyabzax+by= xy無論如何選擇參數(shù)無論如何選擇參數(shù)a，b， ，都無法滿足劃分。這種由單層，都無法滿足劃分。這種由單層感知器不能表達(dá)的問題稱為感知器不能表達(dá)的問

34、題稱為線性不可分問題線性不可分問題?？紤]考慮n個自變量的二值函數(shù)，當(dāng)個自變量的二值函數(shù)，當(dāng)n 4時，線性不可分的函數(shù)個數(shù)時，線性不可分的函數(shù)個數(shù)遠(yuǎn)遠(yuǎn)超過線性可分函數(shù)的個數(shù)遠(yuǎn)遠(yuǎn)超過線性可分函數(shù)的個數(shù)。自變量個數(shù) 函數(shù)的個數(shù) 線性可分函數(shù)的個數(shù)144216143256104465,5361,88254.3 10994,57261.8 10195,028,134（r. o. windner, 1960）表明單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過它可以表達(dá)的表明單層感知器不能表達(dá)的問題的數(shù)量遠(yuǎn)遠(yuǎn)超過它可以表達(dá)的問題的數(shù)量問題的數(shù)量。一個單層網(wǎng)絡(luò)可以將空間劃分成兩部分，用多個單層網(wǎng)絡(luò)組一個單層網(wǎng)絡(luò)可以將

35、空間劃分成兩部分，用多個單層網(wǎng)絡(luò)組合在一起，并用其中的一個去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)合在一起，并用其中的一個去綜合其它單層網(wǎng)絡(luò)的結(jié)果，構(gòu)成一個二層網(wǎng)絡(luò)，即可用來在空間劃分出一個封閉或開放的成一個二層網(wǎng)絡(luò)，即可用來在空間劃分出一個封閉或開放的凸域（子空間）。凸域（子空間）。x1z0 xnz1zn 設(shè)有設(shè)有c 1個感知器，其中第個感知器，其中第k個感知器的輸出為個感知器的輸出為yk；對于；對于輸入信號輸入信號x = (x1, x2, , xn)，每個感知器有，每個感知器有d個輸入個輸入uj(x)，j=1, 2, , d。1kcx1xnx2u1(x)u2(x)ud(x)x3wk1wk2wk3yk輸

36、入層輸入層輸出層輸出層一個單層前向網(wǎng)可表示為：一個單層前向網(wǎng)可表示為： ckxuwxuwxykkkdjjkjk,.,2, 1)(,1 ：激活函數(shù)；：激活函數(shù)；wk=(wk1, wk2, , wkd) ：第：第k個感知器的權(quán)重系數(shù)；個感知器的權(quán)重系數(shù)； k：第：第k個感知器的閾值；個感知器的閾值；u=(u1, u2, , ud)：基函數(shù)：基函數(shù)x rn，u(x) rd若記若記wk0 = k ， u0=1，則上式變換為：，則上式變換為： ckxuwxydjjkjk,.,2, 10 記記yk(wk; x) 為第為第k個感知器當(dāng)權(quán)重系數(shù)為個感知器當(dāng)權(quán)重系數(shù)為wk rd，輸入為，輸入為x rn時的輸出。

37、時的輸出。 設(shè)訓(xùn)練集為設(shè)訓(xùn)練集為a = (x , t ) | =1, 2, , n ，其中，其中 表示訓(xùn)練集表示訓(xùn)練集數(shù)據(jù)編號，數(shù)據(jù)編號，x rn為輸入，為輸入，t rc為輸出，為輸出， tk 為第為第k個感知器的個感知器的期望輸出。期望輸出。 基于訓(xùn)練集基于訓(xùn)練集a的誤差函數(shù)定義為：的誤差函數(shù)定義為：nckkkktxwywe112;21)( 學(xué)習(xí)的目標(biāo)就是求學(xué)習(xí)的目標(biāo)就是求wk ，k=1,2,c，使得誤差函數(shù)，使得誤差函數(shù)e(w)取最取最小值：小值：)(minwea這就是這就是。單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。單層前向網(wǎng)的學(xué)習(xí)原理本質(zhì)上仍是感知器的學(xué)習(xí)原理。關(guān)于基函數(shù)關(guān)于基函

38、數(shù)u(x)，對學(xué)習(xí)集的每一個數(shù)據(jù)，記：，對學(xué)習(xí)集的每一個數(shù)據(jù)，記：dduuuxuxuxuu,.,)(),.,(),(2121其中其中 =1, 2, , n。由此，定義學(xué)習(xí)集。由此，定義學(xué)習(xí)集a的擴展集的擴展集b：ntub,.,2,1),(不妨假設(shè)激活函數(shù)不妨假設(shè)激活函數(shù) 為恒等函數(shù)，此時網(wǎng)絡(luò)為線性單層前向網(wǎng)。為恒等函數(shù)，此時網(wǎng)絡(luò)為線性單層前向網(wǎng)。由此寫出誤差函數(shù)：由此寫出誤差函數(shù)： nckkkdjjkjnckkdjjkjtuwtuwwe112111202121)(優(yōu)化的目標(biāo)函數(shù)為：優(yōu)化的目標(biāo)函數(shù)為：)(minweb根據(jù)最小二乘法求解目標(biāo)函數(shù)。根據(jù)最小二乘法求解目標(biāo)函數(shù)。由多元函數(shù)取極值的必要條

39、件，有：由多元函數(shù)取極值的必要條件，有：djckwwekj,.,1 ,0;,.,10)(jndikikikjutuwwwe 10)(010 jndikikiutuwnjkdinjikiutuuw101寫成矩陣形式寫成矩陣形式utuuwttcdccddwwwwwwwwww.102212011110ndnndduuuuuuuuuu.102212011110ncnncctttttttttt.212222111211解的形式為：解的形式為：1uuutwtt解存在的條件？解存在的條件？（略）（略）多層前向網(wǎng)的結(jié)構(gòu)特點：多層前向網(wǎng)的結(jié)構(gòu)特點：1、允許網(wǎng)絡(luò)具有數(shù)層相連的處理單元；、允許網(wǎng)絡(luò)具有數(shù)層相連的處理

40、單元；2、聯(lián)結(jié)是從前一層的每一個節(jié)點到下一層所有節(jié)點，不存在、聯(lián)結(jié)是從前一層的每一個節(jié)點到下一層所有節(jié)點，不存在其它聯(lián)結(jié)；其它聯(lián)結(jié)；3、同一層內(nèi)的節(jié)點之間不存在聯(lián)結(jié)；、同一層內(nèi)的節(jié)點之間不存在聯(lián)結(jié)；4、不含任何反饋，故輸出可以用輸入和權(quán)重來表示。、不含任何反饋，故輸出可以用輸入和權(quán)重來表示。l層神經(jīng)網(wǎng)絡(luò)：具有層神經(jīng)網(wǎng)絡(luò)：具有l(wèi)層可調(diào)節(jié)權(quán)重參數(shù)層可調(diào)節(jié)權(quán)重參數(shù)12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反雙層前向網(wǎng)模型：具有兩層可調(diào)節(jié)參數(shù)且同層無聯(lián)結(jié)的不含反饋的人工神經(jīng)網(wǎng)絡(luò)。饋的人

41、工神經(jīng)網(wǎng)絡(luò)。x層層輸入層輸入層y層層輸出層輸出層z層層隱層隱層兩層可調(diào)節(jié)權(quán)重參數(shù)：兩層可調(diào)節(jié)權(quán)重參數(shù)：w(1)、w(2)設(shè)輸入層的輸入為設(shè)輸入層的輸入為(x1, x2, , xn) rn。首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為首先考察隱層，設(shè)隱層神經(jīng)元的激活函數(shù)為 。第。第j個隱層個隱層神經(jīng)元的整合函數(shù)為神經(jīng)元的整合函數(shù)為aj、輸出值為、輸出值為zj：mjazxwxwajjniijinijijij,.,2,10)1(1)1()1()1(jiw第第1層（隱層）層（隱層）權(quán)重矩陣中第權(quán)重矩陣中第i個個輸入聯(lián)結(jié)到第輸入聯(lián)結(jié)到第j個個隱神經(jīng)元的權(quán)重隱神經(jīng)元的權(quán)重)1(j第第j個隱神經(jīng)元的個隱神經(jīng)元的閾

42、值閾值12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為同樣考察輸出層，設(shè)輸出層神經(jīng)元的激活函數(shù)為 。第。第k個個輸出神經(jīng)元以輸出神經(jīng)元以z=(z1, z2, , zm) rm為輸入，其整合函數(shù)為為輸入，其整合函數(shù)為bk、輸出值為輸出值為yk：ckbyzwzwbkkmjjkjmjkjkjk,.,2,10)2(1)2()2()2(kjw第第2層（輸出層）層（輸出層）權(quán)重矩陣中第權(quán)重矩陣中第j個隱神經(jīng)元聯(lián)個隱神經(jīng)元聯(lián)結(jié)到第結(jié)到第k個輸出個輸出神經(jīng)元的權(quán)重神經(jīng)元的權(quán)重第第k個輸出神經(jīng)元個輸出神經(jīng)元的閾

43、值的閾值)2(k12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：聯(lián)合得到雙層前向網(wǎng)的輸出表達(dá)式：12m21x1xnnx2y112cy2ycw(1)w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y)ckxwwxwwymjniijikjmjknijijikjk,.,2,1,00)1()2(1)2(1)1()1()2(記為：記為：xwwty;,)2()1()2()1(為簡化計，考慮兩類的分類問題。為簡化計，考慮兩類的分類問題。設(shè)設(shè)a、b是分類空間是分類空間rd中兩個不相交的集合。考慮離散型雙層前中兩個

44、不相交的集合。考慮離散型雙層前向網(wǎng)向網(wǎng)t(w(1),w(2), (1), (2); x)，取其激活函數(shù)，取其激活函數(shù) 、 為符號函數(shù)為符號函數(shù)sgn (u)。bxaxxwwt, 1, 1);,()2()1()2()1(該雙層前向網(wǎng)的學(xué)習(xí)目標(biāo)是，對該雙層前向網(wǎng)的學(xué)習(xí)目標(biāo)是，對(a, b)求求(w(1),w(2), (1), (2)使得：使得：求解上述方程。求解上述方程。多層前向網(wǎng)的學(xué)習(xí)原理：基于適當(dāng)定義的誤差函數(shù)，在網(wǎng)絡(luò)中多層前向網(wǎng)的學(xué)習(xí)原理：基于適當(dāng)定義的誤差函數(shù)，在網(wǎng)絡(luò)中調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得誤差函數(shù)極小化。調(diào)整權(quán)重矩陣和閾值等參數(shù)，使得誤差函數(shù)極小化。與單層前向網(wǎng)和感知器相比較，多

45、層前向網(wǎng)由于隱層的存在，與單層前向網(wǎng)和感知器相比較，多層前向網(wǎng)由于隱層的存在，無法判別隱層神經(jīng)元對輸入誤差的直接影響（無法知道隱層神無法判別隱層神經(jīng)元對輸入誤差的直接影響（無法知道隱層神經(jīng)元的理想輸出值）。因此，對參數(shù)權(quán)重矩陣和閾值的調(diào)整遇經(jīng)元的理想輸出值）。因此，對參數(shù)權(quán)重矩陣和閾值的調(diào)整遇到困難。到困難。12m21 x1n y112c y2 yc w(1) w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y) x2 xn解決方案解決方案計算兩個傳播方向：計算兩個傳播方向：“前向傳播前向傳播(forward propagation)”：輸入：輸入xi進入網(wǎng)絡(luò)，按照進入網(wǎng)絡(luò)，按照信息在網(wǎng)

46、絡(luò)中前進移動的方向，逐次計算信息在網(wǎng)絡(luò)中前進移動的方向，逐次計算aj，zj直至輸出直至輸出yk的的過程；（輸入向輸出方向的前向傳播）過程；（輸入向輸出方向的前向傳播）“后向傳播后向傳播(back propagation)”：利用輸出層的誤差來估計輸：利用輸出層的誤差來估計輸出層的直接前導(dǎo)層的誤差，再依次估計更前一層的誤差，獲得出層的直接前導(dǎo)層的誤差，再依次估計更前一層的誤差，獲得所有各層的誤差估計。（輸出誤差向輸入方向的后向傳播）所有各層的誤差估計。（輸出誤差向輸入方向的后向傳播）（rumelhart, hinton & williams, 1986）12m21 x1n y112c y

47、2 yc w(1) w(2)輸入層輸入層(x)隱層隱層(z)輸出層輸出層(y) x2 xn設(shè)學(xué)習(xí)集有設(shè)學(xué)習(xí)集有t個樣本，記為個樣本，記為x , t ， =1, 2, , t，其中：，其中：ccnnrttttrxxxx,.,.,2121輸入輸入理想輸出理想輸出ccryyyy,.,21計算實際輸出，記為：計算實際輸出，記為：實際輸出實際輸出顯然有：顯然有：2,11)()(lwewetlijlij因此只需討論某一個樣本點的誤差傳播，以下略去上標(biāo)因此只需討論某一個樣本點的誤差傳播，以下略去上標(biāo) 。故誤差函數(shù)為：故誤差函數(shù)為：tckkktcttyyyyeee112121121,.,mjazxwxwajj

48、niijinijijij,.,2,10)1(1)1()1(ckbyzwzwbkkmjjkjmjkjkjk,.,2,10)2(1)2()2(已知下列記號：已知下列記號：又定義第又定義第k個輸出神經(jīng)元和第個輸出神經(jīng)元和第j個隱層神經(jīng)元的個隱層神經(jīng)元的為：為：mjaeckbejjkk,.,2,1,.,2,1,)1()2(輸出層誤差率輸出層誤差率隱層誤差率隱層誤差率由微分鏈?zhǔn)椒▌t，計算可得：由微分鏈?zhǔn)椒▌t，計算可得：ckkkjjjjckjkkkkjjwaazzbbyyeae1)2()2(1)1(輸出層誤差率輸出層誤差率隱層誤差率隱層誤差率kkkkkkkyebbyyebe)2(因此，得到：因此，得到：i

49、jjijjjijkkjkkkjxwaaewezwbbewe)1()1()1()2()2()2()2(k)1(j)1()2(jikjwewe(1)(2)kjijewew取步長因子為固定步長取步長因子為固定步長 ，得到學(xué)習(xí)規(guī)則：，得到學(xué)習(xí)規(guī)則：tijjitjkkjxwzw1)1()1(1)2()2(其中其中 k(2)、 k(1)均與均與 有關(guān)，有關(guān)，k=1,2,c；j=0, 1,m；i=0, 1, , n。已知已知d rn是一個凸集。求解無約束優(yōu)化問題是一個凸集。求解無約束優(yōu)化問題)(minxfdx就是尋求就是尋求x* d使得使得)()(minxfxfdx若若f (x)為連續(xù)可微凸函數(shù)，問題歸結(jié)為

50、求解為連續(xù)可微凸函數(shù)，問題歸結(jié)為求解nrxf00)(可運用可運用newton迭代法數(shù)值求解。迭代法數(shù)值求解。（但（但f (x) 的凸性難以保證，求解也非常困難的凸性難以保證，求解也非常困難）構(gòu)造逐次使目標(biāo)函數(shù)值下降的搜索算法：構(gòu)造逐次使目標(biāo)函數(shù)值下降的搜索算法：,.1,01kxfxxkkkk滿足：滿足：0kkkxfxf1 k0：步長因子步長因子設(shè)學(xué)習(xí)集有設(shè)學(xué)習(xí)集有t個樣本，記為個樣本，記為x , t ， =1, 2, , t，其中：，其中：ccnnrttttrxxxx,.,.,2121輸入輸入理想輸出理想輸出又設(shè)又設(shè)k=1,2,c；j=0, 1,m；i=0, 1, , n。對于給定的。對于給定

51、的 =1, 2, , t，指標(biāo)，指標(biāo) 仍然不標(biāo)出。仍然不標(biāo)出。 初始化權(quán)重矩陣和閾值初始化權(quán)重矩陣和閾值wji(1)(0)、 wkj(2)(0) （已包含（已包含閾值）閾值），選擇學(xué)習(xí)效率，選擇學(xué)習(xí)效率 。 設(shè)第設(shè)第t次迭代值次迭代值wji(1)(t)、 wkj(2)(t)已知，已知， （1）前向過程：對）前向過程：對 =1, 2, , t，依次計算：，依次計算： （2）后向過程：利用公式）后向過程：利用公式對對 =1, 2, , n，依次計算，依次計算kkjjybza,)1()2(,jkkkkyeb)2(ckkkjjjwa1)2()2()1( 設(shè)第設(shè)第t次迭代值次迭代值wji(1)(t)、

52、wkj(2)(t)已知，已知，. （3）迭代過程：計算第）迭代過程：計算第t +1次權(quán)重矩陣次權(quán)重矩陣 tjjjijitjkkjkjxttwtwzttwtw1)1()1()1(1)2()2()2(11 由此得到序列由此得到序列 滿足滿足直至滿足停機準(zhǔn)則（滿足某種優(yōu)化準(zhǔn)則，或者迭代次數(shù)）直至滿足停機準(zhǔn)則（滿足某種優(yōu)化準(zhǔn)則，或者迭代次數(shù)）)(),(),(),()2()1()2()1(twtwttkjjikjckkkjjjjkkkkwaaeyebbe1)2()2()1()2( tjjjijitjkkjkjxttwtwzttwtw1)1()1()1(1)2()2()2(11考慮某雙層前向網(wǎng)，設(shè)激活函數(shù)

53、為：考慮某雙層前向網(wǎng)，設(shè)激活函數(shù)為： ueuu11誤差函數(shù)為：誤差函數(shù)為：ntckkketye111221注意到：注意到：2 , 1)(1)()(luuukkkkkkktytyyye2)(21于是有于是有ckkkjjjjkkkkkwaatybb1)2()2()1()2()(1)()(1)(其中：其中：jjniijijazxwa0)1(kkmjjkjkbyzwb0)2(利用：利用： tjjjijitjkkjkjxttwtwzttwtw1)1()1()1(1)2()2()2(11得到迭代公式。得到迭代公式。（感知器算法具有優(yōu)勢）（感知器算法具有優(yōu)勢）例子：原核基因例子：原核基因rbs（核糖體結(jié)合位

54、點）（核糖體結(jié)合位點）e. coli翻譯起始翻譯起始位點的序列特征的分析位點的序列特征的分析參考文獻(xiàn)：參考文獻(xiàn)：g. d. stormo, t. d. schneider, l. m. gold, and a. ehrenfeucht. use of the perceptron algorithm to distinguish translational initiation sites in e. coli. nucleic acid research. (1982) 10:2997-3011g. d. stormo, t. d. schneider, and l. m. gold. ch

55、aracterization of translational initiation sites in e. coli. nucleic acid research (1982) 10:2971-2996（bp算法得到廣泛的應(yīng)用）算法得到廣泛的應(yīng)用）參考文獻(xiàn)：參考文獻(xiàn)：n. qian and t. j. sejnowski. predicting the secondary structure of globular proteins using neural network models. journal of molecular biology, (1988) 202: 865-884h. bohr, j. bohr, s. brunak et. al. protein secondary structures and homolog