中科院學(xué)習(xí)課件 模式識(shí)別 第六章資料

1、第六章 人工神經(jīng)網(wǎng)絡(luò)共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)（計(jì)算機(jī)）。人是地球上具有最高智慧的動(dòng)物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計(jì)算機(jī)所無法取代的。長(zhǎng)期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)，雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理(j l)還不甚完全清楚，但對(duì)其結(jié)構(gòu)已有所了解。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元

2、組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。現(xiàn)已明確大腦的學(xué)習(xí)過程(guchng)就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過程(guchng)，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。需要指出，盡管人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的模仿，但這種模

3、仿目前還處于極低的水平。按美國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)者Nielsen的定義人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無向訊號(hào)通道互連而成。這些處理單元具有局部?jī)?nèi)存，可以完成局部操作，即它必須僅僅依賴于經(jīng)過輸入聯(lián)接到達(dá)(dod)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，輸出信號(hào)可以是任何需要的數(shù)學(xué)模型。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計(jì)算機(jī)的區(qū)別在一般的計(jì)算機(jī)中，通常有一個(gè)中央處理器，它可訪問其存儲(chǔ)器。該處理器可取一條指令和該指令所需的數(shù)據(jù)，并執(zhí)行(zhxng)該指令，最后將計(jì)算

4、結(jié)果存入指定的存儲(chǔ)單元中。任何動(dòng)作都按照確定的操作程序，以串行方式執(zhí)行。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)與一般計(jì)算機(jī)的區(qū)別在人工神經(jīng)網(wǎng)絡(luò)中，操作既不是串行的，也不是預(yù)先確定的，它根本沒有確定的存儲(chǔ)器，而是由許多互連的簡(jiǎn)單處理單元組成。每個(gè)處理單元的處理功能只是求其所有輸入信號(hào)的加權(quán)和，當(dāng)該和值超過某一閾值時(shí)，輸出(shch)呈現(xiàn)興奮狀態(tài)（高電平），否則低于閾值時(shí)呈現(xiàn)抑制狀態(tài)（低電平）。人工神經(jīng)網(wǎng)絡(luò)并不執(zhí)行指令序列，它對(duì)并行加載的輸入信號(hào)也按并行方式來處理和響應(yīng)，結(jié)果也不存儲(chǔ)在特定的存儲(chǔ)單元中。當(dāng)它達(dá)到某種平衡狀態(tài)后，網(wǎng)絡(luò)的整個(gè)狀態(tài)就是所求的結(jié)果。

5、目前還沒有用硬件真正實(shí)現(xiàn)的并行處理的人工神經(jīng)網(wǎng)絡(luò)，對(duì)它的實(shí)現(xiàn)還是基于一般計(jì)算機(jī)的軟件模擬，這顯然并沒有真正發(fā)揮出人工神經(jīng)網(wǎng)絡(luò)并行快速的特點(diǎn)。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的兩種操作過程訓(xùn)練學(xué)習(xí)訓(xùn)練時(shí)，把要教給神經(jīng)網(wǎng)絡(luò)的信息（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至(zhzh)加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時(shí)，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對(duì)訓(xùn)練好的網(wǎng)絡(luò)輸入一個(gè)信號(hào)，它就可以正確回憶出相應(yīng)輸出，得到識(shí)別結(jié)果。共二百七十六頁(yè)6.1 概述(i sh)

6、6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀機(jī)實(shí)例輸入裝置是一個(gè)閱讀窗口，當(dāng)它沿文本的一行移動(dòng)時(shí)，每次前移一個(gè)字母，但每個(gè)瞬間輸入七個(gè)相鄰的字母（包括空格和句號(hào)）信息。由于英文字母的發(fā)音與其前后字母有關(guān)，所以(suy)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)時(shí)，只要求每次七個(gè)字母的中間字母發(fā)音（靠人工神經(jīng)網(wǎng)絡(luò)的輸出相應(yīng)狀態(tài)驅(qū)動(dòng)一個(gè)語音綜合發(fā)生器）。訓(xùn)練時(shí)，將一篇有1024個(gè)字的文本一行一行通過閱讀窗口，并要求對(duì)應(yīng)每個(gè)字母時(shí)人工神經(jīng)網(wǎng)絡(luò)的輸出結(jié)點(diǎn)能輸出相應(yīng)音素的狀態(tài)值。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)文本（英文）朗讀(lngd)機(jī)實(shí)例這樣通過十遍閱讀（訓(xùn)練），可以達(dá)到輸出可理解的語

7、音。通過50遍閱讀（訓(xùn)練），可以達(dá)到95%的精確度。訓(xùn)練過程中聽上去像小孩學(xué)說話一樣，由不清楚到清楚。訓(xùn)練完成后，再閱讀從未見過的課文，朗讀精度仍可達(dá)78%，完全可以聽懂。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)人臉識(shí)別實(shí)例用10個(gè)人的照片，每個(gè)人都在不同的角度照5張照片，共有50張照片的輸入信息。對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，每個(gè)照片信息作為輸入時(shí)，代表10個(gè)人的10個(gè)結(jié)點(diǎn)中相應(yīng)的一個(gè)結(jié)點(diǎn)輸出最大，每個(gè)人的5張照片都對(duì)應(yīng)著同一個(gè)結(jié)點(diǎn)的最大輸出。經(jīng)過訓(xùn)練后，再對(duì)原來的10個(gè)人中的一個(gè)從不同角度拍照（尺寸(ch cun)不變），進(jìn)行識(shí)別，結(jié)果是他本人對(duì)應(yīng)的結(jié)點(diǎn)的輸出比其它9

8、個(gè)結(jié)點(diǎn)的輸出都高得多。共二百七十六頁(yè)6.1 概述(i sh)6.1.1 什么是人工神經(jīng)網(wǎng)絡(luò)總結(jié)和討論傳統(tǒng)計(jì)算機(jī)采用的是串行處理方式，限制了大量信息的快速傳輸和處理，即使用了多個(gè)(du )處理器并行工作，還是會(huì)把許多時(shí)間浪費(fèi)在完成串行操作上，而且問題的并行化分解和并行程序的編寫也是一個(gè)難題。雖然至今開發(fā)出的超型計(jì)算機(jī)，其速度和容量都大得驚人，但仍不能很好地完成諸如小孩可以做到的事情，如認(rèn)識(shí)面孔、學(xué)習(xí)說話、識(shí)別圖像等。盡管人工神經(jīng)網(wǎng)絡(luò)還是生物大腦的極低水平的模仿，但在圖像識(shí)別、語音識(shí)別、記憶、預(yù)測(cè)以及優(yōu)化等方面表現(xiàn)出了良好的智能特性和應(yīng)用前景，可以完成傳統(tǒng)計(jì)算機(jī)不易實(shí)現(xiàn)的智能性工作。共二百七十六頁(yè)

9、6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始（萌發(fā)）期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1943年，美國(guó)(mi u)神經(jīng)生理學(xué)家Warren Mcculloch和數(shù)學(xué)家Walter Pitts合寫了一篇關(guān)于神經(jīng)元如何工作的開拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。該文指出，腦細(xì)胞的活動(dòng)像斷/通開關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算。按此想法，他們用電路構(gòu)成了簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型，并預(yù)言大腦的所有活動(dòng)最終將被解釋清楚。雖然問題并非如此簡(jiǎn)單，但它給人們一個(gè)信念，即大腦的活動(dòng)是靠腦細(xì)

10、胞的組合連接實(shí)現(xiàn)的。當(dāng)時(shí)，不少研究人員轉(zhuǎn)向解剖學(xué)和生理學(xué)去尋找建立智能機(jī)的思路。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1949年，心理學(xué)家Donala Hebb寫了一本書：“The Organization of Behavior”。在該書中，他強(qiáng)調(diào)了心理學(xué)和生理學(xué)間的聯(lián)系和溝通，指出腦細(xì)胞間的思路(sl)每當(dāng)通過參與某種活動(dòng)時(shí)將被加強(qiáng)，這就是后來的Hebb學(xué)習(xí)規(guī)則。目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起到了二

11、十世紀(jì)50年代，隨著計(jì)算機(jī)的發(fā)展和軟硬件的進(jìn)步，有些神經(jīng)系統(tǒng)功能的理論開始在計(jì)算機(jī)上進(jìn)行(jnxng)模擬，拓寬了研究的路子。IBM的研究室在Hebb工作的基礎(chǔ)上，對(duì)神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行了軟件模擬，雖然開始時(shí)失敗了，但在使得模型像人那樣適應(yīng)環(huán)境的實(shí)驗(yàn)上取得了一定程度的成功。在此情況下，人們開始醞釀人工智能的項(xiàng)目。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起1956年，一個(gè)人工智能研究項(xiàng)目（Dartmouth Summer）給人工智能領(lǐng)域，同時(shí)也給神經(jīng)計(jì)算領(lǐng)域以巨大推動(dòng)。人們提出兩條研究思路采用高級(jí)人工智能方法，試圖建立描述智能機(jī)功

12、能的計(jì)算機(jī)程序；根據(jù)低水平的大腦處理方式構(gòu)成結(jié)構(gòu)模型，以實(shí)現(xiàn)智能化。這宣告(xungo)了人工神經(jīng)網(wǎng)絡(luò)的誕生。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期 感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，計(jì)算機(jī)專家Frank Rosenblatt開始從事感知器的研究(ynji)，并制成硬件，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機(jī)工程師Bernard Widrow和Marcian Haff開發(fā)出一種叫作自適應(yīng)線性單元（ADALINE）的網(wǎng)絡(luò)模型，并在他們的論文“Adaptive Switching Circuits”中描述了該模型和它的學(xué)習(xí)算法（ Widro

13、w- Haff算法）。該網(wǎng)絡(luò)通過訓(xùn)練，可以成功用于抵消通信中的回波和噪聲，也可用于天氣預(yù)報(bào)，成為第一個(gè)用于實(shí)際問題的神經(jīng)網(wǎng)絡(luò)。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期 感知器模型和人工神經(jīng)網(wǎng)絡(luò)1962年，Rosenblatt出版了一本書“The Principles of Neurodynamics”，詳述了他的感知器模型。該感知器具有輸入層、輸出層和中間層，通過實(shí)驗(yàn)可以模仿人的某些特性，并斷言它可以學(xué)會(huì)任何它可以表示的功能。1967年，Stephen Grossberg通過對(duì)生理學(xué)的研究，開發(fā)了一種稱作Avalanche（雪崩網(wǎng)）的神經(jīng)網(wǎng)絡(luò)模型，可以執(zhí)

14、行連續(xù)語音識(shí)別和控制機(jī)器人手臂的運(yùn)動(dòng)。在這一時(shí)期，由于感知器的某些進(jìn)展和對(duì)神經(jīng)網(wǎng)絡(luò)的宣傳，人們樂觀地認(rèn)為幾乎已經(jīng)找到了實(shí)現(xiàn)智能的關(guān)鍵，許多部門開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)，形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮(gocho)。由于當(dāng)時(shí)對(duì)神經(jīng)網(wǎng)絡(luò)的樂觀情緒的影響，人們夸大了神經(jīng)網(wǎng)絡(luò)的潛力（有人甚至擔(dān)心制造機(jī)器人的人類會(huì)很快受到機(jī)器人的攻擊）。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(fzhn)反思期 神經(jīng)網(wǎng)絡(luò)的低潮1969年，Marvin Minsky和Seymour Papert合著了一本書“Perception”，分析了當(dāng)時(shí)的簡(jiǎn)單感知器，指出它有非常嚴(yán)重

15、的局限性，甚至不能解決簡(jiǎn)單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時(shí)，批評(píng)的聲音高漲，導(dǎo)致了停止對(duì)人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期 神經(jīng)網(wǎng)絡(luò)的低潮雖然如此，二十世紀(jì)70年代到80年代早期，仍有一些堅(jiān)信神經(jīng)網(wǎng)絡(luò)的人堅(jiān)持他們的工作，為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準(zhǔn)備。神經(jīng)生理學(xué)家James Anderson開發(fā)的盒中腦模型(mxng)（Brain-State-in-a-Box，BSB）。日本學(xué)者Kunihik Fukushima開發(fā)的用于視覺

16、圖形識(shí)別的認(rèn)知器模型（Neocognitron）。電氣工程師Teuvo Kohonen開發(fā)的與BSB類似的網(wǎng)絡(luò)模型。Grossberg, Rumelhart, McClelland, Marr, Amari和Cooper等人的工作。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期 Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1982年，John Hopfield向美國(guó)科學(xué)院遞交了有關(guān)神經(jīng)網(wǎng)絡(luò)的報(bào)告，主要內(nèi)容就是建議收集和重視以前對(duì)神經(jīng)網(wǎng)絡(luò)的工作，其中特別強(qiáng)調(diào)了每種模型的實(shí)用性。根據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析和深入理解， Hopfield揭示了以往的網(wǎng)絡(luò)是如何工作

17、的，可以做些什么(shn me)，并提出了他自己的模型，能從失真的或不完善的數(shù)據(jù)圖像中獲得完整的數(shù)據(jù)圖像，引起了美國(guó)軍方的興趣。當(dāng)時(shí)，人工智能對(duì)自動(dòng)制導(dǎo)車的研究失敗，而利用神經(jīng)網(wǎng)絡(luò)有可能解決這個(gè)問題，從而使人們的注意力重新投向人工神經(jīng)網(wǎng)絡(luò)，導(dǎo)致了人工神經(jīng)網(wǎng)絡(luò)的第二次高潮。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期 Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1984年，Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路，較好地解決了TCP問題，找到了最佳解的近似解，引起了較大轟動(dòng)。1985年，Hinton、Sejnowsky、Rumel

18、hart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出(t ch)了所謂的Bolziman機(jī)。1986年， Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。1990年12月，國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行。共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識(shí)與應(yīng)用研究期二十世紀(jì)90年代后，神經(jīng)網(wǎng)絡(luò)的研究趨于平緩，主要問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確(jngqu)存在可信度的問題共二百七十六頁(yè)6.1 概述(i sh)6.1.2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識(shí)與應(yīng)用研究期主要研究?jī)?nèi)容開發(fā)(kif)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)

19、實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢(shì)，尋找更有效的解決方法。希望在理論上尋找新的突破，建立新的專用或通用模型和算法。進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對(duì)人腦的認(rèn)識(shí)。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)固有的并行結(jié)構(gòu)和并行處理人工神經(jīng)網(wǎng)絡(luò)與人類的大腦類似，不但結(jié)構(gòu)上是并行的，其處理順序也是并行的和同時(shí)的。在同一層內(nèi)的處理單元都是同時(shí)工作的，即神經(jīng)網(wǎng)絡(luò)的計(jì)算功能分布(fnb)在多個(gè)處理單元上，而傳統(tǒng)的計(jì)算機(jī)通常只有一個(gè)處理單元，其處理順序是串行的。目前的神經(jīng)網(wǎng)絡(luò)功能常常用一般計(jì)算機(jī)的串行工作方式來模擬，

20、所以顯得很慢，真正意義上的神經(jīng)網(wǎng)絡(luò)將會(huì)大大提高處理速度，實(shí)現(xiàn)快速處理。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識(shí)的分布存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中，知識(shí)不是存儲(chǔ)在特定的存儲(chǔ)單元，而是分布在整個(gè)系統(tǒng)中，要存儲(chǔ)多個(gè)知識(shí)就需要很多連接。在計(jì)算機(jī)中，只要(zhyo)給定一個(gè)地址就可以得到一個(gè)或一組數(shù)據(jù)，在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲(chǔ)的知識(shí)則采用“聯(lián)想”的辦法，這類似于人類和動(dòng)物的記憶。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識(shí)的分布存儲(chǔ)當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)輸入一個(gè)激勵(lì)時(shí)，它要在已存儲(chǔ)的知識(shí)中尋找與該輸入匹配(ppi)最好的知識(shí)存儲(chǔ)為其解。這猶如人們辨認(rèn)潦草的筆記，這

21、些筆記可以是變形的、失真的和缺損的。人類根據(jù)聯(lián)想善于正確識(shí)別圖形，人工神經(jīng)網(wǎng)絡(luò)也具有這種能力。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)知識(shí)的分布存儲(chǔ)聯(lián)想記憶的兩個(gè)主要特點(diǎn)存儲(chǔ)大量復(fù)雜數(shù)據(jù)的能力語音的樣本、可視圖象、機(jī)器人的活動(dòng)、時(shí)空?qǐng)D形的狀態(tài)、社會(huì)的情況(qngkung)等；可以很快地將新的輸入圖像歸并分類為已存儲(chǔ)圖像的某一類一般計(jì)算機(jī)善于高速串行運(yùn)算，但不善于實(shí)時(shí)的圖形識(shí)別。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)容錯(cuò)性人類大腦具有很強(qiáng)的容錯(cuò)能力，這正是由于大腦中知識(shí)是存儲(chǔ)在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會(huì)自動(dòng)死

22、亡，但這并沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由于知識(shí)存在整個(gè)系統(tǒng)中，而不是(b shi)在一個(gè)存儲(chǔ)單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受硬件損壞的能力比一般計(jì)算機(jī)要強(qiáng)得多。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人類有很強(qiáng)的適應(yīng)外部的學(xué)習(xí)能力小孩在周圍環(huán)境的熏陶下可以學(xué)會(huì)很多事情，如通過學(xué)習(xí)可以認(rèn)字、說話、走路、思考(sko)、判斷等。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加

23、到網(wǎng)絡(luò)輸入并給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。好像告訴網(wǎng)絡(luò)：“當(dāng)你看到這個(gè)圖形（比如5）時(shí)，請(qǐng)給我指示5”。無指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對(duì)輸入樣本分類。在網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)只能給出大量(dling)的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特征對(duì)它們進(jìn)行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力綜合推理(tul)的能力：網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力。進(jìn)行數(shù)字圖形的識(shí)別時(shí)，對(duì)于不完善的數(shù)字圖形或失真的數(shù)字圖形仍能正確辨認(rèn)。共

24、二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)不適于高精度的計(jì)算正像很多人不善于直接計(jì)算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡(luò)不用于計(jì)算資金方面的問題。人工神經(jīng)網(wǎng)絡(luò)不適于做類似順序計(jì)數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練(xnlin)往往是一個(gè)艱難的過程。網(wǎng)絡(luò)的設(shè)計(jì)沒有嚴(yán)格確定的方法（一般憑經(jīng)驗(yàn)），所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標(biāo)準(zhǔn)。脫機(jī)訓(xùn)練往往需要很長(zhǎng)時(shí)間，為了獲得最佳效果，常常要重復(fù)試驗(yàn)多次。網(wǎng)絡(luò)收斂性的問題。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)

25、必須克服(kf)時(shí)間域順序處理方面的困難。為了解決語音處理、自然語言理解和圖像隨時(shí)間的變換情況，需要設(shè)計(jì)適于連續(xù)時(shí)間環(huán)境的網(wǎng)絡(luò)。硬件限制目前仍是在一般計(jì)算機(jī)上用模擬的方法研究人工神經(jīng)網(wǎng)絡(luò)的并行處理過程，然而模擬不是最終目標(biāo)。只有真正的并行硬件處理，才能體現(xiàn)出人工神經(jīng)網(wǎng)絡(luò)的高速高效特點(diǎn)。目前這種硬件的實(shí)現(xiàn)還為很好解決。共二百七十六頁(yè)6.1 概述(i sh)6.1.3 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性正確的訓(xùn)練數(shù)據(jù)的收集大量有代表性樣本的采集正確的預(yù)處理總之，人工神經(jīng)網(wǎng)絡(luò)是基于人類大腦的結(jié)構(gòu)和功能建立起來的學(xué)科，盡管它只是大腦的低級(jí)(dj)近似，但它的許多特點(diǎn)和人類的智能特點(diǎn)類似，有著較強(qiáng)的

26、識(shí)別能力和廣泛的應(yīng)用前景。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)目前出現(xiàn)的各種各樣的人工神經(jīng)網(wǎng)絡(luò)模型，盡管在性能和結(jié)構(gòu)上各有特點(diǎn)，但它們存在很多共同之處。本節(jié)介紹人工神經(jīng)網(wǎng)絡(luò)的基本術(shù)語常用表示符號(hào)描述人工神經(jīng)網(wǎng)絡(luò)的基本數(shù)學(xué)(shxu)概念共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物(shngw)原型大腦簡(jiǎn)單的神經(jīng)元共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦簡(jiǎn)單的神經(jīng)元神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物(dngw)的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個(gè)神經(jīng)元。神經(jīng)元的組成細(xì)胞體：它是神經(jīng)元的本體，內(nèi)

27、有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。樹突：它有大量的分枝，多達(dá)103數(shù)量級(jí)，長(zhǎng)度較短（通常不超過1毫米），用以接收來自其它神經(jīng)元的信號(hào)。軸突：它用以輸出信號(hào)，有些較長(zhǎng)（可達(dá)1米以上），軸突的遠(yuǎn)端也有分枝，可與多個(gè)神經(jīng)元相連。突觸：它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位，通常是一個(gè)神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號(hào)傳遞給下一個(gè)神經(jīng)元的樹突或細(xì)胞體。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦神經(jīng)元間信號(hào)的傳遞神經(jīng)元間的信號(hào)通過突觸傳遞。通過它，一個(gè)神經(jīng)元內(nèi)傳送的沖擊信號(hào)將在下一個(gè)神經(jīng)元內(nèi)引起響應(yīng)(xingyng)，使下一個(gè)神經(jīng)元興奮，或

28、阻止下一個(gè)神經(jīng)元興奮。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦神經(jīng)元的基本工作機(jī)制一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制平時(shí)(pngsh)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加總量超過某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)

29、網(wǎng)絡(luò)的生物原型大腦神經(jīng)元的基本工作機(jī)制神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號(hào)。神經(jīng)元興奮時(shí)往往不是只發(fā)一個(gè)脈沖，而是發(fā)出一串脈沖，如果(rgu)把一串脈沖看成是一個(gè)調(diào)頻信號(hào)，脈沖的密度是可以表達(dá)連續(xù)量的。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦大腦及大腦皮層的結(jié)構(gòu)研究證明，大腦中大約有1000個(gè)不同的模塊，每個(gè)模塊包含有50*106個(gè)神經(jīng)元。我們可以假設(shè)每個(gè)模塊就是眾多神經(jīng)網(wǎng)絡(luò)中的一類。大腦的主要計(jì)算機(jī)構(gòu)是大腦皮層，在其斷面上一般有36層神經(jīng)細(xì)胞排列，大約10萬個(gè)神經(jīng)元組成(z ch

30、n)一組。在一個(gè)典型的腦模型中，大約有500個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算工作，平均一個(gè)神經(jīng)元向其它神經(jīng)元發(fā)出2000個(gè)突觸。不同層間神經(jīng)元的連接方式有平行型、發(fā)散型、收斂型和反饋型，這些連接的強(qiáng)度是隨機(jī)的，隨著對(duì)外部世界的響應(yīng)而逐漸形成。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦總之，大腦中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是極其復(fù)雜的，其工作機(jī)理仍未完全搞清。認(rèn)知器模型的發(fā)明者Kunihiko Fukushima描述了建立人工神經(jīng)網(wǎng)絡(luò)模型的原則：“我們(w men)試圖忠實(shí)地遵循生理的證據(jù)。我們(w men)分析或模擬所建模型的性能，并將它與大腦的某種性能進(jìn)行比較。如果我們(w

31、 men)發(fā)現(xiàn)模型與大腦在性能方面的差異，我們(w men)就變化我們(w men)的初始假設(shè)和修改模型，并重復(fù)這一過程直到模型的性能與大腦的性能具有相同的方式?！惫捕倨呤?yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元（PE）就是人工(rngng)神經(jīng)元，也稱為結(jié)點(diǎn)，通常用圓圈表示。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的結(jié)構(gòu)和功能與生物神經(jīng)元有類似之處，可以說是生物神經(jīng)元的一階近似。處理(chl)單元只模擬了生物神經(jīng)元所能執(zhí)行的150多個(gè)處理(chl)功能中的若干個(gè)。處理單元的功能對(duì)每個(gè)輸入信號(hào)進(jìn)行處理以確定

32、其強(qiáng)度（加權(quán)）；確定所有輸入信號(hào)的組合效果（求和）；確定其輸出（轉(zhuǎn)移特性）。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元對(duì)生物神經(jīng)元的模擬就像生物神經(jīng)元中有很多輸入（激勵(lì)(jl)）一樣，處理單元也有很多輸入信號(hào)，并且同時(shí)加到處理單元上，處理單元以輸出作為響應(yīng)。處理單元的輸出像實(shí)際神經(jīng)元一樣，輸出響應(yīng)不但受輸入信號(hào)的影響，同時(shí)也受內(nèi)部其它因素的影響。內(nèi)部因素：內(nèi)部閾值或一個(gè)額外輸入（稱為偏置項(xiàng)）共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元對(duì)生物神經(jīng)元的模擬處理單元的每一個(gè)輸入都經(jīng)過相關(guān)的加權(quán)，以影響輸入的激勵(lì)作用(zuyng

33、)，這有些像生物神經(jīng)元中突觸的可變強(qiáng)度，它確定了輸入信號(hào)的強(qiáng)度，一般把它看作連接強(qiáng)度的測(cè)度。處理單元的初始加權(quán)可以根據(jù)確定的規(guī)則進(jìn)行調(diào)解修正，這也像生物神經(jīng)元中的突觸強(qiáng)度可受外界因素影響一樣。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)(jigu)和功能共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能輸入信號(hào)來自外部（用黑色圓點(diǎn)表示(biosh)輸入端點(diǎn)）或別的處理單元的輸出，在數(shù)學(xué)上表示(biosh)為行向量xx = (x1, x2, xN)其中xi為第i個(gè)輸入的激勵(lì)電平，N表示輸入

34、數(shù)目。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本(jbn)結(jié)構(gòu)和功能連接到結(jié)點(diǎn)j的加權(quán)表示為加權(quán)向量Wj=(W1j, W2j, WNj)其中Wij表示從結(jié)點(diǎn)i（或第i個(gè)輸入點(diǎn)）到結(jié)點(diǎn)j的加權(quán)，或稱i與j結(jié)點(diǎn)之間的連接強(qiáng)度。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能考慮到內(nèi)部(nib)閾值j，用x0=-1的固定偏置輸入點(diǎn)表示，其連接強(qiáng)度取W0j= j。于是，可得輸入的加權(quán)和為共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能如果(

35、rgu)向量x和Wj分別包含了x0和W0j，則有x = (x0, x1, xN)Wj=(W0j, W1j, WNj)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)(jigu)和功能于是sj可表示為x和Wj的點(diǎn)積或內(nèi)積 sj= xWj這一結(jié)果是標(biāo)量，它由兩個(gè)向量的內(nèi)積得到，可以作為兩個(gè)向量相似程度的測(cè)量。如果向量處于相同的方向，則其內(nèi)積最大；如果向量處于相反的方向，則其內(nèi)積最小。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能處理單元的激勵(lì)(jl)電平sj通過一個(gè)轉(zhuǎn)移函數(shù)F()，得到處理單

36、元的最后輸出值yj共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元轉(zhuǎn)移函數(shù)轉(zhuǎn)移函數(shù)F()也稱激勵(lì)函數(shù)、傳輸(chun sh)函數(shù)或限幅函數(shù)，其作用就是將可能的無限域變換到一指定的有限范圍內(nèi)輸出，這類似于生物神經(jīng)元具有的非線性轉(zhuǎn)移特性。常用的轉(zhuǎn)移函數(shù)線性函數(shù)斜坡函數(shù)階躍函數(shù)符號(hào)函數(shù)Sigmoid函數(shù)雙曲正切函數(shù)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)(hnsh)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)最簡(jiǎn)單的轉(zhuǎn)移函數(shù)y = F(s) = ks其中(qzhng)y為輸出值

37、，s為輸入信號(hào)的加權(quán)和，k是一個(gè)常數(shù)，表示直線的斜率。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡(xip)函數(shù)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)(hnsh)當(dāng)線性函數(shù)值限定在(-r r)的范圍內(nèi)時(shí)，線性函數(shù)就變?yōu)榉蔷€性斜坡函數(shù)。r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)(hnsh)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)(hnsh)硬限幅函

38、數(shù)的一種共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元符號(hào)(fho)函數(shù)（sgn()）共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元符號(hào)(fho)函數(shù)（sgn()）硬限幅函數(shù)的一種共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)(hnsh)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)(hnsh)S型函數(shù)的一種y = F(s) = 1/(1+e-s)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單

39、元可以把該型函數(shù)看作為處理單元定義了一個(gè)非線性增益，增益的大小決定于曲線在給定s點(diǎn)的斜率。當(dāng)s由負(fù)無窮增到0時(shí)，增益由0增至最大；當(dāng)s由0增到正無窮時(shí)，增益又由最大返回到0。Grossberg在1973年發(fā)現(xiàn)，用該函數(shù)可使同一網(wǎng)絡(luò)既能處理小信號(hào)(xnho)，也能處理大信號(hào)(xnho)。該函數(shù)的中間高增益區(qū)解決了處理小信號(hào)的問題；伸向兩邊的低增益區(qū)正好適合于處理大的激勵(lì)信號(hào)；這種現(xiàn)象正像生物神經(jīng)元在輸入電平范圍很大的情況下能正常工作一樣。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切(zhngqi)函數(shù)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.

40、2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù)S型函數(shù)的一種y = tand(s)=(es- e-s)/(es+e-s)相對(duì)(xingdu)于Sigmoid函數(shù)，它是原點(diǎn)對(duì)稱的。當(dāng)s=0時(shí)有y=0，即同時(shí)具有雙級(jí)輸出。當(dāng)要求輸出(-1 1)范圍的信號(hào)時(shí)，它常被采用。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元討論人工神經(jīng)網(wǎng)絡(luò)處理單元是生物神經(jīng)元的簡(jiǎn)單近似，在模仿生物神經(jīng)網(wǎng)絡(luò)時(shí)，具備了生物神經(jīng)元的某些特性。至于模仿效果，還需進(jìn)一步研究，修改模型。人工神經(jīng)網(wǎng)絡(luò)處理單元忽略了生物神經(jīng)元的很多特征(tzhng)。它沒有考慮影響系統(tǒng)動(dòng)態(tài)特性的時(shí)間延遲，而認(rèn)為一個(gè)輸入立即產(chǎn)生

41、一個(gè)輸出。它沒有包括同步機(jī)能和神經(jīng)元的頻率調(diào)制功能的影響。其它未知的生物神經(jīng)元的功能和特性。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)雖然單個(gè)處理單元可以處理簡(jiǎn)單的圖形檢測(cè)功能，但更強(qiáng)的識(shí)別處理能力(nngl)是來自多個(gè)結(jié)點(diǎn)“連成”的網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)。這里的“連成”，是靠輸入至結(jié)點(diǎn)或者結(jié)點(diǎn)至結(jié)點(diǎn)間的信號(hào)傳輸通路實(shí)現(xiàn)的，這一通路相當(dāng)于生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號(hào)。以后我們把這種信號(hào)傳輸通路稱為“連接”，每一個(gè)連接都具有一個(gè)加權(quán)值，稱為“連接權(quán)”，反映連接的強(qiáng)度。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的

42、拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)最簡(jiǎn)單的網(wǎng)絡(luò)是把一組結(jié)點(diǎn)(ji din)形成一層。左邊的黑色圓點(diǎn)只起著分配輸入信號(hào)的作用，沒有計(jì)算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點(diǎn)被看作一層。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號(hào)表示為行向量：x = (x1, x2, xN)，其中每一分量通過加權(quán)連接到各結(jié)點(diǎn)。每一個(gè)結(jié)點(diǎn)均可產(chǎn)生一個(gè)加權(quán)和。輸入和結(jié)點(diǎn)間采用全連接，并且(bngqi)都是前饋連接。實(shí)際的人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)中有些連接可能不存在。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)(wnglu)

43、在這種單層網(wǎng)絡(luò)中，可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是N x n，N是輸入信號(hào)向量（也稱輸入圖形）的分量數(shù)，n是該層內(nèi)的結(jié)點(diǎn)數(shù)。由第三個(gè)輸入連接到第二個(gè)結(jié)點(diǎn)的連接權(quán)表示為W32。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號(hào)的加權(quán)和表示為：s是各結(jié)點(diǎn)加權(quán)和的行向量，s=(s1, s2, sn)。輸出向量(xingling) y=(y1, y2, yn)，其中yj=F(sj)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)一般來說，大而復(fù)雜的網(wǎng)絡(luò)能提供更強(qiáng)的計(jì)算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，

44、但它們的結(jié)點(diǎn)都是按層排列的，這一點(diǎn)正是(zhn sh)模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級(jí)聯(lián)構(gòu)成的，即上一層的輸出作為下一層的輸入。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)(jigu)多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)?tu p)結(jié)構(gòu)多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時(shí)，層間的轉(zhuǎn)移函數(shù)(hnsh)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計(jì)算能力并不比單層網(wǎng)絡(luò)強(qiáng)。

45、在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計(jì)算是第一層的輸出xW1作為第二層的輸入，通過第二個(gè)加權(quán)矩陣得到網(wǎng)絡(luò)的輸出y=(xW1) W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是后者的加權(quán)矩陣為兩個(gè)加權(quán)矩陣的乘積。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)中，接收輸入信號(hào)的層稱為輸入層。它不計(jì)入網(wǎng)絡(luò)層數(shù)，因?yàn)樗黄鹬斎胄盘?hào)緩沖器的作用，沒有處理功能。產(chǎn)生輸出信號(hào)的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。實(shí)際情況中，層與層之間可能(knng)有部分連接的情況。共二

46、百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸(hugu)型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一般來說，凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò)，或稱反饋網(wǎng)絡(luò)。一層反饋網(wǎng)絡(luò)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)回歸(hugu)型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）一層反饋網(wǎng)絡(luò)中，連接均限于一層之內(nèi)，這種連接稱為層內(nèi)連接或?qū)觾?nèi)橫向反饋連接。相對(duì)于一層反饋網(wǎng)絡(luò)的為多層反饋網(wǎng)絡(luò)，其連接不限于一層之內(nèi)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)(jigu)回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）二層反饋網(wǎng)絡(luò)共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基

47、礎(chǔ)(jch)6.2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)(jigu)非回歸型網(wǎng)絡(luò)與回歸型網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）的比較非回歸型網(wǎng)絡(luò)不需存儲(chǔ)記憶，它的輸出只是由當(dāng)前的輸入和加權(quán)值確定。而在反饋網(wǎng)絡(luò)中，要將以前的輸出循環(huán)返回到輸入，所以其輸出不但取決于當(dāng)前的輸入，還要取決于以前的輸出。反饋網(wǎng)絡(luò)類似于人類的短期記憶，即網(wǎng)絡(luò)的輸出狀態(tài)部分取決于以前的輸入，是一類廣泛應(yīng)用的網(wǎng)絡(luò)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶存儲(chǔ)就是將信息或圖形存在某種存儲(chǔ)器中，而回憶則是將已存儲(chǔ)的信息按某種方式(fngsh)恢復(fù)出來。為了與人類大腦的功能類比，我們把這種信息的恢復(fù)稱為回憶。共二百七十六頁(yè)6.2 人

48、工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)(cn ch)和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)圖形的類型在計(jì)算機(jī)中，數(shù)據(jù)和信息是存放在存貯器中（RAM或ROM)，以8比特字節(jié)作為存儲(chǔ)單位。在人工神經(jīng)網(wǎng)絡(luò)中，信息或圖形不再限定為8比特，它是多維的二進(jìn)制數(shù)據(jù)或連續(xù)信息。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)的兩類圖形空間圖形(kngjin txng)的存儲(chǔ)存儲(chǔ)單個(gè)空間靜態(tài)圖像，如一幅畫面。時(shí)空?qǐng)D形的存儲(chǔ)存儲(chǔ)一系列隨時(shí)間變化的圖像，比如電影。我們討論的人工神經(jīng)網(wǎng)絡(luò)存儲(chǔ)的圖形大多是空間圖形，因它是構(gòu)成時(shí)空?qǐng)D形的基礎(chǔ)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.

49、2.4 存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲(chǔ)人工神經(jīng)網(wǎng)絡(luò)中的圖形存儲(chǔ)器與計(jì)算機(jī)中存儲(chǔ)器的差別在計(jì)算機(jī)中，一般采用RAM，將數(shù)據(jù)信息(xnx)存在確定地址的存儲(chǔ)單元內(nèi)，有了地址就可檢索數(shù)據(jù)。在人工神經(jīng)網(wǎng)絡(luò)中，則是用內(nèi)容尋址存儲(chǔ)器和聯(lián)想存儲(chǔ)器來存儲(chǔ)圖形信息。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶人工神經(jīng)網(wǎng)絡(luò)中圖形的存儲(chǔ)內(nèi)容尋址存儲(chǔ)器它是在人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中形成的，相當(dāng)于通過訓(xùn)練將信息存儲(chǔ)在加權(quán)矩陣W中。訓(xùn)練一旦完成，數(shù)據(jù)就相當(dāng)于變換到加權(quán)矩陣的穩(wěn)定狀態(tài)中，因此這種存儲(chǔ)是長(zhǎng)期存儲(chǔ)。聯(lián)想(linxing)存儲(chǔ)器它是在人工神經(jīng)網(wǎng)絡(luò)的回憶操作中出現(xiàn)的。當(dāng)對(duì)網(wǎng)絡(luò)輸入激勵(lì)信

50、號(hào)時(shí)，作為回憶結(jié)果，網(wǎng)絡(luò)的輸出給出一個(gè)響應(yīng)狀態(tài)。這一響應(yīng)狀態(tài)實(shí)際上也相當(dāng)于一個(gè)所需的存儲(chǔ)數(shù)據(jù)（響應(yīng)），因此這種存儲(chǔ)為短期存儲(chǔ)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念回憶是人類智能的一個(gè)主要特征，要想回憶某個(gè)人或某件事，通?？赏ㄟ^聯(lián)想進(jìn)行。當(dāng)看到一本書的封面顏色(yns)和作者時(shí)，會(huì)聯(lián)想到這是一本什么書（書的內(nèi)容）。當(dāng)丟失東西時(shí)，可以通過聯(lián)想到過什么地方，做過什么事情，最后回憶起把東西放在什么地方。這兩種情況都有一個(gè)特點(diǎn)，就是不管是哪本書，還是與東西有關(guān)的地點(diǎn)和事情，都是經(jīng)歷過的，相應(yīng)的記憶才有可能聯(lián)想出所需的結(jié)果。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

51、(jch)6.2.4 存儲(chǔ)和回憶回憶的概念聯(lián)想的兩種方式自聯(lián)想：由本身的部分特征聯(lián)想起整個(gè)事物的全部特征。他聯(lián)想：由一件事情(sh qing)聯(lián)想到另一件事情(sh qing)。在人工神經(jīng)網(wǎng)絡(luò)中，回憶操作也有兩種聯(lián)想變換自聯(lián)想變換他聯(lián)想變換共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念自聯(lián)想變換要求通過訓(xùn)練已在W中的存儲(chǔ)向量圖形(txng)A1, A2, Ap來實(shí)現(xiàn)。該變換可由失真或缺損的向量圖形Ai (i=1,2,p)，聯(lián)想回憶Ai，即當(dāng)Ai 為輸入激勵(lì)時(shí)，能得到輸出響應(yīng)Ai。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念他

52、聯(lián)想變換要求通過訓(xùn)練已在W中的存儲(chǔ)向量圖形對(duì)(A1, B1), (A2, B2), (Ap, Bp)來實(shí)現(xiàn)。對(duì)這種網(wǎng)絡(luò)，聯(lián)想回憶是從激勵(lì)(jl)A1, A2, Ap（可能是失真的或不完善的）獲得B1, B2, Bp的響應(yīng)（或相反），即共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念在他聯(lián)想變換中，可以定義兩種基本的回憶機(jī)制(jzh)最近鄰回憶內(nèi)插回憶共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念最近鄰回憶尋找與外部激勵(lì)A(yù)i最佳匹配的（距離最近的）已存儲(chǔ)的輸入，并按這一輸入求得相應(yīng)的輸出，即 ，其中Ai與Ai有如下關(guān)系(gun x

53、)： 這里d()可指Ai與Ai間的歐式距離。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念內(nèi)插回憶是在接受一個(gè)輸入激勵(lì)時(shí)，從已存儲(chǔ)的輸入圖形集中找到一個(gè)內(nèi)插值，并從該輸入的內(nèi)插值得到一個(gè)相應(yīng)的內(nèi)插輸出。假如內(nèi)插是線性的，則可表示(biosh)為其中A和B可由圖形對(duì)(Ai, Bi)和(Ai+1, Bi+1)內(nèi)插得到，即 且 。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)(cn ch)和回憶回憶的概念在人工神經(jīng)網(wǎng)絡(luò)中，不管是自聯(lián)想回憶還是他聯(lián)想回憶，信息的回憶方式有兩種。前饋回憶反饋回憶共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4

54、 存儲(chǔ)和回憶回憶的概念前饋回憶輸入(shr)激勵(lì)只需通過一次存儲(chǔ)矩陣就可產(chǎn)生所需的響應(yīng)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.4 存儲(chǔ)和回憶回憶的概念反饋回憶輸入激勵(lì)通過存儲(chǔ)矩陣W產(chǎn)生響應(yīng)，該響應(yīng)作為激勵(lì)再反饋通過W，這樣依次循環(huán)，直到激勵(lì)和響應(yīng)停止變化為止，即得到(d do)所要求的響應(yīng)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)的最主要特征(tzhng)之一是它可以學(xué)習(xí)。任何一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型要實(shí)現(xiàn)某種功能的操作，就必須對(duì)它進(jìn)行訓(xùn)練，讓它學(xué)會(huì)要做的事情，并把這些知識(shí)記憶（存儲(chǔ)）在網(wǎng)絡(luò)的加權(quán)中。學(xué)習(xí)或訓(xùn)練的實(shí)質(zhì)就是加

55、權(quán)矩陣隨外部激勵(lì)（環(huán)境）做自適應(yīng)的變化。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）因?yàn)閷W(xué)習(xí)和訓(xùn)練的實(shí)質(zhì)是變動(dòng)加權(quán)值，因此很多文獻(xiàn)中學(xué)習(xí)和訓(xùn)練的概念是混用的。嚴(yán)格來說，兩者是有區(qū)別的，訓(xùn)練通常是指調(diào)整網(wǎng)絡(luò)加權(quán)的操作動(dòng)作和過程，這個(gè)過程對(duì)網(wǎng)絡(luò)來講就是學(xué)習(xí)。比如(br)舉辦一個(gè)訓(xùn)練班對(duì)學(xué)生進(jìn)行某種技能的訓(xùn)練，對(duì)學(xué)生來講，它是在該班內(nèi)學(xué)習(xí)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)被訓(xùn)練后，它每加入一組輸入就會(huì)產(chǎn)生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓(xùn)練就是相繼加入輸入向量，并按預(yù)定

56、規(guī)則調(diào)整網(wǎng)絡(luò)加權(quán)。在進(jìn)行訓(xùn)練后，網(wǎng)絡(luò)的各加權(quán)都收斂(shulin)到一個(gè)確定值，以便每個(gè)輸入向量都會(huì)產(chǎn)生一個(gè)要求的輸出向量。調(diào)整加權(quán)所遵循的預(yù)定規(guī)則就是訓(xùn)練算法。有指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練(xnlin)（學(xué)習(xí)）有指導(dǎo)的訓(xùn)練對(duì)有指導(dǎo)的訓(xùn)練算法，不但需要訓(xùn)練用的輸入向量，同時(shí)還要求與之對(duì)應(yīng)的表示所需要輸出的目標(biāo)向量。輸入向量與對(duì)應(yīng)的目標(biāo)向量一起稱作一個(gè)訓(xùn)練對(duì)。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要很多訓(xùn)練對(duì)，這些訓(xùn)練對(duì)組成訓(xùn)練組。當(dāng)加上一個(gè)輸入向量時(shí)，要計(jì)算網(wǎng)絡(luò)的實(shí)際輸出，并同相應(yīng)的目標(biāo)向量做比較，根據(jù)比較結(jié)果的誤差，按規(guī)定的算法改變加權(quán)。

57、把訓(xùn)練組中的每個(gè)向量對(duì)相繼加入，對(duì)每個(gè)向量都計(jì)算誤差并調(diào)節(jié)加權(quán)，直到訓(xùn)練組中的誤差都達(dá)到可接受的最低值為止。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)(xux)）無指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練不要求有目標(biāo)向量，網(wǎng)絡(luò)通過自身的“經(jīng)歷”來學(xué)會(huì)某種功能。人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認(rèn)為無指導(dǎo)的訓(xùn)練是在生物上更有道理的訓(xùn)練算法。1984年，Kohonen等人提出了無指導(dǎo)的訓(xùn)練算法。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)(zhdo)的訓(xùn)練因?yàn)闊o指導(dǎo)的訓(xùn)練不要求輸出的目標(biāo)向量，因此無需比較產(chǎn)

58、生控制誤差。訓(xùn)練組只是由輸入向量組成。訓(xùn)練算法也修改網(wǎng)絡(luò)的加權(quán)，使得產(chǎn)生的輸出具有某種可理解的規(guī)律性。比如，訓(xùn)練組的某兩個(gè)向量非常類似時(shí)，它們將會(huì)產(chǎn)生相同的輸出。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)的訓(xùn)練這個(gè)訓(xùn)練過程實(shí)質(zhì)上是抽取訓(xùn)練組的某種統(tǒng)計(jì)特性，并把輸入向量按圖形類似程度分為不同的類別。從給定的一類中取一個(gè)(y )向量加到網(wǎng)絡(luò)上，它將產(chǎn)生一個(gè)(y )特定的輸出。在訓(xùn)練之前，沒有辦法知道哪種類型的輸入向量將產(chǎn)生哪種特定的輸出，但通過這種訓(xùn)練，網(wǎng)絡(luò)的輸出總是變換為一個(gè)可理解的序列形式。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2

59、.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法目前應(yīng)用的訓(xùn)練算法很多，其中有很大部分是早期的Hebb算法的變形。人們?nèi)栽谝陨飳W(xué)習(xí)訓(xùn)練的模式作為目標(biāo)，繼續(xù)探索新的算法?？梢韵嘈?，真正(zhnzhng)的生物學(xué)習(xí)訓(xùn)練過程肯定比目前常用的訓(xùn)練算法復(fù)雜得多。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一 Hebb算法Hebb算法是由Donald Hebb提出的一種最早的訓(xùn)練算法。Hebb認(rèn)為，如果源和目的神經(jīng)元都被激活(j hu)（或抑制），它們之間的突觸的強(qiáng)度就會(huì)增強(qiáng)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)

60、）訓(xùn)練算法之一 Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡(jiǎn)單描述：如果一個(gè)處理單元從另一個(gè)處理單元接收激勵(lì)信號(hào)，而且兩者處于相同的激勵(lì)電平（數(shù)學(xué)上具有相同的符號(hào)(fho)），那么處理單元之間的加權(quán)就應(yīng)當(dāng)增強(qiáng)。共二百七十六頁(yè)6.2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(jch)6.2.5 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練算法之一 Hebb算法人工神經(jīng)網(wǎng)絡(luò)中Hebb算法的簡(jiǎn)單描述(mio sh)：按數(shù)學(xué)表示，就是兩結(jié)點(diǎn)的連接權(quán)將按兩結(jié)點(diǎn)的激勵(lì)電平的乘積來改變其中，Wij(n)是第(n+1)次調(diào)節(jié)前從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值； Wij(n+1)是第(n+1)次調(diào)節(jié)后從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值；為訓(xùn)練速率系數(shù)；yi為結(jié)點(diǎn)i