神經(jīng)網(wǎng)絡(luò)導(dǎo)論第一

內(nèi)容提要神經(jīng)網(wǎng)絡(luò)模型的基本組成神經(jīng)網(wǎng)絡(luò)的分類及典型的神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及神經(jīng)計算特點神經(jīng)計算的穩(wěn)定性神經(jīng)網(wǎng)絡(luò)研究歷史神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域現(xiàn)在是1頁\一共有60頁\編輯于星期三第一節(jié)

神經(jīng)網(wǎng)絡(luò)模型的基本組成現(xiàn)在是2頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型的基本組成之神經(jīng)元生物神經(jīng)元的基本組成細胞體突起樹突軸突人工神經(jīng)元的基本結(jié)構(gòu)處理單元連接輸入輸出現(xiàn)在是3頁\一共有60頁\編輯于星期三神經(jīng)元的基本功能（1）接收輸入

輸入類型輸入的權(quán)值

抑制性連接權(quán)值活躍性連接權(quán)值傳播規(guī)則（傳播函數(shù)）

把某類凈輸入與其連接權(quán)值結(jié)合起來，使該類輸入對目的處理單元產(chǎn)生最終凈輸入的規(guī)則。現(xiàn)在是4頁\一共有60頁\編輯于星期三神經(jīng)元的基本功能（2）處理輸入

活躍狀態(tài)（活躍值）活躍值活躍函數(shù)（活躍規(guī)則）

把某一處理單元的各類凈輸入相互結(jié)合起來，再與該處理單元當(dāng)前活躍狀態(tài)相結(jié)合，以產(chǎn)生一個新的活躍狀態(tài)的規(guī)則?；钴S函數(shù)類型恒等函數(shù)、閾值函數(shù)、S型單調(diào)函數(shù)現(xiàn)在是5頁\一共有60頁\編輯于星期三神經(jīng)元的基本功能（3）產(chǎn)生輸出

輸出值的作用輸出函數(shù)（輸出規(guī)則）根據(jù)某一神經(jīng)元的當(dāng)前活躍值產(chǎn)生對其它神經(jīng)元影響的輸出值的規(guī)則。

輸出函數(shù)類型硬極限函數(shù)、閾值函數(shù)、S型單調(diào)函數(shù)、恒等函數(shù)現(xiàn)在是6頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型的基本組成之網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

連接矩陣連接模式多層、單層反饋、前饋現(xiàn)在是7頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型的基本組成之學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則

根據(jù)環(huán)境動態(tài)修改各個處理單元之間連接權(quán)值的規(guī)則。典型的學(xué)習(xí)規(guī)則

Hebbian學(xué)習(xí)規(guī)則

Delta學(xué)習(xí)規(guī)則學(xué)習(xí)的類型聯(lián)想學(xué)習(xí)

自聯(lián)想異聯(lián)想規(guī)則發(fā)現(xiàn)如果一個處理單元接收從另外一個處理單元來的輸入，那么當(dāng)兩個單元都活躍時，它們之間的連接權(quán)值就應(yīng)該增大。權(quán)值主要根據(jù)在給定教師輸入下，期望輸出與目標輸出之差來進行改變。輸入輸入輸出現(xiàn)在是8頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型的基本組成之環(huán)境環(huán)境內(nèi)容輸入輸出現(xiàn)在是9頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型的基本組成小結(jié)傳播規(guī)則活躍規(guī)則輸出規(guī)則互連模式學(xué)習(xí)規(guī)則環(huán)境神經(jīng)網(wǎng)絡(luò)模型完整描述的六個要素?，F(xiàn)在是10頁\一共有60頁\編輯于星期三第二節(jié)

神經(jīng)網(wǎng)絡(luò)的分類以及

典型的神經(jīng)網(wǎng)絡(luò)模型現(xiàn)在是11頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)分類原則按神經(jīng)網(wǎng)絡(luò)模型的拓撲結(jié)構(gòu)可以分為反饋神經(jīng)網(wǎng)絡(luò)模型和前向神經(jīng)網(wǎng)絡(luò)模型。按神經(jīng)網(wǎng)絡(luò)模型的性能可分為連續(xù)型與離散型神經(jīng)網(wǎng)絡(luò)模型，確定型與隨機型神經(jīng)網(wǎng)絡(luò)模型。按學(xué)習(xí)方式可以分為有教師學(xué)習(xí)神經(jīng)網(wǎng)模型和無教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型。按連接突觸性質(zhì)可以分為一階線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型和高階非線性關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)模型?，F(xiàn)在是12頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

自適應(yīng)諧振理論（ART）該模型主要包括ART1、ART2和ART3，它們可以對任意多和任意復(fù)雜的二維模式進行自組織、自穩(wěn)定和大規(guī)模并行處理。ART1主要用于二值輸入，ART2和ART3主要用于連續(xù)信號輸入。該類模型主要用于模式識別（如雷達、聲納的信號識別）。缺點是對轉(zhuǎn)換、失真及規(guī)模的變化較為敏感?，F(xiàn)在是13頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

雪崩模型（Avalanche）

該類神經(jīng)網(wǎng)絡(luò)模型可以學(xué)習(xí)、記憶和重現(xiàn)隨機復(fù)雜度的時空模式。主要用于連續(xù)的語音識別和教學(xué)機器人。缺點是調(diào)節(jié)困難?，F(xiàn)在是14頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

雙向相聯(lián)存儲器（BAM）

該類神經(jīng)網(wǎng)絡(luò)模型是由許多相同神經(jīng)元構(gòu)成的雙向聯(lián)想式兩層網(wǎng)絡(luò)，主要用作按內(nèi)容尋址的相聯(lián)存儲。缺點是存儲容量小而且需很好地進行編碼?，F(xiàn)在是15頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

反傳神經(jīng)網(wǎng)絡(luò)模型（BP）該類神經(jīng)網(wǎng)絡(luò)模型是一多層映射神經(jīng)網(wǎng)絡(luò)。采用的是最小均方差的學(xué)習(xí)方式，是目前使用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。主要用于語言綜合、語言識別、自適應(yīng)控制等。缺點是它僅僅是有監(jiān)督的一種學(xué)習(xí)方式，而且輸入、輸出樣本都必須是冗余的。現(xiàn)在是16頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

Boltzmann機／Cauchy機（BCM）

該類神經(jīng)網(wǎng)絡(luò)模型使用一噪聲過程求得整個模型花費函數(shù)（costfunction）的全局極小值。主要用于模式識別（圖像、聲納和雷達信號的識別）。缺點是Boltzmann機的訓(xùn)練時間長，Cauchy機會按一定的統(tǒng)計分布產(chǎn)生噪聲。現(xiàn)在是17頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

盒中腦狀態(tài)模型（BSB）

該類神經(jīng)網(wǎng)絡(luò)模型是具有最小均方差的單層自聯(lián)想網(wǎng)絡(luò)模型?？梢杂糜趶臄?shù)據(jù)庫中提取知識。缺點是僅僅為單步?jīng)Q策，沒有交互性的推理。現(xiàn)在是18頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

對流傳播模型（CPN）該類神經(jīng)網(wǎng)絡(luò)模型是一種在功能上作為統(tǒng)計最優(yōu)化和概率密度函數(shù)分析的網(wǎng)絡(luò)模型。主要用于圖像壓縮、統(tǒng)計分析、貸款應(yīng)用打分。缺點是對任何類型的問題均需大量的處理單元和連接?，F(xiàn)在是19頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

Hopfield神經(jīng)網(wǎng)絡(luò)模型它是由相同處理單元構(gòu)成的單層自聯(lián)想網(wǎng)絡(luò)模型。主要用于從片段中進行圖像和數(shù)據(jù)的完全恢復(fù)。缺點是處理單元間連接權(quán)值需預(yù)先設(shè)置，并且單元之間的連接是要對稱的，它沒有學(xué)習(xí)能力?，F(xiàn)在是20頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

多個自適應(yīng)線性元模型（MADALINE）該類神經(jīng)網(wǎng)絡(luò)模型是具有最小方差學(xué)習(xí)功能的線性網(wǎng)絡(luò)模型。它的學(xué)習(xí)能力較強，是自適應(yīng)線性元ADALINE的擴展。主要用于自適應(yīng)控制。缺點是在輸入輸出之間設(shè)置的是一種線性關(guān)系。現(xiàn)在是21頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

自組織映射模型（SOM）該類神經(jīng)網(wǎng)絡(luò)模型主要是形成從一個密集簇到另一個簇的連續(xù)拓撲映射，并且映射矩陣密度隨第二個簇所給定的概率密度函數(shù)不同而不同。主要用于從一個幾何區(qū)域到另一個幾何區(qū)域的映射。缺點是需要徹底的訓(xùn)練?，F(xiàn)在是22頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

學(xué)習(xí)矩陣模型（LRN）該類神經(jīng)網(wǎng)絡(luò)模型是一種單層單向非遞歸的相聯(lián)存儲器模型。主要用于相聯(lián)存儲?，F(xiàn)在是23頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

小腦模型（Cerebellatron）該類神經(jīng)網(wǎng)絡(luò)模型主要是學(xué)習(xí)平均時空指令序列模式，并且按線索重現(xiàn)那些平均指令序列。主要用于控制機械手的動作。缺點是需要復(fù)雜的控制輸入?，F(xiàn)在是24頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

細胞神經(jīng)網(wǎng)絡(luò)模型（CNN）該類神經(jīng)網(wǎng)絡(luò)模型是一單層連續(xù)神經(jīng)網(wǎng)絡(luò)。主要用于模式識別、文字識別與噪聲控制等?，F(xiàn)在是25頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

交替投影神經(jīng)網(wǎng)絡(luò)模型（APNN）該類神經(jīng)網(wǎng)絡(luò)模型應(yīng)用凸集投影概念，在向量空間中建立模型，主要用于模式識別。現(xiàn)在是26頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)認知機（Necognitron）該類神經(jīng)網(wǎng)絡(luò)模型是一多層結(jié)構(gòu)化字符識別網(wǎng)絡(luò)模型。主要用于手寫體字符識別，但是常常需要極大數(shù)目的處理單元和連接，它對大小、平移、旋轉(zhuǎn)不敏感，并且能識別復(fù)雜的字符?，F(xiàn)在是27頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型

感知機（Perceptron）該類神經(jīng)網(wǎng)絡(luò)模型是一組可訓(xùn)練的線性分類單層網(wǎng)絡(luò)模型，目前較少應(yīng)用。主要用于打印字符識別，但是不能識別復(fù)雜字符（漢字），而且對大小、平移和變形很敏感。現(xiàn)在是28頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型的分類

前饋神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)線性元模型感知機現(xiàn)在是29頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型的分類反饋神經(jīng)網(wǎng)絡(luò)模型

Hopfield神經(jīng)網(wǎng)絡(luò)模型海明神經(jīng)網(wǎng)絡(luò)模型雙向聯(lián)想存儲器現(xiàn)在是30頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型的分類

自組織神經(jīng)網(wǎng)絡(luò)模型自適應(yīng)諧振理論（ART）自組織映射神經(jīng)網(wǎng)絡(luò)模型（SOM）對流神經(jīng)網(wǎng)絡(luò)模型（CPN）認知機現(xiàn)在是31頁\一共有60頁\編輯于星期三典型的神經(jīng)網(wǎng)絡(luò)模型的分類

隨機神經(jīng)網(wǎng)絡(luò)模型模擬退火算法Boltzmann機諧和理論現(xiàn)在是32頁\一共有60頁\編輯于星期三第三節(jié)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及

神經(jīng)計算特點現(xiàn)在是33頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)特點

神經(jīng)網(wǎng)絡(luò)模型是由大量極簡單的處理單元所組成每一個處理單元僅僅是對輸入信號加權(quán)求和，然后計算該處理單元新的活躍值和輸出信號。每個處理單元要完成的功能非常簡單，但是神經(jīng)網(wǎng)絡(luò)模型中的處理單元數(shù)目是如此之多，傳統(tǒng)計算機是遠遠無法比擬的。現(xiàn)在是34頁\一共有60頁\編輯于星期三神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)特點

高度復(fù)雜的互連在神經(jīng)網(wǎng)絡(luò)模型中處理單元與處理單元之間存在著高度復(fù)雜的互連，有的是在每一個處理單元之間都存在著互連；有的是在層與層之間的處理單元間存在互連，這主要取決于實際問題和所要達到的性能要求。而在傳統(tǒng)計算機中，對于單機系統(tǒng)來說不存在互連問題，在雙機或多機系統(tǒng)中，處理機之間的互連數(shù)也是有限的?，F(xiàn)在是35頁\一共有60頁\編輯于星期三神經(jīng)計算的本質(zhì)

計算的數(shù)學(xué)觀點計算就是在滿足一定原理、定理的條件下，從一個空間到另一個空間的映射；

計算的物理觀點計算是按照一定的自然規(guī)則，在某種“硬件”上所發(fā)生的一些物理規(guī)則。因此計算可以表示為一動力學(xué)系統(tǒng)中狀態(tài)空間的變換軌跡。現(xiàn)在是36頁\一共有60頁\編輯于星期三神經(jīng)計算的本質(zhì)神經(jīng)網(wǎng)絡(luò)的計算是一種非編程的信息處理方式。在不確定的條件下，只要我們能準確地描述所要求的計算功能，并能給出體現(xiàn)該功能的大量例子，那么神經(jīng)網(wǎng)絡(luò)就可以通過這些例子來進行自我調(diào)整，直至達到所要求的計算能力；有時甚至在沒有例子可尋時，神經(jīng)網(wǎng)絡(luò)也可以根據(jù)一些輸入信號通過自組織而達到某種計算能力。現(xiàn)在是37頁\一共有60頁\編輯于星期三神經(jīng)計算的本質(zhì)上述這種非編程的自適應(yīng)信息處理方式稱之為神經(jīng)計算（neurocomputing）。如果把神經(jīng)網(wǎng)絡(luò)看成是由大量子系統(tǒng)組成的大系統(tǒng)，那么神經(jīng)計算就是該系統(tǒng)狀態(tài)的轉(zhuǎn)換，其計算過程可以認為是狀態(tài)的轉(zhuǎn)換過程?，F(xiàn)在是38頁\一共有60頁\編輯于星期三神經(jīng)計算的特點大規(guī)模并行性、集團運算和容錯能力。信息的分布式表示。學(xué)習(xí)和自組織能力。多層神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有強大的解算能力和處理實際問題的能力?，F(xiàn)在是39頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

數(shù)學(xué)逼近映射開發(fā)合適的函數(shù)，以自組織的方式響應(yīng)以下的樣本集合:(x1,y1),(x2,y2)，…，(xn,yn)，（這里yi=f(xi)或yi=f(xi)+N，其中N為噪音過程）。這里描述的當(dāng)然是一般的數(shù)學(xué)抽象，像識別與分類這些計算都可以抽象為這樣的一種近似數(shù)學(xué)映射。BPN、CPN模型都可以完成這種計算。現(xiàn)在是40頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

概率密度函數(shù)的估計通過自組織的方式開發(fā)出一組等概率錨點來響應(yīng)在空間中按照一定確定概率密度函數(shù)p選取的一組向量樣本X1,X2,X3,…。CPN、SOM模型可以完成這種計算?，F(xiàn)在是41頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

從二進制數(shù)據(jù)基中提取相關(guān)的知識將從二進制數(shù)據(jù)基中提取的相關(guān)知識形成一種知識的聚集模型，這些知識依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計上的共性，并依這些共性來響應(yīng)輸入的數(shù)據(jù)基。BSB有能力進行這種計算。現(xiàn)在是42頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

形成拓撲連續(xù)及統(tǒng)計意義上的同構(gòu)映射這是對固定概率密度函數(shù)選擇的輸入數(shù)據(jù)進行自適應(yīng)的一種自組織映射，最終使得數(shù)據(jù)空間上的不同項有某種同構(gòu)。SOM模型最適合計算這類問題。現(xiàn)在是43頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

最近相鄰模式分類通過比較大量的存儲數(shù)據(jù)來進行模式分類，這種能力可應(yīng)用于暫態(tài)或暫穩(wěn)態(tài)模式分類，并且可用層次性的存儲模式來表達存儲。絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型均能進行這種計算，比如ART、AVA、BAM、BCM、BPN、BSB、CBD、CPN、HOP、LRN、MDL、NEO、PTR。現(xiàn)在是44頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

數(shù)據(jù)聚集這是采用自組織的方式所選擇的顆?；蚰Ｊ降木垲悾源藖眄憫?yīng)輸入數(shù)據(jù)。聚類是可變的，但要限制其鞍點的個數(shù)。對于任何新的目標，只要在系統(tǒng)中沒有對其提供聚類，都要形成新的聚類。很顯然，這種能力可直接應(yīng)用于雷達的多目標跟蹤，ART模型最適于這種計算。現(xiàn)在是45頁\一共有60頁\編輯于星期三神經(jīng)計算的信息處理能力

最優(yōu)化問題的計算這是用來求解局部甚至是全局最優(yōu)解的，HOP模型、BCM模型有能力進行這種計算?，F(xiàn)在是46頁\一共有60頁\編輯于星期三第四節(jié)

神經(jīng)計算的穩(wěn)定性現(xiàn)在是47頁\一共有60頁\編輯于星期三穩(wěn)定性的基本概念

穩(wěn)定性是指神經(jīng)網(wǎng)絡(luò)系統(tǒng)在進行神經(jīng)計算時，系統(tǒng)最終能收斂到一個穩(wěn)定狀態(tài)。只有使整個神經(jīng)網(wǎng)絡(luò)系統(tǒng)的狀態(tài)朝穩(wěn)定狀態(tài)發(fā)展的神經(jīng)計算才是有用的，否則，將導(dǎo)致整個系統(tǒng)的振蕩或者隨機波動，而不能得到一個一致的結(jié)果?，F(xiàn)在是48頁\一共有60頁\編輯于星期三從計算機的角度看穩(wěn)定性計算機具有許多可能的邏輯狀態(tài)。當(dāng)計算機系統(tǒng)時鐘不斷推進時，計算機就從一個邏輯狀態(tài)轉(zhuǎn)換到另一個邏輯狀態(tài)。在計算機中，通過設(shè)置特定的邏輯初始狀態(tài)開始計算（指令和數(shù)據(jù)）。然后計算機的狀態(tài)就沿著事先確定的邏輯狀態(tài)空間上的軌跡移動，直到得到答案，整個計算也就結(jié)束了。因而在計算機中的計算過程就是其邏輯狀態(tài)空間中的一條軌跡?，F(xiàn)在是49頁\一共有60頁\編輯于星期三從物理的角度看穩(wěn)定性從物理的角度來看，計算過程是其相應(yīng)狀態(tài)空間上狀態(tài)變換的一條軌跡，這條軌跡的方向由該系統(tǒng)固有動力學(xué)特性控制著，其移動的結(jié)果是進入一穩(wěn)定狀態(tài)中，然后整個計算便結(jié)束了。由該系統(tǒng)固有動力學(xué)特性控制著的各種物理系統(tǒng)可以展示不同的計算能力，現(xiàn)在是50頁\一共有60頁\編輯于星期三離散狀態(tài)空間下的計算過程解釋S1S2S3現(xiàn)在是51頁\一共有60頁\編輯于星期三連續(xù)狀態(tài)空間下計算過程的解釋S1S2S3現(xiàn)在是52頁\一共有60頁\編輯于星期三神經(jīng)計