智能優(yōu)化算法數(shù)學(xué)建模人工神經(jīng)網(wǎng)絡(luò)課件

智能優(yōu)化算法智能優(yōu)化算法前言所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。人是地球上具有最高智慧的動(dòng)物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計(jì)算機(jī)所無法取代的。長期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)，雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對(duì)其結(jié)構(gòu)已有所了解。前言所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能前言(C.)

粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。前言(C.)粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)前言(C.)人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的一種算法。假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對(duì)如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個(gè)“網(wǎng)絡(luò)”，通過不斷地給這個(gè)網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個(gè)網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個(gè)輸入，網(wǎng)絡(luò)便會(huì)根據(jù)自己已調(diào)節(jié)好的權(quán)值計(jì)算出一個(gè)輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。前言(C.)人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的前言(C.e)由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。需要指出的是，盡管人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的模仿，但這種模仿目前還處于較低的水平。前言(C.e)由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿人工神經(jīng)網(wǎng)絡(luò)的定義定義方式有多種：Hecht—Nielsen（1988年）Simpson（1987年）：人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（Neurocomputer）人工神經(jīng)網(wǎng)絡(luò)的定義定義方式有多種：人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期（20世紀(jì)40年代）：1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》。1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習(xí)律。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期（20世紀(jì)40年代）：人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第一高潮期（1950~1968）：以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。可用電子線路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第一高潮期（1950~1968）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)反思期（1969~1982）：M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年。書中指出：簡單的感知器存在非常嚴(yán)重的局限性，甚至不能解決簡單的“異或”問題。

批評(píng)的聲音高漲，不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)反思期（1969~1982）：人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）：1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）：1984年，J.Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動(dòng)。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.e)再認(rèn)識(shí)與應(yīng)用研究期（1991~）：發(fā)現(xiàn)的問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題

開始研究：開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個(gè)有效方法希望在理論上尋找新的突破，建立新的專用/通用模型和算法。進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.e)再認(rèn)識(shí)與應(yīng)用研究期（1991~）生物神經(jīng)網(wǎng)構(gòu)成：生物神經(jīng)元由:細(xì)胞體(Cellbody)樹突(Dendrite)軸突(Axon)突觸(Synapse)生物神經(jīng)網(wǎng)構(gòu)成：生物神經(jīng)元由:生物神經(jīng)網(wǎng)(C.)工作過程：神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個(gè)神經(jīng)元。神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。神經(jīng)元間的信號(hào)通過突觸傳遞。通過它，一個(gè)神經(jīng)元內(nèi)傳送的沖擊信號(hào)將在下一個(gè)神經(jīng)元內(nèi)引起響應(yīng)，使下一個(gè)神經(jīng)元興奮，或阻止下一個(gè)神經(jīng)元興奮。生物神經(jīng)網(wǎng)(C.)工作過程：生物神經(jīng)網(wǎng)(C.)基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)——興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加總量超過某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。生物神經(jīng)網(wǎng)(C.)基本工作機(jī)制：生物神經(jīng)網(wǎng)(C.e)特點(diǎn)：由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息處理功能的簡單疊加。神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。生物神經(jīng)網(wǎng)(C.e)特點(diǎn)：人工神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的模擬。模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元：人工神經(jīng)元(節(jié)點(diǎn))。從三個(gè)方面進(jìn)行模擬：節(jié)點(diǎn)本身的信息處理能力節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)人工神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的模擬。人工神經(jīng)元(C.)人工神經(jīng)元的建模：每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時(shí)滯,主要取決于突觸延擱；忽略時(shí)間整合作用和不應(yīng)期；神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。人工神經(jīng)元(C.)人工神經(jīng)元的建模：人工神經(jīng)元(C.)人工神經(jīng)元的基本構(gòu)成：人工神經(jīng)元模擬生物神經(jīng)元的一階特性輸入：X=(x1，x2，…，xn)聯(lián)接權(quán)：W=(w1，w2，…，wn)T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XWxnwnx1w1x2w2net=XW…Σ人工神經(jīng)元(C.)人工神經(jīng)元的基本構(gòu)成：xnwnx1人工神經(jīng)元(C.)人工神經(jīng)元的輸出：針對(duì)人工神經(jīng)元所接收的網(wǎng)絡(luò)輸入，通過一個(gè)轉(zhuǎn)移函數(shù)，得到人工神經(jīng)元的最后輸出。人工神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。人工神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。人工神經(jīng)元(C.)人工神經(jīng)元的輸出：人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：線性函數(shù)（LinearFunction）o=f(net)=k*net+c

neto0c人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：neto0c人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：非線性斜面函數(shù)(RampFunction)

γifnet≥θo=f(net)=k*netif|net|<θ-γifnet<-θγ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

γ-γ

θ

-θ

net

o

人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：γ-γθ-θnet人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：閾值函數(shù)（ThresholdFunction）

β

ifnet≥θo=f(net)=

-γifnet<-θβ、γ、θ均為非負(fù)實(shí)數(shù)，

θ為閾值β

-γθonet0人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：β-γθonet0人工神經(jīng)元(C.e)轉(zhuǎn)移函數(shù)：S形函數(shù)o=f(net)=(a+b)/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。人工神經(jīng)元(C.e)轉(zhuǎn)移函數(shù)：人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行反饋型網(wǎng)絡(luò)：在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：單純型層人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連輸出層到輸入層有連接人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：輸出層到人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連層內(nèi)有連接層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層內(nèi)有連人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑全互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：全互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑局部互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：局部互連人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行前饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)人工神經(jīng)網(wǎng)絡(luò)的分類(C.e)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：反饋型網(wǎng)絡(luò)：在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出反饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類(C.e)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：反饋型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))

有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對(duì)提供一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號(hào)”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號(hào)不符時(shí)，根據(jù)差錯(cuò)的方向和大小按一定的規(guī)則調(diào)整權(quán)值。當(dāng)網(wǎng)絡(luò)對(duì)于各種給定的輸入均能產(chǎn)生所期望的輸出時(shí)，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會(huì)”了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)則，可以用來進(jìn)行工作了。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))

無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)，學(xué)習(xí)過程中，需要不斷給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對(duì)屬于同一類的模式進(jìn)行自動(dòng)分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號(hào)的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型死記式學(xué)習(xí)

死記式學(xué)習(xí)是指網(wǎng)絡(luò)事先設(shè)計(jì)成能記憶特別的例子，以后當(dāng)給定有關(guān)該例子的輸入信息時(shí)，例子便被回憶起來。死記式學(xué)習(xí)中網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好了就不再變動(dòng)，因此其學(xué)習(xí)是一次性的，而不是一個(gè)訓(xùn)練過程。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個(gè)最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個(gè)黑匣子。1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實(shí)際問題時(shí)很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型j=1,2,…,m

人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型j=1,2,…,m人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號(hào)函數(shù)人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?)w1jx1+w2jx2–Tj=0w1jx1=Tj-w2jx2x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：這樣的話，我們就可以得到

ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。問題：這種知識(shí)到底是怎么樣學(xué)習(xí)的啊？人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器的學(xué)習(xí)規(guī)則：關(guān)鍵是求：Perceptron(感知器)學(xué)習(xí)規(guī)則：人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器的學(xué)習(xí)規(guī)則：人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：（1）權(quán)值初始化（2）輸入樣本對(duì)（3）計(jì)算輸出（4）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值（5）返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等。人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則一個(gè)具體的例子：單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下：設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個(gè)分量x0恒等于-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則X1=(-人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第二步輸入X人工神經(jīng)網(wǎng)絡(luò)工作原理(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

o3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。人工神經(jīng)網(wǎng)絡(luò)工作原理(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第三步輸入經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP(ErrorBackProragation，BP)誤差反向傳播算法1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組《ParallelDistributedProcessing》一書它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP網(wǎng)絡(luò)模型輸入層隱層輸出層經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法輸入層隱層輸出層經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法BP網(wǎng)絡(luò)的數(shù)學(xué)模型輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值乃至拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號(hào)的正向傳播；誤差的反向傳播經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法學(xué)習(xí)的過程：正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示－－修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法正向傳播：經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法感知器程序BP算法程序MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法函數(shù)名功能經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.e)下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個(gè)如下的三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷售進(jìn)行預(yù)測：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品的銷售量進(jìn)行預(yù)測，預(yù)測方法采用滾動(dòng)預(yù)測方式，即用前三個(gè)月的銷售量來預(yù)測第四個(gè)月的銷售量，如用1、2、3月的銷售量為輸入預(yù)測第4個(gè)月的銷售量，用2、3、4月的銷售量為輸入預(yù)測第5個(gè)月的銷售量.如此反復(fù)直至滿足預(yù)測精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.e)下表為某藥品的銷售情況，現(xiàn)構(gòu)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)：根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān)。美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield網(wǎng)。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。我們重點(diǎn)討論前一種。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的狀態(tài)DHNN網(wǎng)中的每個(gè)神經(jīng)元都有相同的功能，其輸出稱為狀態(tài)，用xj表示。神經(jīng)元狀態(tài)的集合就構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)X=[x1,x2,…,xn]T反饋網(wǎng)絡(luò)的輸入就是網(wǎng)絡(luò)的狀態(tài)初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T反饋網(wǎng)絡(luò)在外界輸入激發(fā)下，從初始狀態(tài)進(jìn)入動(dòng)態(tài)演變過程，變化規(guī)律為j=1,2,…,n

經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)j=1經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的工作方式異步工作方式：網(wǎng)絡(luò)運(yùn)行時(shí)每次只有一個(gè)神經(jīng)元進(jìn)行狀態(tài)的調(diào)整計(jì)算，其它神經(jīng)元的狀態(tài)均保持不變，即同步工作方式：網(wǎng)絡(luò)的同步工作方式是一種并行方式，所有神經(jīng)元同時(shí)調(diào)整狀態(tài)，即經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的穩(wěn)定狀態(tài)DHNN網(wǎng)實(shí)質(zhì)上是一個(gè)離散的非線性動(dòng)力學(xué)系統(tǒng)。網(wǎng)絡(luò)從初態(tài)X(0)開始，若能經(jīng)有限次遞歸后，其狀態(tài)不再發(fā)生變化，即X(t+1)＝X(t)，則稱該網(wǎng)絡(luò)是穩(wěn)定的。反饋網(wǎng)絡(luò)穩(wěn)定時(shí)每個(gè)神經(jīng)元的狀態(tài)都不再改變，此時(shí)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)Matlab實(shí)現(xiàn)MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能函數(shù)名功能satlin()飽和線性傳遞函數(shù)satlins()對(duì)稱飽和線性傳遞函數(shù)newhop()生成一個(gè)Hopfield回歸網(wǎng)絡(luò)nnt2hop()更新NNT2.0Hopfield回歸網(wǎng)絡(luò)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)函數(shù)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)實(shí)際例子：設(shè)印刷體數(shù)字由10×10點(diǎn)陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個(gè)方塊就對(duì)應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，能夠正確識(shí)別印刷體的數(shù)字。由點(diǎn)陣構(gòu)成的數(shù)字1由點(diǎn)陣構(gòu)成的數(shù)字2經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)由點(diǎn)陣謝謝各位！

謝謝各位！智能優(yōu)化算法智能優(yōu)化算法前言所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。人是地球上具有最高智慧的動(dòng)物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計(jì)算機(jī)所無法取代的。長期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)，雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對(duì)其結(jié)構(gòu)已有所了解。前言所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能前言(C.)

粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)?，F(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。前言(C.)粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)前言(C.)人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的一種算法。假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對(duì)如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個(gè)“網(wǎng)絡(luò)”，通過不斷地給這個(gè)網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個(gè)網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個(gè)輸入，網(wǎng)絡(luò)便會(huì)根據(jù)自己已調(diào)節(jié)好的權(quán)值計(jì)算出一個(gè)輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡單原理。前言(C.)人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的前言(C.e)由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。需要指出的是，盡管人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的模仿，但這種模仿目前還處于較低的水平。前言(C.e)由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿人工神經(jīng)網(wǎng)絡(luò)的定義定義方式有多種：Hecht—Nielsen（1988年）Simpson（1987年）：人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（AdaptiveSystems）、自適應(yīng)網(wǎng)（AdaptiveNetworks）聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（Neurocomputer）人工神經(jīng)網(wǎng)絡(luò)的定義定義方式有多種：人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期（20世紀(jì)40年代）：1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊《BulletinofMethematicalBiophysics》。1949年，心理學(xué)家D.O.Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學(xué)習(xí)律。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期（20世紀(jì)40年代）：人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第一高潮期（1950~1968）：以MarvinMinsky，F(xiàn)rankRosenblatt，BernardWidrow等為代表人物，代表作是單級(jí)感知器（Perceptron）。可用電子線路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第一高潮期（1950~1968）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)反思期（1969~1982）：M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年。書中指出：簡單的感知器存在非常嚴(yán)重的局限性，甚至不能解決簡單的“異或”問題。

批評(píng)的聲音高漲，不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)反思期（1969~1982）：人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）：1982年，J.Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）：1984年，J.Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動(dòng)。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。1986年，并行分布處理小組的Rumelhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法——BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（1983~1990）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.e)再認(rèn)識(shí)與應(yīng)用研究期（1991~）：發(fā)現(xiàn)的問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題

開始研究：開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮兩種技術(shù)各自的優(yōu)勢是一個(gè)有效方法希望在理論上尋找新的突破，建立新的專用/通用模型和算法。進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.e)再認(rèn)識(shí)與應(yīng)用研究期（1991~）生物神經(jīng)網(wǎng)構(gòu)成：生物神經(jīng)元由:細(xì)胞體(Cellbody)樹突(Dendrite)軸突(Axon)突觸(Synapse)生物神經(jīng)網(wǎng)構(gòu)成：生物神經(jīng)元由:生物神經(jīng)網(wǎng)(C.)工作過程：神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個(gè)神經(jīng)元。神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。神經(jīng)元間的信號(hào)通過突觸傳遞。通過它，一個(gè)神經(jīng)元內(nèi)傳送的沖擊信號(hào)將在下一個(gè)神經(jīng)元內(nèi)引起響應(yīng)，使下一個(gè)神經(jīng)元興奮，或阻止下一個(gè)神經(jīng)元興奮。生物神經(jīng)網(wǎng)(C.)工作過程：生物神經(jīng)網(wǎng)(C.)基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)——興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加總量超過某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。生物神經(jīng)網(wǎng)(C.)基本工作機(jī)制：生物神經(jīng)網(wǎng)(C.e)特點(diǎn)：由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息處理功能的簡單疊加。神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。生物神經(jīng)網(wǎng)(C.e)特點(diǎn)：人工神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的模擬。模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元：人工神經(jīng)元(節(jié)點(diǎn))。從三個(gè)方面進(jìn)行模擬：節(jié)點(diǎn)本身的信息處理能力節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)人工神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的模擬。人工神經(jīng)元(C.)人工神經(jīng)元的建模：每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時(shí)滯,主要取決于突觸延擱；忽略時(shí)間整合作用和不應(yīng)期；神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。人工神經(jīng)元(C.)人工神經(jīng)元的建模：人工神經(jīng)元(C.)人工神經(jīng)元的基本構(gòu)成：人工神經(jīng)元模擬生物神經(jīng)元的一階特性輸入：X=(x1，x2，…，xn)聯(lián)接權(quán)：W=(w1，w2，…，wn)T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XWxnwnx1w1x2w2net=XW…Σ人工神經(jīng)元(C.)人工神經(jīng)元的基本構(gòu)成：xnwnx1人工神經(jīng)元(C.)人工神經(jīng)元的輸出：針對(duì)人工神經(jīng)元所接收的網(wǎng)絡(luò)輸入，通過一個(gè)轉(zhuǎn)移函數(shù)，得到人工神經(jīng)元的最后輸出。人工神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。人工神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。人工神經(jīng)元(C.)人工神經(jīng)元的輸出：人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：線性函數(shù)（LinearFunction）o=f(net)=k*net+c

neto0c人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：neto0c人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：非線性斜面函數(shù)(RampFunction)

γifnet≥θo=f(net)=k*netif|net|<θ-γifnet<-θγ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

γ-γ

θ

-θ

net

o

人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：γ-γθ-θnet人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：閾值函數(shù)（ThresholdFunction）

β

ifnet≥θo=f(net)=

-γifnet<-θβ、γ、θ均為非負(fù)實(shí)數(shù)，

θ為閾值β

-γθonet0人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：β-γθonet0人工神經(jīng)元(C.e)轉(zhuǎn)移函數(shù)：S形函數(shù)o=f(net)=(a+b)/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。人工神經(jīng)元(C.e)轉(zhuǎn)移函數(shù)：人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行反饋型網(wǎng)絡(luò)：在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：單純型層人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連輸出層到輸入層有連接人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：輸出層到人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連層內(nèi)有連接層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層內(nèi)有連人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑全互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：全互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑局部互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：局部互連人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行前饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)人工神經(jīng)網(wǎng)絡(luò)的分類(C.e)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：反饋型網(wǎng)絡(luò)：在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出反饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類(C.e)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：反饋型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))

有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對(duì)提供一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號(hào)”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號(hào)不符時(shí)，根據(jù)差錯(cuò)的方向和大小按一定的規(guī)則調(diào)整權(quán)值。當(dāng)網(wǎng)絡(luò)對(duì)于各種給定的輸入均能產(chǎn)生所期望的輸出時(shí)，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會(huì)”了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)則，可以用來進(jìn)行工作了。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))

無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)，學(xué)習(xí)過程中，需要不斷給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對(duì)屬于同一類的模式進(jìn)行自動(dòng)分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號(hào)的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型死記式學(xué)習(xí)

死記式學(xué)習(xí)是指網(wǎng)絡(luò)事先設(shè)計(jì)成能記憶特別的例子，以后當(dāng)給定有關(guān)該例子的輸入信息時(shí)，例子便被回憶起來。死記式學(xué)習(xí)中網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好了就不再變動(dòng)，因此其學(xué)習(xí)是一次性的，而不是一個(gè)訓(xùn)練過程。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個(gè)最簡單的網(wǎng)絡(luò)來剖析，一定程度上打開這個(gè)黑匣子。1958年，美國心理學(xué)家FrankRosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡單，以至于在解決實(shí)際問題時(shí)很少采用，但由于它在神經(jīng)網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型j=1,2,…,m

人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型j=1,2,…,m人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號(hào)函數(shù)人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?)w1jx1+w2jx2–Tj=0w1jx1=Tj-w2jx2x1=(Tj-w2jx2)/w1j

=-(w2j/w1j)x2+Tj/w1j=a

x2+c人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：這樣的話，我們就可以得到

ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。問題：這種知識(shí)到底是怎么樣學(xué)習(xí)的??？人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器的學(xué)習(xí)規(guī)則：關(guān)鍵是求：Perceptron(感知器)學(xué)習(xí)規(guī)則：人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器的學(xué)習(xí)規(guī)則：人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：（1）權(quán)值初始化（2）輸入樣本對(duì)（3）計(jì)算輸出（4）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值（5）返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等。人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則一個(gè)具體的例子：單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下：設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，輸入向量中第一個(gè)分量x0恒等于-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。X1=(-1，1，-2，0)T

d1=1 X2=(-1，0，1.5，-0.5)T

d2=1X3=(-1，-1，1，0.5)T

d3=1人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則X1=(-人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第一步輸入X1，得

WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5

o1(0)=sgn(2.5)=1

W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第二步輸入X2，得

WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6

o2(1)=sgn(-1.6)=-1

W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T=(0.7,0.8,-0.6,0)T由于d2=o2(1)，所以W(2)=W(1)。人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第二步輸入X人工神經(jīng)網(wǎng)絡(luò)工作原理(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第三步輸入X3，得

WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1

o3(2)=sgn(-2.1)=-1W(3)=W(2)+η[d3-o3(2)]X3=(0.7,0.8,-0.6,0)T+0.1[1-(-1)](-1,-1,1,0.5)T=(0.5,0.6,-0.4,0.1)T第四步返回到第一步，繼續(xù)訓(xùn)練直到dp-op=0，p=1,2,3。人工神經(jīng)網(wǎng)絡(luò)工作原理(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第三步輸入經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP(ErrorBackProragation，BP)誤差反向傳播算法1986年，Rumelhart和McCelland領(lǐng)導(dǎo)的科學(xué)家小組《ParallelDistributedProcessing》一書它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP網(wǎng)絡(luò)模型輸入層隱層輸出層經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法輸入層隱層輸出層經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法BP網(wǎng)絡(luò)的數(shù)學(xué)模型輸入向量：

X=(x1,x2,…,xi,…,xn)T隱層輸出向量：

Y=(y1,y2,…,yj,…,ym)T輸出層輸出向量：

O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1,d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj