智能優(yōu)化算法數(shù)學(xué)建模人工神經(jīng)網(wǎng)絡(luò)課件

1、智 能 優(yōu) 化 算 法前言 所謂人工神經(jīng)網(wǎng)絡(luò)就是基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)。 人是地球上具有最高智慧的動(dòng)物，而人的指揮均來自大腦，人類靠大腦進(jìn)行思考、聯(lián)想、記憶和推理判斷等，這些功能是任何被稱為“電腦”的一般計(jì)算機(jī)所無法取代的。 長(zhǎng)期以來，許多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的探討和研究，并試圖建立模仿人類大腦的計(jì)算機(jī)，雖然到目前對(duì)大腦的內(nèi)部工作機(jī)理還不甚完全清楚，但對(duì)其結(jié)構(gòu)已有所了解。前言(C.) 粗略地講，大腦是由大量神經(jīng)細(xì)胞或神經(jīng)元組成的。每個(gè)神經(jīng)元可看作是一個(gè)小的處理單元，這些神經(jīng)元按某種方式連接起來，形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。 這種神經(jīng)元網(wǎng)絡(luò)中各神經(jīng)元

2、之間聯(lián)結(jié)的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化，而每個(gè)神經(jīng)元又隨著所接收到的多個(gè)接收信號(hào)的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。 現(xiàn)已明確大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵(lì)信息做自適應(yīng)變化的過程，而大腦處理信息的結(jié)果則由神經(jīng)元的狀態(tài)表現(xiàn)出來。前言(C.) 人工神經(jīng)網(wǎng)絡(luò)是根據(jù)人的認(rèn)識(shí)過程而開發(fā)出的一種算法。 假如我們現(xiàn)在只有一些輸入和相應(yīng)的輸出，而對(duì)如何由輸入得到輸出的機(jī)理并不清楚，那么我們可以把輸入與輸出之間的未知過程看成是一個(gè)“網(wǎng)絡(luò)”，通過不斷地給這個(gè)網(wǎng)絡(luò)輸入和相應(yīng)的輸出來“訓(xùn)練”這個(gè)網(wǎng)絡(luò)，網(wǎng)絡(luò)根據(jù)輸入和輸出不斷地調(diào)節(jié)自己的各節(jié)點(diǎn)之間的權(quán)值來滿足輸入和輸出。這樣，當(dāng)訓(xùn)練結(jié)束后，我們給定一個(gè)

3、輸入，網(wǎng)絡(luò)便會(huì)根據(jù)自己已調(diào)節(jié)好的權(quán)值計(jì)算出一個(gè)輸出。這就是神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單原理。前言(C.e) 由于我們建立的信息處理系統(tǒng)實(shí)際上是模仿生理神經(jīng)網(wǎng)絡(luò)，因此稱它為人工神經(jīng)網(wǎng)絡(luò)。 需要指出的是，盡管人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的模仿，但這種模仿目前還處于較低的水平。人工神經(jīng)網(wǎng)絡(luò)的定義定義方式有多種：HechtNielsen（1988年）Simpson（1987年）：人工神經(jīng)網(wǎng)絡(luò)是一個(gè)非線性的有向圖，圖中含有可以通過改變權(quán)大小來存放模式的加權(quán)邊，并且可以從不完整的或未知的輸入找到模式。 別名人工神經(jīng)系統(tǒng)（ANS）神經(jīng)網(wǎng)絡(luò)（NN）自適應(yīng)系統(tǒng)（Adaptive Systems）、自適應(yīng)網(wǎng)（Adaptive Ne

4、tworks）聯(lián)接模型（Connectionism）神經(jīng)計(jì)算機(jī)（Neurocomputer）人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期（20世紀(jì)40年代）：1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡(jiǎn)稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會(huì)刊Bulletin of Methematical Biophysics。1949年，心理學(xué)家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學(xué)習(xí)律。 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第一高潮期（19501968） ：以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表

5、作是單級(jí)感知器（Perceptron）?？捎秒娮泳€路模擬。人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項(xiàng)研究，希望盡快占領(lǐng)制高點(diǎn)。 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)反思期（19691982） ：M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年。 書中指出：簡(jiǎn)單的感知器存在非常嚴(yán)重的局限性，甚至不能解決簡(jiǎn)單的“異或”問題。 批評(píng)的聲音高漲，不少研究人員把注意力轉(zhuǎn)向了人工智能，導(dǎo)致對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（19831990） ：1982年，J. Hopfield提出循環(huán)網(wǎng)絡(luò)用Lyapunov

6、函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動(dòng)力學(xué)的關(guān)系用非線性動(dòng)力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.)第二高潮期（19831990） ：1984年， J. Hopfield設(shè)計(jì)研制了后來被人們稱為Hopfield網(wǎng)的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動(dòng)。1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。 1986年，并行分布處理小組的Ru

7、melhart等研究者重新獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。國(guó)內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)是1990年12月在北京舉行。 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(C.e)再認(rèn)識(shí)與應(yīng)用研究期（1991） ：發(fā)現(xiàn)的問題：應(yīng)用面還不夠?qū)捊Y(jié)果不夠精確存在可信度的問題 開始研究：開發(fā)現(xiàn)有模型的應(yīng)用，并在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對(duì)模型、算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮兩種技術(shù)各自的優(yōu)勢(shì)是一個(gè)有效方法希望在理論上尋找新的突破，建立新的專用/通用模型和算法。進(jìn)一步對(duì)生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷地豐富對(duì)人腦的認(rèn)識(shí)。 生物神經(jīng)網(wǎng)構(gòu)成：生物神經(jīng)元由: 細(xì)胞體(Cell body)樹突(D

8、endrite)軸突(Axon)突觸(Synapse)生物神經(jīng)網(wǎng)(C.)工作過程：神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物的重要特征之一，在人體內(nèi)從大腦到全身存在大約1010個(gè)神經(jīng)元。神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。神經(jīng)元間的信號(hào)通過突觸傳遞。通過它，一個(gè)神經(jīng)元內(nèi)傳送的沖擊信號(hào)將在下一個(gè)神經(jīng)元內(nèi)引起響應(yīng)，使下一個(gè)神經(jīng)元興奮，或阻止下一個(gè)神經(jīng)元興奮。生物神經(jīng)網(wǎng)(C.)基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制平時(shí)處于抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的沖擊信號(hào)時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號(hào)會(huì)被加權(quán)，起興奮作用的信號(hào)為正，起抑制作用的信號(hào)為負(fù)。如果疊加

9、總量超過某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)原來狀態(tài)。生物神經(jīng)網(wǎng)(C.e)特點(diǎn)：由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息處理功能的簡(jiǎn)單疊加。神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。人工神經(jīng)元人工神經(jīng)元是對(duì)生物神經(jīng)元的模擬。模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元：人工神經(jīng)元(節(jié)點(diǎn))。從三個(gè)方面進(jìn)行模擬：節(jié)點(diǎn)本身的信息處理能力節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu)

10、)相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)人工神經(jīng)元(C.)人工神經(jīng)元的建模：每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；神經(jīng)元具有空間整合特性和閾值特性；神經(jīng)元輸入與輸出間有固定的時(shí)滯, 主要取決于突觸延擱；忽略時(shí)間整合作用和不應(yīng)期；神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。人工神經(jīng)元(C.)人工神經(jīng)元的基本構(gòu)成：人工神經(jīng)元模擬生物神經(jīng)元的一階特性輸入：X=(x1，x2，xn)聯(lián)接權(quán)：W=(w1，w2，wn)T網(wǎng)絡(luò)輸入：net=xiwi向量形式：net=XWxn wnx1 w1x2 w2net=XW人工神經(jīng)元(C.)人工神經(jīng)元的輸出：針對(duì)人工

11、神經(jīng)元所接收的網(wǎng)絡(luò)輸入，通過一個(gè)轉(zhuǎn)移函數(shù)，得到人工神經(jīng)元的最后輸出。人工神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。人工神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：線性函數(shù)（Linear Function） o=f(net)=k*net+c neto0c人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：非線性斜面函數(shù)(Ramp Function) if neto=f(net)= k*net if |net| - if net0為一常數(shù)，被稱為飽和值，為該

12、神經(jīng)元的最大輸出。 - - net o 人工神經(jīng)元(C.)轉(zhuǎn)移函數(shù)：閾值函數(shù)（Threshold Function） if neto=f(net)= - if net-、均為 非負(fù)實(shí)數(shù)， 為閾值 -onet0人工神經(jīng)元(C.e)轉(zhuǎn)移函數(shù)：S形函數(shù) o=f(net)= (a+b)/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為a和a+b。人工神經(jīng)網(wǎng)絡(luò)的分類按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層

13、到各隱層再到輸出層逐層進(jìn)行反饋型網(wǎng)絡(luò)：在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連單純型層次型結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連輸出層到輸入層有連接人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連層內(nèi)有連接層次型結(jié)構(gòu)人工

14、神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑全互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類：互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑局部互連型人工神經(jīng)網(wǎng)絡(luò)的分類(C.)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：前饋型網(wǎng)絡(luò)：網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行前饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的分類(C.e)按網(wǎng)絡(luò)內(nèi)部的信息流向分類：反饋型網(wǎng)絡(luò)：在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出反饋型網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)

15、值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí)) 有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯(cuò)規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對(duì)提供一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，稱為“教師信號(hào)”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出同期望輸出進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號(hào)不符時(shí)，根據(jù)差錯(cuò)的方向和大小按一定的規(guī)則調(diào)整權(quán)值。當(dāng)網(wǎng)絡(luò)對(duì)于各種給定的輸入均能產(chǎn)生所期望的輸出時(shí)，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)

16、師的訓(xùn)練下“學(xué)會(huì)”了訓(xùn)練數(shù)據(jù)集中包含的知識(shí)和規(guī)則，可以用來進(jìn)行工作了。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí)) 無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)，學(xué)習(xí)過程中，需要不斷給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值，這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對(duì)屬于同一類的模式進(jìn)行自動(dòng)分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號(hào)的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型死記式學(xué)習(xí) 死記式學(xué)習(xí)是指網(wǎng)絡(luò)事先設(shè)計(jì)成能記憶

17、特別的例子，以后當(dāng)給定有關(guān)該例子的輸入信息時(shí)，例子便被回憶起來。死記式學(xué)習(xí)中網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好了就不再變動(dòng)，因此其學(xué)習(xí)是一次性的，而不是一個(gè)訓(xùn)練過程。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)的工作原理人工神經(jīng)網(wǎng)絡(luò)的工作原理到底是怎樣的，我們可以從一個(gè)最簡(jiǎn)單的網(wǎng)絡(luò)來剖析，一定程度上打開這個(gè)黑匣子。1958年，美國(guó)心理學(xué)家Frank Rosenblatt提出一種具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，稱為Perceptron，即感知器。感知器是模擬人的視覺接受環(huán)境信息，并由神經(jīng)沖動(dòng)進(jìn)行信息傳遞的層次型神經(jīng)網(wǎng)絡(luò)。單層感知器的結(jié)構(gòu)與功能都非常簡(jiǎn)單，以至于在解決實(shí)際問題時(shí)很少采用，但由于它在神經(jīng)

18、網(wǎng)絡(luò)研究中具有重要意義，是研究其它網(wǎng)絡(luò)的基礎(chǔ)，常作為學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型j=1,2,m 人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型凈輸入：輸出為：Tj為閥值，sgn為符號(hào)函數(shù)人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：設(shè)輸入向量X=(x1 ,x2)T輸出：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：則由方程w1jx1+w2jx2-Tj=0確定了二維平面上的一條分界線(Why?) w1j x1+w2j x2 Tj = 0 w1j x1 = Tj - w2j x2 x1

19、 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型具體的：這樣的話，我們就可以得到 ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。ojx1-1x2人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器模型一個(gè)最簡(jiǎn)單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識(shí)存儲(chǔ)于感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩

20、類。問題：這種知識(shí)到底是 怎么樣學(xué)習(xí)的??？人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器的學(xué)習(xí)規(guī)則：關(guān)鍵是求：Perceptron(感知器)學(xué)習(xí)規(guī)則：人工神經(jīng)網(wǎng)絡(luò)的工作原理(C.)感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：（1）權(quán)值初始化（2）輸入樣本對(duì)（3）計(jì)算輸出（4）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值（5）返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等。人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則一個(gè)具體的例子：?jiǎn)斡?jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對(duì)訓(xùn)練樣本對(duì)如下：設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，=0.1。注意，輸入向量中第一個(gè)分量x0恒等于-1，權(quán)向量中第一個(gè)分

21、量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。X1 = (-1，1，-2，0)T d1 =1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程： 第一步 輸入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T人工神經(jīng)網(wǎng)絡(luò)工作原理(C.)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第

22、二步 輸入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于d2= o2(1)，所以W(2)= W(1)。人工神經(jīng)網(wǎng)絡(luò)工作原理(C.e)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則學(xué)習(xí)過程：第三步 輸入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 o3(2)=sgn(-2.1)=-1W(3)= W(2)

23、+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步 返回到第一步，繼續(xù)訓(xùn)練直到dp- op=0，p=1,2,3。經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP (Error Back Proragation，BP)誤差反向傳播算法1986年，Rumelhart 和McCelland領(lǐng)導(dǎo)的科學(xué)家小組Parallel Distributed Processing一書它是有指導(dǎo)訓(xùn)練的前饋多層網(wǎng)絡(luò)訓(xùn)練算法，是靠調(diào)節(jié)各層的加權(quán)，使網(wǎng)絡(luò)學(xué)會(huì)由輸入輸出對(duì)組成的訓(xùn)練組執(zhí)行優(yōu)化的方法是梯度下降法BP算法是使用非常廣

24、泛的一種算法，最常用的轉(zhuǎn)移函數(shù)是Sigmoid函數(shù)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法BP算法BP 網(wǎng)絡(luò)模型輸入層隱層輸出層經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法BP 網(wǎng)絡(luò)的數(shù)學(xué)模型輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量： Y=(y1,y2,yj,ym)T輸出層輸出向量： O=(o1,o2,ok,ol)T期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,Wk,Wl)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值乃至拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的

25、輸出不斷地接近期望的輸出。學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號(hào)的正向傳播；誤差的反向傳播經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法學(xué)習(xí)的過程：正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：若輸出層的實(shí)際輸出與期望的輸出（教師信號(hào)）不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)BP算法感知器程序BP算法程序MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能 函 數(shù) 名功 能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型

26、(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.e)下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個(gè)如下的三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷售進(jìn)行預(yù)測(cè)：輸入層有三個(gè)結(jié)點(diǎn)，隱含層結(jié)點(diǎn)數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點(diǎn)數(shù)為1個(gè)，輸出層的激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對(duì)藥品的銷售量進(jìn)行預(yù)測(cè)，預(yù)測(cè)方法采用滾動(dòng)預(yù)測(cè)方式，即用前三個(gè)月的銷售量來預(yù)測(cè)第四個(gè)月的銷售量，如用1、2、3月的銷售量為輸入預(yù)測(cè)第4個(gè)月的銷售量，用2、3、4月的銷售量為輸入預(yù)測(cè)第5個(gè)月的銷售量.如此反復(fù)直至滿足預(yù)測(cè)精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556經(jīng)典的人工神經(jīng)網(wǎng)絡(luò)算法(C.)Hopfield神經(jīng)網(wǎng)絡(luò)反饋神經(jīng)網(wǎng)絡(luò)：根據(jù)神經(jīng)網(wǎng)絡(luò)運(yùn)行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網(wǎng)絡(luò)的輸出僅由當(dāng)前輸入和權(quán)矩陣決定，而與網(wǎng)絡(luò)先前的輸出狀態(tài)無關(guān)。 美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出一種單層反饋神經(jīng)網(wǎng)絡(luò)，后來人們將這種反饋網(wǎng)絡(luò)稱作Hopfield 網(wǎng)。 Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)