神經(jīng)網(wǎng)絡(luò)第二章

神經(jīng)網(wǎng)絡(luò)第二章第1頁，課件共48頁，創(chuàng)作于2023年2月2.1人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人類大腦大約包含有1.41011個神經(jīng)元，每個神經(jīng)元與大約103～105個其它神經(jīng)元相連接，構(gòu)成一個極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。2第2頁，課件共48頁，創(chuàng)作于2023年2月生物神經(jīng)元的主要內(nèi)容生物神經(jīng)元的結(jié)構(gòu)生物神經(jīng)元信息處理機制信息的產(chǎn)生信息的傳遞和接受信息的整合3第3頁，課件共48頁，創(chuàng)作于2023年2月2.1.1生物神經(jīng)元的結(jié)構(gòu)

生物神經(jīng)元在結(jié)構(gòu)上由

細胞體(Cellbody)

樹突(Dendrite):

接受輸入信號

軸突(Axon)：傳出信號

突觸(Synapse)：輸入輸出接口

四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。4第4頁，課件共48頁，創(chuàng)作于2023年2月細胞體5第5頁，課件共48頁，創(chuàng)作于2023年2月6第6頁，課件共48頁，創(chuàng)作于2023年2月2.1.2生物神經(jīng)元的信息處理機理一、信息的產(chǎn)生

神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。7第7頁，課件共48頁，創(chuàng)作于2023年2月靜息:無信息輸入時，神經(jīng)元細胞膜內(nèi)外因離子濃度差而造成的電位差為-70mV（內(nèi)負外正）左右，稱為靜息電位，此時細胞膜的狀態(tài)稱為極化狀態(tài)，神經(jīng)元的狀態(tài)稱為靜息狀態(tài)。興奮：當(dāng)神經(jīng)元受到外界刺激時，如果膜電位從靜息電位向正偏移，稱為去極化，此時神經(jīng)元處于興奮狀態(tài)；抑制：如果膜電位從靜息電位向負偏移，稱為超級化，此時神經(jīng)元處于抑制狀態(tài)。8神經(jīng)元的狀態(tài)第8頁，課件共48頁，創(chuàng)作于2023年2月9第9頁，課件共48頁，創(chuàng)作于2023年2月二、信息的傳遞與接收10第10頁，課件共48頁，創(chuàng)作于2023年2月三、信息的整合空間整合：同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數(shù)和。11時間整合：各輸入脈沖抵達神經(jīng)元的時間先后不一樣。總的突觸后膜電位為一段時間內(nèi)的累積。第11頁，課件共48頁，創(chuàng)作于2023年2月四、生物神經(jīng)網(wǎng)絡(luò)

由多個生物神經(jīng)元以確定方式和拓撲結(jié)構(gòu)

相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)的功能不是單個神經(jīng)元信息

處理功能的簡單疊加。

神經(jīng)元之間的突觸連接方式和連接強度不

同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀

呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。12第12頁，課件共48頁，創(chuàng)作于2023年2月

神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元人工神經(jīng)元(節(jié)點)

從三個方面進行模擬:節(jié)點本身的信息處理能力(數(shù)學(xué)模型)節(jié)點與節(jié)點之間連接(拓撲結(jié)構(gòu))相互連接的強度(通過學(xué)習(xí)來調(diào)整)2.2神經(jīng)元的人工模型13第13頁，課件共48頁，創(chuàng)作于2023年2月(1)每個神經(jīng)元都是一個多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(6)神經(jīng)元本身是非時變的，即其突觸時延和突觸強度均為常數(shù)。(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時滯,主要取決于突觸延擱；(5)忽略時間整合作用和不應(yīng)期；模型的六點假設(shè)：2.2.1神經(jīng)元的建模14第14頁，課件共48頁，創(chuàng)作于2023年2月假設(shè)1：多輸入單輸出圖(a)表明，正如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號，圖中每個輸入的大小用確定數(shù)值xi表示，它們同時輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。15第15頁，課件共48頁，創(chuàng)作于2023年2月假設(shè)2：興奮性和抑制性輸入生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強度，使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖(b)中對神經(jīng)元的每一個輸入都有一個加權(quán)系數(shù)wij，稱為權(quán)重值，其正負模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強度。16第16頁，課件共48頁，創(chuàng)作于2023年2月假設(shè)3：空間整合特性和閾值特性作為ANN的基本處理單元，必須對全部輸入信號進行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當(dāng)其輸入總和超過閾值時,神經(jīng)元才被激活而發(fā)放脈沖,否則神經(jīng)元不會產(chǎn)生輸出信號。17第17頁，課件共48頁，創(chuàng)作于2023年2月神經(jīng)元的輸出圖(d)人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個，如用oj表示神經(jīng)元輸出，則輸出與輸入之間的對應(yīng)關(guān)系可用圖(d)中的某種非線性函數(shù)來表示，這種函數(shù)一般都是非線性的。18第18頁，課件共48頁，創(chuàng)作于2023年2月神經(jīng)元模型示意圖19第19頁，課件共48頁，創(chuàng)作于2023年2月2.2.2神經(jīng)元的數(shù)學(xué)模型τij——輸入輸出間的突觸時延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱權(quán)重值；

f(

)——神經(jīng)元轉(zhuǎn)移函數(shù)。用一個數(shù)學(xué)表達式進行抽象與概括：20為簡便，將突觸時延取為單位時間，得第20頁，課件共48頁，創(chuàng)作于2023年2月(2.3)net’j=WjTX

Wj=(w1j,w2j,

…,wnj)TX=(x1x2…xn)T(2.4)2.2.2神經(jīng)元的數(shù)學(xué)模型“輸入總和”常稱為神經(jīng)元在t時刻的凈輸入，用下面的式子表示21第21頁，課件共48頁，創(chuàng)作于2023年2月2.2.2神經(jīng)元的數(shù)學(xué)模型(2.5)oj=f(netj)=f(WjTX)(2.6)凈輸入與閾值之差可表達為凈輸入改寫為netj，與原來的區(qū)別是包含了閾值(2.4)中列向量Wj和X的第一個分量的下標(biāo)均從1開始，而式(2.5)中則從0開始

令x0=-1，w0j=Tj，

則有-Tj=x0w0j22第22頁，課件共48頁，創(chuàng)作于2023年2月2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù)

神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。23第23頁，課件共48頁，創(chuàng)作于2023年2月2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù)(單位階躍函數(shù)，又稱為硬限幅函數(shù))

1x≥0

f(x)=(2.7) 0x＜0

24第24頁，課件共48頁，創(chuàng)作于2023年2月(2)非線性轉(zhuǎn)移函數(shù)(實數(shù)域R到[0,1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型,函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，便于處理)雙極性單極性25第25頁，課件共48頁，創(chuàng)作于2023年2月(3)分段線性轉(zhuǎn)移函數(shù)（一定區(qū)間內(nèi)滿足線性關(guān)系，模擬了實際系統(tǒng)中的飽和特性。）

0x≤0 f(x)= cx

0＜

x≤xc(2.9)

1

xc＜

x 26第26頁，課件共48頁，創(chuàng)作于2023年2月(4)概率型轉(zhuǎn)移函數(shù)（輸入與輸出之間的關(guān)系是不確定的，需用一個隨機函數(shù)來描述輸出狀態(tài)為1或為0的概率）設(shè)神經(jīng)元輸出為1的概率為：溫度參數(shù)由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼（Boltzmann）分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。27第27頁，課件共48頁，創(chuàng)作于2023年2月2.3人工神經(jīng)網(wǎng)絡(luò)模型分類：按網(wǎng)絡(luò)連接的拓撲結(jié)構(gòu)分類層次型結(jié)構(gòu)互連型網(wǎng)絡(luò)結(jié)構(gòu)按網(wǎng)絡(luò)內(nèi)部的信息流向分類前饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)28第28頁，課件共48頁，創(chuàng)作于2023年2月2.3.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個節(jié)點之間都可能存在連接路徑，根據(jù)網(wǎng)絡(luò)中節(jié)點的互連程度將它細分為三種情況：全互連型結(jié)構(gòu)局部互連型網(wǎng)絡(luò)結(jié)構(gòu)稀疏連接型層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連。有3種典型結(jié)合方式：單純層次型結(jié)構(gòu)輸出層到輸入層有連接層內(nèi)有連接層次型結(jié)構(gòu)29第29頁，課件共48頁，創(chuàng)作于2023年2月2.3.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型（層次型結(jié)構(gòu)）

單純層次型結(jié)構(gòu)30第30頁，課件共48頁，創(chuàng)作于2023年2月2.3.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型（層次型結(jié)構(gòu)）輸出層到輸入層有連接31第31頁，課件共48頁，創(chuàng)作于2023年2月2.3.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型（層次型結(jié)構(gòu)）

層內(nèi)有連接層次型結(jié)構(gòu)32第32頁，課件共48頁，創(chuàng)作于2023年2月2.3.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型（互連型結(jié)構(gòu)）全互連型結(jié)構(gòu)33第33頁，課件共48頁，創(chuàng)作于2023年2月局部互連型網(wǎng)絡(luò)結(jié)構(gòu)2.3.1網(wǎng)絡(luò)拓撲結(jié)構(gòu)類型（互連型結(jié)構(gòu)）34第34頁，課件共48頁，創(chuàng)作于2023年2月2.3.2網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)前饋:網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進行反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接收輸入，同時又可以向外界輸出。35第35頁，課件共48頁，創(chuàng)作于2023年2月前饋型網(wǎng)絡(luò)輸入節(jié)點:只負責(zé)從外界引入信息后向前傳遞給第一隱層；具有處理能力的節(jié)點:包括各隱層和輸出層節(jié)點。前饋網(wǎng)絡(luò)中一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。36第36頁，課件共48頁，創(chuàng)作于2023年2月反饋型網(wǎng)絡(luò)所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界接收輸入，同時又可以向外界輸出37第37頁，課件共48頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素，其特點可歸納為分布式存儲與分布式信息處理、高度互連性、高度并行性和結(jié)構(gòu)可塑性。38第38頁，課件共48頁，創(chuàng)作于2023年2月2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)的定義：“根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結(jié)果導(dǎo)致對外界刺激產(chǎn)生反應(yīng)的新模式的建立”。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。39第39頁，課件共48頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素，因為有關(guān)學(xué)習(xí)的研究在神經(jīng)網(wǎng)絡(luò)研究中具有重要的地位。三大要素神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu)轉(zhuǎn)移函數(shù)2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)40第40頁，課件共48頁，創(chuàng)作于2023年2月人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點是它的學(xué)習(xí)能力。概念：改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法（亦稱訓(xùn)練規(guī)則或訓(xùn)練算法）。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))灌輸式學(xué)習(xí)(一開始就設(shè)定好權(quán)值，不再改變)41第41頁，課件共48頁，創(chuàng)作于2023年2月學(xué)習(xí)的過程（權(quán)值調(diào)整的一般情況）通用學(xué)習(xí)規(guī)則：權(quán)向量在t

時刻的調(diào)整量與t

時刻的輸入向量和學(xué)習(xí)信號r的乘積成正比。42第42頁，課件共48頁，創(chuàng)作于2023年2月43Outstar

有導(dǎo)師第43頁，課件共48頁，創(chuàng)作于2023年2月例2.1設(shè)有4輸入