齊魯醫(yī)學(xué)神經(jīng)網(wǎng)絡(luò)控制及應(yīng)用基礎(chǔ)

1、第三章 人工神經(jīng)網(wǎng)絡(luò)控制及應(yīng)用2021/9/300人工神經(jīng)網(wǎng)絡(luò)定義 人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處理方式。 人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。 神經(jīng)網(wǎng)絡(luò)是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的。2021/9/3013.1.1神經(jīng)網(wǎng)絡(luò)的基本特征與功能結(jié)構(gòu)特征：并行式處理分布式存儲容錯性能力特征：自學(xué)習(xí)自組織自適應(yīng)性2021/9/302 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能聯(lián)想記憶功能2021/9/303非線性映射功能 3

2、.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/304分類與識別功能 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/305優(yōu)化計算功能 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/306知識處理功能 3.1.1 神經(jīng)網(wǎng)絡(luò)的基本特征與功能2021/9/3073.1.2 生物神經(jīng)元及其信息處理生物神經(jīng)元人工神經(jīng)元模型2021/9/308 人類大腦大約包含有1.41011個神經(jīng)元，每個神經(jīng)元與大約103105個其它神經(jīng)元相連接，構(gòu)成一個極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。3.1.2 生物神經(jīng)元及其信息處理2021/9/309 神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是

3、腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。3.1.2 生物神經(jīng)元及其信息處理2021/9/30103.1.2.1生物神經(jīng)元的結(jié)構(gòu) 生物神經(jīng)元在結(jié)構(gòu)上由 細胞體(Cell body) 樹突(Dendrite) 軸突(Axon) 突觸(Synapse) 四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。3.1.2 生物神經(jīng)元及其信息處理2021/9/30112021/9/30122021/9/30133.1.2.2 生物神經(jīng)元的信息處理機理信息的產(chǎn)生 神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。 神經(jīng)元狀態(tài)：靜息興奮抑制 膜電位：極 化去極化超極化2021/9/3014信息的傳遞與接收

4、3.1.2.2 生物神經(jīng)元的信息處理機理2021/9/3015信息的整合空間整合：同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨刺激引起的膜電位變化的代數(shù)和。時間整合：各輸入脈沖抵達神經(jīng)元的時間先后不一樣?？偟耐挥|后膜電位為一段時間內(nèi)的累積。3.1.2.2 生物神經(jīng)元的信息處理機理2021/9/30163.1.2.3 生物神經(jīng)網(wǎng)絡(luò) 由多個生物神經(jīng)元以確定方式和拓撲結(jié)構(gòu) 相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。 生物神經(jīng)網(wǎng)絡(luò)的功能不是單個神經(jīng)元信息 處理功能的簡單疊加。 神經(jīng)元之間的突觸連接方式和連接強度不 同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀 呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。2021/9/301

5、73.1.3人工神經(jīng)元模型及人工神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。有時從網(wǎng)絡(luò)的觀點出發(fā)常把它稱為“節(jié)點”。人工神經(jīng)元是對生物神經(jīng)元的一種形式化描述。2021/9/30183.1.3.1 人工神經(jīng)元模型神經(jīng)元模型示意圖2021/9/3019神經(jīng)元的數(shù)學(xué)模型ij 輸入輸出間的突觸時延； Tj 神經(jīng)元j的閾值； wij 神經(jīng)元i到 j 的突觸連接系數(shù)或稱 權(quán)重值； f ()神經(jīng)元轉(zhuǎn)移函數(shù)。(3-1)(3-2)3.1.3.1 人工神經(jīng)元模型2021/9/3020(3-3) netj=WjTX (3

6、-4) Wj=(w1 w2 wn)T X=(x1 x2 xn)T 令x0=-1，w0=Tj，則有-Tj=x0w03.1.3.1 人工神經(jīng)元模型神經(jīng)元的數(shù)學(xué)模型2021/9/3021(3-5) oj=f(netj)=f (WjTX) (3-6)神經(jīng)元的數(shù)學(xué)模型3.1.3.1 人工神經(jīng)元模型2021/9/3022神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù) 1 x0f(x)= (3-7) 0 x03.1.3.1 人工神經(jīng)元模型2021/9/3023(2)非線性轉(zhuǎn)移函數(shù)神經(jīng)元的轉(zhuǎn)移函數(shù)(3-8)3.1.3.1 人工神經(jīng)元模型2021/9/3024(3)分段線性轉(zhuǎn)移函數(shù) 0 x0f(x)= cx 0 xxc

7、(3-9) 1 xc x 神經(jīng)元的轉(zhuǎn)移函數(shù)3.1.3.1 人工神經(jīng)元模型2021/9/3025層次型結(jié)構(gòu)3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類 2021/9/3026輸出層到輸入層有連接3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類 2021/9/3027層內(nèi)有連接的層次型結(jié)構(gòu)3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型按神經(jīng)元連接方式分類 2021/9/3028全互連型結(jié)構(gòu)按神經(jīng)元連接方式分類 3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型2021/9/3029按網(wǎng)絡(luò)信息流向分類前饋型網(wǎng)絡(luò)3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型2021/9/3030反饋型網(wǎng)絡(luò)按網(wǎng)絡(luò)信息流向分類3.1.3.2 人工神經(jīng)網(wǎng)絡(luò)模型2021/9/3031 神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓撲結(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。3.