人工神經(jīng)網(wǎng)絡(luò)-課件文檔資料

醫(yī)藥信息分析與決策第八章人工神經(jīng)網(wǎng)絡(luò)

人腦的結(jié)構(gòu)、機(jī)制和功能中凝聚著無比的奧秘和智慧。地球是宇宙的驕子，人類是地球的寵兒，大腦是人的主宰。

現(xiàn)在是探索腦的奧秘，從中獲得智慧，在其啟發(fā)下構(gòu)造為人類文明服務(wù)的高級智能系統(tǒng)的時(shí)候了！2024/10/302本章要點(diǎn)一、神經(jīng)網(wǎng)絡(luò)簡介二、MATLAB簡介三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)四、利用MicrosoftSQLServer2019實(shí)踐神經(jīng)網(wǎng)絡(luò)算法2024/10/303《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介人腦與計(jì)算機(jī)信息處理能力的比較記憶與聯(lián)想能力學(xué)習(xí)與認(rèn)知能力信息加工能力信息綜合能力信息處理速度2024/10/304《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介人腦與計(jì)算機(jī)信息處理機(jī)制的比較系統(tǒng)結(jié)構(gòu)信號形式信息存儲信息處理機(jī)制2024/10/305《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介

生物神經(jīng)網(wǎng)絡(luò)人類的大腦大約有1.4

1011個(gè)神經(jīng)細(xì)胞，亦稱為神經(jīng)元。每個(gè)神經(jīng)元有數(shù)以千計(jì)的通道同其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)以數(shù)學(xué)和物理方法以及信息處理的角度對人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，縮寫ANN）。2024/10/306《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介人工神經(jīng)網(wǎng)絡(luò)定義神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對外部輸入信息的動態(tài)響應(yīng)來處理信息的。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。人工神經(jīng)網(wǎng)絡(luò)是一種旨在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。2024/10/307《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)的基本特征能力特征：自學(xué)習(xí)自組織自適應(yīng)性結(jié)構(gòu)特征：并行式處理分布式存儲容錯(cuò)性2024/10/308《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)的基本功能2024/10/309《醫(yī)學(xué)信息分析與決策》課程組一、神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)的基本功能非線性映射功能2024/10/3010《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的基本功能分類與識別功能一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3011《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的基本功能優(yōu)化計(jì)算功能一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3012《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的基本功能知識處理功能一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3013《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：信息處理領(lǐng)域信號處理模式識別數(shù)據(jù)壓縮一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3014《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：自動化領(lǐng)域系統(tǒng)識別神經(jīng)控制器智能檢測一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3015《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：工程領(lǐng)域汽車工程軍事工程化學(xué)工程水利工程一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3016《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：醫(yī)學(xué)領(lǐng)域檢測數(shù)據(jù)分析生物活性研究醫(yī)學(xué)專家系統(tǒng)一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3017《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域：經(jīng)濟(jì)領(lǐng)域信貸分析市場預(yù)測一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3018《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)編程語言既可用高級語言也可用低級語言。C語言是神經(jīng)網(wǎng)絡(luò)應(yīng)用軟件的基本編程工具;匯編語言常用于提高神經(jīng)網(wǎng)絡(luò)的已有功能或解決與硬件相關(guān)的難點(diǎn)。MATLAB名字由MATrix和LABoratory兩詞的前三個(gè)字母組合而成。20世紀(jì)七十年代后期，時(shí)任美國新墨西哥大學(xué)計(jì)算機(jī)科學(xué)系主任的CleveMoler教授出于減輕學(xué)生編程負(fù)擔(dān)的動機(jī)，為學(xué)生設(shè)計(jì)了一組調(diào)用LINPACK和EISPACK庫程序的“通俗易用”的接口，此即用FORTRAN編寫的萌芽狀態(tài)的MATLAB。一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3019《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)MATLAB以商品形式出現(xiàn)后，僅短短幾年，就以其良好的開放性和運(yùn)行的可靠性，使原先控制領(lǐng)域里的封閉式軟件包（如英國的UMIST，瑞典的LUND和SIMNON，德國的KEDDC）紛紛淘汰，而改以MATLAB為平臺加以重建。在時(shí)間進(jìn)入20世紀(jì)九十年代的時(shí)候，MATLAB已經(jīng)成為國際控制界公認(rèn)的標(biāo)準(zhǔn)計(jì)算軟件。一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3020《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)在歐美大學(xué)里，諸如應(yīng)用代數(shù)、數(shù)理統(tǒng)計(jì)、自動控制、數(shù)字信號處理、模擬與數(shù)字通信、時(shí)間序列分析、動態(tài)系統(tǒng)仿真等課程的教科書都把MATLAB作為內(nèi)容。這幾乎成了九十年代教科書與舊版書籍的區(qū)別性標(biāo)志。在那里，MATLAB是攻讀學(xué)位的大學(xué)生、碩士生、博士生必須掌握的基本工具。一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3021《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的軟硬件實(shí)現(xiàn)MATLAB的推出得到了各個(gè)領(lǐng)域的專家學(xué)者的廣泛關(guān)注，在此基礎(chǔ)上，專家們相繼推出了MATLAB工具箱，主要包括信號處理、控制系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、圖像處理、魯棒控制、非線性系統(tǒng)控制設(shè)計(jì)、系統(tǒng)辨識、最優(yōu)化、模糊邏輯、小波等工具箱，這些工具箱給各個(gè)領(lǐng)域的研究和工程應(yīng)用提供了有力的工具。一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3022《醫(yī)學(xué)信息分析與決策》課程組參考文獻(xiàn)[1]人工神經(jīng)網(wǎng)絡(luò)教程（第1版）韓力群，北京：北京郵電大學(xué)出版社，2019年[2]神經(jīng)網(wǎng)絡(luò)(影印版),SatishKumar,北京：清華大學(xué)出版社，2019年[3]神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)(英文版)（美）黑根等著,機(jī)械出版社，中信出版社，2019[4]神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)，周開利，康耀紅，北京：清華大學(xué)出版社，2019年一、神經(jīng)網(wǎng)絡(luò)簡介2024/10/3023《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介MATLAB基本的學(xué)習(xí)方法

1、help指令

比如：

helpplot

2、lookfor指令：可以根據(jù)用戶提供的完整或不完整的關(guān)鍵詞，去搜索出一組與之有關(guān)的指令

3、doc、helpwin和helpdesk指令

4、demo指令

5、幫助菜單2024/10/3024《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介語言規(guī)則MATLAB要區(qū)分大小寫，它的命令全是小寫的。一行可以輸入幾個(gè)命令，用“；”或“，”隔開。如用“；”則該函數(shù)的執(zhí)行結(jié)果不顯示（圖形函數(shù)除外）。如用“’”則該函數(shù)的運(yùn)行結(jié)果要顯示。2024/10/3025《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介數(shù)值與變量①數(shù)值②變量：變量名、函數(shù)名是對大小寫很敏感的，兩個(gè)字符串表示的變量，字母都相同，大小寫不同，也視為不同的變量；第一個(gè)字母必須是英文字母；字符間不可留空格；最多只能有31個(gè)字符（只能用英文字母、數(shù)字和下連字符）一行中“%”后的內(nèi)容僅作注釋用，對MATLAB的計(jì)算不產(chǎn)生任何影響。2024/10/3026《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介數(shù)值與變量③Who、Whos、Clear和永久變量④符號變量：symsx2024/10/3027《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介數(shù)據(jù)的輸入和輸出（1）直接輸入（2）利用語句或函數(shù)產(chǎn)生①“初值:步長:終值”

產(chǎn)生一個(gè)行向量（行矩陣）。當(dāng)步長為1時(shí)可以省略。如：1:5;1:2:6②特殊命令：linspace(x,x2,n):ones(n)（3）用input指令輸入單個(gè)參數(shù)（4）用小型矩陣或用數(shù)據(jù)文件輸入2024/10/3028《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介矩陣元素的操作（1）矩陣元素的提?。海?）小矩陣構(gòu)造大矩陣。（3）[]：可以用它來刪除矩陣的行列，或整個(gè)矩陣。2024/10/3029《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介運(yùn)算符算術(shù)運(yùn)算符：+，-，*,/,\,^關(guān)系運(yùn)算符：==,~=,<,>,<=,>=2024/10/3030《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介M文件的編輯與建立命令文件按在指令窗口中的指令輸入順序，依次將指令編輯在命令文件中。如果某個(gè)命令的結(jié)果不需要顯示出則在該命令后加上“；”，注意文件名一定是“.m”。如：函數(shù)文件function返回變量列表=函數(shù)名（輸入變量列表）命令文件的變量在文件執(zhí)行完后保留在內(nèi)存；而函數(shù)文件內(nèi)定義的變量僅在函數(shù)文件內(nèi)部起作用，當(dāng)函數(shù)文件執(zhí)行完成后，這些內(nèi)部變量將被清除。2024/10/3031《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介繪圖命令plot：繪制二維線性圖形及兩個(gè)坐標(biāo)軸；

plot(x,y)表示以x為橫坐標(biāo)，y為縱坐標(biāo)的圖形。

x=0:pi/100:2*pi;y=sin(x);plot(x,y)plot3：繪制三維線性圖形及三個(gè)坐標(biāo)軸；plot3(x,y,z)

t=0:pi/100:6*pi;x=cos(t);y=sin(t);z=2*t;plot3(y,x,z)2024/10/3032《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介M文件的編輯與建立命令文件按在指令窗口中的指令輸入順序，依次將指令編輯在命令文件中。如果某個(gè)命令的結(jié)果不需要顯示出則在該命令后加上“；”，注意文件名一定是“.m”。如：函數(shù)文件function返回變量列表=函數(shù)名（輸入變量列表）命令文件的變量在文件執(zhí)行完后保留在內(nèi)存；而函數(shù)文件內(nèi)定義的變量僅在函數(shù)文件內(nèi)部起作用，當(dāng)函數(shù)文件執(zhí)行完成后，這些內(nèi)部變量將被清除。2024/10/3033《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介Matlab的編程條件語句if〈條件1〉語句塊1else語句塊2end2024/10/3034《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介Matlab的編程switch——case——end分支結(jié)構(gòu)Switch表達(dá)式Case常量表達(dá)式1

語句塊1case常量表達(dá)式2

語句塊2case{常量表達(dá)式n，常量表達(dá)式n+1,常量表達(dá)式n+2…}

語句塊notherwise

語句塊n+1end2024/10/3035《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介Matlab的編程for循環(huán)語句for〈循環(huán)變量〉=〈初值〉:[步長:]〈終值〉

循環(huán)體

end2024/10/3036《醫(yī)學(xué)信息分析與決策》課程組二、MATLAB簡介Matlab的編程while循環(huán)語句while〈條件〉，

循環(huán)end2024/10/3037《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)

神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。生物神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)2024/10/3038《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)生物神經(jīng)元生物神經(jīng)元在結(jié)構(gòu)上由:細(xì)胞體(Cellbody)、樹突(Dendrite)、軸突(Axon)、突觸(Synapse)四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。2024/10/3039《醫(yī)學(xué)信息分析與決策》課程組人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)2024/10/3040三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)生物神經(jīng)元:信息的產(chǎn)生神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。

神經(jīng)元狀態(tài)：靜息興奮抑制

膜電位：極化去極化超極化2024/10/3041《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3042三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)生物神經(jīng)元:信息的傳遞與接收2024/10/3043《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)生物神經(jīng)元:信息的整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣。總的突觸后膜電位為一段時(shí)間內(nèi)的累積。2024/10/3044《醫(yī)學(xué)信息分析與決策》課程組生物神經(jīng)網(wǎng)絡(luò)

由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)

相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息

處理功能的簡單疊加。

神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不

同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀

呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3045《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)

神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元人工神經(jīng)元(節(jié)點(diǎn))

從三個(gè)方面進(jìn)行模擬:節(jié)點(diǎn)本身的信息處理能力節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素2024/10/3046《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)2024/10/3047《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)模型的六點(diǎn)假設(shè)：(1)每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時(shí)滯,主要取決于突觸延擱；(5)忽略時(shí)間整合作用和不應(yīng)期；(6)神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。2024/10/3048《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)假設(shè)1圖(a)表明，正如生物神經(jīng)元有許多激勵輸入一祥，人工神經(jīng)元也應(yīng)該有許多的輸入信號，圖中每個(gè)輸入的大小用確定數(shù)值xi表示，它們同時(shí)輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。2024/10/3049《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)2生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其對輸入的影響是使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖(b)中對神經(jīng)元的每一個(gè)輸入都有一個(gè)加權(quán)系數(shù)wij，稱為權(quán)重值，其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強(qiáng)度。2024/10/3050《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)3作為ANN的基本處理單元，必須對全部輸入信號進(jìn)行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當(dāng)其輸入總和超過閾值時(shí),神經(jīng)元才被激活而發(fā)放脈沖,否則神經(jīng)元不會產(chǎn)生輸出信號。2024/10/3051《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)假設(shè)4圖(d)人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個(gè)，如用oj表示神經(jīng)元輸出，則輸出與輸入之間的對應(yīng)關(guān)系可用圖(d)中的某種非線性函數(shù)來表示，這種函數(shù)一般都是非線性的。2024/10/3052《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3053《醫(yī)學(xué)信息分析與決策》課程組τij——輸入輸出間的突觸時(shí)延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱權(quán)重值；

f()——神經(jīng)元轉(zhuǎn)移函數(shù)。(1)上述內(nèi)容可用一個(gè)數(shù)學(xué)表達(dá)式進(jìn)行抽象與概括。令xi(t)表示t時(shí)刻神經(jīng)元j接收的來自神經(jīng)元i的信息輸入，oj(t)表示t時(shí)刻神經(jīng)元j的信息輸出，則神經(jīng)元j的狀態(tài)可表達(dá)為1式。三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3054三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)(2)為簡單起見，將1上式中的突觸時(shí)延取為單位時(shí)間，則式(1)可寫為2式。上式描述的神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的6點(diǎn)假定。其中輸入xi的下標(biāo)i=1,2,…,n，輸出oj的下標(biāo)j體現(xiàn)了神經(jīng)元模型假定(1)中的“多輸入單輸出”。權(quán)重值wij的正負(fù)體現(xiàn)了假定(2)中“突觸的興奮與抑制”。Tj代表假定(3)中神經(jīng)元的“閾值”；“輸入總和”常稱為神經(jīng)元在t時(shí)刻的凈輸入，神經(jīng)元的數(shù)學(xué)模型：2024/10/3055(3)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)net’j(t)

體現(xiàn)了神經(jīng)元j的空間整合特性而未考慮時(shí)間整合，當(dāng)net’j-Tj>0時(shí)，神經(jīng)元才能被激活。oj(t+1)與xI(t)之間的單位時(shí)差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律，對應(yīng)于假定(4)中的“突觸延擱”；wij與時(shí)間無關(guān)體現(xiàn)了假定(6)中神經(jīng)元的“非時(shí)變”。神經(jīng)元的數(shù)學(xué)模型：2024/10/3056《醫(yī)學(xué)信息分析與決策》課程組net’j=WjTX(4)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)為簡便起見，在后面用到式(3)時(shí)，常將其中的(t)省略。式(3)還可表示為權(quán)重向量Wj和輸入向量X的點(diǎn)積WTX。

其中Wj和X均為列向量，定義為Wj=(w1w2…wn）T，X=(x1x2…xn)T如果令x0=-1，w0=Tj，則有-Tj=x0w0，因此凈輸入與閾值之差可表達(dá)為神經(jīng)元的數(shù)學(xué)模型：2024/10/3057《醫(yī)學(xué)信息分析與決策》課程組(5)oj=f(netj)=f(WjTX)(6)三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)顯然，式(2.4)中列向量Wj和X的第一個(gè)分量的下標(biāo)均從1開始，而式(5)中則從0開始。采用式(5)的約定后，凈輸入改寫為netj，與原來的區(qū)別是包含了閾值。綜合以上各式，神經(jīng)元模型可簡化為神經(jīng)元的數(shù)學(xué)模型：2024/10/3058《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)

神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。2024/10/3059《醫(yī)學(xué)信息分析與決策》課程組(1)閾值型轉(zhuǎn)移函數(shù) 1x≥0 f(x)=(7)

0x＜0 三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)神經(jīng)元的轉(zhuǎn)移函數(shù)：2024/10/3060《醫(yī)學(xué)信息分析與決策》課程組(2)非線性轉(zhuǎn)移函數(shù)三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)非線性轉(zhuǎn)移函數(shù)為實(shí)數(shù)域R到[0.1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。最常用的非線性轉(zhuǎn)移函數(shù)是單極性的sigmoid函數(shù)曲線，簡稱S型函數(shù)。其特點(diǎn)是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，因而在處理上十分方便。S型函數(shù)函數(shù)又分為單極性和雙極性兩種，分別定義如下：神經(jīng)元的轉(zhuǎn)移函數(shù)：2024/10/3061《醫(yī)學(xué)信息分析與決策》課程組(2)非線性轉(zhuǎn)移函數(shù)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)元的轉(zhuǎn)移函數(shù)：2024/10/3062《醫(yī)學(xué)信息分析與決策》課程組(3)分段線性轉(zhuǎn)移函數(shù)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)該函數(shù)特點(diǎn)是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿足線性關(guān)系，模擬了實(shí)際系統(tǒng)中的飽和特性。由于具有分段線性的特點(diǎn)，因而在實(shí)現(xiàn)上比較簡單。這類函數(shù)也稱為偽線性函數(shù)，表達(dá)式如下：神經(jīng)元的轉(zhuǎn)移函數(shù)：2024/10/3063《醫(yī)學(xué)信息分析與決策》課程組(3)分段線性轉(zhuǎn)移函數(shù) 0x≤0 f(x)= cx0＜

x≤xc(9)

1xc＜

x 三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)神經(jīng)元的轉(zhuǎn)移函數(shù)：2024/10/3064《醫(yī)學(xué)信息分析與決策》課程組(4)概率型轉(zhuǎn)移函數(shù)溫度參數(shù)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)采用概率型轉(zhuǎn)移函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需用一個(gè)隨機(jī)函數(shù)來描述輸出狀態(tài)為1或?yàn)?的概率。設(shè)神經(jīng)元輸出為1的概率為由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼（Boltzmann）分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。神經(jīng)元的轉(zhuǎn)移函數(shù)：2024/10/3065《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)2024/10/3066《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類。其中常見的兩種分類方法是，按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類。2024/10/3067《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)分類：按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類層次型結(jié)構(gòu)互連型網(wǎng)絡(luò)結(jié)構(gòu)按網(wǎng)絡(luò)內(nèi)部的信息流向分類前饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)2024/10/3068《醫(yī)學(xué)信息分析與決策》課程組三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連?；ミB型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑.人工神經(jīng)網(wǎng)絡(luò)模型2024/10/3069《醫(yī)學(xué)信息分析與決策》課程組網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

層次型結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3070《醫(yī)學(xué)信息分析與決策》課程組輸出層到輸入層有連接三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

2024/10/3071《醫(yī)學(xué)信息分析與決策》課程組層內(nèi)有連接層次型結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

2024/10/3072全互連型結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

2024/10/3073局部互連型網(wǎng)絡(luò)結(jié)構(gòu)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型

2024/10/3074網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)前饋:網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出。三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3075《醫(yī)學(xué)信息分析與決策》課程組前饋型網(wǎng)絡(luò)網(wǎng)絡(luò)信息流向類型三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3076《醫(yī)學(xué)信息分析與決策》課程組反饋型網(wǎng)絡(luò)網(wǎng)絡(luò)信息流向類型三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3077節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3078《醫(yī)學(xué)信息分析與決策》課程組

神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動態(tài)調(diào)整。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3079《醫(yī)學(xué)信息分析與決策》課程組神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))死記式學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3080學(xué)習(xí)的過程（權(quán)值調(diào)整的一般情況）三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3081《醫(yī)學(xué)信息分析與決策》課程組1949年，心理學(xué)家D.O.Hebb最早提出關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的“突觸修正”的假設(shè)。假設(shè)：當(dāng)神經(jīng)元i與j同時(shí)處于興奮時(shí)，兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)Hebb學(xué)習(xí)規(guī)則三、神經(jīng)網(wǎng)絡(luò)建模基礎(chǔ)2024/10/3082《醫(yī)學(xué)信息分析與決策》課程組例：設(shè)有4輸入單輸出神經(jīng)元模型，其閥值T=0，學(xué)習(xí)效率η＝1，3個(gè)輸入樣本向量和初始權(quán)向量分別為X1=(1,-2,1.5,0),X2=(1,-0.5,-2,-1.5)T,X3=(0,1,-1,1.5)T,W(0)=(1,-1,0,0.5)T神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)三、神經(jīng)網(wǎng)絡(luò)建?；A(chǔ)2024/10/3083《醫(yī)學(xué)信息分析與決策》課程組1958年，美國學(xué)者FrankRosenblatt首次定義了一個(gè)具有單層計(jì)算單元的