人工神經(jīng)網(wǎng)絡數(shù)學建模培訓

1、人工神經(jīng)網(wǎng)絡數(shù)學建模培訓課件第1頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光2人 工 神 經(jīng) 網(wǎng) 絡1. 人工神經(jīng)網(wǎng)絡基本概念2. 單層前向神經(jīng)網(wǎng)絡-線性網(wǎng)絡3.單層前向神經(jīng)網(wǎng)絡-階躍網(wǎng)絡4. 多層前向神經(jīng)網(wǎng)絡 5. MATLAB的圖像交互界面 第2頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光3人工神經(jīng)網(wǎng)絡基本概念11 生物神經(jīng)元及生物神經(jīng)網(wǎng)絡神經(jīng)元是大腦處理信息的基本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體

2、、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡.第3頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光4人工神經(jīng)網(wǎng)絡基本概念圖1 生物神經(jīng)元示意圖 第4頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光5人工神經(jīng)網(wǎng)絡基本概念從神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質。突觸有兩種：興奮性突

3、觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位。第5頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光6人工神經(jīng)網(wǎng)絡基本概念12 人工神經(jīng)元模型生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖2模擬。 圖2 人工神經(jīng)元模型 第6頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光7人工神經(jīng)網(wǎng)絡基本概念響應函數(shù)（激活函數(shù)）的基本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數(shù)轉換；3、將可能無限域的輸入變換成指定的有限范圍內的輸出。 第7頁，共38頁，202

4、2年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光8人工神經(jīng)網(wǎng)絡基本概念常見的響應函數(shù)有以下幾種類型： 1、階躍函數(shù) 2、線性函數(shù) 3、非線性：Sigmoid函數(shù) 第8頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光9人工神經(jīng)網(wǎng)絡基本概念圖3 常見響應函數(shù) 第9頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光10人工神經(jīng)網(wǎng)絡基本概念1.3 建立和應用神經(jīng)網(wǎng)絡的步驟（1）網(wǎng)絡結構的確定包含網(wǎng)絡的拓撲結構和每個神經(jīng)元相應函數(shù)的選?。唬?）權值和閾值的確定通過學

5、習得到，為有指導的學習，也就是利用已知的一組正確的輸入、輸出數(shù)據(jù)，調整權和閾值使得網(wǎng)絡輸出與理想輸出偏差盡量小；（3）工作階段用帶有確定權重和閾值的神經(jīng)網(wǎng)絡解決實際問題的過程，也叫模擬（simulate）。第10頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光11單層前向線性網(wǎng)絡2.1 單層前向神經(jīng)網(wǎng)絡網(wǎng)絡中的神經(jīng)元是分層排列的。單層：只有輸入和輸出層。 前向：信息由上一層的神經(jīng)元向下一層神經(jīng)元傳遞，即：上層的輸出就是下層的輸入；同層神經(jīng)元之間沒有信息傳遞。第11頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津

6、職業(yè)技術師范大學 凌 光12單層前向線性網(wǎng)絡第12頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光13單層前向線性網(wǎng)絡第13頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光14單層前向線性網(wǎng)絡x1x2xmy1y2ynwnmw11wn1wn2w1m輸出層輸入層圖3 單層前向神經(jīng)網(wǎng)絡 第14頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光15單層前向線性網(wǎng)絡第15頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天

7、津職業(yè)技術師范大學 凌 光16單層前向線性網(wǎng)絡2.2 線性網(wǎng)絡采用線性相應函數(shù)，得第16頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光17單層前向線性網(wǎng)絡理論上這是一個很好的結果。另一種，學習過程面對自適應性網(wǎng)絡，采用的學習規(guī)則為：誤差修正規(guī)則第17頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光18單層前向線性網(wǎng)絡第18頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光19單層前向線性網(wǎng)絡體會：最小二乘規(guī)則與誤差修正規(guī)則的區(qū)別。感受

8、：牛頓迭代與誤差修正在梯度下降方面的異同。第19頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光20單層前向線性網(wǎng)絡2.3 線性網(wǎng)絡的MATLAB實現(xiàn)MATLAB產(chǎn)生線性網(wǎng)絡的命令：net=newlin(A,n);其中，A為m2的矩陣，m為輸入變量的個數(shù)，每一行分別表示對應輸入變量的下、上界；n為輸出變量的個數(shù)。最小二乘規(guī)則的學習命令：net=newlind(P,T);其中，P為學習的輸入數(shù)據(jù)矩陣,T為學習的理想輸出矩陣。第20頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光21單層前向

9、線性網(wǎng)絡計算網(wǎng)絡輸出的命令：result=sim(net,P)P為工作階段需要計算的輸入矩陣。誤差修正規(guī)則的學習命令：net=train(net,P,T)利用誤差修正，對P,T一對對的學習，每學習一遍稱為一輪（epoch）.默認學習效率為1.在用該命令前，需給定平均（誤差）方差上限和計算的最大輪數(shù)。第21頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光22單層前向線性網(wǎng)絡例1：例2：例3：第22頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光23人 工 神 經(jīng) 網(wǎng) 絡3.1 基本原理第2

10、3頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光24 三. 階 躍 網(wǎng) 絡3.2 階躍網(wǎng)絡的MATLAB實現(xiàn)產(chǎn)生網(wǎng)絡的命令：net=newp(A,n);數(shù)據(jù)意義和其他命令均與線性網(wǎng)絡相同。例4：略第24頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光25四. 多層前向神經(jīng)網(wǎng)絡x1輸出層隱藏層輸入層x2xn圖4 二層前向神經(jīng)網(wǎng)絡示意圖 第25頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光26四. 多層前向神經(jīng)網(wǎng)絡若每一層都采用線性相

11、應函數(shù)，則有第26頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光27四. 多層前向神經(jīng)網(wǎng)絡4.1 BP（back-propagation）規(guī)則第27頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光28四. 多層前向神經(jīng)網(wǎng)絡學習算法過程：（1）給定學習數(shù)組，隨機確定初始化權矩陣；給定最小二乘目標函數(shù)的偏差上界和迭代次數(shù)；（2）用逐一或者成批學習規(guī)則修正權值，直到到達偏差要求或者迭代次數(shù)上限。第28頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大

12、學 凌 光29四. 多層前向神經(jīng)網(wǎng)絡應用BP網(wǎng)絡時注意事項：響應函數(shù)為S形函數(shù)，只能趨于0或者1；初始權和閾值最好隨機選取；算法的全局最優(yōu)可以通過其他方法改進得到；BP算法主要采用與梯度下降有關的學習方法，非線性函數(shù)優(yōu)化有很多的方向下降法，這些方法都可以應用過來。 比如：traingdm（勢能修正法）、traingdx（自調整學習效率法）、trainbfg（擬牛頓法）、trainscg（標量共軛梯度法） 等等。第29頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光30四. 多層前向神經(jīng)網(wǎng)絡4.2 MATLAB實現(xiàn)產(chǎn)生多層網(wǎng)絡結構的命令：ne

13、t=newff(A,B,C,trainfun);A同前，規(guī)模為n02,代表n0個輸入的下、上界B是一個K為行向量，其分量為對應層神經(jīng)元個數(shù)，C是一個K維字符串向量，每個字符串代表對應層神經(jīng)元的響應函數(shù)； trainfun為學習規(guī)則。可選響應函數(shù)字符串：logsig,tansig,purelin分代表： Sigmoid ，雙曲正切，線性函數(shù)第30頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光31四. 多層前向神經(jīng)網(wǎng)絡常見參數(shù)：net.trainParam.show 顯示中間結果的周期（25）net.trainParam.lr 整批學習中的學

14、習效率（0.01）net.trainParam.mc 勢能學習規(guī)則(traingdm)勢能率（0.9）net.trainParam.epochs 整批學習迭代次數(shù)上限（100）net.trainParam.goal 最小二乘目標誤差設定值（0）第31頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光32四. 多層前向神經(jīng)網(wǎng)絡4.3 應用舉例例5：例6：譫妄的診斷譫妄是由于各種原因引起的急性腦器質性綜合癥，其特點是急性發(fā)病，意識水平變化，病程波動，定向力、注意力、思維、精神運動、行為和情感改變。根據(jù)國外1980年以后的有關譫妄研究文獻的報道，譫

15、妄的發(fā)病率為4%25%。目前對譫妄的發(fā)病機制還了解不多，診斷的方式常采用多個指標綜合評價。第32頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光33四. 多層前向神經(jīng)網(wǎng)絡如對老年人譫妄，通常采用檢查表的方式確診，檢查表中的11個項目包含：急性起?。翰∪说木駹顩r有急性變化的證據(jù)嗎？注意障礙：患者的注意力難以集中嗎？思維混亂：患者的思維是凌亂或是不連貫嗎？意識水平的改變：總體上看，您如何評價該患者的意識水平？定向障礙：在會面的任何時間患者存在定向障礙嗎？記憶力減退：在面談時患者表現(xiàn)出記憶方面的問題嗎？知覺障礙：患者有知覺障礙的證據(jù)嗎？精神運動

16、性興奮：面談時患者的行為活動有不正常的增加嗎？精神運動性遲緩：面談時患者有運動行為水平的異常減少嗎？波動性：患者的精神狀況（注意力、思維、定向、記憶力）在面談前或者在面談中有波動嗎？睡眠-覺醒周期的改變：患者有睡眠-覺醒周期紊亂的證據(jù)嗎？第33頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光34四. 多層前向神經(jīng)網(wǎng)絡針對以上11個問題，醫(yī)生對病人進行觀察和提問，每項分4個等級打分：不存在1分；輕度存在2分；中度存在3分；嚴重存在4分。數(shù)據(jù)為一個醫(yī)生對96名測試人員的觀察和提問，并通過計分方式記錄下來的直觀診斷。診斷標準為：22分以上可診斷為譫妄，在量表診斷一列中記為Y（否則記為N）。這樣的標準是否合理？第34頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光35四. 多層前向神經(jīng)網(wǎng)絡序號起病注意思維意識定向記憶錯覺興奮遲滯波動睡眠22分標準量表診斷13322212313325Y24443333414436Y33322332213428Y961222111311217N第35頁，共38頁，2022年，5月20日，11點5分，星期日2022/8/30天津職業(yè)技術師范大學 凌 光36四. 多層前向神經(jīng)網(wǎng)絡實際上已經(jīng)知道，前48個數(shù)