【辦公資料】人工神經(jīng)網(wǎng)絡-數(shù)學建模培訓課件

人工神經(jīng)網(wǎng)絡

ArtificialNeuralNetworks2025/1/81人工神經(jīng)網(wǎng)絡1.人工神經(jīng)網(wǎng)絡根本概念

2.單層前向神經(jīng)網(wǎng)絡------線性網(wǎng)絡

3.單層前向神經(jīng)網(wǎng)絡------階躍網(wǎng)絡

4.多層前向神經(jīng)網(wǎng)絡

5.MATLAB的圖像交互界面2025/1/82人工神經(jīng)網(wǎng)絡根本概念1．1生物神經(jīng)元及生物神經(jīng)網(wǎng)絡 神經(jīng)元是大腦處理信息的根本單元，以細胞體為主體，由許多向周圍延伸的不規(guī)那么樹枝狀纖維構(gòu)成的神經(jīng)細胞，其形狀很像一棵枯樹的枝干。它主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經(jīng)鍵)組成。 人腦大約由1012個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡.2025/1/83人工神經(jīng)網(wǎng)絡根本概念圖1生物神經(jīng)元示意圖

2025/1/84人工神經(jīng)網(wǎng)絡根本概念 從神經(jīng)元各組成局部的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近。當神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度到達一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學物質(zhì)。突觸有兩種：興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位。2025/1/85人工神經(jīng)網(wǎng)絡根本概念1．2人工神經(jīng)元模型 生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖2模擬。

圖2

人工神經(jīng)元模型

2025/1/86人工神經(jīng)網(wǎng)絡根本概念響應函數(shù)〔激活函數(shù)〕的根本作用：1、控制輸入對輸出的激活作用；2、對輸入、輸出進行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。2025/1/87人工神經(jīng)網(wǎng)絡根本概念 常見的響應函數(shù)有以下幾種類型：1、階躍函數(shù)

2、線性函數(shù)

3、非線性：Sigmoid函數(shù)

2025/1/88人工神經(jīng)網(wǎng)絡根本概念圖3

常見響應函數(shù)

2025/1/89人工神經(jīng)網(wǎng)絡根本概念1.3建立和應用神經(jīng)網(wǎng)絡的步驟

〔1〕網(wǎng)絡結(jié)構(gòu)確實定 包含網(wǎng)絡的拓撲結(jié)構(gòu)和每個神經(jīng)元相應函數(shù)的選?。弧?〕權值和閾值確實定 通過學習得到，為有指導的學習，也就是利用的一組正確的輸入、輸出數(shù)據(jù)，調(diào)整權和閾值使得網(wǎng)絡輸出與理想輸出偏差盡量??；〔3〕工作階段 用帶有確定權重和閾值的神經(jīng)網(wǎng)絡解決實際問題的過程，也叫模擬〔simulate〕。

2025/1/810單層前向線性網(wǎng)絡2.1單層前向神經(jīng)網(wǎng)絡

網(wǎng)絡中的神經(jīng)元是分層排列的。

單層： 只有輸入和輸出層。前向： 信息由上一層的神經(jīng)元向下一層神經(jīng)元傳遞，即：上層的輸出就是下層的輸入；同層神經(jīng)元之間沒有信息傳遞。2025/1/811單層前向線性網(wǎng)絡2025/1/812單層前向線性網(wǎng)絡2025/1/813單層前向線性網(wǎng)絡……x1x2…xmy1y2ynwnmw11wn1wn2w1m輸出層輸入層 圖3

單層前向神經(jīng)網(wǎng)絡

2025/1/814單層前向線性網(wǎng)絡2025/1/815單層前向線性網(wǎng)絡2.2線性網(wǎng)絡 采用線性相應函數(shù)，得2025/1/816單層前向線性網(wǎng)絡 理論上這是一個很好的結(jié)果。另一種，學習過程面對自適應性網(wǎng)絡，采用的學習規(guī)那么為：誤差修正規(guī)那么2025/1/817單層前向線性網(wǎng)絡2025/1/818單層前向線性網(wǎng)絡體會：最小二乘規(guī)那么與誤差修正規(guī)那么的區(qū)別。感受：牛頓迭代與誤差修正在梯度下降方面的異同。2025/1/819單層前向線性網(wǎng)絡2.3線性網(wǎng)絡的MATLAB實現(xiàn) MATLAB產(chǎn)生線性網(wǎng)絡的命令： net=newlin(A,n); 其中，A為m×2的矩陣，m為輸入變量的個數(shù)，每一行分別表示對應輸入變量的下、上界；n為輸出變量的個數(shù)。 最小二乘規(guī)那么的學習命令： net=newlind(P,T); 其中，P為學習的輸入數(shù)據(jù)矩陣,T為學習的理想輸出矩陣。

2025/1/820單層前向線性網(wǎng)絡計算網(wǎng)絡輸出的命令： result=sim(net,P)P為工作階段需要計算的輸入矩陣。誤差修正規(guī)那么的學習命令： net=train(net,P,T)利用誤差修正，對P,T一對對的學習，每學習一遍稱為一輪〔epoch〕.默認學習效率為1.在用該命令前，需給定平均〔誤差〕方差上限和計算的最大輪數(shù)。2025/1/821單層前向線性網(wǎng)絡例1：例2：例3：2025/1/822人工神經(jīng)網(wǎng)絡3.1根本原理2025/1/823三.階躍網(wǎng)絡3.2階躍網(wǎng)絡的MATLAB實現(xiàn) 產(chǎn)生網(wǎng)絡的命令： net=newp(A,n);

數(shù)據(jù)意義和其他命令均與線性網(wǎng)絡相同。例4：略2025/1/824四.多層前向神經(jīng)網(wǎng)絡x1輸出層隱藏層輸入層x2xn…………圖4

二層前向神經(jīng)網(wǎng)絡示意圖

2025/1/825四.多層前向神經(jīng)網(wǎng)絡假設每一層都采用線性相應函數(shù)，那么有2025/1/826四.多層前向神經(jīng)網(wǎng)絡4.1BP〔back-propagation〕規(guī)那么2025/1/827四.多層前向神經(jīng)網(wǎng)絡學習算法過程：〔1〕給定學習數(shù)組，隨機確定初始化權矩陣；給定最小二乘目標函數(shù)的偏差上界和迭代次數(shù)；〔2〕用逐一或者成批學習規(guī)那么修正權值，直到到達偏差要求或者迭代次數(shù)上限。2025/1/828四.多層前向神經(jīng)網(wǎng)絡應用BP網(wǎng)絡時本卷須知：響應函數(shù)為S形函數(shù)，只能趨于0或者1；初始權和閾值最好隨機選??；算法的全局最優(yōu)可以通過其他方法改進得到；BP算法主要采用與梯度下降有關的學習方法，非線性函數(shù)優(yōu)化有很多的方向下降法，這些方法都可以應用過來。比方：traingdm〔勢能修正法〕、traingdx〔自調(diào)整學習效率法〕、trainbfg〔擬牛頓法〕、trainscg〔標量共軛梯度法〕等等。2025/1/829四.多層前向神經(jīng)網(wǎng)絡4.2MATLAB實現(xiàn)產(chǎn)生多層網(wǎng)絡結(jié)構(gòu)的命令： net=newff(A,B,{C},'trainfun'); A同前，規(guī)模為n0×2,代表n0個輸入的下、上界B是一個K為行向量，其分量為對應層神經(jīng)元個數(shù)，C是一個K維字符串向量，每個字符串代表對應層神經(jīng)元的響應函數(shù)；trainfun為學習規(guī)那么?？蛇x響應函數(shù)字符串：logsig,tansig,purelin分代表：Sigmoid，雙曲正切，線性函數(shù)2025/1/830四.多層前向神經(jīng)網(wǎng)絡常見參數(shù)：顯示中間結(jié)果的周期〔25〕整批學習中的學習效率〔0.01〕勢能學習規(guī)那么(traingdm)勢能率〔0.9〕整批學習迭代次數(shù)上限〔100〕最小二乘目標誤差設定值〔0〕2025/1/831四.多層前向神經(jīng)網(wǎng)絡4.3應用舉例例5：例6：譫妄的診斷譫妄是由于各種原因引起的急性腦器質(zhì)性綜合癥，其特點是急性發(fā)病，意識水平變化，病程波動，定向力、注意力、思維、精神運動、行為和情感改變。根據(jù)國外1980年以后的有關譫妄研究文獻的報道，譫妄的發(fā)病率為4%~25%。目前對譫妄的發(fā)病機制還了解不多，診斷的方式常采用多個指標綜合評價。2025/1/832四.多層前向神經(jīng)網(wǎng)絡2025/1/833四.多層前向神經(jīng)網(wǎng)絡 針對以上11個問題，醫(yī)生對病人進行觀察和提問，每項分4個等級打分：不存在—1分；輕度存在—2分；中度存在—3分；嚴重存在—4分。數(shù)據(jù)為一個醫(yī)生對96名測試人員的觀察和提問，并通過計分方式記錄下來的直觀診斷。診斷標準為：22分以上可診斷為譫妄，在量表診斷一列中記為Y〔否那么記為N〕。這樣的標準是否合理？2025/1/834四.多層前向神經(jīng)網(wǎng)絡序號起病注意思維意識定向記憶錯覺興奮遲滯波動睡眠22分標準量表診斷13322212313325Y24443333414436Y33322332213428Y…………961222111311217N202