神經(jīng)網(wǎng)絡實用教程完整配套課件

1、?神經(jīng)網(wǎng)絡實用教程?學習資料與課程內(nèi)容9/11/20221 主講：蔣世忠 信息工程圖像處理教研室9/11/20222教材書名：?神經(jīng)網(wǎng)絡實用教程?出版社：機械工業(yè)出版社出版日期：2021年2月 張良均 曹晶 蔣世忠9/11/202239/11/20224課件、實驗及學習支持網(wǎng)站1、智能中國網(wǎng)： 2、神經(jīng)網(wǎng)絡在線： 9/11/20225課件、實驗及學習支持網(wǎng)站神經(jīng)網(wǎng)絡學習網(wǎng)站智能中國網(wǎng)論壇我的教學博客我的專業(yè)博客MATLAB中文論壇神經(jīng)網(wǎng)絡參考書籍：神經(jīng)網(wǎng)絡入門教程blog&itemid=239/11/20226課程目的和根本要求熟悉人工神經(jīng)網(wǎng)絡的根本理論，應用人工神經(jīng)網(wǎng)絡解決實際應用中的問題。

2、介紹人工神經(jīng)網(wǎng)絡及其根本網(wǎng)絡模型了解人工神經(jīng)網(wǎng)絡的有關(guān)研究思想，從中學習先行者們的問題求解方法。通過仿真實驗進一步體會有關(guān)模型的用法和性能，能將其應用到讀者各自的領(lǐng)域。掌握混合編程方法，能應用此方法編寫實際問題的解決方案。9/11/20227第1章人工神經(jīng)網(wǎng)絡9/11/20228第1章人工神經(jīng)網(wǎng)絡1.1神經(jīng)網(wǎng)絡的根本概念1.2神經(jīng)網(wǎng)絡的特點及應用9/11/20229 生物神經(jīng)元的結(jié)構(gòu)與功能特點 生物神經(jīng)元在結(jié)構(gòu)上由四局部組成:細胞體(Cell body) 樹突(Dendrite)軸突(Axon)突觸(Synapse) 用來完成神經(jīng)元間信息的接收、傳遞和處理。人類大腦皮層約有100億個神經(jīng)元，6

3、0億個神經(jīng)突觸以及它們的連接體9/11/2022109/11/202211神經(jīng)纖維傳導演示神經(jīng)纖維上的傳導突觸間的傳導9/11/202212生物神經(jīng)元的結(jié)構(gòu)與功能特點人腦與計算機信息處理比較：記憶與聯(lián)想能力學習與認知能力信息加工能力信息綜合能力信息處理速度 9/11/202213人工神經(jīng)元模型人工神經(jīng)元是人工神經(jīng)網(wǎng)絡操作的根本信息處理單位,是神經(jīng)網(wǎng)絡設計的根底。人工神經(jīng)元模型可以看成是由三種根本元素組成：(1)一組連接 連接強度由各連接上的權(quán)值表示，權(quán)值可以取正值也可以取負值，權(quán)值為正表示激活，權(quán)值為負表示抑制。(2)一個加法器 用于求輸入信號對神經(jīng)元的相應突觸加權(quán)之和。(3)一個激活函數(shù) 用

4、來限制神經(jīng)元輸出振幅。激活函數(shù)也稱為壓制函數(shù)，因為它將輸入信號壓制(限制)到允許范圍之內(nèi)的一定值。 另外，可以給一個神經(jīng)元模型加一個外部偏置，其作用是增加或降低激活函數(shù)的網(wǎng)絡輸入。 9/11/202214人工神經(jīng)元模型x1x2xmwi1wmkwi2. f()bk輸入信號連接權(quán)求和uk輸出激活函數(shù)閾值k9/11/202215人工神經(jīng)元模型一個神經(jīng)元可以用以下公式表示：9/11/202216人工神經(jīng)元模型激活函數(shù)主要的三種形式：階梯函數(shù)f(u)u19/11/202217人工神經(jīng)元模型分段線性函數(shù)f(u)u1-19/11/202218人工神經(jīng)元模型非線性函數(shù)單極S型函數(shù)雙極S型函數(shù)9/11/2022

5、19神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡的結(jié)構(gòu)、連接強度以及各單元的處理方式根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)網(wǎng)絡分為兩大類：分層網(wǎng)絡相互連接型網(wǎng)絡 9/11/202220神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式分層網(wǎng)絡單純的前向網(wǎng)絡9/11/202221神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式分層網(wǎng)絡具有反響的前向網(wǎng)絡 9/11/202222神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式分層網(wǎng)絡層內(nèi)互聯(lián)的前向網(wǎng)絡9/11/202223神經(jīng)網(wǎng)絡的結(jié)構(gòu)及工作方式相互連接型網(wǎng)絡 9/11/2022241.1.4 神經(jīng)網(wǎng)絡的學習學習方式有導師學習有監(jiān)督學習無導師學習無監(jiān)督學習再勵學習9/1

6、1/2022251.1.4 神經(jīng)網(wǎng)絡的學習學習算法：學習算法是指針對學習問題的明確規(guī)那么，不同的學習算法對神經(jīng)元的權(quán)值調(diào)整的表達式是不同的。算法分類Hebb學習算法 學習算法隨機學習算法競爭學習算法9/11/2022261.1.4 神經(jīng)網(wǎng)絡的學習Hebb學習算法由Donald O. Hebb提出。如果兩個神經(jīng)元同時興奮，那么它們之間的突觸連接加強。如果神經(jīng)元 是神經(jīng)元 的上層結(jié)點，用 分別表示兩神經(jīng)元的激活值(輸出)， 表示兩個神經(jīng)元之間的連接權(quán)，那么Hebb學習規(guī)那么可以表示為: 式中 表示學習速率Hebb學習規(guī)那么是人工神經(jīng)網(wǎng)絡學習的根本規(guī)那么，幾乎所有神經(jīng)網(wǎng)絡的學習規(guī)那么都可以看作Heb

7、b學習規(guī)那么的變形9/11/2022271.1.4 神經(jīng)網(wǎng)絡的學習 學習算法誤差校正學習算法是根據(jù)神經(jīng)網(wǎng)絡的輸出誤差對神經(jīng)元的連接強度進行修正，屬于有導師學習 權(quán)值調(diào)整公式：調(diào)整目標是使下述公式所表達的誤差為最小9/11/2022281.1.4 神經(jīng)網(wǎng)絡的學習隨機學習算法誤差學習算法通常采用梯度下降法，因此存在局部最小問題，隨機學習算法通過引入不穩(wěn)定因子來處理這種情況。經(jīng)典隨機學習算法模擬退化算法遺傳算法。 9/11/2022291.1.4 神經(jīng)網(wǎng)絡的學習競爭學習算法競爭學習屬于無導師算法 神經(jīng)元通過互相競爭來做出不同的響應競爭獲勝的神經(jīng)元按規(guī)那么修正權(quán)值經(jīng)典競爭學習神經(jīng)網(wǎng)絡自組織特征映射網(wǎng)絡

8、(Self-Organization Map，SOM)自適應共振網(wǎng)絡(Adaptive Resonace Theory，ART) 9/11/2022301.2 神經(jīng)網(wǎng)絡的特點及其應用神經(jīng)網(wǎng)絡的特點 不確定、模糊及數(shù)學建模困難并行分布式處理 非線性處理 具有自學習功能 神經(jīng)網(wǎng)絡可采用硬件實現(xiàn) 9/11/2022311.2 神經(jīng)網(wǎng)絡的特點及其應用神經(jīng)網(wǎng)絡的應用領(lǐng)域 語音識別語音識別娃娃圖像識別與理解人臉檢測9/11/2022321.2 神經(jīng)網(wǎng)絡的特點及其應用神經(jīng)網(wǎng)絡的應用領(lǐng)域機器人智能故障檢測醫(yī)學應用醫(yī)學圖像處理9/11/202233神經(jīng)網(wǎng)絡的應用領(lǐng)域國防軍事應用航天器姿態(tài)控制導彈的智能引導 9/

9、11/202234小結(jié)生物神經(jīng)網(wǎng)絡構(gòu)成人工神經(jīng)網(wǎng)絡模型人工神經(jīng)網(wǎng)絡結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡學習方法人工神經(jīng)網(wǎng)絡特點人工神經(jīng)網(wǎng)絡應用9/11/202235 謝謝！9/11/2022362.1MATLAB快速入門9/11/2022372.1MATLAB快速入門2.1.1 MATLAB界面組成2.1.2 MATLAB根本操作 2.1.3 MATLAB繪圖函數(shù)2.1.4 MATLAB的選擇結(jié)構(gòu)2.1.5 MATLAB的循環(huán)結(jié)構(gòu)9/11/2022382.1.1 MATLAB界面組成工作空間瀏覽器窗命令行窗口命令歷史窗口當前目錄窗口9/11/2022392.1.1 MATLAB界面組成MATLAB界面組

10、成命令行窗口命令歷史窗口 工作空間瀏覽器窗口 當前目錄窗口代碼編輯窗口9/11/2022402.1.1 MATLAB界面組成界面布局字體設置窗口布置主要菜單功能編輯菜單路徑設置代碼編輯窗口9/11/2022412.1.1 MATLAB界面組成在MATLAB主窗口中，點擊“Start“Desktop Tools“Editor即可翻開編輯調(diào)試窗口。9/11/2022422.1.2 MATLAB根本操作根本運算 (5*2+1.3-0.8)*10/25 ans =4.2000 x = (5*2+1.3-0.8)*102/25 x = 42變量命名規(guī)那么第一個字母必須是英文字母； 字母間不可留空格；最多

11、只能有19個字母，MATLAB會忽略多余字母。 9/11/2022432.1.2 MATLAB根本操作根本運算假設不想讓MATLAB每次都顯示運算結(jié)果，只需在運算式最后加上 “;即可，假設某條語句不需要執(zhí)行，在其前面加上%即可MATLAB可同時執(zhí)行數(shù)個命令，只要以逗號或分號將命令隔開： x = sin(pi/3); y = x2; z = y*10, z = 7.5000 假設一個數(shù)學運算式太長，可用三個句點將其延伸到下一行： z = 10*sin(pi/3)* . sin(pi/3); 9/11/2022442.1.2 MATLAB根本操作數(shù)據(jù)導入與導出從文件導入數(shù)據(jù)(load)保存工作空間

12、數(shù)據(jù)導入保存的工作空間數(shù)據(jù)數(shù)據(jù)格式Format loose/compact/rat默認為5位數(shù)9/11/2022452.1.2 MATLAB根本操作 MATLAB的查詢命令Help help鍵入help inv即可得知有關(guān)inv命令的用法向量與矩陣的表示及運算向量的表示方法與運算 x = 1 3 5 2; %表示一個行向量 y = 2*x+1 y = 3 7 11 5 9/11/2022462.1.2 MATLAB根本操作向量與矩陣的表示及運算更改、增加或刪除向量中的元素y(3) = 2 % 更改第三個元素 y = % 更改第三個元素后的結(jié)果3 7 2 5 y(6) = 10 % 參加第六個元

13、素 y = %參加第六個元素后的結(jié)果3 7 2 5 0 10 y(4) = % 刪除第四個元素 y = %刪除第四個元素后的結(jié)果 3 7 2 0 10 9/11/2022472.1.2 MATLAB根本操作向量與矩陣的表示及運算向量的一個元素或一局部向量的運算x(2)*3+y(4) % 取出x的第二個元素和y的第四個元素來做運算 ans = 9 y(2:4)-1 %用y的第二至第四個元素分別做減1運算，2:4代表向量中 的第2、3、4號元素 ans = 6 1 -1轉(zhuǎn)置z = x z = 1 3 5 2 9/11/2022482.1.2 MATLAB根本操作矩陣的表示方法和各種處理方式表示在命

14、令窗口中輸入 A = 1 2 3 4; 5 6 7 8; 9 10 11 12 結(jié)果為：A = 1 2 3 4 5 6 7 8 9 10 11 12 9/11/2022492.1.2 MATLAB根本操作矩陣的表示方法和各種處理方式運算A(2,3) = 5 % 將矩陣第二行，第三列的元素值置為5 A = %置值后的矩陣1 2 3 4 5 6 5 8 9 10 11 12 B = A(2,1:3) %取出矩陣A中第二行第一個到第三個元素，構(gòu)成 矩陣B B = 5 6 5 A = A B %將B轉(zhuǎn)置后，再以列向量并入A A = 1 2 3 4 5 5 6 5 8 6 9 10 11 12 5 9/

15、11/2022502.1.2 MATLAB根本操作矩陣的表示方法和各種處理方式運算A(:, 2) = %刪除第二列，符號：代表所有列 A = 1 3 4 5 5 5 8 6 9 11 12 5 A = A; 4 3 2 1 %參加第四行 A = 1 3 4 5 5 5 8 6 9 11 12 5 4 3 2 1 A(1 4, :) = % 刪除第一和第四行，符號:代表所有行 A = 5 5 8 6 9 11 12 5 9/11/2022512.1.3 MATLAB繪圖函數(shù)二維繪圖函數(shù)plot(x) 當x為向量時，那么以x元素為縱坐標，以相應元素的下標作為橫坐標來繪圖。當x為實數(shù)矩陣時，那么按列

16、繪制每列元素值相對其下標的連線圖，圖中曲線x陣的列數(shù)。plot(x,y) 如果x、y為同維向量，那么繪制以x、y為橫縱坐標的連線圖。如果x是向量，y是一個與x同維的矩陣，那么繪制多條不同色彩的連線圖，連線條數(shù)等于y陣的另一維數(shù)。如果x和y是同維矩陣，那么以x、y對應元素為橫縱坐標分別繪制曲線，曲線的條數(shù)等于矩陣的行數(shù)。plot(x,y,s) s表示線條的顏色和類型，如s=r+，表示各點是由紅色的+號繪制的，如果沒有特別說明，默認的類型為藍色的線條。9/11/2022522.1.3 MATLAB繪圖函數(shù)二維繪圖函數(shù)hold on設置在同一張圖上繪制多條曲線 hold off取消在同一張圖上繪制多

17、條曲線設置Figure下次的圖和已經(jīng)繪制的圖將不在同一張圖上 可在標題欄上添加相應標題9/11/2022532.1.3 MATLAB繪圖函數(shù)繪圖函數(shù)使用例如一%橫坐標變化范圍為-6 6，每間隔0.1個單位繪制一次x=-6:0.1:6;y1=cos(x);y2=cos(2*x);y3=cos(3*x);%以x、y為橫縱坐標繪圖plot(x,y1);%保存繪圖句柄，使下一次的圖和已經(jīng)繪制的圖在同一張圖上hold onplot(x,y2,r+);%關(guān)閉繪圖句柄下次的圖和已經(jīng)繪制的圖將不在現(xiàn)一張圖上hold off%翻開一張新的繪圖面figure%以x、y為橫縱坐標，以藍色的*繪圖plot(x,y3,

18、b*);plot(x,y3,b*)9/11/2022542.1.3 MATLAB繪圖函數(shù)9/11/2022552.1.3 MATLAB繪圖函數(shù)9/11/2022562.1.3 MATLAB繪圖函數(shù)二維繪圖函數(shù)subplot9/11/2022572.1.3 MATLAB繪圖函數(shù)二維繪圖函數(shù)Xlabel：添加X軸名稱Ylabel：添加Y軸名稱Title：添加圖形名字grid on：翻開網(wǎng)格9/11/2022589/11/2022592.1.3 MATLAB繪圖函數(shù)二維繪圖函數(shù)Set:設置繪圖線條寬度和顏色Legend：添加圖例說明9/11/2022609/11/2022612.1.4 MATLAB

19、的選擇結(jié)構(gòu)情況二：If 條件 語句1Else 語句2end 情況一：If 條件 語句1end 9/11/2022622.1.5 MATLAB的循環(huán)結(jié)構(gòu)For 變量=初始值：遞增值：終值 循環(huán)內(nèi)容End注意：當遞增值為1時可以省略，跳出For循環(huán)用break9/11/2022639/11/202264小結(jié)MATLAB快速入門MATLAB界面組成MATLAB根本運算MATLAB繪圖函數(shù)9/11/202265謝謝！9/11/2022662.2感知器神經(jīng)網(wǎng)絡模型與學習算法9/11/202267單層感知器概述由美國學者Rosenblatt在1957年首次提出學習算法是Rosenblatt在1958年提出

20、的 包含一個突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡類型 只能區(qū)分線性可分的模式 IEEE設立以其名字命名的獎項 9/11/202268單層感知器單層感知器模型f(v)x1by=f(v)x2xiw1xmw2wmwi9/11/202269單層感知器單層感知器工作原理 單層感知器可將外部輸入分為兩類。當感知器的輸出為+1時，輸入屬于 類，當感知器的輸出為-1時，輸入屬于 類，從而實現(xiàn)兩類目標的識別。在二維空間，單層感知器進行模式識別的判決超平面由下式?jīng)Q定： 9/11/202270單層感知器單層感知器工作原理 對于只有兩個輸入的判別邊界是直線如下式所示,選擇適宜的學習算法可訓練出滿意的 和 ，當它用于

21、兩類模式的分類時，相當于在高維樣本空間中，用一個超平面將兩類樣本分開。9/11/202271單層感知器的學習算法單層感知器學習算法思想基于迭代的思想，通常是采用誤差校正學習規(guī)那么的學習算法?？梢詫⑵米鳛樯窠?jīng)元權(quán)值向量的第一個分量加到權(quán)值向量中,也可以設其值為0 輸入向量和權(quán)值向量可分別寫成如下的形式：令上式等于零，可得到在維空間的單層感知器的判別超平面。 9/11/202272單層感知器的學習算法單層感知器學習算法第一步,設置變量和參量。 為激活函數(shù), 為網(wǎng)絡實際輸出， 為期望輸出， 為學習速率， 為迭代次數(shù)， 為實際輸出與期望輸出的誤差。 第二步,初始化 給權(quán)值向量 的各個分量賦一個較小的

22、隨機非零值，置 第三步,輸入一組樣本 ，并給出 它的期望輸出 。 第四步,計算實際輸出:第五步,求出期望輸出和實際輸出求出差根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均小于預設的值，那么算法結(jié)束，否那么將值增加1，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進入下一輪計算過程 9/11/202273單層感知器的學習算法學習算法實例: 構(gòu)建一個神經(jīng)元，它能夠?qū)崿F(xiàn)邏輯與操作x1x2d000010100111邏輯“與”真值表9/11/202274單層感知器的學習算法確定權(quán)值和閾值w1=w2=b=9/11/202275單層感知器的學習算法設閾值為0.6，初始權(quán)值均為0.1，學習率為0.5，誤

23、差值要求為0，神經(jīng)元的激活函數(shù)為硬限幅函數(shù)，求權(quán)值w1與w2迭代次數(shù)樣本標號輸入或權(quán)值標號變量9/11/2022769/11/202277對于樣本1，輸出神經(jīng)元的輸入為：輸出神經(jīng)元的輸出為：9/11/202278單層感知器的學習算法權(quán)值調(diào)整樣本2與3同樣本1，因輸出為0省略對于樣本4，輸出神經(jīng)元的輸入為：9/11/202279單層感知器的學習算法輸出神經(jīng)元的輸出為：權(quán)值調(diào)整：9/11/202280單層感知器的學習算法此時完成一次循環(huán)過程，由于誤差沒有到達0，返回第2步繼續(xù)循環(huán)，在第二次循環(huán)中，前三個樣本輸入時因誤差均為0，所以沒有對權(quán)值進行調(diào)整，各權(quán)值仍保持第一次循環(huán)的最后值，第四個樣本輸入時

24、各參數(shù)值如下：9/11/202281單層感知器的學習算法9/11/202282單層感知器的學習算法計算誤差時，對所有的樣本，網(wǎng)絡的輸出誤差均為0，到達預定的要求，訓練結(jié)束9/11/2022832.2.3 單層感知器的MATLAB實現(xiàn) MATLAB中單層感知器常用工具函數(shù)名稱和根本功能 函 數(shù) 名功 能newp()生成一個感知器hardlim()硬限幅激活函數(shù)learnp()感知器的學習函數(shù)train()神經(jīng)網(wǎng)絡訓練函數(shù)sim()神經(jīng)網(wǎng)絡仿真函數(shù)mae()平均絕對誤差性能函數(shù)plotpv()在坐標圖上繪出樣本點plotpc()在已繪制的圖上加分類線9/11/2022842.2.3 單層感知器的M

25、ATLAB實現(xiàn)newp()功能：創(chuàng)立一個感知器神經(jīng)網(wǎng)絡的函數(shù)格式：net = newp(PR，S，TF，LF)說明：net為生成的感知機神經(jīng)網(wǎng)絡；PR為一個R2的矩陣，由R組輸入向量中的最大值和最小值組成；S表示神經(jīng)元的個數(shù)；TF表示感知器的激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；LF表示網(wǎng)絡的學習函數(shù)，缺省值為learnp hardlim()功能 硬限幅激活函數(shù)格式 A = hardlim(N) 說明 函數(shù)hardlim(N)在給定網(wǎng)絡的輸入矢量矩陣N時，返回該層的輸出矢量矩陣A。當N中的元素大于等于零時，返回的值為l；否那么為0。也就是說，如果網(wǎng)絡的輸入到達閾值，那么硬限幅傳輸函數(shù)

26、的輸出為1；否那么，為0。 learnp()功能 感知機的權(quán)值和閾值學習函數(shù) 9/11/2022852.2.3 單層感知器的MATLAB實現(xiàn)train()功能 神經(jīng)網(wǎng)絡訓練函數(shù)格式 net，tr，Y，E，Pf，Af = train(NET，P，T，Pi，Ai，VV，TV)說明 net為訓練后的網(wǎng)絡；tr為訓練記錄；Y為網(wǎng)絡輸出矢量；E為誤差矢量；Pf為訓練終止時的輸入延遲狀態(tài)；Af為訓練終止時的層延遲狀態(tài)；NET為訓練前的網(wǎng)絡；P為網(wǎng)絡的輸入向量矩陣；T表示網(wǎng)絡的目標矩陣，缺省值為0；Pi表示初始輸入延時，缺省值為0；Ai表示初始的層延時，缺省值為0； VV為驗證矢量可省略；TV為測試矢量可省

27、略。網(wǎng)絡訓練函數(shù)是一種通用的學習函數(shù)，訓練函數(shù)重復地把一組輸入向量應用到一個網(wǎng)絡上，每次都更新網(wǎng)絡，直到到達了某種準那么，停止準那么可能是到達最大的學習步數(shù)、最小的誤差梯度或誤差目標等。9/11/2022862.2.3 單層感知器的MATLAB實現(xiàn)sim()功能 對網(wǎng)絡進行仿真格式 (1) Y，Pf，Af，E，perf = sim(NET，P，Pi，Ai，T) (2) Y，Pf，Af，E，perf = sim(NET，Q TS，Pi，Ai，T) (3) Y，Pf，Af，E，perf = sim(NET，Q，Pi，Ai，T)說明 Y為網(wǎng)絡的輸出；Pf表示最終的輸入延時狀態(tài)；Af表示最終的層延時狀

28、態(tài)；E為實際輸出與目標矢量之間的誤差；perf為網(wǎng)絡的性能值；NET為要測試的網(wǎng)絡對象；P為網(wǎng)絡的輸入向量矩陣；Pi為初始的輸入延時狀態(tài)可省略；Ai為初始的層延時狀態(tài)可省略；T為目標矢量可省略。式(1)、(2)用于沒有輸入的網(wǎng)絡，其中Q為批處理數(shù)據(jù)的個數(shù)，TS為網(wǎng)絡仿真的時間步數(shù)。9/11/2022872.2.3 單層感知器的MATLAB實現(xiàn) mae()功能 平均絕對誤差性能函數(shù)格式 perf=mae(E，w，pp) 說明 perf表示平均絕對誤差和， E為誤差矩陣或向量(網(wǎng)絡的目標向量與輸出向量之差)， w為所有權(quán)值和偏值向量(可忽略)， pp為性能參數(shù)(可忽略)。 9/11/2022882

29、.2.3 單層感知器的MATLAB實現(xiàn) plotpv()功能 繪制樣本點的函數(shù)格式 (1) plotpv(P，T) (2) plotpv(P，T，V)說明 P定義了n個2或3維的樣本，是一個2n維或3n維的矩陣；T表示各樣本點的類別，是一個n維的向量；V=x_min x_max y_min y_max，為一設置繪圖坐標值范圍的向量。利用plotpv()函數(shù)可在坐標圖中繪出給定的樣本點及其類別，不同的類別使用不同的符號。如果T只含一元矢量，那么目標為0的輸入矢量在坐標圖中用符號o表示： 目標為1的輸入矢量在坐標圖中用符號+表示。如果T含二元矢量，那么輸入矢量在坐標圖中所采用的符號分別如下：0 0

30、用o表示；0 1用+表示：1 0用*表示；1 1用表示。 9/11/2022892.2.3 單層感知器的MATLAB實現(xiàn)plotpc()功能 在存在的圖上繪制出感知器的分類線函數(shù)格式 (1) plotpc(W，B) (2) plotpc(W，B，H)說明 硬特性神經(jīng)元可將輸入空間用一條直線(如果神經(jīng)元有兩個輸入)，或用一個平面(如果神經(jīng)元有三個輸入)，或用一個超平面(如果神經(jīng)元有三個以上輸入)分成兩個區(qū)域。plotpc(W，B)對含權(quán)矩陣w和偏置矢量b的硬特性神經(jīng)元的兩個或三個輸入畫一個分類線。這一函數(shù)返回分類線的句柄以便以后調(diào)用。plotpc(W，B，H)包含從前的一次調(diào)用中返回的句柄。它在

31、畫新分類線之前，刪除舊線。9/11/2022902.2.3 單層感知器的MATLAB實現(xiàn)使用MATLAB實現(xiàn)神經(jīng)網(wǎng)絡的步驟如下：第一步 根據(jù)應用創(chuàng)立一個神經(jīng)網(wǎng)絡；第二步 設定神經(jīng)網(wǎng)絡的訓練參數(shù)，利用給定樣本對創(chuàng)立的神經(jīng)網(wǎng)絡進行訓練；第三步 輸入測試數(shù)據(jù)，測試訓練好的神經(jīng)網(wǎng)絡的性能。例2-1：見?神經(jīng)網(wǎng)絡實用教程?第22頁 9/11/2022912.2.3 單層感知器的MATLAB實現(xiàn)P= -0.4 -0.5 0.6; 0.9 0 0.1; %給定訓練樣本數(shù)據(jù)T= 1 1 0; %給定樣本數(shù)據(jù)所對應的類別，用1和0來表示兩種類別%創(chuàng)立一個有兩個輸入、樣本數(shù)據(jù)的取值范圍都在-1，1之間，并且%網(wǎng)絡

32、只有一個神經(jīng)元的感知器神經(jīng)網(wǎng)絡net=newp(-1 1;-1 1,1); = 20; %設置網(wǎng)絡的最大訓練次數(shù)為20次net=train(net,P,T); %使用訓練函數(shù)對創(chuàng)立的網(wǎng)絡進行訓練Y=sim(net,P) %對訓練后的網(wǎng)絡進行仿真E1=mae(Y-T) %計算網(wǎng)絡的平均絕對誤差，表示網(wǎng)絡錯誤分類Q=0.6 0.9 -0.1; -0.1 -0.5 0.5; %檢測訓練好的神經(jīng)網(wǎng)絡的性能Y1=sim(net,Q) %對網(wǎng)絡進行仿真，仿真輸出即為分類的結(jié)果figure; %創(chuàng)立一個新的繪圖窗口plotpv(Q,Y1); %在坐標圖中繪制測試數(shù)據(jù)plotpc(net.iw1,net.b1

33、) %在坐標圖中繪制分類線9/11/2022922.2.3 單層感知器的MATLAB實現(xiàn)例2-1運行后在命令行窗口中得到的結(jié)果如下： TRAINC, Epoch 0/20%使用TRAINC作為神經(jīng)網(wǎng)絡的訓練函數(shù)，第0次訓練，最%大訓練次數(shù)為20TRAINC, Epoch 3/20%到達目標誤差要求，結(jié)束訓練TRAINC, Performance goal met.Y = 1 1 0E1 = 0Y1 = 0 0 1 9/11/2022932.2.3 單層感知器的MATLAB實現(xiàn)例2-1訓練誤差曲線 9/11/2022942.2.3 單層感知器的MATLAB實現(xiàn)例2-1訓練后的分類線 9/11/2

34、022952.2.4 多層感知機 單層感知器的缺點是只能解決線性可分的分類模式問題采用多層網(wǎng)絡結(jié)構(gòu)可以增強網(wǎng)絡的分類能力，即在輸入層與輸出層之間增加一個隱含層，從而構(gòu)成多層感知器(Multilayer Perceprons ，MLP)。由輸入層、隱含層(可以是一層或者多層)和輸出層構(gòu)成的神經(jīng)網(wǎng)絡稱為多層前向神經(jīng)網(wǎng)絡。 9/11/2022962.2.4 多層感知機 多層感知器的拓撲結(jié)構(gòu) 9/11/2022972.2.4 多層感知機多層感知器的特點含有一層或多層隱單元,從輸入模式中獲得了更多有用的信息，使網(wǎng)絡可以完成更復雜的任務。每個神經(jīng)元的激活函數(shù)采用可微的函數(shù)sigmoid函數(shù)多個突觸使得網(wǎng)絡

35、更具連通性 具有獨特的學習算法 BP算法 9/11/202298小結(jié)單層感知器模型及工作原理單層感知器的學習算法單層感知器的MATLAB實現(xiàn)單層感知器的應用例如多層感知器概述9/11/202299 謝 謝！9/11/2022100復習2.2單層感知器模型與學習算法9/11/2022101單層感知器模型f(v)x1by=f(v)x2w1w29/11/2022102學習算法(權(quán)值、偏置調(diào)整方法)誤差校正學習規(guī)那么的學習算法實際輸出值：設目標值為d，那么誤差為：權(quán)值調(diào)整：9/11/2022103例如-與運算y=f(v)f(v)x1bx2w1w2x1x2d000010100111邏輯“與”真值表11=

36、10.1+10.1=0.2= -0.4y=0b= -0.6=0.1=0.1誤差e=d-y=1設學習率 為0.69/11/2022104例如-與運算動態(tài)分類演示單感知器實現(xiàn)與運算的動態(tài)分類演示程序思考到：將偏置看作輸入的第一個分量，權(quán)值和偏置同時進行調(diào)整時，如何計算調(diào)整后的權(quán)值和偏置值？9/11/20221052.3 線性神經(jīng)網(wǎng)絡 9/11/20221062.3.1 線性神經(jīng)元網(wǎng)絡模型線性神經(jīng)元模型它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。9/11/20221072.3.1 線性神經(jīng)元網(wǎng)絡模型線性神經(jīng)元激活函數(shù)9/11

37、/20221082.3.1 線性神經(jīng)元網(wǎng)絡模型線性神經(jīng)元網(wǎng)絡分類圖示雙輸入輸出如下式所示9/11/20221092.3.1 線性神經(jīng)元網(wǎng)絡模型線性神經(jīng)網(wǎng)絡的結(jié)構(gòu) 9/11/20221102.3.2 線性神經(jīng)網(wǎng)絡的學習算法Widrow-Hoff學習規(guī)那么又稱為最小均方誤差LMSLeast Mean Square Error學習算法， 由Widrow-Hoff提出，屬于有導師學習算法LMS學習規(guī)那么定義如下: 目標是通過調(diào)節(jié)權(quán)值，使mse從誤差空間的某點開始，沿著mse的斜面向下滑行,最終使mse到達最小值。Bernard Widrow9/11/20221112.3.2 線性神經(jīng)網(wǎng)絡的學習算法算法

38、實現(xiàn)步驟第一步:初始化給各個連接賦一個較小的隨機值第二步：輸入一個樣本，計算連接權(quán)值的調(diào)整量9/11/20221122.3.2 線性神經(jīng)網(wǎng)絡的學習算法其中 表示第 次循環(huán)中的第i個輸入向量。那么有：第三步：調(diào)整連接權(quán)值根據(jù)負梯度下降的原那么，網(wǎng)絡權(quán)值和閾值修正公式如下式中 為學習率,當其取較大值時，可以加快網(wǎng)絡的訓練速度，但是如果其值太大，會導致網(wǎng)絡穩(wěn)定性的降低和訓練誤差的增加。所以，為了保證網(wǎng)絡進行穩(wěn)定的訓練，學習率的值必須選擇一個適宜的值。9/11/20221132.3.2 線性神經(jīng)網(wǎng)絡的學習算法第四步：計算均方誤差第五步：判斷誤差是否為零或者是否到達預先設定的要求。如果是，那么結(jié)束算法，

39、否那么輸入下一個樣本，返回第二步進入下一輪求解過程9/11/20221142.3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn) MATLAB中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和根本功能 函 數(shù) 名功 能newlin()新建一個線性層learnwh()Widrow-Hoff的學習函數(shù)purelin()線性傳輸函數(shù)mse()最小均方誤差性能函數(shù)9/11/20221152.3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)MATLAB中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和根本功能newlin()功能 新建一個線性神經(jīng)網(wǎng)絡函數(shù)。格式 (1) net = newlin (2) net = newlin(PR，S，ID，LR) 說明 式(1

40、)返回一個沒有定義結(jié)構(gòu)的空對象，并顯示圖形用戶界面函數(shù)nntool的幫助文字；式(2)中net為生成的線性神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入向量中的最大值和最小值組成的矩陣Pmin，Pmax；S為輸出向量的個數(shù)；ID為輸入延時向量可省略；LR為學習速率可省略，默認值為0.01。 learnwh( )功能 線性神經(jīng)網(wǎng)絡學習函數(shù)格式 (1) dW,LS = learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS) (2) db,LS = learnwh(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS) 9/11/20221162.3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)

41、MATLAB中線性神經(jīng)網(wǎng)絡相關(guān)的常用函數(shù)和根本功能Purelin()功能 純線性傳輸函數(shù)格式 A = purelin(N)說明 函數(shù)purelin(N)為返回網(wǎng)絡輸入向量N的輸出矩陣a；神經(jīng)元最簡單的傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出的線性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加的偏差所修正，newlin和newlind函數(shù)建立的網(wǎng)絡都可以用該函數(shù)做為傳遞函數(shù)。mse()功能 均方誤差性能函數(shù)格式 perf=mae(E，w，pp) 說明 perf表示均方誤差,E為誤差矩陣或向量(網(wǎng)絡的目標向量與輸出向量之差),w為所有權(quán)值和偏值向量(可忽略)， pp為性能參數(shù)(可忽略)。 9/11/20221172.

42、3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)例2-2 要求設計一個線性神經(jīng)網(wǎng)絡，尋找給定數(shù)據(jù)之間的線性關(guān)系。P=1.1 -1.3;T=0.6 1;%創(chuàng)立一個只有一個輸出，輸入延時為0，學習速率為0.01的線性神經(jīng)網(wǎng)絡，minmax(P)表示樣%本數(shù)據(jù)的取值范圍net=newlin(minmax(P),1,0,0.01);%對創(chuàng)立的線性神經(jīng)網(wǎng)絡進行初始化，設置權(quán)值和閾值的初始值net=init(net);=500;%設置網(wǎng)絡訓練后的目標誤差為0.0001=0.0001;net=train(net,P,T);y=sim(net,P)%求解網(wǎng)絡的均方誤差值E=mse(y-T) 9/11/20221182.

43、3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)例2-2的輸出結(jié)果%使用TRAINB作為訓練函數(shù)，最大訓練次數(shù)為500，開始訓練時的均方誤差值為0.68，%目標誤差為0.0001 TRAINB, Epoch 0/500, MSE 0.68/0.0001.TRAINB, Epoch 200/500, MSE 0.000193748/0.0001.TRAINB, Epoch 217/500, MSE 9.87777e-005/0.0001.%訓練到217次時，到達目標誤差要求，結(jié)束訓練TRAINB, Performance goal met.y = 0.5883 0.9922E = 9.8778e-005

44、9/11/20221192.3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)例2-2的訓練誤差曲線 演示9/11/20221202.3.3 線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)原數(shù)據(jù)關(guān)系與線性神經(jīng)網(wǎng)絡逼近關(guān)系比照注：兩者仍存在誤差，可以通過修改訓練步數(shù)或精度來減少兩者的誤差9/11/2022121小結(jié)線性神經(jīng)網(wǎng)絡模型線性神經(jīng)網(wǎng)絡激活函數(shù)神經(jīng)網(wǎng)絡學習算法線性神經(jīng)網(wǎng)絡的MATLAB實現(xiàn)線性神經(jīng)網(wǎng)絡的局限性9/11/2022122思考題1、一線性神經(jīng)網(wǎng)絡的輸入為P=1.1 -1.3，目標為T=0.6 1;設權(quán)值和偏置的初始值為0，學習速率為0.01，請計算網(wǎng)絡前二次的權(quán)值和偏置的值？2、用MATLAB編程實現(xiàn)第1題

45、，要求輸出每一次迭代后的權(quán)值和偏置。9/11/2022123謝謝！9/11/2022124復習單層感知器線性神經(jīng)網(wǎng)絡9/11/2022125單層感知器-與運算y=f(v)f(v)x1bx2w1w2x1x2d000010100111邏輯“與”真值表11=10.1+10.1=0.2= -0.4y=0b= -0.6=0.1=0.1誤差e=d-y=1設學習率 為0.69/11/2022126線性神經(jīng)網(wǎng)絡線性神經(jīng)元模型它與感知器的主要不同之處在于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出可以是任意值，而不僅僅只是像感知器中那樣只能取0或1。9/11/20221279/11/2022128兩種網(wǎng)絡的缺陷不能解

46、決線性不可分的模式與運算、異或運算演示程序9/11/20221292.4 BP神經(jīng)網(wǎng)絡模型與學習算法9/11/2022130概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(Back Propagation)學習算法BP算法根本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 J. McClelland David Rumelhart 9/11/20221312.4.1 BP神經(jīng)網(wǎng)絡模型三層BP網(wǎng)絡9/11/20221322.4.1 BP神經(jīng)網(wǎng)絡模型激活函數(shù)必須處

47、處可導一般都使用S型函數(shù) 使用S型激活函數(shù)時BP網(wǎng)絡輸入與輸出關(guān)系輸入輸出9/11/20221332.4.1 BP神經(jīng)網(wǎng)絡模型輸出的導數(shù)根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡進行訓練，應該將net的值盡量控制在收斂比較快的范圍內(nèi) 9/11/20221342.4.2 BP網(wǎng)絡的標準學習算法學習的過程：神經(jīng)網(wǎng)絡在外界輸入樣本的刺激下不斷改變網(wǎng)絡的連接權(quán)值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。學習的本質(zhì)：對各連接權(quán)值的動態(tài)調(diào)整學習規(guī)那么：權(quán)值調(diào)整規(guī)那么，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)那么。9/11/20221352.4.2 BP網(wǎng)絡的標準學習算法-算法思想學習的類型：有

48、導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學習的過程：信號的正向傳播 誤差的反向傳播將誤差分攤給各層的所有單元各層單元的誤差信號修正各單元權(quán)值9/11/20221362.4.2 BP網(wǎng)絡的標準學習算法-學習過程正向傳播：輸入樣本輸入層各隱層輸出層判斷是否轉(zhuǎn)入反向傳播階段：假設輸出層的實際輸出與期望的輸出教師信號不符誤差反傳誤差以某種形式在各層表示修正各層單元的權(quán)值網(wǎng)絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數(shù)為止9/11/20221372.4.2 BP網(wǎng)絡的標準學習算法 網(wǎng)絡結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元, 輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸

49、入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量; 9/11/20221382.4.2 BP網(wǎng)絡的標準學習算法輸入層與隱含層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù): 誤差函數(shù)：9/11/20221392.4.2 BP網(wǎng)絡的標準學習算法第一步，網(wǎng)絡初始化 給各連接權(quán)值分別賦一個區(qū)間-1，1內(nèi)的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值 和最大學習次數(shù)M。第二步,隨機選取第 個輸入樣本及對應期望輸出 9/11/20221402.4.2 BP網(wǎng)絡的標準學習算法第三步，計算隱含層各神經(jīng)元的輸入和輸出9/11/202214

50、12.4.2 BP網(wǎng)絡的標準學習算法第四步，利用網(wǎng)絡期望輸出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù) 。 9/11/20221422.4.2 BP網(wǎng)絡的標準學習算法第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù) 。 9/11/20221432.4.2 BP網(wǎng)絡的標準學習算法9/11/20221442.4.2 BP網(wǎng)絡的標準學習算法第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值 。 9/11/20221452.4.2 BP網(wǎng)絡的標準學習算法第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。 9/11/

51、20221462.4.2 BP網(wǎng)絡的標準學習算法第八步，計算全局誤差第九步，判斷網(wǎng)絡誤差是否滿足要求。當誤差到達預設精度或?qū)W習次數(shù)大于設定的最大次數(shù)，那么結(jié)束算法。否那么，選取下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。 9/11/20221472.4.2 BP網(wǎng)絡的標準學習算法BP算法直觀解釋情況一直觀表達 當誤差對權(quán)值的偏導數(shù)大于零時，權(quán)值調(diào)整量為負，實際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實際輸出與期望輸出的差減少。whoe0，此時who09/11/20221482.4.2 BP網(wǎng)絡的標準學習算法BP算法直解釋情況二直觀表達當誤差對權(quán)值的偏導數(shù)小于零時，權(quán)值調(diào)整量

52、為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出的差減少。e0who9/11/20221492.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能 函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)9/11/20221502.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能newff()功能 建立一個前向BP網(wǎng)絡格式 net =

53、newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)說明 net為創(chuàng)立的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFN1表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默認為tansig；BTF表示網(wǎng)絡的訓練函數(shù)，默認為trainlm；BLF表示網(wǎng)絡的權(quán)值學習函數(shù)，默認為learngdm；PF表示性能數(shù)，默認為mse。 9/11/20221512.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和根本功能tansig()功能 正切sigmoid激活函數(shù)格式 a =

54、 tansig(n)說明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。logsig()功能 對數(shù)Sigmoid激活函數(shù)格式 a = logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。9/11/20221522.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)例2-3，下表為某藥品的銷售情況，現(xiàn)構(gòu)建一個如下的三層BP神經(jīng)網(wǎng)絡對藥品的銷售進行預測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層的激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層的激活函數(shù)為

55、logsig，并利用此網(wǎng)絡對藥品的銷售量進行預測，預測方法采用滾動預測方式，即用前三個月的銷售量來預測第四個月的銷售量，如用1、2、3月的銷售量為輸入預測第4個月的銷售量，用2、3、4月的銷售量為輸入預測第5個月的銷售量.如此反復直至滿足預測精度要求為止。 月份123456銷量205623952600229816341600月份789101112銷量1873147819001500204615569/11/20221532.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)%以每三個月的銷售量經(jīng)歸一化處理后作為輸入P=0.51520.81731.0000 ; 0.81731.00000.7308;

56、 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000;%以第四個月的銷售量歸一化處理后作為目標向量T=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761;%創(chuàng)立一個BP神經(jīng)網(wǎng)絡，每一個輸入向量的取值范圍為0 ,1，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層的激活函數(shù)為tansig，輸出層的激活函數(shù)為%logsig，訓練函數(shù)為梯度下降函數(shù)，即節(jié)中所描述的標準學習算法9/11/20221542.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)net=newf

57、f(0 1;0 1;0 1,5,1,tansig,logsig,traingd);=15000;=0.01;LP.lr=0.1; %設置學習速率為0.1net=train(net,P,T); test=0.5152 0.8173 1.0000 ; 0.8173 1.0000 0.7308; 1.0000 0.7308 0.1390; 0.7308 0.1390 0.1087; 0.1390 0.1087 0.3520; 0.1087 0.3520 0.0000;9/11/20221552.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)y=sim(net,test);plot(y,d,Marke

58、rFaceColor,r,MarkerSize,8);hold onplot(T,s,MarkerEdgeColor,k,MarkerFaceColor,g,MarkerSize,8);title(用前三個月銷售量預測第四個月藥品銷售結(jié)果圖);legend(藥品實際銷售量,藥品預測銷售量);9/11/20221562.4.3 BP神經(jīng)網(wǎng)絡學習算法的MATLAB實現(xiàn)BP網(wǎng)絡應用于藥品預測比照圖由比照圖可以看出預測效果與實際存在一定誤差，此誤差可以通過增加運行步數(shù)和提高預設誤差精度業(yè)進一步縮小運行程序9/11/2022157BP神經(jīng)網(wǎng)絡解決異或問題例如程序9/11/2022158BP神經(jīng)網(wǎng)絡的特點

59、非線性映射能力能學習和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學方程。只要能提供足夠多的樣本模式對供網(wǎng)絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小。 9/11/2022159小結(jié)BP算法背景BP神經(jīng)網(wǎng)絡模型BP算法根本思想推導過程實現(xiàn)BP神經(jīng)網(wǎng)絡的MATLAB函數(shù)BP神經(jīng)網(wǎng)絡的應用實例9/11/2022160謝謝！9/11/2022161復 習神經(jīng)網(wǎng)絡的用途9

60、/11/2022162單個神經(jīng)元的神經(jīng)網(wǎng)絡輸入輸入輸入神經(jīng)元輸出x11x1nx12X19/11/2022163神經(jīng)網(wǎng)絡的工作原理 xi(i=1,2,n)是輸入，wi為該神經(jīng)元與各輸入間的連接權(quán)值，為閾值，yo為輸出(1)從各輸入端接收輸入信號xi。(2)根據(jù)各連接權(quán)值wi,求出所有輸入的加權(quán)和yi ： yi ni=1wi xi (3)利用某一特征函數(shù)f進行變換，得到輸出yo ： yo= f(yi)f(ni=1 wi xi )9/11/2022164神經(jīng)元間連接權(quán)值的含義連接權(quán)wij通常在-1,1之間取值： wij 0，稱為正連接，表示神經(jīng)元j對i有激活作用 wij 0，稱為負連接，表示神經(jīng)元j