ann神經(jīng)網(wǎng)絡(luò)專題知識講座

1、ann神經(jīng)網(wǎng)絡(luò)專題知識講座ann神經(jīng)網(wǎng)絡(luò)專題知識講座第1頁計算智能介紹人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用支持向量機(jī)及應(yīng)用含糊集及應(yīng)用遺傳算法及應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識講座第2頁單元一 智能算法介紹智能層次生物智能（BI）符號智能（SI）計算智能（CI）人工智能（AI）ann神經(jīng)網(wǎng)絡(luò)專題知識講座第3頁最高層次智能是生物智能（Biological Intelligence，BI）,生物智能中又以智慧生物智能最高。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第4頁人工智能（Artificial Intelligence, AI）是另一層次智能，研究怎樣制造出人造智能機(jī)器或智能系統(tǒng)，來模擬人類智能活動。1956年Dartmouth

2、大學(xué)研討會上將“人工智能” 定義為“試圖用來模仿與智能相關(guān)人類活動計算機(jī)過程”。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第5頁傳統(tǒng)人工智能偏重與符號處理與邏輯推理，所以又稱為符號智能(Symbolism Intelligence, SI)。早期符號智能對人工智能發(fā)展起到了主要推進(jìn)作用，但伴隨科技發(fā)展，復(fù)雜性問題大量涌現(xiàn)，這些方法在處理非線性、不確定等復(fù)雜性問題時顯得無能為力。計算智能（Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第6頁計算智能最大特點就是不需要建立問題本身準(zhǔn)確數(shù)學(xué)模型，側(cè)重從數(shù)據(jù)中學(xué)習(xí)，非常適合于處理那些因為難以建立有

3、效形式化模型而用傳統(tǒng)人工智能方法難以處理問題。計算智能是以生物進(jìn)化觀點認(rèn)識和模擬智能。按照這一觀點，智能是在生物遺傳、變異、生長以及外部環(huán)境自然選擇中產(chǎn)生。在用進(jìn)廢退、優(yōu)勝劣汰過程中，適應(yīng)度高（頭腦）結(jié)構(gòu)被保留下來，智能水平也隨之提升。所以說計算智能就是基于結(jié)構(gòu)演化智能。在概念提出早期，狹義計算智能包含人工神經(jīng)網(wǎng)絡(luò)、含糊邏輯和進(jìn)化計算。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第7頁計算智能主要方法有人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、遺傳程序、演化程序、局部搜索、模擬退火等等。這些方法含有以下共同要素：自適應(yīng)結(jié)構(gòu)、隨機(jī)產(chǎn)生或指定初始狀態(tài)、適應(yīng)度評測函數(shù)、修改結(jié)構(gòu)操作、系統(tǒng)狀態(tài)存放器、終止計算條件、指示結(jié)果方法、控制過程

4、參數(shù)。計算智能這些方法含有自學(xué)習(xí)、自組織、自適應(yīng)特征和簡單、通用、魯棒性強(qiáng)、適于并行處理優(yōu)點。在并行搜索、聯(lián)想記憶、模式識別、知識自動獲取等方面得到了廣泛應(yīng)用。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第8頁經(jīng)典代表如遺傳算法、免疫算法、模擬退火算法、蟻群算法、微粒群算法，都是一個仿生算法，基于“從大自然中獲取智慧”理念，經(jīng)過大家對自然界獨特規(guī)律認(rèn)知，提取出適合獲取知識一套計算工具。總來說，經(jīng)過自適應(yīng)學(xué)習(xí)特征，這些算法到達(dá)了全局優(yōu)化目標(biāo)。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第9頁單元二 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用ANN基礎(chǔ)原理BP網(wǎng)絡(luò)及應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識講座第10頁2.1 ANN基礎(chǔ)原理2.1.1 生物神經(jīng)元神經(jīng)元

5、是大腦處理信息基礎(chǔ)單元人腦大約由1011個神經(jīng)元組成，神經(jīng)元相互連接成神經(jīng)網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第11頁生物神經(jīng)元簡圖ann神經(jīng)網(wǎng)絡(luò)專題知識講座第12頁生物神經(jīng)元傳遞信息過程為多輸入、單輸出神經(jīng)元各組成個別功效來看，信息處理與傳遞主要發(fā)生在突觸附近當(dāng)神經(jīng)元細(xì)胞體經(jīng)過軸突傳到突觸前膜脈沖幅度到達(dá)一定強(qiáng)度，即超出其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞化學(xué)物質(zhì)突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位ann神經(jīng)網(wǎng)絡(luò)專題知識講座第13頁特點：時空整合功效 神經(jīng)元對于不一樣時間經(jīng)過同一突觸傳入神經(jīng)沖動，含有時間整合功效；對于同一時間經(jīng)過不一樣突觸傳

6、入神經(jīng)沖動，含有空間整合功效。兩種功效相互結(jié)合，含有時空整合輸入信息處理功效，所謂整合是指抑制或興奮受體電位或突觸電位代數(shù)和；ann神經(jīng)網(wǎng)絡(luò)專題知識講座第14頁興奮與抑制狀態(tài) 神經(jīng)元含有兩種常規(guī)工作狀態(tài)：當(dāng)傳入沖動時空整合結(jié)果使細(xì)胞膜電位升高，超出動作電位閾值（約為40mV）時，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突輸出；當(dāng)傳入沖動時空整合結(jié)果使膜電位下降至低于動作電位閾值時，細(xì)胞進(jìn)入抑制狀態(tài)，無神經(jīng)沖動輸出，滿足“01”律，即“興奮抑制”狀態(tài)；ann神經(jīng)網(wǎng)絡(luò)專題知識講座第15頁脈沖與電位轉(zhuǎn)換 突觸界面含有脈沖/電位信號轉(zhuǎn)換功效。沿神經(jīng)纖維傳遞電脈沖為等幅、恒寬、編碼（60100mV）離散脈沖

7、信號，而細(xì)胞膜電位改變?yōu)檫B續(xù)電位信號。在突觸接口處進(jìn)行“數(shù)/?！鞭D(zhuǎn)換，是經(jīng)過神經(jīng)介質(zhì)以量子化學(xué)方式實現(xiàn)變換過程；ann神經(jīng)網(wǎng)絡(luò)專題知識講座第16頁神經(jīng)纖維傳導(dǎo)速度 神經(jīng)沖動沿神經(jīng)纖維傳導(dǎo)速度在150m/s之間，因纖維特征不一樣而不一樣，粗纖維傳導(dǎo)速度在100m/s,細(xì)纖維傳導(dǎo)速度可低至每秒數(shù)米；突觸延時和不應(yīng)期 突觸對神經(jīng)沖動傳遞含有延時和不應(yīng)期。在相鄰兩次沖動之間需要一個時間間隔，即為不應(yīng)期，在此期間對激勵不響應(yīng)，不能傳遞神經(jīng)沖動；學(xué)習(xí)、遺忘和疲勞 因為結(jié)構(gòu)可塑性，突觸傳遞作用可增強(qiáng)、減弱、飽和，所以細(xì)胞含有對應(yīng)學(xué)習(xí)功效，遺忘或疲勞效應(yīng)。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第17頁2.1.2 ANN結(jié)

8、構(gòu)神經(jīng)網(wǎng)絡(luò)是一個并行和分布式信息處理網(wǎng)絡(luò)結(jié)構(gòu)普通由大量神經(jīng)元組成每個神經(jīng)元只有一個輸出，能夠連接到很多其它神經(jīng)元每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù) ann神經(jīng)網(wǎng)絡(luò)專題知識講座第18頁人工神經(jīng)元模型求和激勵函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第19頁激勵函數(shù)基礎(chǔ)作用控制輸入對輸出激活作用對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換將可能無限域輸入變換成指定有限范圍內(nèi)輸出 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第20頁常見激勵函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第21頁ANN基礎(chǔ)結(jié)構(gòu)輸入層隱層輸出層前向神經(jīng)網(wǎng)絡(luò)模型ann神經(jīng)網(wǎng)絡(luò)專題知識講座第22頁z-1z-1z-1反饋形網(wǎng)絡(luò)模型v1v2v3vnz-1ann神經(jīng)網(wǎng)

9、絡(luò)專題知識講座第23頁ANN基礎(chǔ)訓(xùn)練與學(xué)習(xí)算法人工神經(jīng)網(wǎng)絡(luò)連接權(quán)確實定通常有兩種方法依據(jù)詳細(xì)要求，直接計算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計算經(jīng)過學(xué)習(xí)得到。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采取這種方法 學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)研究中關(guān)鍵問題 Hebb學(xué)習(xí)規(guī)則 誤差校正（糾錯）學(xué)習(xí)規(guī)則 無監(jiān)督學(xué)習(xí)規(guī)則ann神經(jīng)網(wǎng)絡(luò)專題知識講座第24頁Donall Hebb依據(jù)生理學(xué)中條件反射機(jī)理，于1949年提出神經(jīng)元連接強(qiáng)度改變規(guī)則假如兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間突觸連接加強(qiáng) a為學(xué)習(xí)速率，Vi, Vj為神經(jīng)元i和j輸出Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)基礎(chǔ)規(guī)則，幾乎全部神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則都能夠看作Hebb學(xué)

10、習(xí)規(guī)則變形 Hebb學(xué)習(xí)規(guī)則ann神經(jīng)網(wǎng)絡(luò)專題知識講座第25頁用已知樣本作為老師信號對網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)學(xué)習(xí)規(guī)則可由二次誤差函數(shù)梯度法導(dǎo)出誤差校正學(xué)習(xí)規(guī)則實際上是一個梯度方法不能確保得到全局最優(yōu)解要求大量訓(xùn)練樣本，收斂速度慢對樣當(dāng)?shù)乇硎敬涡蚋淖儽容^敏感誤差校正規(guī)則ann神經(jīng)網(wǎng)絡(luò)專題知識講座第26頁無監(jiān)督學(xué)習(xí)規(guī)則這類學(xué)習(xí)不在于尋找一個特殊映射表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反應(yīng)觀察事件分部輸入能夠是連續(xù)值，對噪聲有較強(qiáng)地抗干擾能力對較少輸入樣本，結(jié)果可能要依賴于輸入序列ann神經(jīng)網(wǎng)絡(luò)專題知識講座第27頁2.1.3 人工神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中應(yīng)用領(lǐng)域回歸與預(yù)

11、測模式識別（分類）聯(lián)想記憶與學(xué)習(xí)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第28頁反向傳輸網(wǎng)絡(luò)(Back-Propagation Network，簡稱BP網(wǎng)絡(luò))是對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練多層網(wǎng)絡(luò) 權(quán)值調(diào)整采取反向傳輸(Back-propagation）學(xué)習(xí)算法它是一個多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元變換函數(shù)是S型函數(shù)輸出量為0到1之間連續(xù)量，它可實現(xiàn)從輸入到輸出任意非線性映射2.1.4 BP網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第29頁BP網(wǎng)絡(luò)主要用于下述方面函數(shù)迫近：用輸入矢量和對應(yīng)輸出矢量訓(xùn)練一個網(wǎng)絡(luò)迫近一個函數(shù)模式識別和分類：用一個特定輸出矢量將它與輸入矢量聯(lián)絡(luò)起來；把輸入矢量以所定義適當(dāng)方式進(jìn)行分類；數(shù)據(jù)

12、壓縮：降低輸出矢量維數(shù)方便于傳輸或存放含有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外輸入 泛化性能只對被訓(xùn)練輸入輸出對最大值范圍內(nèi)數(shù)據(jù)有效，即網(wǎng)絡(luò)含有內(nèi)插值特征，不含有外插值性。超出最大訓(xùn)練值輸入必將產(chǎn)生大輸出誤差ann神經(jīng)網(wǎng)絡(luò)專題知識講座第30頁一個含有r個輸入和一個隱含層神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) ann神經(jīng)網(wǎng)絡(luò)專題知識講座第31頁網(wǎng)絡(luò)模型感知器和自適應(yīng)線性元件主要差異在激活函數(shù)上：前者是二值型，后者是線性BP網(wǎng)絡(luò)含有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過模型有不一樣外，其主要差異也表現(xiàn)在激活函數(shù)上。BP網(wǎng)絡(luò)激活函數(shù)必須是處處可微，所以它不能采取二值型閥值函數(shù)0，1

13、或符號函數(shù)1，1BP網(wǎng)絡(luò)經(jīng)常使用是S型對數(shù)或正切激活函數(shù)和線性函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第32頁BP網(wǎng)絡(luò)特點輸入和輸出是并行模擬量網(wǎng)絡(luò)輸入輸出關(guān)系是各層連接權(quán)因子決定，沒有固定算法權(quán)因子經(jīng)過學(xué)習(xí)信號調(diào)整。學(xué)習(xí)越多，網(wǎng)絡(luò)越聰明隱含層越多，網(wǎng)絡(luò)輸出精度越高，且個別權(quán)因子損壞不會對網(wǎng)絡(luò)輸出產(chǎn)生大影響只有當(dāng)希望對網(wǎng)絡(luò)輸出進(jìn)行限制，如限制在0和1之間，那么在輸出層應(yīng)該包含S型激活函數(shù)在普通情況下，均是在隱含層采取S型激活函數(shù)，而輸出層采取線性激活函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第33頁S型函數(shù)含有非線性放大系數(shù)功效，能夠把輸入從負(fù)無窮大到正無窮大信號，變換成-1到l之間輸出對較大輸入信號，放大系數(shù)較小

14、；而對較小輸入信號，放大系數(shù)則較大采取S型激活函數(shù)能夠處理和迫近非線性輸入/輸出關(guān)系ann神經(jīng)網(wǎng)絡(luò)專題知識講座第34頁學(xué)習(xí)規(guī)則BP算法是一個監(jiān)督式學(xué)習(xí)算法主要思想對于q個輸入學(xué)習(xí)樣本：P1,P2,Pq，已知與其對應(yīng)輸出樣本為：T1,T2,Tq使網(wǎng)絡(luò)輸出層誤差平方和到達(dá)最小用網(wǎng)絡(luò)實際輸出A1,A2,Aq, 與目標(biāo)矢量T1,T2,Tq之間誤差修改其權(quán)值，使Am與期望Tm,(ml,q)盡可能靠近ann神經(jīng)網(wǎng)絡(luò)專題知識講座第35頁學(xué)習(xí)規(guī)則BP算法是由兩個別組成,信息正向傳遞與誤差反向傳輸正向傳輸過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)假如在輸出層未得到

15、期望輸出，則計算輸出層誤差改變值，然后轉(zhuǎn)向反向傳輸，經(jīng)過網(wǎng)絡(luò)將誤差信號沿原來連接通路反傳回來修改各層神經(jīng)元權(quán)值直至到達(dá)期望目標(biāo)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第36頁假設(shè)輸入為P，輸入神經(jīng)元有r個，隱含層內(nèi)有s1個神經(jīng)元，激活函數(shù)為F1，輸出層內(nèi)有s2個神經(jīng)元，對應(yīng)激活函數(shù)為F2，輸出為A，目標(biāo)矢量為Tann神經(jīng)網(wǎng)絡(luò)專題知識講座第37頁信息正向傳遞隱含層中第i個神經(jīng)元輸出輸出層第k個神經(jīng)元輸出定義誤差函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第38頁利用梯度下降法求權(quán)值改變及誤差反向傳輸輸出層權(quán)值改變其中同理可得ann神經(jīng)網(wǎng)絡(luò)專題知識講座第39頁利用梯度下降法求權(quán)值改變及誤差反向傳輸隱含層權(quán)值改變其中同理可得a

16、nn神經(jīng)網(wǎng)絡(luò)專題知識講座第40頁對于f1為對數(shù)S型激活函數(shù)，對于f2為線性激活函數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第41頁網(wǎng)絡(luò)訓(xùn)練訓(xùn)練BP網(wǎng)絡(luò)，需要計算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和當(dāng)所訓(xùn)練矢量誤差平方和小于誤差目標(biāo)，訓(xùn)練停頓；不然在輸出層計算誤差改變，且采取反向傳輸學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程網(wǎng)絡(luò)完成訓(xùn)練后，對網(wǎng)絡(luò)輸入一個不是訓(xùn)練集合中矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果ann神經(jīng)網(wǎng)絡(luò)專題知識講座第42頁為了能夠很好地掌握BP網(wǎng)絡(luò)訓(xùn)練過程，咱們用兩層網(wǎng)絡(luò)為例來敘述BP網(wǎng)絡(luò)訓(xùn)練步驟初始化：用小隨機(jī)數(shù)初始化每一層權(quán)值W和偏差B，確保網(wǎng)絡(luò)不被大加權(quán)輸入飽和期望誤差最小值er

17、ror_goal最大循環(huán)次數(shù)max_epoch修正權(quán)值學(xué)習(xí)速率1r，普通情況下k0.0l,0.7ann神經(jīng)網(wǎng)絡(luò)專題知識講座第43頁變量表示：計算網(wǎng)絡(luò)各層輸出矢量A1和A2以及網(wǎng)絡(luò)誤差EA1tansig(W1*P，B1)；A2purelin(W2*A1，B2)；ET-A；權(quán)值修正：計算各層反傳誤差改變D2和D1并計算各層權(quán)值修正值以及新權(quán)值：D2deltalin(A2，E)；D1deltatan(A1，D2，W2)；dlWl，dBllearnbp(P，D1，lr)；dW2，dB21earnbp(A1，D2，1r)；W1W1十dW1；B1B1十dBl；W2W2十dW2；B2B2十dB2ann神經(jīng)網(wǎng)

18、絡(luò)專題知識講座第44頁計算權(quán)值修正后誤差平方和SSEsumsqr(T-purelin(W2*tansig(W1*P，B1)，B2)檢驗：SSE是否小于err_goal。若是，訓(xùn)練結(jié)束；不然繼續(xù)以上全部學(xué)習(xí)規(guī)則與訓(xùn)練全過程，能夠用函數(shù)trainbp.m來完成它使用只需定義相關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差TPdisp_freq max_epoch err_goal 1rW，B，epochs，errorstrainbp(W，B，F(xiàn)，P，T，TP)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第45頁網(wǎng)絡(luò)層數(shù)隱含層神經(jīng)元數(shù)初始權(quán)值選取學(xué)習(xí)速率期望誤差選

19、取應(yīng)用舉例不足ann神經(jīng)網(wǎng)絡(luò)專題知識講座第46頁網(wǎng)絡(luò)層數(shù)理論上已經(jīng)證實：含有偏差和最少一個S型隱含層加上一個線性輸出層網(wǎng)絡(luò)，能夠迫近任何有理函數(shù) 增加層數(shù)主要能夠深入降低誤差，提升精度，但同時也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值訓(xùn)練時間。 普通情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) 僅用含有非線性激活函數(shù)單層網(wǎng)絡(luò)來處理問題沒有必要或效果不好線性問題非線性問題ann神經(jīng)網(wǎng)絡(luò)專題知識講座第47頁隱含層神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度提升，能夠經(jīng)過采取一個隱含層，而增加其神經(jīng)元數(shù)方法來取得。這在結(jié)構(gòu)實現(xiàn)上，要比增加更多隱含層簡單得多定理：實現(xiàn)任意N個輸入向量組成任何布爾函數(shù)前向網(wǎng)絡(luò)所需權(quán)系數(shù)數(shù)目為在詳細(xì)設(shè)計時，比較

20、實際做法是經(jīng)過對不一樣神經(jīng)元數(shù)進(jìn)行訓(xùn)練對比，然后適當(dāng)?shù)丶由弦稽c余量ann神經(jīng)網(wǎng)絡(luò)專題知識講座第48頁初始權(quán)值選取普通取初始權(quán)值在(-1，1)之間隨機(jī)數(shù)威得羅等人在分析了兩層網(wǎng)絡(luò)是怎樣對一個函數(shù)進(jìn)行訓(xùn)練后，提出一個選定初始權(quán)值策略選擇權(quán)值量級為在MATLAB工具箱中可采取函數(shù)nwlog.m或nwtan.m來初始化隱含層權(quán)值W1和B1。其方法僅使用在第一隱含層初始值選取上，后面層初始值依然采取隨機(jī)取數(shù)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第49頁學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生權(quán)值改變量大學(xué)習(xí)速率可能造成系統(tǒng)不穩(wěn)定小學(xué)習(xí)速率造成較長訓(xùn)練時間，可能收斂很慢，不過能確保網(wǎng)絡(luò)誤差值不跳出誤差表面低谷而最終

21、趨于最小誤差值所以在普通情況下，傾向于選取較小學(xué)習(xí)速率以確保系統(tǒng)穩(wěn)定性。學(xué)習(xí)速率選取范圍在0.01-0.8之間ann神經(jīng)網(wǎng)絡(luò)專題知識講座第50頁期望誤差值選取在設(shè)計網(wǎng)絡(luò)訓(xùn)練過程中，期望誤差值也應(yīng)該經(jīng)過對比訓(xùn)練后確定一個適當(dāng)值這個所謂“適當(dāng)”，是相對于所需要隱含層節(jié)點數(shù)來確定，因為較小期望誤差值是要靠增加隱含層節(jié)點，以及訓(xùn)練時間來取得普通情況下，作為對比，能夠同時對兩個不一樣期望誤差值網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終經(jīng)過綜合原因考慮來確定采取其中一個網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第51頁應(yīng)用舉例求解函數(shù)迫近問題有21組單輸入矢量和相對應(yīng)目標(biāo)矢量，試設(shè)計神經(jīng)網(wǎng)絡(luò)來實現(xiàn)這對數(shù)組函數(shù)關(guān)系P=-1:0.1:1T=-0

22、.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201測試集P2=-1:0.025:1ann神經(jīng)網(wǎng)絡(luò)專題知識講座第52頁目標(biāo)矢量相對于輸入矢量圖形 初始網(wǎng)絡(luò)輸出曲線 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第53頁訓(xùn)練1000次 次ann神經(jīng)網(wǎng)絡(luò)專題知識講座第54頁訓(xùn)練3000次 5000次ann神經(jīng)網(wǎng)絡(luò)專題知識講座第55頁Matlab 中ANN演示語句：nndann神經(jīng)網(wǎng)絡(luò)專題知識講座

23、第56頁限制與不足需要較長訓(xùn)練時間 完全不能訓(xùn)練 選取較小初始權(quán)值采取較小學(xué)習(xí)速率，但同時又增加了訓(xùn)練時間局部極小值 BP算法能夠使網(wǎng)絡(luò)權(quán)值收斂到一個解，但它并不能確保所求為誤差超平面全局最小解，很可能是一個局部極小解ann神經(jīng)網(wǎng)絡(luò)專題知識講座第57頁BP網(wǎng)絡(luò)改進(jìn)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第58頁目標(biāo)加緊訓(xùn)練速度防止陷入局部極小值ann神經(jīng)網(wǎng)絡(luò)專題知識講座第59頁附加動量法 利用附加動量作用則有可能滑過局部極小值修正網(wǎng)絡(luò)權(quán)值時，不但考慮誤差在梯度上作用，而且考慮在誤差曲面上改變趨勢影響，其作用如同一個低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小改變特征該方法是在反向傳輸法基礎(chǔ)上在每一個權(quán)值改變上加上一

24、項正比于前次權(quán)值改變量值，并依據(jù)反向傳輸法來產(chǎn)生新權(quán)值改變ann神經(jīng)網(wǎng)絡(luò)專題知識講座第60頁帶有附加動量因子權(quán)值調(diào)整公式其中k為訓(xùn)練次數(shù)，mc為動量因子，普通取095左右附加動量法實質(zhì)是將最終一次權(quán)值改變影響，經(jīng)過一個動量因子來傳遞。當(dāng)動量因子取值為零時，權(quán)值改變僅依據(jù)梯度下降法產(chǎn)生當(dāng)動量因子取值為1時，新權(quán)值改變則是設(shè)置為最終一次權(quán)值改變，而依梯度法產(chǎn)生改變個別則被忽略掉了 促使權(quán)值調(diào)整向著誤差曲面底部平均方向改變，當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部平坦區(qū)時，i將變得很小，于是，wij(k+1)wij (k)，從而預(yù)防了wij=0出現(xiàn)，有利于使網(wǎng)絡(luò)從誤差曲面局部極小值中跳出 ann神經(jīng)網(wǎng)絡(luò)專題知識講

25、座第61頁在MATLAB工具箱中，帶有動量因子權(quán)值修正法是用函數(shù)learnbpm.m來實現(xiàn)trainbpm.m能夠訓(xùn)練一層直至三層帶有附加動量因子反向傳輸網(wǎng)絡(luò)下面是對單層網(wǎng)絡(luò)使用函數(shù)trainbpm.m情形：W，B，epochs，errorstrainbpm(W，B，F(xiàn)，P，T，TP)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第62頁自適應(yīng)學(xué)習(xí)速率通常調(diào)整學(xué)習(xí)速率準(zhǔn)則是，檢驗權(quán)值修正值是否真正降低了誤差函數(shù)，假如確實如此，則說明所選取學(xué)習(xí)速率值小了，能夠?qū)ζ湓黾右粋€量；不然可認(rèn)為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率值一個自適應(yīng)學(xué)習(xí)速率調(diào)整公式ann神經(jīng)網(wǎng)絡(luò)專題知識講座第63頁MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進(jìn)行反

26、向傳輸訓(xùn)練函數(shù)為 trainbpa.m可訓(xùn)練直至三層網(wǎng)絡(luò)。使用方法W, B, epochs, TEtrainbpa(W，B，F(xiàn)，P，T，TP)能夠?qū)恿糠ê妥赃m應(yīng)學(xué)習(xí)速率結(jié)合起來以利用兩方面優(yōu)點。這個技術(shù)已編入了函數(shù)trainbpx.m之中函數(shù)調(diào)用和其它函數(shù)一樣，只是需要更多初始參數(shù)而已TPdisp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W，B，epochs，error; lrtrainbpx(W，B，F(xiàn)，P，T，TP)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第64頁反向傳輸法能夠用來訓(xùn)練含有可微激活函數(shù)多層前向網(wǎng)絡(luò),以

27、進(jìn)行函數(shù)迫近，模式分類等工作反向傳輸網(wǎng)絡(luò)結(jié)構(gòu)不完全受所要處理問題所限制。網(wǎng)絡(luò)輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元數(shù)目是由問題要求所決定輸入和輸出層之間隱含層數(shù)以及每層神經(jīng)元數(shù)是由設(shè)計者來決定已經(jīng)證實，兩層S型線性網(wǎng)絡(luò)，假如S型層有足夠神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間有理函數(shù)關(guān)系ann神經(jīng)網(wǎng)絡(luò)專題知識講座第65頁反向傳輸法沿著誤差表面梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值附加動量法使反向傳輸降低了網(wǎng)絡(luò)在誤差表面陷入低谷可能性并有利于降低訓(xùn)練時間太大學(xué)習(xí)速率造成學(xué)習(xí)不穩(wěn)定，太小值又造成極長訓(xùn)練時間。自適應(yīng)學(xué)習(xí)速率經(jīng)過在確保穩(wěn)定訓(xùn)練前提下，到達(dá)了合理高速率，能夠降低訓(xùn)練時間80-90實際應(yīng)

28、用都是采取反向傳輸網(wǎng)絡(luò)。改進(jìn)技術(shù)能夠用來使反向傳輸法愈加輕易實現(xiàn)并需要更少訓(xùn)練時間ann神經(jīng)網(wǎng)絡(luò)專題知識講座第66頁BP網(wǎng)絡(luò)在數(shù)學(xué)建模中應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識講座第67頁DHNN網(wǎng)絡(luò)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第68頁單元三 支持向量機(jī)（SVM）及應(yīng)用ann神經(jīng)網(wǎng)絡(luò)專題知識講座第69頁SVM理論基礎(chǔ)線性判別函數(shù)和判別面最優(yōu)分類面支持向量機(jī)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第70頁SVM理論基礎(chǔ)傳統(tǒng)統(tǒng)計模式識別方法只有在樣本趨向無窮大時，其性能才有理論確保。統(tǒng)計學(xué)習(xí)理論（STL）研究有限樣本情況下機(jī)器學(xué)習(xí)問題。SVM理論基礎(chǔ)就是統(tǒng)計學(xué)習(xí)理論。傳統(tǒng)統(tǒng)計模式識別方法在進(jìn)行機(jī)器學(xué)習(xí)時，強(qiáng)調(diào)經(jīng)驗風(fēng)險最小化。而

29、單純經(jīng)驗風(fēng)險最小化會產(chǎn)生“過學(xué)習(xí)問題”，其推廣能力較差。推廣能力是指: 將學(xué)習(xí)機(jī)器(即預(yù)測函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對未來輸出進(jìn)行正確預(yù)測能力。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第71頁SVM理論基礎(chǔ) “過學(xué)習(xí)問題”：一些情況下，當(dāng)訓(xùn)練誤差過小反而會造成推廣能力下降。 比如：對一組訓(xùn)練樣本(x,y),x分布在實數(shù)范圍內(nèi)，y取值在0，1之間。不論這些樣本是由什么模型產(chǎn)生，咱們總能夠用y=sin(w*x)去擬合，使得訓(xùn)練誤差為0.ann神經(jīng)網(wǎng)絡(luò)專題知識講座第72頁二階模型、ANN、SVM示意 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第73頁SVM理論基礎(chǔ)依據(jù)統(tǒng)計學(xué)習(xí)理論，學(xué)習(xí)機(jī)器實際風(fēng)險由經(jīng)驗風(fēng)險值和置信范圍值兩

30、個別組成。而基于經(jīng)驗風(fēng)險最小化準(zhǔn)則學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本經(jīng)驗風(fēng)險最小誤差，沒有最小化置信范圍值，所以其推廣能力較差。Vapnik 與年提出支持向量機(jī)（Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問題約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一個基于結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則學(xué)習(xí)方法，其推廣能力顯著優(yōu)于一些傳統(tǒng)學(xué)習(xí)方法。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第74頁SVM理論基礎(chǔ)因為SVM 求解最終轉(zhuǎn)化成二次規(guī)劃問題求解，所以SVM 解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問題中.ann神經(jīng)網(wǎng)

31、絡(luò)專題知識講座第75頁線性判別函數(shù)和判別面一個線性判別函數(shù)(discriminant function)是指由x各個分量線性組合而成函數(shù) 兩類情況:對于兩類問題決議規(guī)則為假如g(x)=0，則判定x屬于C1，假如g(x)=0，則判定x屬于C1，假如g(x)0是一個常數(shù)，它控制對錯分樣本處罰程度。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第86頁支持向量機(jī)上節(jié)所得到最優(yōu)分類函數(shù)為：該式只包含待分類樣本與訓(xùn)練樣本中支持向量內(nèi)積 運算，可見,要處理一個特征空間中最優(yōu)線性分類問題,咱們只需要知道這個空間中內(nèi)積運算即可。對非線性問題, 能夠經(jīng)過非線性變換轉(zhuǎn)化為某個高維空間中線性問題, 在變換空間求最優(yōu)分類面. 這種變換可

32、能比較復(fù)雜, 所以這種思緒在普通情況下不易實現(xiàn).ann神經(jīng)網(wǎng)絡(luò)專題知識講座第87頁支持向量機(jī)核: ann神經(jīng)網(wǎng)絡(luò)專題知識講座第88頁支持向量機(jī)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第89頁核函數(shù)選擇ann神經(jīng)網(wǎng)絡(luò)專題知識講座第90頁支持向量機(jī)SVM方法特點非線性映射是SVM方法理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間非線性映射;對特征空間劃分最優(yōu)超平面是SVM目標(biāo),最大化分類邊界思想是SVM方法關(guān)鍵;支持向量是SVM訓(xùn)練結(jié)果,在SVM分類決議中起決定作用是支持向量。SVM 是一個有堅實理論基礎(chǔ)新奇小樣本學(xué)習(xí)方法。它基礎(chǔ)上不包括概率測度及大數(shù)定律等,所以不一樣于現(xiàn)有統(tǒng)計方法。從本質(zhì)上看,它避開了從歸納到

33、演繹傳統(tǒng)過程,實現(xiàn)了高效從訓(xùn)練樣本到預(yù)報樣本“轉(zhuǎn)導(dǎo)推理”(transductive inference) ,大大簡化了通常分類和回歸等問題。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第91頁支持向量機(jī)SVM方法特點SVM 最終決議函數(shù)只由少數(shù)支持向量所確定,計算復(fù)雜性取決于支持向量數(shù)目,而不是樣本空間維數(shù),這在某種意義上防止了“維數(shù)災(zāi)難”。少數(shù)支持向量決定了最終止果,這不但能夠幫助咱們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且含有很好“魯棒”性。這種“魯棒”性主要表達(dá)在:增、刪非支持向量樣本對模型沒有影響;支持向量樣本集含有一定魯棒性;有些成功應(yīng)用中,SVM 方法對核選取不敏感。a

34、nn神經(jīng)網(wǎng)絡(luò)專題知識講座第92頁SVM本質(zhì)上是兩類分類器.常見SVM多值分類器結(jié)構(gòu)方法有: ann神經(jīng)網(wǎng)絡(luò)專題知識講座第93頁回歸問題: 就是在訓(xùn)練樣本上找到一個函數(shù),它能夠從輸入域近似映射到實數(shù)值上.輸出值不再是二值.在SVM中,回歸問題被轉(zhuǎn)化為分類問題來解.ann神經(jīng)網(wǎng)絡(luò)專題知識講座第94頁支持向量機(jī)ann神經(jīng)網(wǎng)絡(luò)專題知識講座第95頁ann神經(jīng)網(wǎng)絡(luò)專題知識講座第96頁SVR存在問題：核函數(shù)及參數(shù)難以選擇SVR與BP對比ann神經(jīng)網(wǎng)絡(luò)專題知識講座第97頁單元四 含糊集及應(yīng)用含糊邏輯含糊綜合評價ann神經(jīng)網(wǎng)絡(luò)專題知識講座第98頁4.1 含糊邏輯含糊邏輯基礎(chǔ)思想是任何事情都允許有一定程度。溫度、

35、高度、速度、距離和漂亮全部這些都能夠在某個范圍內(nèi)浮動。 含糊邏輯并不是說邏輯本身是含糊，而是指用來描述含糊邏輯。含糊邏輯是含糊集理論，含糊集能夠校正含糊知識。比如：天氣很熱；昨天雨很大；他很高ann神經(jīng)網(wǎng)絡(luò)專題知識講座第99頁而布爾邏輯表示是顯著差異，迫使咱們在集合組員和非組員之間劃出顯著界限。比如，假如咱們以180cm為界限，那么就說Tom高，因為其身高為181cm，而David矮，因為其身高為179cm。不過David真矮嗎？這種分界能夠這么武斷嗎？ ann神經(jīng)網(wǎng)絡(luò)專題知識講座第100頁含糊邏輯能反應(yīng)人類是怎樣思索。它嘗試模擬人類語感、決議制訂和常識，造成了新、愈加人性化和智慧系統(tǒng)產(chǎn)生。

36、ann神經(jīng)網(wǎng)絡(luò)專題知識講座第101頁含糊或多值邏輯是波蘭邏輯學(xué)家和哲學(xué)家Jan Lukasiewicz在20世紀(jì)30年代引入。當(dāng)初經(jīng)典邏輯操作僅使用兩個值1(為真)和0(為假)Lukasiewicz引入了將真值擴(kuò)展到0和1之間全部實數(shù)邏輯。使用該范圍內(nèi)一個數(shù)值來表示某個命題為真或假可能性。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第102頁比如，身高為181cm男人確實是高可能性取值為0.86。這個人應(yīng)該是很高。關(guān)于不準(zhǔn)確推理技術(shù)理論通常稱為可能性理論。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第103頁1937年，哲學(xué)家Max Black發(fā)表了論文“Vagueness: an exercise in logical an

37、alysis”。在論文中，他討論了指示程度連續(xù)改變。構(gòu)想將無數(shù)椅子排成一行。在一端是齊本德爾式椅子，挨著它是類似齊本德爾式，但看上去和第一把椅子幾乎分不出差異。隨即椅子越來越不像椅子，最終是一根圓木。那么，椅子什么時候變成了圓木？ Max Black也定義假如連續(xù)區(qū)是離散，那么能夠為每個元素分配一個數(shù)值。他接收含糊機(jī)率。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第104頁1965年，Lotfi Zadeh教授發(fā)表了著名論文“Fuzzy sets”。實際上，Zadeh將可能性理論擴(kuò)展到數(shù)學(xué)邏輯形式系統(tǒng)中，他引入了新概念以應(yīng)用自然語言術(shù)語。這種表示和操作含糊術(shù)語新邏輯稱為含糊邏輯，Zadeh也成為“含糊邏輯之父

38、”。含糊依賴于含糊集理輪，含糊邏輯只是該理論一小個別。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第105頁含糊邏輯是基于歸屬度而不是經(jīng)典二值邏輯中清楚歸屬關(guān)系知識表示一組數(shù)學(xué)原理。和二值布爾邏輯不一樣，含糊邏輯是多值。它處理歸屬程度和可信程度。含糊邏輯使用介于0(完全為假)和1(完全為真)之間邏輯值連續(xù)區(qū)間。與非黑即白不一樣，它使用顏色色譜，能夠接收同時個別為真和個別為假事物。ann神經(jīng)網(wǎng)絡(luò)專題知識講座第106頁 (a)布爾值 (b)含糊值 布爾和含糊邏輯邏輯值范圍 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第107頁含糊集集合概念一些指定對象集在一起就成為一個集合，也簡稱集.集合中每個對象叫做這個集合元素。ann神經(jīng)網(wǎng)絡(luò)

39、專題知識講座第108頁含糊集（高個子男人）姓名身高(cm)隸屬度清楚集含糊集Chris20811.00Mark20511.00John19810.98Tom18110.82David17900.78Mike17200.24Bob16700.15Steven15800.06ill15500.01Peter15200.00ann神經(jīng)網(wǎng)絡(luò)專題知識講座第109頁ann神經(jīng)網(wǎng)絡(luò)專題知識講座第110頁水平軸表示論域某一變數(shù)全部可能取值范圍，在本例中變數(shù)是身高。按照這種表示方法，男性身高應(yīng)該包含全體男性身高。垂直軸表示含糊集中隸屬度。在本例中，“高個子男人”含糊集將身高值對應(yīng)到相對應(yīng)組員資格值。 ann神經(jīng)網(wǎng)絡(luò)專題知識講座第111頁含糊集為含有含糊邊界集合假設(shè)X為論域，其中元素可記為x。在經(jīng)典集合論中，X清楚集A定義為函數(shù)fA (x)，稱為A特征函數(shù)： fA(