第9章神經(jīng)網(wǎng)絡(luò)

第9章神經(jīng)網(wǎng)絡(luò)第1頁/共22頁2023/4/222第9章神經(jīng)網(wǎng)絡(luò)9.1引例9.2人工神經(jīng)網(wǎng)絡(luò)9.2.2神經(jīng)元模型9.3BP算法9.4工具包應(yīng)用第2頁/共22頁2023/4/2239.1引例對于由第1式給出的系統(tǒng)，可以產(chǎn)生一系列的數(shù)據(jù)假設(shè)第1式我們并不知道，但是我們可以用第2式給出的多元線性回歸找到近似規(guī)律，但這種方式并沒有很好的精度人工神經(jīng)網(wǎng)絡(luò)可以逼近任意非線性規(guī)律第3頁/共22頁2023/4/2249.2人工神經(jīng)網(wǎng)絡(luò)9.2.1人工神經(jīng)網(wǎng)絡(luò)概述9.2.2神經(jīng)元模型9.2.3網(wǎng)絡(luò)結(jié)構(gòu)第4頁/共22頁2023/4/2259.2.1人工神經(jīng)網(wǎng)絡(luò)概述第一個階段可稱之為啟蒙階段(1943年)，這是神經(jīng)網(wǎng)絡(luò)理論研究的奠基階段第二階段是低潮期（1969年）?！禤erception》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題第三個階段為神經(jīng)網(wǎng)絡(luò)的復(fù)興時期（1982年），這是神經(jīng)網(wǎng)絡(luò)理論研究的主要發(fā)展時期第5頁/共22頁2023/4/2269.2.2神經(jīng)元模型其中x1,x2,…,xn是輸入y是輸出為內(nèi)部狀態(tài)的反饋信息和θ為閾值，F(xiàn)是表示神經(jīng)元活動的特性函數(shù)。特征函數(shù)又包括分段線性特性函數(shù)、閾值特性函數(shù)、S型邏輯特性函數(shù)x1x2…xn∑θFy第6頁/共22頁2023/4/2279.2.3網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)節(jié)點層數(shù)，可分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)根據(jù)有無反饋，可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)...輸入層隱層輸出層x1x2...xmh1hky1yn...第7頁/共22頁2023/4/2289.3BP算法9.3.1網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)示例9.3.2有序?qū)?shù)9.3.3計算誤差信號對參數(shù)的有序?qū)?shù)9.3.4梯度下降9.3.5BP算法描述第8頁/共22頁2023/4/2299.3.1網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)示例讓待定參數(shù)a和b沿著偏導(dǎo)數(shù)的負方向前進，就可以使得總體誤差下降x1,1x1,2x0,1x0,2f1,1f1,2誤差計算：誤差對a的偏導(dǎo)：誤差對b的偏導(dǎo)：第9頁/共22頁2023/4/22109.3.2有序?qū)?shù)計算因變量對自變量的偏導(dǎo)數(shù)，可以把另外的自變量作為常數(shù)計算有序?qū)?shù)時，不能把另外的自變量作為常數(shù)，因為這些自變量可能是這個自變量的函數(shù)偏導(dǎo)數(shù)：有序?qū)?shù)：第10頁/共22頁2023/4/22119.3.3計算誤差信號對參數(shù)的有序?qū)?shù)獲得誤差信號的計算公式獲得誤差信號對于某個輸出的有序?qū)?shù)獲得誤差信號對于某個參數(shù)的有序?qū)?shù)訓(xùn)練數(shù)據(jù)的誤差信號：誤差信號對參數(shù)的有序?qū)?shù)：第11頁/共22頁2023/4/22129.3.4梯度下降讓參數(shù)向著有序?qū)?shù)的負方向變化，使得誤差信號下降參數(shù)α增加第1公式計算所得的Δα，就可以使得誤差信號下降步長η的取值要適中某個參數(shù)的改變量：學(xué)習(xí)速率（改變速率）：第12頁/共22頁2023/4/22139.3.5BP算法描述輸入：給定訓(xùn)練集Xtrain，其中每一個訓(xùn)練樣本都是由一組輸入和一組輸出構(gòu)成，所有的輸入和輸出都是[0,1]之間的浮點數(shù)據(jù)（如果不是，要首先通過數(shù)據(jù)變換把它們映射到[0,1]區(qū)間）；神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：隱含層節(jié)點數(shù)目；神經(jīng)網(wǎng)絡(luò)每個節(jié)點的、參數(shù)化了的特征函數(shù)。輸出：神經(jīng)網(wǎng)絡(luò)每個節(jié)點特征函數(shù)的參數(shù)。（1）按照有序?qū)?shù)計算公式計算總體誤差對于每個參數(shù)的有序?qū)?shù)公式（函數(shù)）；（2）任意選擇一組數(shù)據(jù)作為初始參數(shù)，一般選?。?,0,…,0），把這組初始參數(shù)作為當(dāng)前參數(shù)；（3）根據(jù)當(dāng)前參數(shù)和總體誤差計算公式計算總體誤差，如果誤差足夠小，就把當(dāng)前參數(shù)作為輸出，退出；否則，繼續(xù)下面的步驟；（4）根據(jù)參數(shù)調(diào)整公式和當(dāng)前參數(shù)數(shù)值，計算總體誤差對于各參數(shù)的有序?qū)?shù)數(shù)值；

（5）計算各個參數(shù)的調(diào)整大小，并計算調(diào)整后的參數(shù)大小。把調(diào)整后的參數(shù)作為當(dāng)前參數(shù)，回到第（3）步。

第13頁/共22頁2023/4/22149.4工具包應(yīng)用第1步，新建數(shù)據(jù)庫第2步，新建數(shù)據(jù)表第3步，安裝補丁第4步，建立數(shù)據(jù)連接第5步，選擇挖掘結(jié)構(gòu)第6步，進行預(yù)測第14頁/共22頁2023/4/2215第1步，新建數(shù)據(jù)庫在MSSQLServer2005中新建一個數(shù)據(jù)庫NeuralDatabase第15頁/共22頁2023/4/2216第2步，新建數(shù)據(jù)表在數(shù)據(jù)庫NeuralDatabase中新建數(shù)據(jù)表Table_1第16頁/共22頁2023/4/2217第3步，安裝補丁到微軟的網(wǎng)站/downloads/details.aspx?displaylang=zh-cn&FamilyId=CB6C71EA-D649-47FF-9176-E7CAC58FD4BC下載補丁SQLServer2005SP1-KB913090-x64-CHS.exe安裝這個補丁后，可以消除神經(jīng)網(wǎng)絡(luò)預(yù)測模型中的Bug第17頁/共22頁2023/4/2218第4步，建立數(shù)據(jù)連接在SQLServerBusinessIntelligenceDevelopmentStudio中建立商業(yè)智能項目建立這個項目和所新建數(shù)據(jù)庫的連接第18頁/共22頁2023/4/2219第5步，選擇挖掘結(jié)構(gòu)對于下拉框“您要是用何種挖掘技術(shù)？”，選擇“Microsoft神經(jīng)網(wǎng)絡(luò)”按照上圖對列進行設(shè)置第19頁/共22頁2023/4/2220第6步，進行預(yù)測上圖所示功能說明：各個變量對結(jié)果的貢獻程度