第9章神經(jīng)網(wǎng)絡

第9章神經(jīng)網(wǎng)絡第9章神經(jīng)網(wǎng)絡9.1引例9.2人工神經(jīng)網(wǎng)絡9.2.2神經(jīng)元模型9.3BP算法9.4工具包應用1/13/202329.1引例對于由第1式給出的系統(tǒng)，可以產(chǎn)生一系列的數(shù)據(jù)假設第1式我們并不知道，但是我們可以用第2式給出的多元線性回歸找到近似規(guī)律，但這種方式并沒有很好的精度人工神經(jīng)網(wǎng)絡可以逼近任意非線性規(guī)律1/13/202339.2人工神經(jīng)網(wǎng)絡9.2.1人工神經(jīng)網(wǎng)絡概述9.2.2神經(jīng)元模型9.2.3網(wǎng)絡結(jié)構(gòu)1/13/202349.2.1人工神經(jīng)網(wǎng)絡概述第一個階段可稱之為啟蒙階段(1943年)，這是神經(jīng)網(wǎng)絡理論研究的奠基階段第二階段是低潮期（1969年）?！禤erception》一書，指出簡單的線性感知器的功能是有限的，它無法解決線性不可分的兩類樣本的分類問題第三個階段為神經(jīng)網(wǎng)絡的復興時期（1982年），這是神經(jīng)網(wǎng)絡理論研究的主要發(fā)展時期1/13/202359.2.2神經(jīng)元模型其中x1,x2,…,xn是輸入y是輸出為內(nèi)部狀態(tài)的反饋信息和θ為閾值，F(xiàn)是表示神經(jīng)元活動的特性函數(shù)。特征函數(shù)又包括分段線性特性函數(shù)、閾值特性函數(shù)、S型邏輯特性函數(shù)x1x2…xn∑θFy1/13/202369.2.3網(wǎng)絡結(jié)構(gòu)根據(jù)節(jié)點層數(shù)，可分為單層網(wǎng)絡和多層網(wǎng)絡根據(jù)有無反饋，可分為前饋網(wǎng)絡和反饋網(wǎng)絡...輸入層隱層輸出層x1x2...xmh1hky1yn...1/13/202379.3BP算法9.3.1網(wǎng)絡結(jié)構(gòu)和數(shù)據(jù)示例9.3.2有序?qū)?shù)9.3.3計算誤差信號對參數(shù)的有序?qū)?shù)9.3.4梯度下降9.3.5BP算法描述1/13/202389.3.1網(wǎng)絡結(jié)構(gòu)和數(shù)據(jù)示例讓待定參數(shù)a和b沿著偏導數(shù)的負方向前進，就可以使得總體誤差下降x1,1x1,2x0,1x0,2f1,1f1,2誤差計算：誤差對a的偏導：誤差對b的偏導：1/13/202399.3.2有序?qū)?shù)計算因變量對自變量的偏導數(shù)，可以把另外的自變量作為常數(shù)計算有序?qū)?shù)時，不能把另外的自變量作為常數(shù)，因為這些自變量可能是這個自變量的函數(shù)偏導數(shù)：有序?qū)?shù)：1/13/2023109.3.3計算誤差信號對參數(shù)的有序?qū)?shù)獲得誤差信號的計算公式獲得誤差信號對于某個輸出的有序?qū)?shù)獲得誤差信號對于某個參數(shù)的有序?qū)?shù)訓練數(shù)據(jù)的誤差信號：誤差信號對參數(shù)的有序?qū)?shù)：1/13/2023119.3.4梯度下降讓參數(shù)向著有序?qū)?shù)的負方向變化，使得誤差信號下降參數(shù)α增加第1公式計算所得的Δα，就可以使得誤差信號下降步長η的取值要適中某個參數(shù)的改變量：學習速率（改變速率）：1/13/2023129.3.5BP算法描述輸入：給定訓練集Xtrain，其中每一個訓練樣本都是由一組輸入和一組輸出構(gòu)成，所有的輸入和輸出都是[0,1]之間的浮點數(shù)據(jù)（如果不是，要首先通過數(shù)據(jù)變換把它們映射到[0,1]區(qū)間）；神經(jīng)網(wǎng)絡結(jié)構(gòu)：隱含層節(jié)點數(shù)目；神經(jīng)網(wǎng)絡每個節(jié)點的、參數(shù)化了的特征函數(shù)。輸出：神經(jīng)網(wǎng)絡每個節(jié)點特征函數(shù)的參數(shù)。（1）按照有序?qū)?shù)計算公式計算總體誤差對于每個參數(shù)的有序?qū)?shù)公式（函數(shù)）；（2）任意選擇一組數(shù)據(jù)作為初始參數(shù)，一般選?。?,0,…,0），把這組初始參數(shù)作為當前參數(shù)；（3）根據(jù)當前參數(shù)和總體誤差計算公式計算總體誤差，如果誤差足夠小，就把當前參數(shù)作為輸出，退出；否則，繼續(xù)下面的步驟；（4）根據(jù)參數(shù)調(diào)整公式和當前參數(shù)數(shù)值，計算總體誤差對于各參數(shù)的有序?qū)?shù)數(shù)值；

（5）計算各個參數(shù)的調(diào)整大小，并計算調(diào)整后的參數(shù)大小。把調(diào)整后的參數(shù)作為當前參數(shù)，回到第（3）步。

1/13/2023139.4工具包應用第1步，新建數(shù)據(jù)庫第2步，新建數(shù)據(jù)表第3步，安裝補丁第4步，建立數(shù)據(jù)連接第5步，選擇挖掘結(jié)構(gòu)第6步，進行預測1/13/202314第1步，新建數(shù)據(jù)庫在MSSQLServer2005中新建一個數(shù)據(jù)庫NeuralDatabase1/13/202315第2步，新建數(shù)據(jù)表在數(shù)據(jù)庫NeuralDatabase中新建數(shù)據(jù)表Table_11/13/202316第3步，安裝補丁到微軟的網(wǎng)站details.aspx?displaylang=zh-cn&FamilyId=CB6C71EA-D649-47FF-9176-E7CAC58FD4BC下載補丁安裝這個補丁后，可以消除神經(jīng)網(wǎng)絡預測模型中的Bug1/13/202317第4步，建立數(shù)據(jù)連接在SQLServerBusinessIntelligenceDevelopmentStudio中建立商業(yè)智能項目建立這個項目和所新建數(shù)據(jù)庫的連接1/13/202318第5步，選擇挖掘結(jié)構(gòu)對于下拉框“您要是用何種挖掘技術(shù)？”，選擇“Microsoft神經(jīng)網(wǎng)絡”按照上圖對列進行設置1/13/202319第6步，進行預測上圖所示