Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座

分類預(yù)測：人工神經(jīng)網(wǎng)絡(luò)

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第1頁什么是人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)起源于生物神經(jīng)元研究，其研究主要對象是人腦人腦是一個高度復(fù)雜、非線性、并行處理系統(tǒng)，其中大約有1011個稱為神經(jīng)元微處理單元。這些神經(jīng)元之間相互連接，連接數(shù)目高達(dá)1015

人腦含有聯(lián)想、推理、判斷和決議能力，對人腦活動機理研究一直是一個挑戰(zhàn)人腦智能關(guān)鍵在于其連接機制，即因為大量簡單處理單元（神經(jīng)元）巧妙連接，使得人腦成為一個高度復(fù)雜大規(guī)模非線性自適應(yīng)系統(tǒng)Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第2頁什么是人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）是一個人腦抽象計算模型經(jīng)過計算機程序?qū)崿F(xiàn)對人腦系統(tǒng)模擬，形成類似于生物神經(jīng)元處理單元，并希望經(jīng)過這些處理單元有機連接，處理現(xiàn)實世界模式識別、聯(lián)想記憶、優(yōu)化計算等復(fù)雜問題人工神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于分類預(yù)測和聚類方面Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第3頁人工神經(jīng)網(wǎng)絡(luò)算法概述人工神經(jīng)網(wǎng)絡(luò)組成：由相互連接神經(jīng)元，也稱處理單元（ProcessingElement）組成。處理單元也稱結(jié)點（Node）處理單元之間連接稱為邊，反應(yīng)了各處理單元之間關(guān)聯(lián)性關(guān)聯(lián)性強弱表達(dá)在邊權(quán)值上Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第4頁人工神經(jīng)網(wǎng)絡(luò)算法概述人工神經(jīng)網(wǎng)絡(luò)種類：從拓?fù)浣Y(jié)構(gòu)角度劃分：網(wǎng)絡(luò)層數(shù)：兩層神經(jīng)網(wǎng)絡(luò)、三層神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)結(jié)點作用結(jié)點個數(shù)Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第5頁人工神經(jīng)網(wǎng)絡(luò)算法概述人工神經(jīng)網(wǎng)絡(luò)種類：從連接方式角度劃分：層間連接前饋式神經(jīng)網(wǎng)絡(luò)：連接是單向，上層結(jié)點輸出是下層結(jié)點輸入。B-P、Kohonen反饋式神經(jīng)網(wǎng)絡(luò)：除單向連接外，輸出結(jié)點輸出又作為輸入結(jié)點輸入。Hopfield層內(nèi)連接方式是指神經(jīng)網(wǎng)絡(luò)同層結(jié)點之間相互連接，如Kohonen網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)種類：從學(xué)習(xí)方式角度劃分：感知機：采取有指導(dǎo)學(xué)習(xí)方法認(rèn)知機：采取無指導(dǎo)學(xué)習(xí)方法Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第6頁人工神經(jīng)網(wǎng)絡(luò)中結(jié)點和意義接收上層結(jié)點輸出作為本結(jié)點輸入，對輸入進(jìn)行計算后給出本結(jié)點輸出加法器：激活函數(shù)：Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第7頁人工神經(jīng)網(wǎng)絡(luò)中結(jié)點和意義各種激活函數(shù)：Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第8頁人工神經(jīng)網(wǎng)絡(luò)中結(jié)點和意義3，4，5處理單元偏差為0，激活函數(shù)為(0,1)型Sigmoid函數(shù)：結(jié)點3：U為：1×0.2＋0.5×0.5=0.45，激活函數(shù)值為：y1=f(0.45)＝0.61結(jié)點4：U為：1×(－0.6)＋0.5×(－1.0)=－1.1，激活函數(shù)值為：y2=f(－1.1)＝0.25結(jié)點5：U為：0.61×1.0＋0.25×(－0.5)=0.735，激活函數(shù)值為：y3=f(0.735)＝0.68Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第9頁人工神經(jīng)網(wǎng)絡(luò)中結(jié)點和意義在加法器和激活函數(shù)共同作用下，結(jié)點起到了一個超平面作用

第一，怎樣定位一個超平面

第二，假如n維空間中樣本點線性不可分將會怎樣

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第10頁人工神經(jīng)網(wǎng)絡(luò)建立普通步驟

數(shù)據(jù)準(zhǔn)備數(shù)值型變量數(shù)據(jù)標(biāo)準(zhǔn)化處理

[0，1]分類型變量網(wǎng)絡(luò)結(jié)構(gòu)確實定隱層層數(shù)和各隱層中隱結(jié)點個數(shù)決定復(fù)雜度

網(wǎng)絡(luò)結(jié)構(gòu)不一定在模型建立之前就完全確定

有4、5、6個類別分類變量都只需要3個變量即可

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第11頁人工神經(jīng)網(wǎng)絡(luò)建立普通步驟

網(wǎng)絡(luò)權(quán)值確實定第一，初始化網(wǎng)絡(luò)權(quán)值：默認(rèn)為來自均值為0，取值范圍在－0.5至0.5之間正態(tài)分布隨機數(shù)

0附近、隨機數(shù)、小區(qū)間第二，計算各處理單元加法器和激活函數(shù)值，得到樣本分類預(yù)測值第三，比較樣本預(yù)測值與實際值并計算誤差，依據(jù)誤差值重新調(diào)整各網(wǎng)絡(luò)權(quán)值第四，返回到第二步

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第12頁感知機B-P反向傳輸網(wǎng)絡(luò)是一個前饋式、多層、感知機網(wǎng)絡(luò)每個樣本都會提供關(guān)于輸入輸出變量數(shù)量關(guān)系信息，應(yīng)依次向每個樣本學(xué)習(xí)，并依據(jù)誤差調(diào)整網(wǎng)絡(luò)權(quán)值Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第13頁第一，0時刻，初始化各個網(wǎng)絡(luò)權(quán)值和輸出結(jié)點偏差第二，輸入訓(xùn)練樣本，t時刻：X=(X1(t),X2(t),…Xn(t))第三，計算輸出結(jié)點預(yù)測值，t時刻當(dāng)輸出變量為數(shù)值型采取Sigmoid函數(shù)，為分類時普通采取[0,1]階躍函數(shù)

感知機訓(xùn)練步驟Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第14頁第四，計算輸出結(jié)點期望值與預(yù)測值誤差，t時刻：對于二分類輸出變量，錯判為0則為1，錯判為1則為－1第五，調(diào)整第i個輸入結(jié)點和第j個輸出結(jié)點之間網(wǎng)絡(luò)權(quán)值和偏差第六，判斷是否滿足迭代終止條件。假如沒有滿足，則重新回到第二步delta規(guī)則

感知機訓(xùn)練步驟沖量學(xué)習(xí)率Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第15頁設(shè)

為1，

為0.1，

為0，激活函數(shù)f=U

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第16頁B-P反向傳輸網(wǎng)絡(luò)特點：激活函數(shù)采取Sigmoid函數(shù)、包含隱層、反向傳輸隱層作用：實現(xiàn)非線性樣本線性化轉(zhuǎn)化

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第17頁B-P反向傳輸網(wǎng)絡(luò)反向傳輸：正向傳輸：樣本信息從輸入層開始，由上至下逐層被隱結(jié)點計算處理，上層結(jié)點輸出為下層結(jié)點輸入，最終被傳輸?shù)捷敵鰧咏Y(jié)點并得到預(yù)測結(jié)果。傳輸期間全部網(wǎng)絡(luò)權(quán)值保持不變反向傳輸：誤差又被逐層反方向傳回給輸入結(jié)點。傳輸期間全部網(wǎng)絡(luò)權(quán)值均得到調(diào)整。這種正向傳輸和反向傳輸過程將不停重復(fù)，直到滿足終止條件為止Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第18頁反向傳輸算法計算某輸出節(jié)點預(yù)測誤差：輸出節(jié)點總誤差：找到誤差函數(shù)下降最快方向和最大值

假如t時刻權(quán)值W偏導(dǎo)數(shù)存在，則W軸上方向?qū)?shù)就是誤差函數(shù)對W偏導(dǎo)。因為Sigmoid激活函數(shù)處處可微，滿足該條件。Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第19頁反向傳輸算法結(jié)點j局部梯度

第l隱層第j個結(jié)點，局部梯度定義為輸出誤差經(jīng)過神經(jīng)網(wǎng)絡(luò)依次反向傳遞，并計算每個結(jié)點局部梯度

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第20頁網(wǎng)絡(luò)結(jié)構(gòu)確實定

采取經(jīng)驗值法快速（Quick）訓(xùn)練法，只包含一個隱層，隱結(jié)點數(shù)默認(rèn)為

多層訓(xùn)練法

動態(tài)調(diào)整法：動態(tài)削剪法

動態(tài)增補法

B-P反向傳輸網(wǎng)絡(luò)：其它問題Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第21頁學(xué)習(xí)率

和沖量項

沖量項

加緊學(xué)習(xí)過程，甚至能夠遠(yuǎn)離開平坦區(qū)域，通常該值經(jīng)驗值為0.9

B-P反向傳輸網(wǎng)絡(luò)：其它問題Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第22頁敏感性分析敏感性分析目標(biāo)是要得到各輸入變量對輸出變量敏感性系數(shù)，以及敏感性系數(shù)排序結(jié)果基于網(wǎng)絡(luò)權(quán)值Tchaban算法:權(quán)積(WeightProduct)法：輸入變量xi對輸出變量y

k敏感性系數(shù)定義為B-P反向傳輸網(wǎng)絡(luò)：其它問題Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第23頁基本模型調(diào)整模型：UsebinarysetencodingNeuralNetExpert卡，選擇Expert選項自行設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)。如1個隱層，10個隱結(jié)點，在預(yù)測精度沒有顯著改進(jìn)時依然連續(xù)訓(xùn)練100周期等B-P反向傳輸網(wǎng)絡(luò)應(yīng)用示例對客戶流失建立預(yù)測模型

Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第24頁徑向基函數(shù)網(wǎng)絡(luò)徑向基函數(shù)（RadicalBasicFunction,RBF）網(wǎng)絡(luò)是一個前饋式網(wǎng)絡(luò)，Moody和Darken在1988年提出。徑向基函數(shù)網(wǎng)絡(luò)特點：徑向基函數(shù)網(wǎng)絡(luò)是三層網(wǎng)絡(luò)結(jié)構(gòu)隱結(jié)點采取徑向基函數(shù)（因而得名徑向基函數(shù)網(wǎng)絡(luò)），輸出結(jié)點采取線性加法器和Sigmoid激活函數(shù)徑向基函數(shù)網(wǎng)絡(luò)輸入層和隱層之間網(wǎng)絡(luò)權(quán)值固定為1，只有隱層和輸出層之間網(wǎng)絡(luò)權(quán)值需在學(xué)習(xí)過程調(diào)整，所以學(xué)習(xí)效率相對要高。Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第25頁徑向基函數(shù)網(wǎng)絡(luò)隱結(jié)點：徑向基函數(shù)通常定義為空間中任意一點x到某個中心xc之間歐氏距離單調(diào)函數(shù)，記為ker(||x－xc||)徑向基函數(shù)網(wǎng)絡(luò)中隱結(jié)點采取是高斯核函數(shù)xc稱為核函數(shù)中心，

稱為寬度，

h稱為徑向覆蓋長度關(guān)鍵是核中心xc和寬度

預(yù)計隱結(jié)點為非線性函數(shù)，實現(xiàn)了輸入層到隱層非線性映射Modeler分類預(yù)測神經(jīng)網(wǎng)絡(luò)算法專家講座第26頁徑向基函數(shù)網(wǎng)絡(luò)輸出結(jié)點：輸出結(jié)點輸入，是