數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetworks(ANN)由生物神經(jīng)系統(tǒng)(如人腦)所引發(fā)信息處理框架。結(jié)構(gòu):大量互連信息處理單元，即神經(jīng)元(neuron)，相互協(xié)作，共同處理問題。向人類一樣,神經(jīng)網(wǎng)絡(luò)從實例中進行學習。原理簡單，功效強大。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第1頁神經(jīng)網(wǎng)絡(luò)發(fā)展史1943，McCulloch&Pitts最先提出神經(jīng)網(wǎng)絡(luò)。十九世紀五六十年代，大量學者研究感知器。1969，Minsky&Papert論證了感知器功效有限。從此神經(jīng)網(wǎng)絡(luò)研究停滯了15年。十九世紀八十年代中期，BP算法、SOM提出使神經(jīng)網(wǎng)絡(luò)研究重新復(fù)蘇。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第2頁神經(jīng)網(wǎng)絡(luò)本質(zhì)一個簡化人腦模擬模型。從本質(zhì)上講，是一個功效模擬器。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第3頁神經(jīng)網(wǎng)絡(luò)組成由大量相互連接神經(jīng)元(neuron)組成，這些神經(jīng)元相互協(xié)作，共同完成復(fù)雜功效。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第4頁神經(jīng)網(wǎng)絡(luò)普通結(jié)構(gòu)訓練神經(jīng)網(wǎng)絡(luò)意味著學習神經(jīng)元之間連接權(quán)重數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第5頁神經(jīng)網(wǎng)絡(luò)與人類大腦人類大腦大約有1011個神經(jīng)元。這些神經(jīng)元經(jīng)過神經(jīng)突觸相互連接。平均每個神經(jīng)元與其它104個神經(jīng)元相互連接。神經(jīng)元之間通信時間10-3秒。ANN研究動機是模擬人腦，但因為當前技術(shù)限制，ANN與真正人腦相去甚遠。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第6頁人工腦

認為人工腦現(xiàn)在不能與人腦匹敵原因突出表現(xiàn)在神經(jīng)元數(shù)量對比上。提升人工腦神經(jīng)元數(shù)量，宣稱他開發(fā)人工腦可達貓腦水平。很多學者也認為，除了數(shù)量以外，人腦神經(jīng)元間“結(jié)構(gòu)”也非常主要。批評者們認為Garis求"量"不求"質(zhì)"。

HugodeGaris數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第7頁感知器(Perceptron)最早含有學習能力神經(jīng)網(wǎng)絡(luò)只有輸入神經(jīng)元和輸出神經(jīng)元輸入神經(jīng)元通常只有兩個狀態(tài):ON和OFF輸出神經(jīng)元使用簡單閾值(threshold)激勵函數(shù)只能處理線性問題，應(yīng)用范圍有限數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第8頁一個感知器例子若3個輸入中最少有兩個為1，則輸出結(jié)果為1數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第9頁打開黑盒數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第10頁用感知器分類由互連結(jié)點和帶有權(quán)重連接所組成模型。對輸入值加權(quán)求和將加權(quán)求和結(jié)果與某個閾值t進行比較PerceptronModelor數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第11頁感知器中權(quán)重確實定有監(jiān)督訓練若輸出有誤，則依據(jù)以下公式調(diào)整權(quán)重:數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第12頁感知器缺點只有二值輸入和二值輸出。只有輸入和輸出兩層。1969年，Minsky&Papert論證了感知器功效有限，無法表示一些邏輯功效，如XOR。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第13頁多層前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)普遍采取這種形式是感知器擴展多個層次，輸入輸出之間層稱為隱含層(hiddenlayer)激勵函數(shù)不再是簡單閾值，通常是sigmoid函數(shù)通用功效模擬器，應(yīng)用范圍不再局限于線性問題信息單向傳遞當前層輸出組成了下一層輸入反向更新權(quán)重數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第14頁激勵函數(shù)(activationfunction)用輸入神經(jīng)元加權(quán)和來產(chǎn)生輸出。絕大多數(shù)神經(jīng)網(wǎng)絡(luò)使用sigmoid函數(shù)。平滑、連續(xù)、且單調(diào)遞增值域有明確上下限，不過開區(qū)間，即無法到達最大值和最小值數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第15頁sigmoid函數(shù)最慣用sigmoid函數(shù)是f(x)=1/(1+ex)在神經(jīng)網(wǎng)絡(luò)中，激勵函數(shù)導數(shù)十分主要，該函數(shù)導數(shù)實用f‘(x)=f(x)(1f(x))其余sigmoid函數(shù)還有：雙曲正切(hyperbolictangent)反正切(arctangent)數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第16頁訓練(training)有監(jiān)督訓練向NN提供輸入數(shù)據(jù)和理想輸出數(shù)據(jù)評價神經(jīng)網(wǎng)絡(luò)對輸入響應(yīng)，依據(jù)實際輸出與理想輸出差異來修改權(quán)重。無監(jiān)督訓練只提供輸入數(shù)據(jù)和理想輸出數(shù)據(jù)NN自行調(diào)整權(quán)重，使得相同輸入會得到相同輸出。即NN在沒有外界幫助條件下，自動確定模式及其差異。Epoch從提供輸入到NN更新一次權(quán)重一次迭代過程訓練神經(jīng)網(wǎng)絡(luò)需要屢次epochs。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第17頁權(quán)重確實定神經(jīng)網(wǎng)絡(luò)中，權(quán)重作用至關(guān)主要，學習神經(jīng)網(wǎng)絡(luò)實際上就是學習其連接權(quán)重。訓練就是向NN模型提供樣本數(shù)據(jù)，并不停修改權(quán)重，使其更加好完成理想功效。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第18頁反向傳輸?shù)玫骄W(wǎng)絡(luò)中多個權(quán)重最普遍做法有監(jiān)督訓練關(guān)鍵思想是基于對錯誤函數(shù)導數(shù)最小化簡單效率低易于陷入局部最小值數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第19頁BP(Backpropagationalgorithm)算法1.初始化確定輸入層、隱含層和輸出層結(jié)點數(shù)量隨機產(chǎn)生(1.0,1.0)之間權(quán)重選擇一個[0,1]之間學習率確定結(jié)束條件2.對每條訓練實例:輸入神經(jīng)網(wǎng)絡(luò)，計算輸出結(jié)果確定輸犯錯誤更新權(quán)重3.若未滿足終止條件，則轉(zhuǎn)步驟24.測試神經(jīng)網(wǎng)絡(luò)精度。若不滿意，則更改參數(shù)重新訓練。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第20頁示例理想輸出：0.65數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第21頁計算實際輸出結(jié)點j輸入:0.2*1+0.3*0.4+(-0.1)*0.7=0.25結(jié)點j輸出:1/(1+e-0.25)=0.562結(jié)點i輸入:0.1*1.0+(-0.1)*0.4+0.2*0.7=0.2結(jié)點i輸出:1/(1+e-0.2)=0.550結(jié)點k輸入:0.1*0.562+0.5*0.550=0.331結(jié)點k輸出:1/(1+e-0.331)=0.582數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第22頁輸出層結(jié)點錯誤計算Error(k)=(T

Ok)f’(xk)T:目標輸出Ok:輸出結(jié)點k計算輸出值f’(xk):輸出結(jié)點ksigmoid函數(shù)一階導數(shù)xk:輸出結(jié)點k輸入值Error(k)=(T

Ok)Ok(1Ok)Error(k)=(0.650.582)*0.582*(10.582)=0.017數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第23頁隱含層結(jié)點錯誤計算Error(j)=(kError(k)Wjk)f’(xj)Error(k):輸出層結(jié)點k錯誤Wjk

:連接隱含層結(jié)點j與輸出層結(jié)點k權(quán)重f’(xj)

:隱含層結(jié)點jsigmoid函數(shù)一階導數(shù)xj:隱含層結(jié)點j輸入值Error(j)=0.017*0.1*0.562*(10.562)=0.00042Error(i)計算留作練習。數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第24頁權(quán)重更新wjk(new)=wjk(old)+wjkwjk=*Error(k)*Oj:學習率,0<<1Error(k):結(jié)點k錯誤Oj:結(jié)點j輸出假設(shè)=0.5wjk=

0.1+0.5*0.017*0.562=0.1048w1j=

0.2+0.5*0.00042*1.0=0.w2j=

0.3+0.5*0.00042*0.4=0.300084w3j=

0.1+0.5*0.00042*0.7=0.099853與i相關(guān)權(quán)重更新留作練習數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第25頁隱含層與神經(jīng)元對絕大多數(shù)問題，一層隱含層就足夠了當目標函數(shù)不連續(xù)時，普通需要兩層隱含層神經(jīng)元數(shù)量對性能影響很關(guān)鍵:太少，Underfitting太多，Overfitting多憑經(jīng)驗，普通從少許結(jié)點開始，伴隨訓練不停增加結(jié)點數(shù)量數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第26頁訓練策略在線訓練(Onlinetraining):每處理一個訓練實例，就更新一次權(quán)重。離線訓練(Offlinetraining):把全部訓練實例都處理一遍之后，再更新權(quán)重。在線學習應(yīng)用范圍廣、簡單易行對單個訓練實例敏感產(chǎn)生局部極值幾率比離線訓練小數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第27頁利用梯度下降法更新權(quán)重優(yōu)點實現(xiàn)簡單使用范圍廣，使用效果很好缺點效率低易于陷入局部極小值，從而無法得到最優(yōu)解數(shù)據(jù)挖掘技術(shù)前饋神經(jīng)網(wǎng)絡(luò)第28頁模擬退火方法(SimulatedAnnealing)優(yōu)點：

全局最優(yōu)，可確保得到最優(yōu)解。缺點：

比梯度下降效率低，實