數(shù)據(jù)挖掘神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)

vicky2自動(dòng)駕駛汽車在高速公路上常速行駛。采用固定在汽車上的照相機(jī)的30*32像素作為輸入（960個(gè)輸入單元），輸出為駕駛方向（30個(gè)輸出單元）。內(nèi)容要點(diǎn)神經(jīng)網(wǎng)絡(luò)介紹BP算法基本步驟神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要參數(shù)的選擇神經(jīng)網(wǎng)絡(luò)方法特點(diǎn)神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)是人工智能中研究比較成熟的技術(shù)。最早是由心理學(xué)家和神經(jīng)生物學(xué)家提出的，旨在尋求和測試神經(jīng)的計(jì)算模擬。神經(jīng)網(wǎng)絡(luò)介紹神經(jīng)網(wǎng)絡(luò)是一組連接的輸入/輸出單元（節(jié)點(diǎn)和有向鏈），其中每個(gè)連接都與一個(gè)權(quán)值相連。在學(xué)習(xí)階段，通過不斷調(diào)整神經(jīng)網(wǎng)絡(luò)的相連權(quán)值，使得能夠正確預(yù)測輸入樣本的目標(biāo)值。神經(jīng)網(wǎng)絡(luò)構(gòu)成神經(jīng)網(wǎng)絡(luò)通常由輸入層、輸出層和隱藏層組成，輸入層的神經(jīng)元個(gè)數(shù)可以等于樣本的特征數(shù)＋１(對應(yīng)模型中的截距項(xiàng))輸出層就是分類判決層，它的神經(jīng)元個(gè)數(shù)等于樣本的類別數(shù)（２分類１個(gè)節(jié)點(diǎn)）或采用其他編碼方式從而確定需要的節(jié)點(diǎn)個(gè)數(shù)。每個(gè)連接具有一個(gè)權(quán)值非輸入節(jié)點(diǎn)激活函數(shù)（轉(zhuǎn)換函數(shù)、擠壓函數(shù)）激活函數(shù)神經(jīng)網(wǎng)絡(luò)流行算法目前最流行的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是：后向傳播算法（Back-propagation,BP）。它通過迭代地處理一組訓(xùn)練樣本，將每個(gè)樣本的網(wǎng)絡(luò)預(yù)測與實(shí)際值比較，進(jìn)行學(xué)習(xí)。對于每個(gè)訓(xùn)練樣本，修改連接權(quán)值，使得網(wǎng)絡(luò)預(yù)測與實(shí)際類值之間的均方誤差最小。這種修改“后向”地進(jìn)行,即由輸出層，經(jīng)由每個(gè)隱藏層，到第一個(gè)隱藏層。BP算法基本步驟1．初始化網(wǎng)絡(luò)各層的權(quán)值及神經(jīng)元閾值（偏倚）。（一個(gè)小的隨機(jī)數(shù)）2.

向前傳播輸入計(jì)算預(yù)測值：對每一樣本，計(jì)算隱藏層和輸出層每個(gè)單元的凈輸入和輸出。

前向傳播輸入激活函數(shù)采用符號函數(shù)例如：對第二個(gè)觀測，v=w0*x0+w1*x1+w2*x2-0.4=0.2>0y=1BP算法基本步驟3.后向傳播誤差并調(diào)整權(quán)值OOOOOO輸出向量輸出節(jié)點(diǎn)隱藏層節(jié)點(diǎn)輸入節(jié)點(diǎn)輸入向量BP算法基本步驟4.循環(huán)對訓(xùn)練集執(zhí)行2-3步。實(shí)例更新：每個(gè)觀測執(zhí)行一遍；周期更新：所有觀測前向傳播一遍，累計(jì)權(quán)重和偏倚的變動(dòng)，只執(zhí)行一遍更新BP算法訓(xùn)練終止條件更新權(quán)值較?。?quán)值收斂逼近一個(gè)固定值）正確分類率達(dá)到預(yù)期或在測試集上的誤差開始增加）超過預(yù)先指定的訓(xùn)練周期（實(shí)踐中，權(quán)收斂可能需要數(shù)十萬個(gè)周期）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)舉例……o1o2omwnmw11w1mw2mwn1w21……wo11wo21wom1ownmw11w1mw2mwn1w21－如果太小，可能要幾天才收斂－如果太大，可能會(huì)發(fā)散

訓(xùn)練神經(jīng)網(wǎng)絡(luò)關(guān)鍵參數(shù)—學(xué)習(xí)率一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。

在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。訓(xùn)練神經(jīng)網(wǎng)絡(luò)—隱層數(shù)在BP網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接原因。

確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。

研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。隱層節(jié)點(diǎn)數(shù)

在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1（其中N為訓(xùn)練樣本數(shù)），否則，建立的網(wǎng)絡(luò)模型沒有泛化能力，也沒有任何實(shí)用價(jià)值。同理可推得：輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小于N-1。(2)訓(xùn)練樣本數(shù)必須多于網(wǎng)絡(luò)模型的連接權(quán)數(shù)，一般為2~10倍。確定隱層節(jié)點(diǎn)數(shù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)—訓(xùn)練遍數(shù) 對訓(xùn)練數(shù)據(jù)的所有記錄的一次掃描稱為一遍。 在訓(xùn)練過程中定期用驗(yàn)證數(shù)據(jù)計(jì)算誤差率，在使用后向傳播算法的前幾遍驗(yàn)證數(shù)據(jù)的誤差率會(huì)降低，但過一會(huì)就會(huì)升高。驗(yàn)證數(shù)據(jù)的最小誤差率那一點(diǎn)表明最好的訓(xùn)練遍數(shù)。神經(jīng)網(wǎng)絡(luò)分類法特點(diǎn)可以對非線性和