什么是神經(jīng)網(wǎng)絡(luò)算法

1、算法起源在思維學(xué)中，人類(lèi)的大腦的思維分為：邏輯思維、直觀思維、和靈感思維三種基本方式。而神經(jīng)網(wǎng)絡(luò)就是利用其算法特點(diǎn)來(lái)模擬人腦思維的第二種方式，它是一個(gè)非線性動(dòng)力學(xué)系統(tǒng),其特點(diǎn)就是信息分布式存儲(chǔ)和并行協(xié)同處理，雖然單個(gè)神經(jīng)元的結(jié)構(gòu)及其簡(jiǎn)單，功能有限，但是如果大量的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為確實(shí)及其豐富多彩的。其實(shí)簡(jiǎn)單點(diǎn)講就是利用該算法來(lái)模擬人類(lèi)大腦來(lái)進(jìn)行推理和驗(yàn)證的。我們先簡(jiǎn)要的分析下人類(lèi)大腦的工作過(guò)程，我小心翼翼的在網(wǎng)上找到了一張勉強(qiáng)看起來(lái)舒服的大腦圖片嗯，看著有那么點(diǎn)意思了，起碼看起來(lái)舒服點(diǎn)，那還是在19世紀(jì)末，有一位叫做：Waldege的大牛創(chuàng)建了神經(jīng)元學(xué)活，他說(shuō)人類(lèi)復(fù)雜的神經(jīng)系統(tǒng)

2、是由數(shù)目繁多的神經(jīng)元組成，說(shuō)大腦皮層包括100億個(gè)以上的神經(jīng)元，每立方毫米源數(shù)萬(wàn)個(gè)，汗我想的是典型的大數(shù)據(jù)。他們相互聯(lián)系形成神經(jīng)網(wǎng)絡(luò)，通過(guò)感官器官和神經(jīng)來(lái)接受來(lái)自身體外的各種信息（在神經(jīng)網(wǎng)絡(luò)算法中我們稱(chēng):訓(xùn)練）傳遞中樞神經(jīng)，然后經(jīng)過(guò)對(duì)信息的分析和綜合，再通過(guò)運(yùn)動(dòng)神經(jīng)發(fā)出控制信息（比如我在博客園敲文字），依次來(lái)實(shí)現(xiàn)機(jī)體與外部環(huán)境的聯(lián)系。神經(jīng)元這玩意跟其它細(xì)胞一樣，包括：細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞核，但是它還有比較特殊的，比如有許多突起，就跟上面的那個(gè)圖片一樣，分為：細(xì)胞體、軸突和樹(shù)突三分部。細(xì)胞體內(nèi)有細(xì)胞核，突起的作用是傳遞信息。樹(shù)突的作用是作為引入輸入信息的突起，而軸突是作為輸出端的突起，但它只有一

3、個(gè)。也就是說(shuō)一個(gè)神經(jīng)元它有N個(gè)輸入（樹(shù)突），然后經(jīng)過(guò)信息加工（細(xì)胞核），然后只有一個(gè)輸出（軸突）。而神經(jīng)元之間四通過(guò)樹(shù)突和另一個(gè)神經(jīng)元的軸突相聯(lián)系，同時(shí)進(jìn)行著信息傳遞和加工。我去.好復(fù)雜wHwi2f()-1Wi()=8我們來(lái)看看神經(jīng)網(wǎng)絡(luò)的原理算法公式中間那個(gè)圓圓的就是細(xì)胞核了，XI、X2、X3.Xn就是樹(shù)突了，而Yi就是軸突了.是不是有那么點(diǎn)意思了，嗯.我們的外界信息是通過(guò)神經(jīng)元的樹(shù)突進(jìn)行輸入，然后進(jìn)過(guò)細(xì)胞核加工之后，經(jīng)過(guò)Yi輸出，然后輸出到其它神經(jīng)元但是這種算法有著它自身的特點(diǎn)，就好像人類(lèi)的大腦神經(jīng)元一樣，當(dāng)每次收到外界信息的輸入，不停的刺激的同時(shí)會(huì)根據(jù)信息的不同發(fā)生自身的調(diào)節(jié)，比如:通過(guò)不

4、斷的訓(xùn)練運(yùn)動(dòng)員學(xué)會(huì)了遠(yuǎn)動(dòng)，不停的訓(xùn)練學(xué)會(huì)了騎自行車(chē).等等吧這些人類(lèi)的行為形成，其本質(zhì)是通過(guò)不停的訓(xùn)練數(shù)百億腦神經(jīng)元形成的。而這些行為的沉淀之后就是正確結(jié)果導(dǎo)向。同樣該算法也會(huì)通過(guò)XI、X2、X3.Xn這些元素不停的訓(xùn)練，進(jìn)行自身的參數(shù)的調(diào)整來(lái)適應(yīng)，同樣訓(xùn)練次數(shù)的增加而形成一個(gè)正確的結(jié)果導(dǎo)向。這時(shí)候我們就可以利用它的自身適應(yīng)過(guò)程產(chǎn)生正確的結(jié)果，而通過(guò)不斷的訓(xùn)練使其具備學(xué)習(xí)功能，當(dāng)然，該算法只是反映了人腦的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種簡(jiǎn)單的模仿、簡(jiǎn)化和抽象。該算法不同數(shù)字計(jì)算機(jī)一樣，會(huì)按照程序的一步一步地執(zhí)行運(yùn)算，而是能夠自身適應(yīng)環(huán)境、總結(jié)規(guī)律、完成某種運(yùn)算、識(shí)別或控制過(guò)程，而

5、這就是機(jī)器人的起源人工智能的基礎(chǔ)。神經(jīng)網(wǎng)絡(luò)算法原理由于神經(jīng)網(wǎng)絡(luò)算法的設(shè)計(jì)面太大，我們此處暫且只分析Microsoft神經(jīng)網(wǎng)絡(luò)算法的原理，在Microsoft神經(jīng)網(wǎng)絡(luò)算法中，我們可以簡(jiǎn)化成下面這個(gè)圖片：輸人隱會(huì)層輸出Microsoft神經(jīng)網(wǎng)絡(luò)使用的由最多三層神經(jīng)元組成的多層感知器網(wǎng)絡(luò)，分別為：輸入層、可選隱含層和輸出層。輸入層：輸入神經(jīng)元定義數(shù)據(jù)挖掘模型所有的輸入屬性值以及概率。隱含層：隱藏神經(jīng)元接受來(lái)自輸入神經(jīng)元的輸入，并向輸出神經(jīng)元提供輸出。隱藏層是向各種輸入概率分配權(quán)重的位置。權(quán)重說(shuō)明某一特定宿儒對(duì)于隱藏神經(jīng)元的相關(guān)性或重要性。輸入所分配的權(quán)重越大，則輸入值也就越重要。而這個(gè)過(guò)程可以描述為

6、學(xué)習(xí)的過(guò)程。權(quán)重可為負(fù)值，表示輸入抑制而不是促進(jìn)某一特定結(jié)果。輸出層：輸出神經(jīng)元代表數(shù)據(jù)挖掘模型的可預(yù)測(cè)屬性值。數(shù)據(jù)從輸入經(jīng)過(guò)中間隱含層到輸出，整個(gè)過(guò)程是一個(gè)從前向后的傳播數(shù)據(jù)和信息的過(guò)程，后面一層節(jié)點(diǎn)上的數(shù)據(jù)值從與它相連接的前面節(jié)點(diǎn)傳來(lái)，之后把數(shù)據(jù)加權(quán)之后經(jīng)過(guò)一定的函數(shù)運(yùn)算得到新的值，繼續(xù)傳播到下一層節(jié)點(diǎn)。這個(gè)過(guò)程就是一個(gè)前向傳播過(guò)程。而當(dāng)節(jié)點(diǎn)輸出發(fā)生錯(cuò)誤時(shí)，也就是和預(yù)期不同，神經(jīng)網(wǎng)絡(luò)就要自動(dòng)學(xué)習(xí)，后一層節(jié)點(diǎn)對(duì)前一層節(jié)點(diǎn)一個(gè)信任程度（其實(shí)改變的就是連接件的權(quán)重），采取降低權(quán)重的方式來(lái)懲罰，如果節(jié)點(diǎn)輸出粗粗哦，那就要查看這個(gè)錯(cuò)誤的受那些輸入節(jié)點(diǎn)的影響，降低導(dǎo)致出錯(cuò)的節(jié)點(diǎn)連接的權(quán)重，懲罰這些節(jié)點(diǎn)

7、，同時(shí)提高那些做出正確建議節(jié)點(diǎn)的連接的權(quán)重。對(duì)那些受到懲罰的節(jié)點(diǎn)而說(shuō)，也用同樣的方法來(lái)懲罰它前面的節(jié)點(diǎn)，直到輸入節(jié)點(diǎn)而止。這種稱(chēng)為：回饋。而我們學(xué)習(xí)的過(guò)程就是重復(fù)上面的介紹的流程，通過(guò)前向傳播得到輸入值，用回饋法進(jìn)行學(xué)習(xí)。當(dāng)把訓(xùn)練集中的所有數(shù)據(jù)運(yùn)行過(guò)一遍之后，則稱(chēng)為一個(gè)訓(xùn)練周期。訓(xùn)練后得到神經(jīng)網(wǎng)絡(luò)模型，包含了訓(xùn)練集中相應(yīng)值和受預(yù)測(cè)值影響變化的規(guī)律。在每個(gè)神經(jīng)元中的隱含層中都有著復(fù)雜的函數(shù)，并且這些都非線性函數(shù)，并且類(lèi)似生物學(xué)神經(jīng)網(wǎng)絡(luò)的基本傳輸特征，這些函數(shù)稱(chēng)之為：激活函數(shù)，即：輸入值發(fā)生細(xì)微的變化有時(shí)候會(huì)產(chǎn)生較大的輸出變化。當(dāng)然Microsot神經(jīng)網(wǎng)絡(luò)算法使用的函數(shù)是這樣的:Sigmoid:0

8、-1/(l+e)Tanh：O=-ea)/(ea十八)其中a是輸入值，而0是輸出值。處理反向傳播，計(jì)算誤差，更新權(quán)值時(shí)輸出層所用的誤差函數(shù)為交叉熵Err.二0嚴(yán)(1-0)*(T.-。J上述公式中Oi是輸出神經(jīng)元i的輸出，而Ti是基于訓(xùn)練樣例的該輸出神經(jīng)元實(shí)際值。隱含神經(jīng)元的誤差是基于下一層的神經(jīng)元的誤差和相關(guān)權(quán)值來(lái)計(jì)算的。公式為：Err.=0/1-0.)fErr嚴(yán)叫)其中Oi是輸出神經(jīng)元i的輸出，該單元有j個(gè)到下一層的輸出。Erri是神經(jīng)元i的誤差,Wij是這兩個(gè)神經(jīng)元之間的權(quán)值。一旦計(jì)算出每個(gè)神經(jīng)元的誤差，則下一步是使用以下方法來(lái)調(diào)整網(wǎng)絡(luò)中的權(quán)值。其中I為0-1范圍內(nèi)的數(shù)，稱(chēng)之為學(xué)習(xí)函數(shù)。其實(shí)

9、以上函數(shù)應(yīng)用的激活函數(shù)還是挺簡(jiǎn)單的。有興趣的可以進(jìn)行詳細(xì)的研究和公式的推算,咱這里只是簡(jiǎn)要分析，列舉算法特點(diǎn)。Microsoft神經(jīng)網(wǎng)絡(luò)分析算法特點(diǎn)經(jīng)過(guò)上面的原理分析，我們知道了神經(jīng)網(wǎng)絡(luò)算法分為了：輸入層、隱含層、輸出層三層方式連接，其中隱含層是可選的，也就是說(shuō)在Microsoft神經(jīng)網(wǎng)絡(luò)算法中如果不經(jīng)過(guò)隱含層，則輸入將會(huì)直接從輸入層中的節(jié)點(diǎn)傳遞到輸出層中的節(jié)點(diǎn)。輸入層特點(diǎn)：如果輸入層如果為離散值，那么輸入神經(jīng)元通常代表輸入屬性的單個(gè)狀態(tài)。如果輸入數(shù)據(jù)包含NulI值，則缺失的值也包括在內(nèi)。具有兩個(gè)以上狀態(tài)的離散輸入屬性值會(huì)生成一個(gè)輸入神經(jīng)元，如果存在NUII值，會(huì)自動(dòng)再重新的生成一個(gè)輸入的神經(jīng)

10、元，用以處理NulI值，一個(gè)連續(xù)的輸入屬性將生成兩個(gè)輸入神經(jīng)元：一個(gè)用于缺失的狀態(tài)、一個(gè)用以連續(xù)屬性自身的值。輸入神經(jīng)元可向一個(gè)多多個(gè)神經(jīng)元提供輸入。隱含層特點(diǎn):隱含神經(jīng)元接受來(lái)自輸入神經(jīng)元的輸入，并向輸出神經(jīng)元提供輸出。存在激活函數(shù)供其使用改變閥值。輸出層特點(diǎn)：輸出神經(jīng)如果對(duì)于離散輸入屬性，輸出神經(jīng)元通常代表可預(yù)測(cè)可預(yù)測(cè)屬性的單個(gè)預(yù)測(cè)狀態(tài)，其中包括缺失的NulI值。如果挖掘模型包含一個(gè)或多個(gè)僅用于預(yù)測(cè)的屬性，算法將創(chuàng)建一個(gè)代表所有這些屬性的單一網(wǎng)絡(luò)，如果挖掘模型包含一個(gè)或多個(gè)同時(shí)用于輸入和預(yù)測(cè)的屬性，則該算法提供程序?qū)槠渲忻總€(gè)屬性構(gòu)建一個(gè)網(wǎng)絡(luò)。對(duì)于具有離散值的輸入屬性和可預(yù)測(cè)屬性，每個(gè)輸入

11、或輸出神經(jīng)元各自表示單個(gè)狀態(tài)。對(duì)于具有連續(xù)值的輸入屬性和可預(yù)測(cè)屬性，每個(gè)輸入或輸出神經(jīng)元分別表示該屬性值的范圍和分布。算法提供程序通過(guò)接受之前保留的定性數(shù)據(jù)集也就是事例集合并將維持?jǐn)?shù)據(jù)中的每個(gè)事例的實(shí)際已知值與網(wǎng)絡(luò)的預(yù)測(cè)進(jìn)行比較。即通過(guò)一個(gè)批學(xué)習(xí)的過(guò)程來(lái)迭代計(jì)算的整個(gè)網(wǎng)絡(luò)，并且改變的輸入權(quán)重。該算法處理了整個(gè)事例集合之后，將檢查每個(gè)神經(jīng)元的預(yù)測(cè)值和實(shí)際值。該算法將計(jì)算錯(cuò)誤程度（如果錯(cuò)誤），并且調(diào)整與神經(jīng)輸入關(guān)聯(lián)的權(quán)重，并通過(guò)一個(gè)回傳的過(guò)程從輸出神經(jīng)元返回到輸出神經(jīng)元。然后，該算法對(duì)整個(gè)事例集合重復(fù)該過(guò)程。經(jīng)過(guò)以上的層層沉淀我們的算法就算從一個(gè)不懂的嬰兒逐漸成長(zhǎng)成成人，而這個(gè)結(jié)果就是我們那它來(lái)發(fā)掘和預(yù)測(cè)的工具。神經(jīng)網(wǎng)絡(luò)分析算法應(yīng)用場(chǎng)景神經(jīng)網(wǎng)絡(luò)研究?jī)?nèi)容廣泛，非本篇文章所能涵蓋，而且它反映了多學(xué)科交叉技術(shù)領(lǐng)域的特點(diǎn)。研究工作集中以下領(lǐng)域：（1）生物原型研究。從生理學(xué)、心理學(xué)、腦科學(xué)、病理學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。（2）建立理論模型。根據(jù)生物原型的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型。其中包括概