人工神經(jīng)網(wǎng)絡(luò)軟計(jì)算-2

第二章神經(jīng)網(wǎng)絡(luò)原理第1節(jié) 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1、人腦人類具有比其它生物更加優(yōu)秀的腦，所以產(chǎn)生了文明與進(jìn)步高度的學(xué)習(xí)能力、模式識別能力，廣泛的適應(yīng)能力、抽象的思考能力等，正是因?yàn)橛辛诉M(jìn)化的腦，才成為可能通過語言的發(fā)明，人與人之間復(fù)雜、微妙的交流成為可能，也是一大要因由大腦支配的活動環(huán)境輸入 維持生命活動 精神活動 看 體溫調(diào)節(jié) 記憶 聽 心律調(diào)節(jié) 思考 聞 呼吸 想象 感觸 荷爾蒙調(diào)節(jié) 推理 味覺 運(yùn)動控制 判斷 睡眠 創(chuàng)造 由大腦支配的活動分為三類：來自環(huán)境的輸入維持生命的活動精神活動特征：精神活動、特別是創(chuàng)造力優(yōu)秀人腦的構(gòu)造：可分為大腦、小腦、腦干（間腦，中腦，腦橋，延髓）其中，起最重要作用的是大腦人腦的功能與各機(jī)能相對應(yīng)的大腦的部位圖人腦，前頭葉與側(cè)頭葉顯著發(fā)達(dá)其中，前頭葉是創(chuàng)造、思考等的高度的精神活動的重要的部位與聽覺相對應(yīng)的部位位于兩耳的附近來自眼睛的視覺信息先送到腦的后部（后頭葉），再往前部返回在該過程中進(jìn)行知覺、認(rèn)識、理解等的動作人腦的構(gòu)造大腦、小腦、腦干其中，起最重要作用的是大腦構(gòu)成腦的細(xì)胞，有神經(jīng)細(xì)胞與膠質(zhì)細(xì)胞

神經(jīng)細(xì)胞：140億左右膠質(zhì)細(xì)胞：神經(jīng)細(xì)胞的5-10倍神經(jīng)細(xì)胞與信息處理直接相關(guān)膠質(zhì)細(xì)胞給神經(jīng)細(xì)胞提供能量，起到幫助神經(jīng)細(xì)胞的活動的作用腦中，神經(jīng)細(xì)胞很重要！ 約140億個神經(jīng)元，結(jié)合成神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的活動決定了大腦的功能大腦的神經(jīng)網(wǎng)絡(luò)系統(tǒng)構(gòu)成了大腦信息處理的主體神經(jīng)細(xì)胞自出生其數(shù)量不再增加！但人腦由出生時的400克左右，到成年人的1200-1500克左右，為什么增加？原因：1）膠質(zhì)細(xì)胞的增加2）神經(jīng)細(xì)胞間的連接強(qiáng)度的增加隨著成長，神經(jīng)細(xì)胞間的連接變得多了起來，就象人類隨著成長，認(rèn)識越來越多的人，人際關(guān)系網(wǎng)絡(luò)越來越大一樣2、神經(jīng)元的信息處理方式神經(jīng)元的基本構(gòu)造：由細(xì)胞體、樹突和軸突組成樹突：由細(xì)胞體向外伸出的許多樹枝狀較短的突起，是信息的輸入通道軸突：由細(xì)胞體向外伸出的最長的一條神經(jīng)纖維，是信息的輸出通道突觸：一個神經(jīng)元的軸突末梢和另一個神經(jīng)元的樹突或細(xì)胞體之間的相互連接處，是輸入輸出接口神經(jīng)元電脈沖：0.5~1ms/次神經(jīng)元的工作機(jī)制——非常簡單！1）各個神經(jīng)元接受其他神經(jīng)元的信號2）當(dāng)他們的總和超過某值時，即興奮，產(chǎn)生脈沖，傳給下一個神經(jīng)元，就這么簡單但腦中有140億個神經(jīng)細(xì)胞一個神經(jīng)元，平均與1000~200000個其它神經(jīng)元有聯(lián)系人類高度的信息處理機(jī)能的秘密就隱藏在這么多神經(jīng)元及神經(jīng)元間的連接上工程上神經(jīng)網(wǎng)絡(luò)中所用的神經(jīng)元的模型神經(jīng)元的模型來自其它神經(jīng)元的加權(quán)和，超過0輸出1，否則什么也不輸出（階躍函數(shù)的場合）關(guān)鍵：1）神經(jīng)元間怎樣連接—NN的構(gòu)成、自組織化2）神經(jīng)元間結(jié)合的強(qiáng)度怎樣決定—NN的學(xué)習(xí)問題神經(jīng)網(wǎng)絡(luò)信息處理的基本特點(diǎn)分布存儲與容錯性:10~40萬個死亡/天并行處理性:1ms/次信息處理與存儲的合二而一性可塑性與自組織性:學(xué)習(xí)、熟能生巧層次性與系統(tǒng)性:大腦對信息的處理過程是分層次進(jìn)行的3、神經(jīng)網(wǎng)絡(luò)研究歷史1943年，心理學(xué)家McCulloch，數(shù)學(xué)家Pitts：M-P模型，最初的神經(jīng)元模型，與目前的神經(jīng)元模型基本一樣1949年，心理學(xué)家Hebb：Hebb學(xué)習(xí)規(guī)則，目前NN學(xué)習(xí)規(guī)則的基本1958年，Rosenblatt：感知機(jī)模型：perceptron—最初的NN模型，具有學(xué)習(xí)能力的機(jī)械，研究熱潮1969年，M.Minsky，Papert：共著《Perceptron》書，指出perceptron的局限72年，Kohonen，線性神經(jīng)網(wǎng)絡(luò)模型甘利，理論解析中野，聯(lián)想記憶模型75年，福島，自組織識別神經(jīng)網(wǎng)絡(luò)模型80年，Kohonen，自組織映射理論82年，Hopfieldnetwork，NN中引入物理的能量函數(shù)的概念，可解組合優(yōu)化問題83年，BoltzmannMachine，引入模擬退火概念，更好地解決組合優(yōu)化問題86年，Rumelhart，BP算法，多層構(gòu)造NN的較簡單的學(xué)習(xí)方法技術(shù)背景計(jì)算機(jī)的發(fā)展，用NN仿真快、方便隨著計(jì)算機(jī)技術(shù)的進(jìn)步，程序內(nèi)藏式的局限顯現(xiàn)了出來這樣，人們注目的焦點(diǎn)，由一個處理裝置的串行的信息處理方式，變成由多個處理裝置的并行的信息處理方式通過多個神經(jīng)元的結(jié)合，達(dá)到更高度的信息處理模式的NN，在進(jìn)行并列處理這點(diǎn)上，與技術(shù)的潮流相一致4、神經(jīng)元的模型將多個模型化的神經(jīng)元進(jìn)行連接，構(gòu)成網(wǎng)絡(luò)，追求新的信息處理原理模型圖1）計(jì)算來自其他神經(jīng)元的帶權(quán)重的輸入之和:對神經(jīng)元1的輸入和=w12*神經(jīng)元2的輸出+w13*神經(jīng)元3的輸出+…+w1n*神經(jīng)元n的輸出=∑w1ixi,i=2…nwij----神經(jīng)元j與神經(jīng)元i的連接權(quán)重xi—神經(jīng)元i的輸出2）輸入之和通過非線性函數(shù)f（.）變成輸出該非線性函數(shù)的存在，是NN能力的源泉f（.）大多具有飽和特性，即函數(shù)的值限制在某范圍內(nèi)常用的幾種：階躍函數(shù)S函數(shù)：Sigmoid函數(shù)S函數(shù)用的最多，輸出連續(xù)變化，其微分也是連續(xù)的函數(shù)，數(shù)學(xué)上很好處理5、階層型神經(jīng)網(wǎng)絡(luò)的信息處理模式NN對文字識別、聲音識別等的模式識別問題比較擅長以由NN構(gòu)成的文字識別系統(tǒng)為例，簡要說明一下神經(jīng)網(wǎng)絡(luò)的動作原理由NN的文字識別系統(tǒng)所使用的NN，是層狀的構(gòu)造，所以稱階層型神經(jīng)網(wǎng)絡(luò)利用NN識別文字輸入層的神經(jīng)元與所有中間層的神經(jīng)元結(jié)合中間層與輸出層也同樣輸出層的各個神經(jīng)元與想識別的文字對應(yīng)例如，想認(rèn)識數(shù)字0~9，則輸出層的神經(jīng)元的個數(shù)是10想識別26個字母，輸出層的神經(jīng)元個數(shù)應(yīng)有26個如，3層NN，識別0~9輸出層的節(jié)點(diǎn)與0~9一一對應(yīng)識別3：對3利用予處理裝置轉(zhuǎn)換成矩陣列表示，將各元素作為NN的輸入神經(jīng)元的模型使用階躍函數(shù)：0、1輸入層：當(dāng)某神經(jīng)元的輸入和超過某一給定值，輸出1，否則，輸出0其輸出乘以權(quán)重輸入到中間層中間層：抽取輸入數(shù)據(jù)的特征例如，1與0的區(qū)別，1有豎線，0為橢圓等，中間層的各神經(jīng)元，注目于輸入數(shù)據(jù)的某個特征當(dāng)某神經(jīng)元的輸入和超過某一給定值，認(rèn)為輸入數(shù)據(jù)中包含了該特征，輸出1，向輸出層傳遞輸出層：組合由中間層傳來的特征，進(jìn)行最終的決定如識別3時，只與3對應(yīng)的節(jié)點(diǎn)激活這種過程，正好與公司組織中計(jì)劃的采擇過程相似：自下而上，信賴度高的人的意見得到重視，信賴度低的人的意見不太考慮神經(jīng)網(wǎng)絡(luò)：輸入層中間層 輸出 公司組織：一般職員科、室總經(jīng)理兩者均自下而上進(jìn)行，在此過程中，信賴度低的少數(shù)意見被忽略階層型的神經(jīng)網(wǎng)絡(luò)，就是這樣，由輸入層逐漸向上一層進(jìn)行階段式的信息處理NN的特征抽取，并不是使用如“1有豎線”這樣明確可用的規(guī)則而進(jìn)行的如果規(guī)則能明確記敘，用它們可以得到充分的特性，使用以往的專家系統(tǒng)足夠，就不必用NN實(shí)際上，作為輸入的數(shù)字，有許多不確定性，如位置、大小的不同，傾斜、個人差別、雜音等。如，寫“0”，接口處NN用多個神經(jīng)元來吸收這種不確定性6、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)以往的信息處理，必須事先按處理順序編制詳細(xì)的程序，送入計(jì)算機(jī)NN與之最大的不同是學(xué)習(xí)機(jī)能。通過學(xué)習(xí)，僅給出數(shù)值數(shù)據(jù)，就能自動形成判斷邏輯NN的學(xué)習(xí)有三個方面：1）神經(jīng)元的函數(shù)的學(xué)習(xí)2）神經(jīng)元的結(jié)合方法的學(xué)習(xí)3）神經(jīng)元間的結(jié)合強(qiáng)度的學(xué)習(xí)圖神經(jīng)元的函數(shù)的學(xué)習(xí)學(xué)習(xí)f（）的形狀如將斜率由開始的平緩漸漸變陡：學(xué)習(xí)初期，斜率小，表示意見不明確的迷惑狀態(tài)隨著學(xué)習(xí)的進(jìn)行，斜率變陡，即意見逐漸明朗的狀態(tài)人類思考過程的特點(diǎn)，通過改變神經(jīng)元函數(shù)的傾斜度而表現(xiàn)出來神經(jīng)元的結(jié)合方法的學(xué)習(xí)決定NN的構(gòu)造的重要的學(xué)習(xí)如，要精確測量椅子的高度，使用長一點(diǎn)的尺最合適但因要求測量精度高而用微型尺，反而不能正確測量NN的情況也如此。根據(jù)問題對象的難易程度的不同，與之相應(yīng)的NN的大小也不同但用數(shù)學(xué)方法確定大小很困難神經(jīng)元間的結(jié)合強(qiáng)度的學(xué)習(xí)——最重要的學(xué)習(xí)結(jié)合的強(qiáng)度，可表示神經(jīng)元的信賴度神經(jīng)元間的結(jié)合強(qiáng)度的學(xué)習(xí)是現(xiàn)在的NN學(xué)習(xí)的中心7、神經(jīng)元的學(xué)習(xí)神經(jīng)元的學(xué)習(xí)方法，加上改進(jìn)算法，有很多，各有優(yōu)缺點(diǎn)最重要的是理解幾個基本的學(xué)習(xí)方法根據(jù)有無教師數(shù)據(jù)，可分為兩大類：有教師學(xué)習(xí)法、無教師學(xué)習(xí)法代表性的NN學(xué)習(xí)方法教師

名稱

學(xué)習(xí)方式（權(quán)重的修正量）無 Hebb型學(xué)習(xí) 輸出*其它神經(jīng)元的輸出 （僅限于兩個神經(jīng)元興奮時）無 競爭型學(xué)習(xí) 輸入向量-權(quán)重向量 有 相關(guān)學(xué)習(xí) 教師信號*其它神經(jīng)元的輸出 有 BP算法 (教師信號-輸出)*(函數(shù)’（輸入和))*輸出

無教師學(xué)習(xí)代表性的學(xué)習(xí)方法是Hebb型學(xué)習(xí)算法：相鄰的兩個神經(jīng)元若相互發(fā)火，則兩者間的連接權(quán)重應(yīng)加強(qiáng)僅將數(shù)據(jù)輸入給神經(jīng)網(wǎng)絡(luò)，可自動生成與之相應(yīng)的有選擇地進(jìn)行反應(yīng)的NN因?yàn)槭蔷W(wǎng)絡(luò)自身進(jìn)行其組織的形成，又稱自組織化也常用于分類：將輸入數(shù)據(jù)中，相似的同類集合在一起，自動進(jìn)行分類有教師學(xué)習(xí)代表性的學(xué)習(xí)方法是誤差反傳法，即BP算法該算法是在階層構(gòu)造的NN中廣泛使用的學(xué)習(xí)算法，如前面的文字識別的例子首先，利用輸入數(shù)據(jù)與教師數(shù)據(jù)組，讓網(wǎng)絡(luò)學(xué)習(xí)。這樣，學(xué)習(xí)后的NN，對于未知的輸入，也能給出適應(yīng)的輸出特別適合模式識別問題現(xiàn)在，還有很多人認(rèn)為NN就是BP算法。BP的提出是1986年。至今已20年，超過該算法的典型方法還沒有發(fā)現(xiàn)BP算法的概略—以文字識別為例輸出層的各神經(jīng)元與各自的數(shù)字相對應(yīng)要識別數(shù)字3，使只與3對應(yīng)的輸出層神經(jīng)元發(fā)火的學(xué)習(xí)方法具體來說，首先，輸入數(shù)據(jù)，根據(jù)輸入，輸出層的神經(jīng)元發(fā)火但在學(xué)習(xí)途中，不一定是僅與想識別的文字對應(yīng)的輸出層神經(jīng)元發(fā)火強(qiáng)度最大該神經(jīng)元的發(fā)火程度小，或其他神經(jīng)元的發(fā)火強(qiáng)度大，都有可能發(fā)生于是，可求出誤差：誤差=教師信號（希望輸出）-實(shí)際輸出該發(fā)火的神經(jīng)元完全沒有發(fā)火：誤差=1（該發(fā)火）-0（沒有發(fā)火）=1不該發(fā)火的神經(jīng)元發(fā)火了：誤差=0（不該發(fā)火）-1（發(fā)火了）=-1BP算法，利用求出的輸出層的誤差，調(diào)節(jié)與輸出層神經(jīng)元所連接的權(quán)重，使誤差為0，即學(xué)習(xí)而且，BP學(xué)習(xí)方法在數(shù)學(xué)上也很巧妙在輸出層的前一層，利用在輸出層求出的結(jié)果，使在該層的等價誤差減少，學(xué)習(xí)權(quán)重同樣的操作向輸入層逐層進(jìn)行，所有的權(quán)重都進(jìn)行學(xué)習(xí)這樣，BP算法中，誤差成分由輸出層向輸入層反向傳遞，修正權(quán)重BP學(xué)習(xí)算法也叫一般化δ規(guī)