人工神經(jīng)網(wǎng)絡(luò)算法

1、http:/blog.si .c n/s/blog_5bbd6ec00100b5 nk.html人工神經(jīng)網(wǎng)絡(luò)算法(2008-11-20 17:24:22)叵標(biāo)簽：雜談人工神經(jīng)網(wǎng)絡(luò)算法的作用機(jī)理還是比較難理解，現(xiàn)在以一個(gè)例子來說明其原理。這個(gè)例子是關(guān)于人的識(shí)別技術(shù)的，在門禁系統(tǒng)，逃犯識(shí)別，各種驗(yàn)證碼破譯，銀行預(yù)留印鑒簽名比對(duì)，機(jī)器人設(shè)計(jì)等領(lǐng)域都有比較好的應(yīng)用前景，當(dāng)然也可以用來做客戶數(shù)據(jù)的挖掘工作，比 如建立一個(gè)能篩選滿足某種要求的客戶群的模型。機(jī)器識(shí)別人和我們?nèi)祟愖R(shí)別人的機(jī)理大體相似，看到一個(gè)人也就是識(shí)別對(duì)象以后，我們首先提取其關(guān)鍵的外部特征比如身高，體形，面部特征，聲音等等。根據(jù)這些信息大腦

2、迅速在內(nèi)部尋找相關(guān)的記憶區(qū)間，有這個(gè)人的信息的話，這個(gè)人就是熟人，否則就是陌生人。人工神經(jīng)網(wǎng)絡(luò)就是這種機(jī)理。假設(shè)上圖中X(1)代表我們?yōu)殡娔X輸入的人的面部特征，X(2)代表人的身高特征 X(3)代表人的體形特征 X(4)代表人的聲音特征 W(1)W(2)W(3)W(4)分 別代表四種特征的鏈接權(quán)重，這個(gè)權(quán)重非常重要，也是人工神經(jīng)網(wǎng)絡(luò)起作用的核心變量?，F(xiàn)在我們隨便找一個(gè)人阿貓站在電腦面前，電腦根據(jù)預(yù)設(shè)變量提取這個(gè)人的信息，阿貓面部怎么樣，身高多少，體形胖瘦，聲音有什么特征，鏈接權(quán)重初始值是隨機(jī)的，假設(shè)每一 個(gè)W均是0.25,這時(shí)候電腦按這個(gè)公式自動(dòng)計(jì)算，丫=X(1)*W(1)+X(2)*W(2)

3、+X(3)*W(3)+X(4)*W(4)得出一個(gè)結(jié)果 Y,這個(gè) Y 要和一個(gè)門檻值(設(shè)為Q)進(jìn)行比較，如果Y>Q,那么電腦就判定這個(gè)人是阿貓，否則判定不是阿貓.由于第一次計(jì)算電腦沒有經(jīng)驗(yàn)，所以結(jié)果是隨機(jī)的.一般我們?cè)O(shè)定是正確的，因?yàn)槲覀冚斎氲木褪前⒇?的身體數(shù)據(jù)啊.現(xiàn)在還是阿貓站在電腦面前，不過阿貓怕被電腦認(rèn)出來，所以換了一件衣服，這個(gè)行為會(huì) 影響阿貓的體形，也就是X(3)變了，那么最后計(jì)算的 Y值也就變了，它和Q比較的結(jié)果隨即發(fā) 生變化，這時(shí)候電腦的判斷失誤，它的結(jié)論是這個(gè)人不是阿貓.但是我們告訴它這個(gè)人就是阿貓，電腦就會(huì)追溯自己的判斷過程 ，到底是哪一步出錯(cuò)了 ，結(jié)果發(fā)現(xiàn)原來阿貓?bào)w形

4、X(3)這個(gè)體征的變化導(dǎo)致了其判斷失誤，很顯然，體形X(3)欺騙了它，這個(gè)屬性在人的識(shí)別中不是那么重要，電腦自動(dòng)修改其權(quán)重 W(3)，第一次我對(duì)你是0.25的相信，現(xiàn)在我降低信任值，我0.10 的相信你.修改了這個(gè)權(quán)重就意味著電腦通過學(xué)習(xí)認(rèn)為體形在判斷一個(gè)人是否是自己認(rèn)識(shí)的 人的時(shí)候并不是那么重要.這就是機(jī)器學(xué)習(xí)的一個(gè)循環(huán).我們可以要求阿貓?jiān)俅┮浑p高跟皮 鞋改變一下身高這個(gè)屬性，讓電腦再一次進(jìn)行學(xué)習(xí)，通過變換所有可能變換的外部特征，輪換讓電腦學(xué)習(xí)記憶，它就會(huì)記住阿貓這個(gè)人比較關(guān)鍵的特征，也就是沒有經(jīng)過修改的特征.也就是電腦通過學(xué)習(xí)會(huì)總結(jié)出識(shí)別阿貓甚至任何一個(gè)人所依賴的關(guān)鍵特征.經(jīng)過阿貓的訓(xùn)練電

5、腦電腦已經(jīng)非常聰明了 ，這時(shí)你在讓阿貓換身衣服或者換雙鞋站在電腦前面，電腦都可以迅速的判斷這個(gè)人就是阿貓.因?yàn)殡娔X已經(jīng)不主要依據(jù)這些特征識(shí)別人了，通過改變衣服，身高騙不了它.當(dāng)然，有時(shí)候如果電腦賴以判斷的阿貓關(guān)鍵特征發(fā)生變化，它也會(huì)判斷失誤.我們就 不要要求這么高了 ,不要說電腦 , 就是人類也無能為力 , 你的一個(gè)好朋友你經(jīng)過多次的識(shí)記肯 定認(rèn)識(shí)吧 ,但是他整了容你們?cè)诖蠼稚襄忮?.你可能覺得這個(gè)人聲音好熟悉 , 體形好熟 悉, 都像自己一個(gè)朋友 ,就是臉長的不像 . 你不敢貿(mào)然上去搭訕吧 （否定的判斷 ）. 因?yàn)槲?們判定一個(gè)人是否是自己的朋友的時(shí)候依靠的關(guān)鍵的特征就是面部特征 , 而他恰

6、恰就是改變 了這一特征 . 當(dāng)然也存在我們把一個(gè)擁有和我們朋友足夠多相似特征的人判定為我們的朋友 這就是認(rèn)錯(cuò)人的現(xiàn)象了 . 這些問題電腦也會(huì)出現(xiàn) .不過這個(gè)算法還是有比較積極的意義的 , 實(shí)現(xiàn)了一定程度上的智能化 .下面是這種方法的理論解釋 :人工神經(jīng)網(wǎng) 路學(xué)習(xí)是要透過我們的頭腦，因而研究大腦神經(jīng)細(xì)胞的運(yùn)作，可以幫助我們 了 解學(xué)習(xí)在腦神經(jīng)是如何完成的，進(jìn)而可以模擬神經(jīng)細(xì)胞的運(yùn)作以達(dá)到類似學(xué)習(xí)的功能。據(jù)估計(jì)人腦約有一千億（1011 ）個(gè)神經(jīng)細(xì)胞，每個(gè)神經(jīng)細(xì)胞約有一千（103）根連結(jié)與其它神經(jīng)細(xì)胞相 連，因此人腦中約有一百萬億（1014）根 連結(jié)，形成一個(gè)高 度連 結(jié)網(wǎng) 狀 的神經(jīng)網(wǎng) 路（ ne

7、ural network ）?？茖W(xué)家們相信：人腦的信息處 理工作即是 透過這些 連結(jié)來 完成的 葉怡成 1993 。神經(jīng)細(xì)胞的形狀與一般的細(xì)胞有很大的 不同，它包括：細(xì)胞體（soma）：神經(jīng)細(xì)胞中呈核 狀的處理機(jī)構(gòu)；軸突（axon）:神經(jīng)細(xì)胞中呈軸 索狀的輸送機(jī)構(gòu)；樹 狀突（ dendrites ）：神經(jīng)細(xì)胞中呈樹枝 狀的輸出入機(jī)構(gòu)；與突觸（ synapse） ：樹狀突上呈點(diǎn) 狀的 連結(jié)機(jī)構(gòu)。根據(jù)神經(jīng)學(xué)家的研究發(fā)現(xiàn)：當(dāng)神經(jīng)細(xì)胞透過神經(jīng)突觸與樹狀突從其它神經(jīng)元輸入脈波訊號(hào)后，經(jīng)過細(xì)胞體處 理，產(chǎn)生一個(gè)新的脈波訊號(hào)。如果脈波訊號(hào)夠強(qiáng)，將產(chǎn)生一個(gè)約千分之一秒 100 毫伏的脈波訊號(hào)。這個(gè)訊號(hào)再經(jīng)過軸

8、突傳送到它的神經(jīng)突觸，成為其它神經(jīng)細(xì)胞的輸入脈波訊號(hào)。如果脈波訊號(hào)是經(jīng)過興奮神經(jīng)突觸（ excitatory synapse ），則會(huì)增加脈波訊號(hào)的速 率；相反的，如果 脈波訊號(hào)是經(jīng)過抑制神經(jīng)突觸（ inhibitory synapse ），則會(huì)減少脈波訊號(hào)的速 率 。因此， 脈波訊號(hào)的速 率是同時(shí)取決于輸入脈波訊號(hào)的速 率，以及神經(jīng)突觸的強(qiáng) 度。而神經(jīng)突觸的強(qiáng) 度可視為神經(jīng)網(wǎng) 路儲(chǔ)存信息之所在，神經(jīng)網(wǎng) 路的學(xué)習(xí)即在調(diào)整神經(jīng)突觸的強(qiáng) 度。類神經(jīng)網(wǎng) 路( artificialneural networks )，或譯為人工神經(jīng)網(wǎng) 路，則是指模仿生物神經(jīng)網(wǎng)路 的信息處 理系統(tǒng)，它是由許多人工神經(jīng)細(xì)胞

9、(又稱為 類神經(jīng)元、人工神經(jīng)元、與處 理 單元)所組成，人工神經(jīng)細(xì)胞，如圖15-18 所示。本節(jié)將探討最古老 、也是最基本的 類神經(jīng)網(wǎng) 路模式感知機(jī)( perceptron )，它是 1957 年由Rosenblatt 所提出。感知機(jī)的基本原 理 是由腦神經(jīng)模型所啟發(fā)，特別是 1943 年McCulloch 和 Pitts 所共同提出的 數(shù)學(xué)模型，通稱為 MP 模型，以及 Hebb 所提出的神經(jīng)元學(xué)習(xí)規(guī)則，通稱為 Hebb 學(xué)習(xí)規(guī)則。MP 模型的要點(diǎn)如下： (1) 神經(jīng)元的 狀態(tài)為興奮或抑制二者之一，可用 0 表示 抑制狀態(tài)，用 1 表示興奮 狀態(tài)。 (2) 神經(jīng)元與其它神經(jīng)元間的 連結(jié)，可用

10、一個(gè)加 權(quán)值( weight )表示連結(jié)強(qiáng)度。(3) 神經(jīng)元的狀態(tài)會(huì)經(jīng)由 連結(jié)輸出到其它神經(jīng)元， 成為其輸入。 (4) 神經(jīng)元的 狀 態(tài)受其相 連的神經(jīng)元制約，當(dāng)從這些神經(jīng)元傳 來的 輸入訊號(hào)(即該神經(jīng)元的 狀 態(tài))經(jīng)過 連 結(jié)以加權(quán)乘積和計(jì)算所得的值大于某門坎 值( threshold )時(shí)，神經(jīng)元的 狀 態(tài)將成為興奮 狀態(tài)；否則，為抑制 狀 態(tài)。以公式 表示為：其中， Wij 為神經(jīng)元 i 與神經(jīng)元 j 間的連結(jié)強(qiáng)度，即 連結(jié)加權(quán)值， Xi 為從神經(jīng)元i傳來的輸入訊號(hào)，0 j為神經(jīng)元j的門坎值，f為轉(zhuǎn)換函 數(shù)(transfer function), 通常為一個(gè)階梯函 數(shù)( step fun

11、ction )，其定義如下：(5) 神經(jīng)網(wǎng) 路的學(xué)習(xí)過程即在調(diào)整神經(jīng)元間的 連結(jié)強(qiáng) 度，即連結(jié)加權(quán)值。而 Hebb學(xué)習(xí)規(guī)則的要點(diǎn)如下：調(diào)整 兩 個(gè)神經(jīng)元間 連 結(jié)加權(quán)值的原則為當(dāng)?shù)?i 個(gè)與第 j 個(gè)神經(jīng)元同時(shí)處于興奮 狀態(tài)時(shí)，則其 連結(jié)應(yīng)當(dāng)加強(qiáng)。 Hebb 學(xué)習(xí)規(guī)則與動(dòng)物 行 為科學(xué)中的條件反射學(xué) 說 一致。感知機(jī)的網(wǎng) 路 架構(gòu)有 兩 種，如圖 15-19 所示，一含有隱藏層，另一種則無。它們皆包括有輸入層與輸出層。輸入層用以表現(xiàn)網(wǎng) 路的輸入變 數(shù)，其處 理單元 數(shù)目依問題而定，使用線性轉(zhuǎn)換函 數(shù)f ( X ) = X,亦即輸入值即為輸出值。隱藏層用以表現(xiàn)輸入處 理單元間的交互影響，其處 理

12、單元數(shù)目通常以實(shí)驗(yàn)方式?jīng)Q定其最佳數(shù)目,隱藏層可以有一層以上,也可以沒有。輸出層用以表現(xiàn)網(wǎng) 路 的輸出變 數(shù),其處理單元的數(shù)目依問題而定。輸入變 數(shù)形成一個(gè)輸入向 量,輸出變 數(shù)形成一個(gè)輸出向 量。圖 15-19 感知機(jī)網(wǎng) 路架構(gòu)我們以簡單的無隱藏層的感知機(jī) 來說 明 類神經(jīng)網(wǎng) 路 的學(xué)習(xí)機(jī)制。在神經(jīng)網(wǎng) 路的學(xué)習(xí)中，樣本資 料以數(shù)值形式表示，每一個(gè)樣本都包含有輸入向量X = X1, X2, - ,Xn和目標(biāo)輸出向 量T = T1, T2,Tnm。一般將所有的樣本資 料隨機(jī)分為兩部分，一部分 為訓(xùn)練樣本(training samples )，另一部分為測試樣本(test samples )。首先，

13、將感知 機(jī)初始化,即給定每一個(gè) 連結(jié)一個(gè)隨機(jī) 亂數(shù)值。然后將一個(gè)訓(xùn) 練樣本的輸入向 量 X 輸入感 知機(jī)中,并 利用公式 (15-6.1) 和 (15-6.2) 計(jì)算其推 論輸出向 量 Y= Y1, Y2, , Ym。 此網(wǎng)路利用由訓(xùn)練樣本輸入之目標(biāo)輸出向 量T和透過網(wǎng)路推得的推 論輸出向量Y相較之下 的誤差, 作為修正 連結(jié)中的加權(quán)值的依據(jù), 以從訓(xùn) 練樣本中學(xué)習(xí)隱含的輸入向 量與輸出向 量 之對(duì)應(yīng)關(guān)系。差距量S j計(jì)算公式如下：S j = Tj Y j(15-6.4)若S j > 0，表示推論輸出變數(shù)Y j小于目標(biāo)輸出變 數(shù)T j ,根據(jù)公式(15-6.2) 得知連 結(jié)加權(quán)值 W i

14、j太小，故應(yīng)增加 W ij的值。相反的，若S j < 0，表示推論輸出變數(shù)Y j 大于目標(biāo)輸出變 數(shù) T j ，根據(jù)公式 (15-6.2) 得知連結(jié)加權(quán)值 Wij 太大，故應(yīng)減少 Wij 的 值。加權(quán)值之改變 量公式可表達(dá)如下： W ij =n s Xi(15-6.5)其中，n為學(xué)習(xí)速 率(learning rate)，控制每次加權(quán)值改變量的幅度。公式(15-6.5)中，加權(quán)值之改變 量也應(yīng)與輸入訊號(hào) Xi 成正比， 因?yàn)橛嵦?hào)越大， 其修正 量也應(yīng)越大。 同理， 輸出單元的門坎值改變 量公式計(jì)算如下： 0 j =-n S j(15-6.6)類神經(jīng)網(wǎng) 路的學(xué)習(xí)過程，通常以一次一個(gè)訓(xùn) 練樣本

15、的方式進(jìn) 行，直到學(xué)習(xí)完所有的訓(xùn) 練樣本為止，稱為一個(gè)學(xué)習(xí)循環(huán)( learning cycle )。加權(quán)值與門坎值的修正可采 用逐步學(xué)習(xí)( step learning )或批次學(xué)習(xí)( batch learning )，逐步學(xué)習(xí)是每輸入一個(gè)訓(xùn) 練樣本， 計(jì)算其加權(quán)值與門坎值的修正 量后立即修改。 而批次學(xué)習(xí)是在一個(gè)學(xué)習(xí)循環(huán)后， 計(jì) 算所有訓(xùn) 練樣本的加權(quán)值與門坎值的修正 量后，依下 列公式計(jì)算其整體修正 量而修改之。其中，m表示第m個(gè)樣本，而N為訓(xùn)練樣本總數(shù)。一個(gè)網(wǎng)路可以將訓(xùn)練樣本反復(fù) 學(xué)習(xí)多個(gè)循環(huán)，直到滿足終止條件為止。而終止條件可訂為執(zhí) 行一定 數(shù)目的學(xué)習(xí) 循環(huán)或是網(wǎng) 路已收斂(即誤差 不再

16、有明顯變化) 。感知機(jī)的誤差程 度可用總錯(cuò)誤 率 E 定義如下：學(xué)習(xí)過程：1. 設(shè)定網(wǎng) 路參數(shù) 。2. 以均布隨機(jī) 亂數(shù)設(shè)定加權(quán)值矩陣 W與偏權(quán)值向 量 初始值。3. 輸入一個(gè)訓(xùn) 練 樣本的輸入向 量 X 與目標(biāo)輸出向 量 T。4. 計(jì)算推 論 輸出向 量 Y。5. 計(jì)算差距 量 S 。6. 計(jì)算加權(quán)值矩陣修正 量厶W以及偏權(quán)值向 量修正量 0。7. 更新加權(quán)值矩陣W以及偏權(quán)值向量0。8. 重復(fù)步驟3至步驟7直至到收斂或執(zhí) 行一定數(shù)目的學(xué)習(xí)循環(huán)。 回想過程：1. 設(shè)定網(wǎng)路參數(shù)。2. 讀入加權(quán)值矩陣 W與偏權(quán)值向 量0。3. 輸入一個(gè)測試樣本的輸入向量X。4. 計(jì)算推論輸出向量Y。?/P>

17、一些公式是用圖片的形式表達(dá)的，傳不上來.參考下列網(wǎng)址： 4910d7c501000ch4.html(2007-11-30 19:32:17)標(biāo)簽：校園生活分類：學(xué)術(shù)點(diǎn)滴痛苦，異常的痛苦，代客戶關(guān)系管理課程，本想是營銷類的課程，誰曾想風(fēng)向偏理，特別是 呼叫中心和挖掘技術(shù)。什么遺傳算法，決策樹，人工神經(jīng)網(wǎng)絡(luò)算法，整的暈暈的，下次還是 給電子商務(wù)的精英吧。下面是人工神經(jīng)網(wǎng)絡(luò)算法，誰有興趣我們可以探討一下。人工神經(jīng)網(wǎng)路學(xué)習(xí)是要透過我們的頭腦，因而研究大腦神經(jīng)細(xì)胞的運(yùn)作，可以幫助我們了解學(xué)習(xí)在腦神經(jīng)是如何完成的，進(jìn)而可以模擬神經(jīng)細(xì)胞的運(yùn)作以達(dá)到類似學(xué)習(xí)的功能。據(jù)估計(jì)人腦約有一千億（1011）個(gè)神經(jīng)細(xì)胞，

18、每個(gè)神經(jīng)細(xì)胞約有一千（103）根連結(jié)與其它神經(jīng)細(xì)胞相 連，因此人腦中約有一百萬億（1014）根連結(jié)，形成一個(gè)高度連結(jié)網(wǎng)狀的神經(jīng)網(wǎng) 路（neural network ）?？茖W(xué)家們相信：人腦的信息處理工作即是透 過這些連結(jié)來完成的葉怡成1993。神經(jīng)細(xì)胞的形 狀與一般的細(xì)胞有很大的不同，它包括：細(xì)胞體(soma):神經(jīng)細(xì)胞中呈核 狀的處理機(jī)構(gòu)；軸突(axon)：神經(jīng)細(xì)胞中呈軸 索狀的輸送機(jī)構(gòu)；樹 狀突(dendrites):神經(jīng)細(xì)胞中呈樹枝 狀的輸出入機(jī)構(gòu)；與突觸(synapse)：樹狀突上呈點(diǎn)狀 的連結(jié)機(jī)構(gòu)。根據(jù)神經(jīng)學(xué)家的研究發(fā)現(xiàn)：當(dāng)神經(jīng)細(xì)胞透過神經(jīng)突觸與樹狀突從其它神經(jīng)元輸入脈波訊號(hào)后，經(jīng)過細(xì)

19、胞體處理，產(chǎn)生一個(gè)新的脈波訊號(hào)。如果脈波訊號(hào)夠強(qiáng)，將產(chǎn)生一個(gè)約千分之一秒100毫伏的脈波訊號(hào)。這個(gè)訊號(hào)再經(jīng)過軸突傳送到它的神經(jīng)突觸，成為其它神經(jīng)細(xì)胞的輸入脈波訊號(hào)。如果脈波訊號(hào)是經(jīng)過興奮神經(jīng)突觸(excitatory synapse)，則會(huì)增加脈波訊號(hào)的速 率；相反的，如果脈波 訊號(hào)是經(jīng)過抑制神經(jīng)突觸(inhibitory synapse)，則會(huì)減少脈波訊號(hào)的速 率。因此，脈波訊號(hào) 的速率是同時(shí)取決于輸入脈波訊號(hào)的速 率，以及神經(jīng)突觸的強(qiáng) 度。而神經(jīng)突觸的強(qiáng) 度可視為 神經(jīng)網(wǎng)路儲(chǔ)存信息之所在，神經(jīng)網(wǎng) 路的學(xué)習(xí)即在調(diào)整神經(jīng)突觸的強(qiáng) 度。樹突軸突軸丘脊椎動(dòng)物運(yùn)動(dòng)辛蜒啟細(xì)胞體細(xì)腕核沖動(dòng)倍躍方向施旺氏

20、 細(xì)腕突涎耒梢.A ' .- 軸突郎飛)氏結(jié)/一 7產(chǎn)神經(jīng)荒勒髓懷 Ul %, 亠°fc1 丿 J、/ .類神經(jīng)網(wǎng)路(artificial neural networks )，或譯為人工神經(jīng)網(wǎng) 路，則是指模仿生物神經(jīng)網(wǎng)路的信息處理系統(tǒng)，它是由許多人工神經(jīng)細(xì)胞（又稱為類神經(jīng)元、人工神經(jīng)元、與處 理單元）所組成，人工神經(jīng)細(xì)胞，如圖15-18所示。本節(jié)將探討最古老、也是最基本的 類神經(jīng)網(wǎng)路模式感知機(jī)（perceptron），它是1957年由 Rosenblatt所提出。感知機(jī)的基本原 理是由腦神經(jīng)模型所啟發(fā)，特別是 1943年 McCulloch和Pitts所共同提出的 數(shù)學(xué)模型，

21、通稱為 MP模型，以及Hebb所提出 的神經(jīng)元學(xué)習(xí)規(guī)則，通稱為 Hebb學(xué)習(xí)規(guī)則。Si 154S 'CT神違逐據(jù)廠弼MP模型的要點(diǎn)如下：（1）神經(jīng)元的 狀態(tài)為興奮或抑制二者之一，可用0表示抑制狀態(tài)，用1表示興奮 狀態(tài)。（2）神經(jīng)元與其它神經(jīng)元間的 連結(jié)，可用一個(gè)加 權(quán)值（weight）表示連結(jié)強(qiáng)度。（3）神經(jīng)元的狀態(tài)會(huì)經(jīng)由連結(jié)輸出到其它神經(jīng)元， 成為其輸入。（4）神經(jīng)元的狀態(tài)受其相連的神經(jīng)元制約，當(dāng)從這些神經(jīng)元傳來的輸入訊號(hào)（即該神經(jīng)元的 狀態(tài)）經(jīng)過 連結(jié)以加權(quán)乘積和計(jì)算所得的值大于某門坎 值（threshold ）時(shí)，神經(jīng)元的 狀態(tài)將成為興奮 狀態(tài)；否則，為抑制 狀態(tài)。以公式 表示為

22、:(15-6 J)(15 6.2)r =/(wr)r*丿*J其中，Wij為神經(jīng)元i與神經(jīng)元j間的連結(jié)強(qiáng)度，即連結(jié)加權(quán)值，Xi為從神經(jīng)元i傳來的輸入訊號(hào)，0 j為神經(jīng)元j的門坎值，f為轉(zhuǎn)換函 數(shù)(transfer function ),通常為一個(gè)階梯函 數(shù)(step function ),其定義如下：(I5'63>(I if S>0(5)神經(jīng)網(wǎng)路的學(xué)習(xí)過程即在調(diào)整神經(jīng)元間的 連結(jié)強(qiáng)度，即連結(jié)加權(quán)值。而Hebb 學(xué)習(xí)規(guī)則的要點(diǎn)如下：調(diào)整 兩個(gè)神經(jīng)元間連結(jié)加權(quán)值的原則為當(dāng)?shù)?i個(gè)與第j個(gè) 神經(jīng)元同時(shí)處于興奮 狀態(tài)時(shí)，則其 連結(jié)應(yīng)當(dāng)加強(qiáng)。Hebb學(xué)習(xí)規(guī)則與動(dòng)物 行為科學(xué) 中的條件反

23、射學(xué)說一致。感知機(jī)的網(wǎng) 路架構(gòu)有兩種，如圖15-19所示，一含有隱藏層，另一種則無。它們皆包括有輸入層與輸出層。輸入層用以表現(xiàn)網(wǎng)路的輸入變 數(shù)，其處理單元數(shù)目依問題而定，使用線性轉(zhuǎn)換函數(shù)f (X ) = X,亦即輸入值即為輸出值。隱藏層用以表現(xiàn)輸入處 理單元間的交互影響，其處 理單元數(shù)目通常以實(shí)驗(yàn)方式?jīng)Q定其最佳 數(shù)目，隱藏層可以有一層以上，也可以沒有。輸出層用以表現(xiàn)網(wǎng)路的輸出變 數(shù)，其處理單元的數(shù)目依問題而定。輸入變 數(shù)形成一個(gè)輸入向 量，輸出變 數(shù)形成一個(gè) 輸出向量。出向幡出向量15-19憲知檢辭圖15-19感知機(jī)網(wǎng)路架構(gòu)我們以簡單的無隱藏層的感知機(jī)來說明類神經(jīng)網(wǎng)路的學(xué)習(xí)機(jī)制。在神經(jīng)網(wǎng) 路的

24、學(xué)習(xí)中，樣本資 料以數(shù)值形式表示，每一個(gè)樣本都包含有輸入向量X = X1, X2,Xn和目標(biāo)輸出向 量T = T1, T2,Tm。一般將所有的樣本資 料隨機(jī)分為兩部分，一部分為訓(xùn) 練 樣本(training samples),另一部分為測試樣本(test samples)。首先，將感知機(jī)初始化，即 給定每一個(gè)連結(jié)一個(gè)隨機(jī)亂數(shù)值。然后將一個(gè)訓(xùn) 練樣本的輸入向量X輸入感知機(jī)中，并 利 用公式(15-6.1)和(15-6.2)計(jì)算其推論輸出向量 Y Y1, Y2,，丫m。此網(wǎng)路利用由訓(xùn)練樣 本輸入之目標(biāo)輸出向 量T和透過網(wǎng)路推得的推 論輸出向量Y相較之下的誤差，作為修正 連 結(jié)中的加權(quán)值的依據(jù)，以從訓(xùn)練樣本中學(xué)習(xí)隱含的輸入向量與輸出向量之對(duì)應(yīng)關(guān)系。差距量S j計(jì)算公式如下：S j = Tj Y j(15-6.4)若S j > 0,表示推論輸出變數(shù)Y j小于目標(biāo)輸出變 數(shù)Tj,根據(jù)公式(15-6.2)得知連結(jié)加權(quán) 值W ij太小，故應(yīng)增加 W ij的值。相反的，若S j < 0 ,表示推論輸出變數(shù)Y j大于目標(biāo) 輸出變數(shù)T j，根據(jù)公式(