人工神經(jīng)網(wǎng)絡(luò)三要素及其特點(diǎn)

1、4.1.1人工神經(jīng)網(wǎng)絡(luò)三要素人工神經(jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)系統(tǒng)的某種抽象、簡(jiǎn)化與模擬，是由許多并行互聯(lián)的相同神經(jīng)元模型組成。網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來(lái)實(shí)現(xiàn);知識(shí)與信息存儲(chǔ)在處理單元相互間的物理連接上;網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別決定于各神經(jīng)元連接權(quán)系數(shù)的動(dòng)態(tài)演化過(guò)程。一個(gè)神經(jīng)網(wǎng)絡(luò)模型描述了一個(gè)網(wǎng)絡(luò)如何將它的輸入矢量轉(zhuǎn)化為輸出矢量的過(guò)程。通常，神經(jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)模型的神經(jīng)元特性、拓補(bǔ)結(jié)構(gòu)和學(xué)習(xí)或訓(xùn)練規(guī)則三個(gè)要素確定。一、神經(jīng)元特性作為神經(jīng)網(wǎng)絡(luò)基本單元的神經(jīng)元模型也有其三個(gè)基本要素：1)一組連接權(quán)；2)個(gè)求和單元:3)一個(gè)非線性激勵(lì)函數(shù)。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是多輸入單輸出的非線性器件，

2、其結(jié)構(gòu)模型如圖4一1所示。yv式中x(jI,2,為輸入信號(hào)，w(jI,2,為神經(jīng)元j到神經(jīng)元k的連接權(quán)值,jkjuwx為線性組合結(jié)果，為閾值。為神經(jīng)元激勵(lì)函數(shù)，y為神經(jīng)元的輸出。kkjjkkj1.激活函數(shù)(ActivationFunctions)線性激活函數(shù)f(x)purelin(x)x硬限幅激活函數(shù)1,x0f(x)hardlim(x)0,x0神經(jīng)網(wǎng)絡(luò)由大量并行分布的神經(jīng)元廣泛互聯(lián)構(gòu)成。網(wǎng)絡(luò)的拓補(bǔ)結(jié)構(gòu)是神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特征，從連接方式看神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要有兩種。（I）前饋型網(wǎng)絡(luò)前饋網(wǎng)絡(luò)中神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連。輸入層和輸出層與外界相連，其它中間層稱為隱層，隱層可為

3、一層或多層。除了通用的前饋網(wǎng)絡(luò)外，還存在其變型，如前饋內(nèi)層互連網(wǎng)絡(luò)，網(wǎng)絡(luò)在同一層內(nèi)相互連接，互相制約，從外部看還是一個(gè)前饋網(wǎng)絡(luò)，很多自組織網(wǎng)絡(luò)存在此種結(jié)構(gòu)。單隱層網(wǎng)絡(luò)：常用；三、四層網(wǎng)絡(luò)：特殊的目的；四層以上網(wǎng)絡(luò)：罕見(jiàn)。輸入層隱層輸出層（2）反饋型網(wǎng)絡(luò)所有節(jié)點(diǎn)都是計(jì)算單元，也可接受輸入，并向外界輸出。網(wǎng)絡(luò)的任意兩個(gè)神經(jīng)元之間都可能存在連接，信息在各神經(jīng)元之間反復(fù)傳遞至趨于某一穩(wěn)定狀態(tài)。三、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法1、學(xué)習(xí)方式網(wǎng)絡(luò)的學(xué)習(xí)可以分為3種基本類型:1）網(wǎng)絡(luò)權(quán)值的學(xué)習(xí);2）網(wǎng)絡(luò)節(jié)點(diǎn)函數(shù)的學(xué)習(xí);3）網(wǎng)絡(luò)拓補(bǔ)結(jié)構(gòu)的學(xué)習(xí)。其中，網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)最為簡(jiǎn)單，目前大多數(shù)文獻(xiàn)中所謂的網(wǎng)絡(luò)學(xué)習(xí)指的就是網(wǎng)絡(luò)權(quán)值的

4、學(xué)習(xí)。下文的介紹也圍繞網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)進(jìn)行。學(xué)習(xí)的過(guò)程就是按某種預(yù)定的度量通過(guò)調(diào)節(jié)自身參數(shù)（如權(quán)值）來(lái)達(dá)到性能改養(yǎng)的過(guò)程。學(xué)習(xí)方式有三種:（I）監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）這種學(xué)習(xí)方式需要外界存在一個(gè)“教師”，它可對(duì)給定一組輸入提供應(yīng)有的輸出結(jié)果，這組己知的輸入一輸出數(shù)據(jù)稱為訓(xùn)練樣本集，學(xué)習(xí)系統(tǒng)(神經(jīng)網(wǎng)絡(luò))根據(jù)己知輸入與實(shí)際輸出之間的差值(誤差信號(hào))來(lái)調(diào)節(jié)系統(tǒng)參數(shù)。非監(jiān)督學(xué)習(xí)不存在外部教師，學(xué)習(xí)系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計(jì)規(guī)律來(lái)調(diào)節(jié)自身參數(shù)或結(jié)構(gòu)，以表示出外部輸入的某種固有特性。(3)再勵(lì)學(xué)習(xí)(強(qiáng)化學(xué)習(xí))這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)輸出結(jié)果只給出評(píng)價(jià)信息(獎(jiǎng)或懲)而不給出正確答案

5、，學(xué)習(xí)系統(tǒng)通過(guò)強(qiáng)化受獎(jiǎng)的動(dòng)作來(lái)改善自身的性能。2、學(xué)習(xí)算法誤差糾正學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的誤差信號(hào)為e(n)d(n)y(n)kkk式中d(n)為理想輸出，y(n)為實(shí)際輸出。誤差糾正學(xué)習(xí)的最終目的是使某一基于誤e(n)kkk的目標(biāo)函數(shù)達(dá)到最小，使網(wǎng)絡(luò)中每個(gè)輸出單元的實(shí)際輸出在某種統(tǒng)計(jì)意義上逼近理想輸出Hebb學(xué)習(xí)兩個(gè)神經(jīng)元之間的連接權(quán)，正比于兩個(gè)神經(jīng)元的活動(dòng)值，當(dāng)兩神經(jīng)元同為激活或同為抑制時(shí)該連接的強(qiáng)度應(yīng)增強(qiáng)，反之減弱。競(jìng)爭(zhēng)(competitive)學(xué)習(xí)網(wǎng)絡(luò)各輸出單元相互競(jìng)爭(zhēng)，原來(lái)輸出單元中如有某一單元較強(qiáng)，它將獲勝并抑制其它單元，最后只有此強(qiáng)者處于激活狀態(tài)。4.1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)在信

6、息處理方面與傳統(tǒng)的計(jì)算機(jī)相比有自身的優(yōu)勢(shì):并行性。傳統(tǒng)的計(jì)算方法是基于串行處理的思想發(fā)展起來(lái)的，計(jì)算和存儲(chǔ)是完全獨(dú)立的兩個(gè)部分。計(jì)算速度取決于存儲(chǔ)器和運(yùn)算器之間的連接通道，大大限制了它的運(yùn)算能力。而神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元之間存在大量的相互連接，所以信息輸入之后可以很快地傳遞到各個(gè)神經(jīng)元進(jìn)行并行處理，在值傳遞的過(guò)程中同時(shí)完成網(wǎng)絡(luò)的計(jì)算和存儲(chǔ)功能，將輸入輸出的映射關(guān)系以神經(jīng)元間連接強(qiáng)度(權(quán)值)的方式存儲(chǔ)下來(lái)，其運(yùn)算效率非常高。自學(xué)習(xí)、自組織性。神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有很強(qiáng)的自學(xué)習(xí)能力，系統(tǒng)可以在學(xué)習(xí)過(guò)程中不斷地完善自己，具有創(chuàng)造性。聯(lián)想記憶功能。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，輸入端給出要記憶的模式，通過(guò)學(xué)習(xí)并合理地調(diào)一節(jié)網(wǎng)絡(luò)中的權(quán)系數(shù)，網(wǎng)絡(luò)就能記住所有的輸入信息。在執(zhí)行時(shí)，若網(wǎng)絡(luò)的輸入端輸入被噪聲污染的信息或是不完整、不準(zhǔn)確的片斷，經(jīng)過(guò)網(wǎng)絡(luò)的處理后，在輸出端可得到恢復(fù)了的完整而準(zhǔn)確的信息。很強(qiáng)的魯棒性和容錯(cuò)性。在神經(jīng)網(wǎng)絡(luò)中