BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)

第1頁(yè)，共80頁(yè)。主要內(nèi)容一：神經(jīng)網(wǎng)絡(luò)的背景知識(shí)二：BP神經(jīng)網(wǎng)絡(luò)三：RBF神經(jīng)網(wǎng)絡(luò)四：兩種神經(jīng)網(wǎng)絡(luò)的比較第2頁(yè)，共80頁(yè)。人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）是基于仿生學(xué)理論上的對(duì)人腦某些已知結(jié)構(gòu)的模仿。它將人腦的神經(jīng)元連接方式加以抽象。用大量的神經(jīng)元節(jié)點(diǎn)組成一個(gè)龐大的神經(jīng)網(wǎng)絡(luò)，從而實(shí)現(xiàn)數(shù)據(jù)的非線性處理，以及復(fù)雜的邏輯運(yùn)算。第3頁(yè)，共80頁(yè)。正因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿，它具有一些傳統(tǒng)邏輯運(yùn)算不具有的優(yōu)點(diǎn)。主要包括：一、非線性非線性是自然界的普遍特性。人腦的思考過(guò)程就是非線性的。人工神經(jīng)網(wǎng)絡(luò)通過(guò)模仿人腦神經(jīng)元結(jié)構(gòu)的信息傳遞過(guò)程，可以進(jìn)行線性或者非線性的運(yùn)算，這是人工神經(jīng)網(wǎng)絡(luò)的最特出的特性。第4頁(yè)，共80頁(yè)。二、自適應(yīng)性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)中設(shè)置了權(quán)值和閾值參數(shù)。網(wǎng)絡(luò)能夠隨著輸入輸出端的環(huán)境變化，自動(dòng)調(diào)節(jié)神經(jīng)節(jié)點(diǎn)上的權(quán)值和閾值。因此，神經(jīng)網(wǎng)絡(luò)對(duì)在一定范圍變化的環(huán)境有很強(qiáng)的適應(yīng)能力。適用于完成信號(hào)處理、模式識(shí)別、自動(dòng)控制等任務(wù)。系統(tǒng)運(yùn)行起來(lái)也相當(dāng)穩(wěn)定。第5頁(yè)，共80頁(yè)。三、較強(qiáng)的容錯(cuò)性由若干個(gè)小的神經(jīng)元組成的網(wǎng)絡(luò)十分龐大。信息存儲(chǔ)在神經(jīng)元之間的連接權(quán)值上，采用的是分布式的存儲(chǔ)方式。局部的或部分的神經(jīng)元損壞后，不會(huì)對(duì)全局的活動(dòng)造成大的影響。第6頁(yè)，共80頁(yè)。神經(jīng)網(wǎng)絡(luò)的應(yīng)用前景目前，神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于：信息領(lǐng)域、自動(dòng)化領(lǐng)域、醫(yī)學(xué)領(lǐng)域等。信息領(lǐng)域：主要包括信號(hào)處理和模式識(shí)別。目前神經(jīng)網(wǎng)絡(luò)被廣泛的用于自適應(yīng)信號(hào)處理和非線性信號(hào)處理。在這些方面已經(jīng)有很多成功的例子。例如信號(hào)傳遞的去噪聲和運(yùn)動(dòng)目標(biāo)的速度估計(jì)。在模式識(shí)別方面，神經(jīng)網(wǎng)絡(luò)不僅可以完成如圖像的特征檢測(cè)，邊緣提取等任務(wù)還可以進(jìn)行如目標(biāo)跟蹤，語(yǔ)音識(shí)別等動(dòng)態(tài)識(shí)別。第7頁(yè)，共80頁(yè)。神經(jīng)網(wǎng)絡(luò)模型包括：一、神經(jīng)元二、網(wǎng)絡(luò)拓?fù)淙?、學(xué)習(xí)算法第8頁(yè)，共80頁(yè)。神經(jīng)元在介紹人工神經(jīng)網(wǎng)絡(luò)之前，首先簡(jiǎn)單了解一下實(shí)際的生物神經(jīng)元的基本情況。一個(gè)生物神經(jīng)元有兩種狀態(tài)，即興奮狀態(tài)和抑制狀態(tài)。平時(shí)處于抑制狀態(tài)的生物神經(jīng)元，會(huì)收到多個(gè)其他生物神經(jīng)元傳來(lái)的興奮電位，并且這多個(gè)輸入電位在該神經(jīng)元中以代數(shù)和的形式疊加，如果輸入的興奮總量超過(guò)某個(gè)閾值，該生物神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖并傳給其他神經(jīng)元。第9頁(yè)，共80頁(yè)。人工神經(jīng)元模型第10頁(yè)，共80頁(yè)。其中xj(j=1,2……n)為神經(jīng)元i的輸入信號(hào)，wij為連接權(quán)，ui是由輸入信號(hào)線性組合后的輸出，θi為神經(jīng)元的閥值。第11頁(yè)，共80頁(yè)。f（·）稱為神經(jīng)元的傳遞函數(shù)（活化函數(shù)或激活函數(shù)）。對(duì)于基本的感知器神經(jīng)元，工作方式是將加權(quán)總和與神經(jīng)元的閾值進(jìn)行比較，若大于閾值，神經(jīng)元被激活。信號(hào)被傳送到與其相連的更高一層神經(jīng)元。第12頁(yè)，共80頁(yè)。常見的傳遞函數(shù)有三類①硬閾值型函數(shù)第13頁(yè)，共80頁(yè)。②分段線性函數(shù)第14頁(yè)，共80頁(yè)。③sigmoid函數(shù)第15頁(yè)，共80頁(yè)。Sigmoid函數(shù)是最常用的傳遞函數(shù)之一，這是由于sigmoid函數(shù)具有以下特點(diǎn)：①非線性和單調(diào)性②無(wú)限次可微③當(dāng)權(quán)值很大時(shí)可近似階躍函數(shù)④當(dāng)權(quán)值很小時(shí)可近似線性函數(shù)第16頁(yè)，共80頁(yè)。網(wǎng)絡(luò)拓?fù)渚W(wǎng)絡(luò)拓?fù)涫侵妇W(wǎng)絡(luò)的結(jié)構(gòu)以及神經(jīng)元之間的連接方式。根據(jù)連接方式的不同，可分為反饋型人工神經(jīng)網(wǎng)絡(luò)和非反饋型人工神經(jīng)網(wǎng)絡(luò)。前者神經(jīng)元之間存在反饋的環(huán)路，后者神經(jīng)元之間不存在反饋回路。對(duì)于非反饋神經(jīng)網(wǎng)絡(luò)，若結(jié)構(gòu)是分層的，每一層神經(jīng)元只與上一層神經(jīng)元相連，同層之間互不相連，則稱該網(wǎng)絡(luò)為前饋型人工神經(jīng)網(wǎng)絡(luò)。第17頁(yè)，共80頁(yè)。網(wǎng)絡(luò)的學(xué)習(xí)算法網(wǎng)絡(luò)的學(xué)習(xí)算法是以滿足網(wǎng)絡(luò)所需的性能為目標(biāo)，決定連接各神經(jīng)元的初始權(quán)值及在訓(xùn)練時(shí)調(diào)整權(quán)值的方法。學(xué)習(xí)方法可分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)。前者為有導(dǎo)師學(xué)習(xí)，訓(xùn)練時(shí)，同時(shí)向網(wǎng)絡(luò)提供輸入模式以及輸出的樣板模式，在不斷輸入不同訓(xùn)練模式的同時(shí)調(diào)整權(quán)值，從而使輸出盡量接近樣板模式。后者是無(wú)導(dǎo)師學(xué)習(xí)，它是一種自動(dòng)的聚類過(guò)程。第18頁(yè)，共80頁(yè)。

三種用于模式識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)和算法單層感知器（SingleLayerPereceptron，簡(jiǎn)稱為SLP）可作為分類器。單輸出的SLP，其結(jié)構(gòu)就是單個(gè)人工神經(jīng)元。輸入的N個(gè)元可為連續(xù)的或二進(jìn)制的標(biāo)量信號(hào)。表示一個(gè)維空間的超平面。圖6-3表示可由這個(gè)超平面對(duì)A、B類進(jìn)行分類。SLP結(jié)構(gòu)的前部分為一線性加權(quán)裝置(權(quán)為，附有閥值)，其輸出經(jīng)一個(gè)性能函數(shù)為的硬限幅非線性裝置，然后輸出到判決器。按當(dāng)其輸入為+1時(shí)判屬A類；當(dāng)其輸入為-1時(shí)判屬B類的準(zhǔn)則來(lái)判類。第19頁(yè)，共80頁(yè)。兩類分類處理第20頁(yè)，共80頁(yè)。訓(xùn)練步驟第一步：設(shè)置初始權(quán)值及閾值。置初始的權(quán)值及閾值為一個(gè)小的隨機(jī)數(shù)。第二步：?jiǎn)⒂眯碌妮斎胄盘?hào)x1，x2，…，xn及給定相應(yīng)的理想輸出信號(hào)d（t），其中d（t）=+1（若實(shí)際屬于A類）d（t）=-1（若實(shí)際屬于B類）第三步：計(jì)算實(shí)際輸出第21頁(yè)，共80頁(yè)。第四步：調(diào)整權(quán)值式中的?為小于1的正的增益因子。由上式可見，只是在出現(xiàn)判決誤差時(shí)權(quán)值才變動(dòng)。第五步：轉(zhuǎn)到第二步重復(fù)進(jìn)行。第22頁(yè)，共80頁(yè)。

雙層感知器

實(shí)際上實(shí)用的最簡(jiǎn)單的M類分類的感知器（Pereceptron）也應(yīng)該是一種雙層神經(jīng)網(wǎng)絡(luò)模型。它是一個(gè)兩層前饋神經(jīng)網(wǎng)絡(luò)，一層為輸入層，另一層具有計(jì)算單元，可以通過(guò)監(jiān)督學(xué)習(xí)建立模式判別的能力，如圖所示。x2xNx1yMy1y2第23頁(yè)，共80頁(yè)。學(xué)習(xí)的目標(biāo)是通過(guò)改變權(quán)值使神經(jīng)網(wǎng)絡(luò)由給定的輸入得到給定的輸出。作為分類器，可以用已知類別的模式向量（向量維數(shù)等于輸入節(jié)點(diǎn)數(shù)）作為訓(xùn)練集，當(dāng)輸入為屬于第j類的特征向量時(shí)，應(yīng)使對(duì)應(yīng)于該類的輸出神經(jīng)元的輸出為1，而其它輸出神經(jīng)元的輸出則為0（或－1）。應(yīng)使對(duì)應(yīng)于該類的輸出神經(jīng)元的輸出為1，而其它輸出神經(jīng)元的輸出則為0（或－1）。設(shè)理想的輸出為：

實(shí)際的輸出為：

為了使實(shí)際的輸出逼近理想輸出，可以反復(fù)依次輸入訓(xùn)練集中的輸入向量，然后計(jì)算出實(shí)際的輸出，再對(duì)權(quán)值作如下的修改

雙層感知器的學(xué)習(xí)過(guò)程與求取線性判別函數(shù)的過(guò)程是等價(jià)的，它只能用于解決線性可分問(wèn)題。它的特點(diǎn)是學(xué)習(xí)過(guò)程收斂很快，且與初始值無(wú)關(guān)。第24頁(yè)，共80頁(yè)。

多層感知器當(dāng)類別不能用一超平面完善分割時(shí)，需用更復(fù)雜結(jié)構(gòu)的感知器，即所謂的“多層感知器”。（Multi-LayerPerceptron，簡(jiǎn)稱為MLP）如果感知器的傳遞函數(shù)具有非線性，則這種網(wǎng)絡(luò)具有較強(qiáng)的分類能力。多層感知器網(wǎng)是由若干層感知器以及可修正的權(quán)連接而構(gòu)成的多層前饋網(wǎng)絡(luò)。

第25頁(yè)，共80頁(yè)。多層感知器的結(jié)構(gòu)由一個(gè)輸入層，一個(gè)以上隱藏層和一個(gè)輸出層組成。所有的連接均為相鄰層之間的節(jié)點(diǎn)的連接，同層之間不連接。輸入層不作任何運(yùn)算，它只是將每個(gè)輸入量分配到各個(gè)輸入節(jié)點(diǎn)。圖6-5是一個(gè)三層MLP神經(jīng)網(wǎng)絡(luò)。x2xNy1yM第26頁(yè)，共80頁(yè)。對(duì)于多層感知器，Werbos曾于1974年提出，并且由Rumelhart等人的工作而得到完善和推廣的一種學(xué)習(xí)算法，即著名的BP（BackPropagation）算法，它是一種修正連接權(quán)的算法。所以MLP的訓(xùn)練大都采用這種反向傳播算法。

第27頁(yè)，共80頁(yè)。BP神經(jīng)網(wǎng)絡(luò)BP(BackPropagation)神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播算法的學(xué)習(xí)過(guò)程，由信息的正向傳播和誤差的反向傳播兩個(gè)過(guò)程組成。輸入層各神經(jīng)元負(fù)責(zé)接收來(lái)自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變化能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過(guò)程，由輸出層向外界輸出信息處理結(jié)果。第28頁(yè)，共80頁(yè)。當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段。誤差通過(guò)輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳。周而復(fù)始的信息正向傳播和誤差反向傳播過(guò)程，是各層權(quán)值不斷調(diào)整的過(guò)程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過(guò)程，此過(guò)程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。第29頁(yè)，共80頁(yè)。BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

第30頁(yè)，共80頁(yè)。2.1輸入/輸出變量的確定若輸入變量較多，一般可通過(guò)主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來(lái)壓減輸入變量。輸出變量可以是一個(gè)，也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更方便。第31頁(yè)，共80頁(yè)。Hornik等早已證明：若輸入層和輸出層采用線性傳遞函數(shù)，隱層采用Sigmoid傳遞函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱含層）。在BP網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，但是目前理論上還沒(méi)有一種科學(xué)的和普遍的確定方法。隱含層數(shù)和節(jié)點(diǎn)數(shù)第32頁(yè)，共80頁(yè)。一些文獻(xiàn)中提到的一種隱含層節(jié)點(diǎn)數(shù)選擇的經(jīng)驗(yàn)公式：其中N為隱含層神經(jīng)元個(gè)數(shù)，m為輸入神經(jīng)元個(gè)數(shù)，n為輸出神經(jīng)元個(gè)數(shù)，ɑ為1~10之間的一個(gè)整數(shù)。第33頁(yè)，共80頁(yè)。BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法為說(shuō)明算法，假定BP網(wǎng)絡(luò)中只有一個(gè)隱層，也就是三層BP網(wǎng)絡(luò)。上標(biāo)h表示隱層，上標(biāo)o表示輸出層，下標(biāo)p表示p次訓(xùn)練向量第34頁(yè)，共80頁(yè)。隱層節(jié)點(diǎn)j輸出和輸入節(jié)點(diǎn)的關(guān)系：輸出節(jié)點(diǎn)k和隱層輸出節(jié)點(diǎn)的關(guān)系：學(xué)習(xí)過(guò)程：定義輸出誤差第35頁(yè)，共80頁(yè)。學(xué)習(xí)的目的是要使以下定義的誤差平方和最小：因此，要求以下的偏導(dǎo)，式中1/2是為了計(jì)算方便，不影響推導(dǎo)過(guò)程。為了決定權(quán)值改變的方向和大小，必須計(jì)算EP對(duì)wkj的負(fù)梯度然后調(diào)節(jié)權(quán)值，使總的誤差減小第36頁(yè)，共80頁(yè)。第37頁(yè)，共80頁(yè)。所以輸出權(quán)值的更新：第38頁(yè)，共80頁(yè)。對(duì)隱層權(quán)值的更新隱層的權(quán)值更新采用與輸出層相仿的方法問(wèn)題：我們知道這些節(jié)點(diǎn)的實(shí)際輸出，確無(wú)法提前知道正確的輸出是什么解決方法：直接把總的誤差和隱層的權(quán)值聯(lián)系起來(lái)我們要計(jì)算EP對(duì)隱層權(quán)值的梯度第39頁(yè)，共80頁(yè)。而：所以：第40頁(yè)，共80頁(yè)。注意：隱層的權(quán)值更新取決于輸出層的所有的誤差根據(jù)相應(yīng)的公式可以求出各個(gè)偏微分第41頁(yè)，共80頁(yè)。定義一個(gè)隱層誤差項(xiàng)：第42頁(yè)，共80頁(yè)。計(jì)算全局誤差

m是樣本數(shù)據(jù)個(gè)數(shù)，q是輸出節(jié)點(diǎn)個(gè)數(shù)判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出繼續(xù)訓(xùn)練網(wǎng)絡(luò)。第43頁(yè)，共80頁(yè)。BP網(wǎng)絡(luò)主要用途

BP網(wǎng)絡(luò)作為一種很重要的神經(jīng)網(wǎng)絡(luò)模型在許多領(lǐng)域都得到了應(yīng)用（圖像壓縮編碼、人臉識(shí)別、故障診斷、最優(yōu)預(yù)測(cè)、分類）。1、函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù)。2、模式識(shí)別：用一個(gè)特定的輸出向量將它與輸入向量聯(lián)系起來(lái)。3、分類：把輸入向量以所定義的合適方式進(jìn)行分類。4、數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便于傳輸或存儲(chǔ)。第44頁(yè)，共80頁(yè)。標(biāo)準(zhǔn)BP算法的缺陷標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷：⑴易形成局部極小而得不到全局最優(yōu)；⑵訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；⑶隱節(jié)點(diǎn)的選取缺乏理論指導(dǎo)；⑷訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。第45頁(yè)，共80頁(yè)。目前有效改進(jìn)方法：①增加動(dòng)量項(xiàng)一些學(xué)者指出，標(biāo)準(zhǔn)BP算法在調(diào)整權(quán)值時(shí)，只按t時(shí)刻誤差的梯度降方向調(diào)整，而沒(méi)有考慮t時(shí)刻前的梯度方向，從而常使訓(xùn)練過(guò)程發(fā)生震蕩，收斂緩慢。為了提高網(wǎng)絡(luò)的訓(xùn)練速度，可以在權(quán)值調(diào)整公式中增加一動(dòng)量項(xiàng)。②自適應(yīng)調(diào)節(jié)學(xué)習(xí)率學(xué)習(xí)率也稱為步長(zhǎng)，在標(biāo)準(zhǔn)的BP算法定為常數(shù)，然而在實(shí)際應(yīng)用中，很難確定一個(gè)從始至終都合適的最佳學(xué)習(xí)率。從誤差曲面可以看出，在平坦區(qū)域內(nèi)學(xué)習(xí)率太小會(huì)使訓(xùn)練次數(shù)增加，因而希望增大學(xué)習(xí)率；而在誤差變化劇烈的區(qū)域，學(xué)習(xí)率太大會(huì)因調(diào)整量過(guò)大而跨過(guò)較窄的“坑凹”處，使訓(xùn)練出現(xiàn)震蕩，反而使迭代次數(shù)增加。為了加速收斂過(guò)程，一個(gè)較好的思想是自適應(yīng)改變學(xué)習(xí)率，使其該大時(shí)增大，該小時(shí)減小。③引入陡度因子誤差曲面上存在著平坦區(qū)域。權(quán)值調(diào)整進(jìn)入平坦區(qū)的原因是神經(jīng)元輸出進(jìn)入了轉(zhuǎn)移函數(shù)的飽和區(qū)。如果在調(diào)整進(jìn)入平坦區(qū)域后，設(shè)法壓縮神經(jīng)元的凈輸入，使其輸出退出轉(zhuǎn)移函數(shù)的飽和區(qū)，就可以改變誤差函數(shù)的形狀，從而使調(diào)整脫離平坦區(qū)。實(shí)現(xiàn)這一思路的具體作法是在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡度因子。第46頁(yè)，共80頁(yè)。BP神經(jīng)網(wǎng)絡(luò)示例要求建立一個(gè)BP神經(jīng)網(wǎng)絡(luò)來(lái)逼近正選函數(shù)。

輸入矢量P=0:0.1:2.*pi;期望輸出矢量T=sin(P);使用三層BP神經(jīng)網(wǎng)絡(luò)，輸入和輸出節(jié)點(diǎn)都為1，,隱含層神經(jīng)元數(shù)目取5。第47頁(yè)，共80頁(yè)。RBF神經(jīng)網(wǎng)絡(luò)1985年，Powell提出了多變量插值的徑向基函數(shù)（RadicalBasisFunction,RBF）方法。1988年，Moody和Darken提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即RBF神經(jīng)網(wǎng)絡(luò)，它屬于前向神經(jīng)網(wǎng)絡(luò)類型，能夠以任意精度逼近任意連續(xù)函數(shù)，特別適合于解決分類問(wèn)題。第48頁(yè)，共80頁(yè)。RBF網(wǎng)絡(luò)的結(jié)構(gòu)與多層前向網(wǎng)絡(luò)類似，它是一種三層前向網(wǎng)絡(luò)。輸入層由信號(hào)源結(jié)點(diǎn)組成；第二層為隱含層，隱單元數(shù)視所描述問(wèn)題的需要而定，隱單元的變換函數(shù)RBF（）是對(duì)中心點(diǎn)徑向?qū)ΨQ且衰減的非負(fù)非線性函數(shù)；第三層為輸出層，它對(duì)輸入模式的作用作出響應(yīng)。從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間變換是線性的。第49頁(yè)，共80頁(yè)。RBF網(wǎng)絡(luò)的基本思想是：用RBF作為隱單元的“基”構(gòu)成隱含層空間，這樣就可以將輸入矢量直接（即不需要通過(guò)權(quán)接）映射到隱空間。當(dāng)RBF的中心點(diǎn)確定以后，這種映射關(guān)系也就確定了。而隱含層空間到輸出空間的映射是線性的，即網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和。此處的權(quán)即為網(wǎng)絡(luò)可調(diào)參數(shù)。由此可見，從總體上看，網(wǎng)絡(luò)由輸入到輸出的映射是非線性的，而網(wǎng)絡(luò)輸出對(duì)可調(diào)參數(shù)而言卻又是線性的。這樣網(wǎng)絡(luò)的權(quán)就可由線性方程直接解出，從而大大加快學(xué)習(xí)速度并避免局部極小問(wèn)題。第50頁(yè)，共80頁(yè)。RBF神經(jīng)元模型第51頁(yè)，共80頁(yè)。徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)采用徑向基函數(shù)，通常定義為空間任一點(diǎn)到某一中心之間歐氏距離的單調(diào)函數(shù)。由圖1所示的徑向基神經(jīng)元結(jié)構(gòu)可以看出，徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)是以輸入向量和權(quán)值向量之間的距離作為自變量的。徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)的一般表達(dá)式為

第52頁(yè)，共80頁(yè)。隨著權(quán)值和輸入向量之間距離的減少，網(wǎng)絡(luò)輸出是遞增的，當(dāng)輸入向量和 權(quán)值向量一致時(shí)，神經(jīng)元輸出1。在圖中的b為偏差，用于調(diào)整神經(jīng)元的靈敏度。第53頁(yè)，共80頁(yè)。徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第54頁(yè)，共80頁(yè)。在RBF網(wǎng)絡(luò)中，輸入層僅僅起到傳輸信號(hào)的作用。輸出層和隱含層所完成的任務(wù)是不同的，因而它們的學(xué)習(xí)策略也不相同。輸出層是對(duì)線性權(quán)進(jìn)行調(diào)整，采用的是線性優(yōu)化策略。因而學(xué)習(xí)速度較快。而隱含層是對(duì)激活函數(shù)（一般取高斯函數(shù)）的參數(shù)進(jìn)行調(diào)整，采用的是非線性優(yōu)化策略，因而學(xué)習(xí)速度較慢。第55頁(yè)，共80頁(yè)。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法需要求解的參數(shù)有3個(gè)：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。根據(jù)徑向基函數(shù)中心選取方法的不同，RBF網(wǎng)絡(luò)有多種學(xué)習(xí)方法，如隨機(jī)選取中心法、自組織選取中心法、有監(jiān)督選取中心法和正交最小二乘法等，下面將介紹自組織選取中心的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)法。第56頁(yè)，共80頁(yè)。自組織選取中心法此方法由兩個(gè)階段組成：一是自組織學(xué)習(xí)階段，此階段為無(wú)導(dǎo)師學(xué)習(xí)過(guò)程，求解隱含層基函數(shù)的中心與方差。二是有導(dǎo)師學(xué)習(xí)階段，此階段求解隱含層到輸出層之間的權(quán)值。第57頁(yè)，共80頁(yè)。徑向基神經(jīng)網(wǎng)絡(luò)中常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可表示為式中————?dú)W式范數(shù)。————高斯函數(shù)的中心。————高斯函數(shù)的方差。第58頁(yè)，共80頁(yè)。由圖中徑向基神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可得到網(wǎng)絡(luò)的輸出為：式中————第p個(gè)輸入樣本?！狿表示樣本總數(shù)?！W(wǎng)絡(luò)隱含層結(jié)點(diǎn)的中心?！[含層到輸出層的連接權(quán)值?！[含層的節(jié)點(diǎn)數(shù)?！c輸入樣本對(duì)應(yīng)的網(wǎng)絡(luò)的第j個(gè)輸出結(jié)點(diǎn)的實(shí)際輸出。第59頁(yè)，共80頁(yè)。設(shè)d是樣本的期望輸出值，那么基函數(shù)的方差可表示為：第60頁(yè)，共80頁(yè)。學(xué)習(xí)算法具體步驟如下：1.基于K-均值聚類方法求解基函數(shù)中心（1）網(wǎng)絡(luò)初始化：隨機(jī)選取個(gè)訓(xùn)練樣本作為聚類中心（2）將輸入的訓(xùn)練樣本集合按最近鄰規(guī)則分組：按照與中心之間的歐式距離將分配到輸入樣本的各個(gè)聚類集合中。

第61頁(yè)，共80頁(yè)。（3）重新調(diào)整聚類中心：計(jì)算各個(gè)聚類集合中訓(xùn)練樣本的平均值，即新的聚類中心，如果新的聚類中心不再發(fā)生變化，則所得到的即為RBF神經(jīng)網(wǎng)絡(luò)最終的基函數(shù)中心，否則返回2），進(jìn)入下一輪的中心求解。第62頁(yè)，共80頁(yè)。2.求解方差該RBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)為高斯函數(shù)，因此方差可由下式求解：式中——所選取中心與其他中心之間的最大距離。第63頁(yè)，共80頁(yè)。3.計(jì)算隱含層和輸出層之間的權(quán)值

隱含層至輸出層之間神經(jīng)元的連接權(quán)值可以用最小二乘法直接計(jì)算得到，計(jì)算公式如下：第64頁(yè)，共80頁(yè)。BP神經(jīng)網(wǎng)絡(luò)與RBF神經(jīng)網(wǎng)絡(luò)的比較從網(wǎng)絡(luò)結(jié)構(gòu)上看BP神經(jīng)網(wǎng)絡(luò)隱層單元的傳遞函數(shù)一般選擇非線性函數(shù)（如反正切函數(shù)），RBF神經(jīng)網(wǎng)絡(luò)隱層單元的傳遞函數(shù)是關(guān)于中心對(duì)稱的RBF（如高斯函數(shù)）。從訓(xùn)練算法上看BP神經(jīng)網(wǎng)絡(luò)需要確定的參數(shù)是連接權(quán)值和閾值，主要的訓(xùn)練算法為BP算法。但BP算法存在許多不足之處，主要表現(xiàn)為易限于局部極小值，學(xué)習(xí)過(guò)程收斂速度慢，隱層和隱層節(jié)點(diǎn)數(shù)難以確定。目前，很多RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法支持在線和離線訓(xùn)練，可以動(dòng)態(tài)確定網(wǎng)絡(luò)結(jié)構(gòu)和隱層單元的數(shù)據(jù)中心和擴(kuò)展常數(shù)，學(xué)習(xí)速度快，比BP算法表現(xiàn)出更好的性能。第65頁(yè)，共80頁(yè)。RBF網(wǎng)絡(luò)的學(xué)習(xí)算法RBF網(wǎng)絡(luò)的學(xué)習(xí)算法一般包括兩個(gè)不同的階段：隱層徑向基函數(shù)中心的確定階段。在此我們選用中心的自組織選擇法。徑向基函數(shù)權(quán)值學(xué)習(xí)調(diào)整階段。此處我們介紹中心的監(jiān)督選擇法。第66頁(yè)，共80頁(yè)。中心的自組織選擇法中心的自組織選擇法是一種無(wú)導(dǎo)師學(xué)習(xí)，又稱非監(jiān)督學(xué)習(xí)，是對(duì)所有樣本的輸入進(jìn)行聚類，求得各隱層節(jié)點(diǎn)的RBF的中心。這里介紹常用的k-均值聚類算法，算法步驟如下：第67頁(yè)，共80頁(yè)。③調(diào)整中心：很小時(shí)為止。3.2中心的監(jiān)督選擇法中心的監(jiān)督選擇法是一種有導(dǎo)師學(xué)習(xí)，也稱監(jiān)督學(xué)習(xí)算法。徑向基函數(shù)的中心以及網(wǎng)絡(luò)的所有其他參數(shù)都將經(jīng)歷一個(gè)監(jiān)督學(xué)習(xí)的過(guò)程，即RBF網(wǎng)絡(luò)將采用最一般的方式誤差修正學(xué)習(xí)過(guò)程，它可以很方便的使用梯度下降法。當(dāng)確定后，訓(xùn)練隱層至輸出層之間的權(quán)值，由于它是一個(gè)線性方程組，則求權(quán)值就成為線性優(yōu)化問(wèn)題，如LMS算法、最小二乘遞推算法等。

第68頁(yè)，共80頁(yè)。（1）LMS算法已知最陡下降法迭代公式

，即后一時(shí)刻的權(quán)值等于前一時(shí)刻的加上一個(gè)正比于負(fù)梯度的增量，這里

。為性能曲面的梯度LMS算法的核心思想是：計(jì)算梯度時(shí)，用平方誤差代替均方誤差所