《神經(jīng)網(wǎng)絡(luò)方法》PPT課件.ppt

1、7 神經(jīng)網(wǎng)絡(luò)方法,7.1 人工神經(jīng)網(wǎng)絡(luò)綜述 7.2 人工神經(jīng)元模型 7.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型 7.4 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 7.5 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性 7.6 人工神經(jīng)網(wǎng)與信息融合的結(jié)合 7.7 神經(jīng)網(wǎng)絡(luò)融合實(shí)例,2,7.1 人工神經(jīng)網(wǎng)絡(luò)綜述,二十世紀(jì)八十年代，人工神經(jīng)網(wǎng)絡(luò)取得了重大進(jìn)展，在諸如手寫(xiě)體郵政編碼判讀，蛋白質(zhì)二級(jí)結(jié)構(gòu)的識(shí)別，熱力學(xué)參數(shù)的求取，催化劑設(shè)計(jì)等許多方面取得成功，發(fā)展成為一門(mén)介于物理、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、神經(jīng)生物學(xué)之間的交叉學(xué)科。 人工神經(jīng)網(wǎng)絡(luò)就是采用物理可實(shí)現(xiàn)的系統(tǒng)來(lái)模仿人腦神經(jīng)細(xì)胞的結(jié)構(gòu)和功能的系統(tǒng)。它是由很多處理單元有機(jī)地聯(lián)接起來(lái)，進(jìn)行并行的工作，它的處

2、理單元十分簡(jiǎn)單，其工作是“集體”進(jìn)行的，它的信息傳播，存貯方式與神經(jīng)網(wǎng)絡(luò)相似，沒(méi)有運(yùn)算器、存貯器、控制器這些現(xiàn)代計(jì)算機(jī)的基本單元，而是相同的簡(jiǎn)單處理器的組合。它的信息是存貯在處理單元之間的連接上，因而它是與現(xiàn)代計(jì)算機(jī)完全不同的系統(tǒng)。,3,7.2 人工神經(jīng)元模型神經(jīng)組織的基本特征,4,7.2 人工神經(jīng)元模型MP模型,從全局看，多個(gè)神經(jīng)元構(gòu)成一個(gè)網(wǎng)絡(luò)，因此神經(jīng)元模型的定義要考慮整體，包含如下要素： （1）對(duì)單個(gè)人工神經(jīng)元給出某種形式定義； （2）決定網(wǎng)絡(luò)中神經(jīng)元的數(shù)量及彼此間的聯(lián)結(jié)方式； （3）元與元之間的聯(lián)結(jié)強(qiáng)度（加權(quán)值）。 1943年，仿照人類神經(jīng)元的基本特征，McCulloch和Pitts提

3、出了歷史上第一個(gè)神經(jīng)元模型，稱為M-P模型，這一模型形式上表示為：,5,7.3 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型,單層人工神經(jīng)網(wǎng)絡(luò) 兩層人工神經(jīng)網(wǎng)絡(luò) 根據(jù)神經(jīng)元之間連接方式的不同，人工神經(jīng)網(wǎng)絡(luò)可分為:不含反饋的前向網(wǎng)絡(luò)、從輸出層到輸入層有反饋的前向網(wǎng)絡(luò)、層內(nèi)有相互連接的前向網(wǎng)絡(luò)、相互組合型網(wǎng)絡(luò)。從學(xué)習(xí)方式角度可分為有教師學(xué)習(xí)網(wǎng)絡(luò)和無(wú)教師學(xué)網(wǎng)絡(luò)；按層次劃分，可分為單層、兩層和多層（但一般不超過(guò)3層）。,6,7.4 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,NN的工作過(guò)程分學(xué)習(xí)、訓(xùn)練階段和回憶階段。其學(xué)習(xí)方式有如下幾種: (1)死記式學(xué)習(xí):將網(wǎng)絡(luò)事先設(shè)計(jì)成特殊記憶的模式，以后當(dāng)給定有關(guān)該系統(tǒng)的輸入信息時(shí)，它們就被回憶起來(lái)。

4、(2)從例子中學(xué)習(xí):在學(xué)習(xí)時(shí)給網(wǎng)絡(luò)提供一個(gè)輸入信息，教師給出正確的輸出信息，對(duì)系統(tǒng)進(jìn)行訓(xùn)練，調(diào)節(jié)系統(tǒng)權(quán)值，以使系統(tǒng)輸出更接近期望結(jié)果，感知器就是這種教師學(xué)習(xí)的例子。 (3)無(wú)導(dǎo)師學(xué)習(xí):將網(wǎng)絡(luò)設(shè)計(jì)成不需要教師直接指點(diǎn)的學(xué)習(xí)方式，如競(jìng)爭(zhēng)學(xué)習(xí)系統(tǒng)。,7,7.5 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性,第一，具有自學(xué)習(xí)功能。例如圖像識(shí)別，只需先把不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會(huì)通過(guò)自學(xué)習(xí)功能，慢慢學(xué)會(huì)識(shí)別類似的圖像。 第二，具有聯(lián)想存儲(chǔ)功能。人的大腦是具有聯(lián)想功能的。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。 第三，具有容錯(cuò)性。神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)圖形進(jìn)行學(xué)習(xí)和作出決定。由于知

5、識(shí)存在于整個(gè)系統(tǒng)而不是一個(gè)存儲(chǔ)單元中，一些結(jié)點(diǎn)不參與運(yùn)算，對(duì)整個(gè)系統(tǒng)性能不會(huì)產(chǎn)生重大影響。所以，神經(jīng)網(wǎng)絡(luò)承受硬件損壞的能力比一般計(jì)算機(jī)強(qiáng)得多。 第四，具有高速尋找優(yōu)化解的能力。尋找一個(gè)復(fù)雜問(wèn)題的優(yōu)化解，往往需要很大的計(jì)算量，利用一個(gè)針對(duì)某問(wèn)題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò)，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到優(yōu)化解。,8,7.6 人工神經(jīng)網(wǎng)絡(luò)與信息融合的結(jié)合,利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)信息融合技術(shù)，具有很多優(yōu)越性: (1)神經(jīng)網(wǎng)絡(luò)的信息存儲(chǔ)在網(wǎng)絡(luò)的連接權(quán)值和連接結(jié)構(gòu)上，使得傳感器的信息表示具有統(tǒng)一的形式，便于管理和建立知識(shí)庫(kù); (2)神經(jīng)網(wǎng)絡(luò)可增加信息處理的容錯(cuò)性，當(dāng)某個(gè)信源的數(shù)據(jù)出現(xiàn)差錯(cuò)時(shí)，神經(jīng)網(wǎng)絡(luò)的容

6、錯(cuò)功能可以使系統(tǒng)正常工作，并輸出可靠的信息; (3)神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和自組織功能，使系統(tǒng)能適應(yīng)環(huán)境的不斷變化以及輸入數(shù)據(jù)的不確定性; (4)神經(jīng)網(wǎng)絡(luò)的并行結(jié)構(gòu)和并行處理機(jī)制。使得信息處理速度快，能夠滿足信息的實(shí)時(shí)處理要求。,9,7.7 神經(jīng)網(wǎng)絡(luò)實(shí)例,火災(zāi)探測(cè)是一種特殊類型的信號(hào)檢測(cè)，由傳感器采集的火情參數(shù)一方面具有不確定性，另一方面其不僅隨火災(zāi)特征而變化，也可能隨環(huán)境變化和存在噪聲等而有所改變，而且這種變化往往與火災(zāi)參數(shù)變化特征基本相似，容易引起誤報(bào)。 因此近年來(lái)出現(xiàn)了復(fù)合火災(zāi)探測(cè)器，即采用多通道傳感器獲得多個(gè)信號(hào)參數(shù)如溫度、煙霧等經(jīng)過(guò)處理后判斷火災(zāi)情況，然而如何由多種信號(hào)分析合成得到最終的判

7、斷結(jié)果，并能適應(yīng)各種不同環(huán)境情況的有效算法還亟待研究。,10,神經(jīng)網(wǎng)絡(luò)實(shí)例(續(xù)),11,局部決策,鑒于不同火情下多傳感器系統(tǒng)測(cè)試的多個(gè)火情信息具有很大的相關(guān)不確定性，如： 明火條件下伴隨著溫度和煙霧信號(hào)的急劇增大同時(shí)濕度的下降； 陰燃火發(fā)生時(shí)則往往伴隨著煙霧的增大同時(shí)溫度和濕度的基本穩(wěn)定； 而一些典型的干擾信號(hào)如廚房?jī)?nèi)是煙霧、溫度、濕度信號(hào)同時(shí)增大； 因此分布式檢測(cè)系統(tǒng)首先對(duì)一種傳感器采集的單一信號(hào)進(jìn)行局部決策，再送入融合中心根據(jù)其關(guān)聯(lián)性得出最終決策。,12,局部決策,局部決策采用單傳感器探測(cè)的分析算法，如速率持續(xù)法，即通過(guò)檢測(cè)信號(hào)的變化速率是否持續(xù)超過(guò)一定數(shù)值來(lái)判別火情。 設(shè)采樣信號(hào)原始序列

8、為,式中， 分別為溫度、煙霧和溫度采樣信號(hào)。,13,局部決策,定義一累加函數(shù) 為多次累加相鄰采樣值 的差值之和,則局部決策結(jié)果 為,式中， 為單位階躍函數(shù)， 、 分別為溫度、煙霧或濕度信號(hào)的決策結(jié)果和局部報(bào)警門(mén)限。,14,局部決策,當(dāng)局部決策結(jié)果中的任一個(gè)輸出為1時(shí)，則表示溫度、煙霧或濕度信號(hào)中有一種出現(xiàn)非平穩(wěn)變化，即提請(qǐng)數(shù)據(jù)融合中心對(duì)所有信息進(jìn)行融合處理，得出最終判別。這樣一方面可由局部決策器分別實(shí)現(xiàn)各信號(hào)的預(yù)處理、標(biāo)準(zhǔn)化并濾除噪聲，減輕了融合中心的數(shù)據(jù)處理工作，具有并行分塊處理的優(yōu)點(diǎn)；另一方面當(dāng)局部決策結(jié)果中至少有一個(gè)為報(bào)警輸出1時(shí)，就進(jìn)行后級(jí)數(shù)據(jù)融合，否則不送融合中心。這樣既可以最大限度

9、的采集火情信息，并在早期識(shí)別火災(zāi)隱患，又可減少對(duì)具有非顯著火災(zāi)特征信息的計(jì)算處理，降低誤報(bào)警。,15,基于神經(jīng)網(wǎng)絡(luò)的融合算法,濕度信號(hào)為歸一化值，取值范圍為0-1；輸出層的兩個(gè)單元為明火判決和陰燃火判決系數(shù)，取值為0-1；輸入層與陰層之間為七個(gè)神經(jīng)元的隱藏。輸入層與隱層之間的權(quán)值矩陣為 ，隱層與輸入層之間的權(quán)值矩陣為 。 采用BP算法，執(zhí)行過(guò)程如下： 1）首先確定訓(xùn)練模式對(duì)并對(duì)網(wǎng)絡(luò)進(jìn)行初始化，模式對(duì)由輸入信號(hào)和導(dǎo)師信號(hào)構(gòu)成，分別對(duì)應(yīng)網(wǎng)絡(luò)的輸入層和輸出層。輸入層信號(hào) 根據(jù)多傳感器對(duì)標(biāo)準(zhǔn)試驗(yàn)火和各種環(huán)境條件下的測(cè)試信號(hào)經(jīng)預(yù)處理整合后確定，導(dǎo)師信號(hào) 即上述已知條件下定義的明火和陰燃火判決結(jié)果，由此我們確定了54個(gè)訓(xùn)練模式對(duì)，判決表1為其中的示例。,16,基于神經(jīng)網(wǎng)絡(luò)的融合算法,2）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)于給定的每組訓(xùn)練模式輸入，先由Sigmoid函數(shù)計(jì)算各隱層單元的輸出,式中， 為第 個(gè)隱層的凈輸入,網(wǎng)絡(luò)輸出 為,17,基于神經(jīng)網(wǎng)絡(luò)的融合算法,再將網(wǎng)絡(luò)輸出與導(dǎo)師信號(hào)進(jìn)行比較，計(jì)算其均方根誤差,最后