第4章 神經(jīng)計(jì)算課件_第1頁(yè)
第4章 神經(jīng)計(jì)算課件_第2頁(yè)
第4章 神經(jīng)計(jì)算課件_第3頁(yè)
第4章 神經(jīng)計(jì)算課件_第4頁(yè)
第4章 神經(jīng)計(jì)算課件_第5頁(yè)
已閱讀5頁(yè),還剩48頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

第4章神經(jīng)計(jì)算1人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2感知器3BP神經(jīng)網(wǎng)絡(luò)第4章神經(jīng)計(jì)算4.1人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)人工神經(jīng)網(wǎng)絡(luò)是人腦及其活動(dòng)的一個(gè)理論化的數(shù)學(xué)模型,它由大量的處理單元通過(guò)適當(dāng)?shù)姆绞交ミB構(gòu)成,是一個(gè)大規(guī)模的非線性自適應(yīng)系統(tǒng)。是一個(gè)并行、分布處理結(jié)構(gòu),它由處理單元及稱為連接的無(wú)向信號(hào)通道互連而成。第4章神經(jīng)計(jì)算4.1.1人工神經(jīng)元網(wǎng)絡(luò)模型第4章神經(jīng)計(jì)算4.1.2幾個(gè)問(wèn)題1)學(xué)習(xí)能力2)普化能力3)信息的分布存放4)適用性第4章神經(jīng)計(jì)算學(xué)習(xí)能力可以根據(jù)所在的環(huán)境取改變它的行為。也就是說(shuō),人工神經(jīng)網(wǎng)絡(luò)可以接受用戶提交的樣本集合,依照系統(tǒng)給定的算法,不斷修正用來(lái)確定系數(shù)行為的神經(jīng)元之間的連接強(qiáng)度,而且在網(wǎng)絡(luò)的基本構(gòu)成確定之后,這種改變是根據(jù)其接受的樣本集合自然進(jìn)行的。在學(xué)習(xí)過(guò)程中,人工神經(jīng)網(wǎng)絡(luò)不斷從所接受的樣本集合中提取該集合所蘊(yùn)含的基本內(nèi)容,并將其以神經(jīng)元之間的連接權(quán)重的形式存放于系統(tǒng)中。對(duì)于不同的人工神經(jīng)網(wǎng)絡(luò)模型來(lái)說(shuō),有不同的學(xué)習(xí)/訓(xùn)練算法,有事,同種結(jié)構(gòu)的網(wǎng)絡(luò)擁有不同的算法,以適應(yīng)不同的應(yīng)用要求。對(duì)一個(gè)網(wǎng)絡(luò)模型來(lái)說(shuō),其學(xué)習(xí)/訓(xùn)練算法是非常重要的。第4章神經(jīng)計(jì)算普化能力由于其運(yùn)算的不精確性,人工神經(jīng)網(wǎng)絡(luò)在被訓(xùn)練后,對(duì)輸入的微小變化是不反應(yīng)的。與事物的兩面性相對(duì)應(yīng),雖然在要求高精度計(jì)算時(shí),這種不精確性是一個(gè)缺陷,但是,有些場(chǎng)合又可以利用這一點(diǎn)獲取系統(tǒng)的良好性能。例如,可以使這種不精確性表現(xiàn)成“去噪聲,容殘缺”的能力,而這對(duì)模式識(shí)別有時(shí)恰好是非常重要的。第4章神經(jīng)計(jì)算適用性人工神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)于處理適用形象思維的問(wèn)題。主要包括兩個(gè)方面:1)對(duì)大量的數(shù)據(jù)進(jìn)行分類,并且只有較少的幾種情況。2)必須學(xué)習(xí)一個(gè)復(fù)雜的非線性映射。第4章神經(jīng)計(jì)算ANN類型與功能計(jì)算功能ANN模型代表數(shù)學(xué)近似映射,如模式識(shí)別,分類,函數(shù)逼近BPCPNRBFElamn概率密度函數(shù)估計(jì)SOMCPN從二進(jìn)制數(shù)據(jù)基中提取相關(guān)信息BSB(腦中盒模型)形成拓?fù)溥B續(xù)及統(tǒng)計(jì)意義上的同構(gòu)映射SOM,Kohonen最近相鄰模式分類BP,BM(玻爾茲曼機(jī)),CPN,Hopfield,BAM,ART,Kohonen數(shù)據(jù)聚類ART最優(yōu)化BMHopfield第4章神經(jīng)計(jì)算4.1.3人工神經(jīng)元模型基本構(gòu)成激活函數(shù)M-P模型第4章神經(jīng)計(jì)算基本構(gòu)成第4章神經(jīng)計(jì)算激活函數(shù)神經(jīng)元在獲得網(wǎng)絡(luò)輸入后,它應(yīng)該給出適當(dāng)?shù)妮敵?。按照生物神?jīng)元的特性,每個(gè)神經(jīng)元有一個(gè)閾值,當(dāng)該神經(jīng)元所獲得的輸入信號(hào)的累積效果超過(guò)閾值時(shí),它就處于激發(fā)態(tài);否則,應(yīng)該處于抑制態(tài)。為了使系統(tǒng)有更寬的適用面,希望人工神經(jīng)元有一個(gè)更一般的變換函數(shù),用來(lái)執(zhí)行對(duì)該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換,這就是激活函數(shù),也可以稱之為激勵(lì)函數(shù)、活化函數(shù),用f表示:式中,o是該神經(jīng)元的輸出。由此式可以看出,此函數(shù)同時(shí)也用來(lái)將神經(jīng)元的輸出進(jìn)行放大處理或限制在一個(gè)適當(dāng)?shù)姆秶鷥?nèi)。典型的激活函數(shù)有線性函數(shù)、非線性斜面函數(shù)、階躍函數(shù)和S形函數(shù)等4種。第4章神經(jīng)計(jì)算第4章神經(jīng)計(jì)算M-P模型第4章神經(jīng)計(jì)算4.1.4網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)單級(jí)網(wǎng)多級(jí)網(wǎng)循環(huán)網(wǎng)第4章神經(jīng)計(jì)算簡(jiǎn)單單級(jí)網(wǎng)第4章神經(jīng)計(jì)算多級(jí)前饋網(wǎng)第4章神經(jīng)計(jì)算4.1.5人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是其學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是對(duì)它的訓(xùn)練過(guò)程。所謂訓(xùn)練,就是在將由樣本向量構(gòu)成的樣本集合(簡(jiǎn)稱為樣本集、訓(xùn)練集)輸入到人工神經(jīng)網(wǎng)絡(luò)的過(guò)程中,按照一定的方式去調(diào)整神經(jīng)元之間的連接權(quán),使得網(wǎng)絡(luò)能將樣本集的內(nèi)涵以連接權(quán)矩陣的方式存儲(chǔ)起來(lái),從而使得在網(wǎng)絡(luò)接受輸入時(shí),可以給出適當(dāng)?shù)妮敵?。從學(xué)習(xí)的形式來(lái)看,一種是有導(dǎo)師學(xué)習(xí),另一種是無(wú)導(dǎo)師學(xué)習(xí),后者較為低級(jí)。第4章神經(jīng)計(jì)算無(wú)導(dǎo)師學(xué)習(xí)第4章神經(jīng)計(jì)算有導(dǎo)師學(xué)習(xí)第4章神經(jīng)計(jì)算4.2感知器感知器是最早被設(shè)計(jì)并被實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。學(xué)習(xí)算法線性不可分問(wèn)題第4章神經(jīng)計(jì)算感知器結(jié)構(gòu)圖第4章神經(jīng)計(jì)算4.2.1學(xué)習(xí)算法離散單輸出感知器訓(xùn)練算法離散多輸出感知器訓(xùn)練算法連續(xù)多輸出感知器訓(xùn)練算法第4章神經(jīng)計(jì)算離散單輸出感知器訓(xùn)練算法第4章神經(jīng)計(jì)算離散多輸出感知器訓(xùn)練算法第4章神經(jīng)計(jì)算連續(xù)多輸出感知器訓(xùn)練算法第4章神經(jīng)計(jì)算4.3BP神經(jīng)網(wǎng)絡(luò)Rumelhart,McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來(lái)估計(jì)輸出層的直接前導(dǎo)層的誤差,再用這個(gè)誤差估計(jì)更前一層的誤差,如此一層一層的反傳下去,就獲得了所有其他各層的誤差估計(jì)。DavidRumelhart

J.McClelland

第4章神經(jīng)計(jì)算4.3.1BP神經(jīng)網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò)第4章神經(jīng)計(jì)算4.3.1BP神經(jīng)網(wǎng)絡(luò)模型激活函數(shù)必須處處可導(dǎo)一般都使用S型函數(shù)使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出第4章神經(jīng)計(jì)算4.3.1BP神經(jīng)網(wǎng)絡(luò)模型輸出的導(dǎo)數(shù)根據(jù)S型激活函數(shù)的圖形可知,對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)

第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過(guò)程:神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì):對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則:權(quán)值調(diào)整規(guī)則,即在學(xué)習(xí)過(guò)程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型:有導(dǎo)師學(xué)習(xí)核心思想:將輸出誤差以某種形式通過(guò)隱層向輸入層逐層反傳學(xué)習(xí)的過(guò)程:信號(hào)的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元---各層單元的誤差信號(hào)修正各單元權(quán)值第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過(guò)程正向傳播:輸入樣本---輸入層---各隱層---輸出層判斷是否轉(zhuǎn)入反向傳播階段:若輸出層的實(shí)際輸出與期望的輸出(教師信號(hào))不符誤差反傳誤差以某種形式在各層表示----修正各層單元的權(quán)值網(wǎng)絡(luò)輸出的誤差減少到可接受的程度進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個(gè)神經(jīng)元,隱含層有p個(gè)神經(jīng)元,

輸出層有q個(gè)神經(jīng)元變量定義輸入向量;隱含層輸入向量;隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與中間層的連接權(quán)值:隱含層與輸出層的連接權(quán)值:隱含層各神經(jīng)元的閾值:輸出層各神經(jīng)元的閾值:樣本數(shù)據(jù)個(gè)數(shù):激活函數(shù):誤差函數(shù):第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步,網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個(gè)區(qū)間(-1,1)內(nèi)的隨機(jī)數(shù),設(shè)定誤差函數(shù)e,給定計(jì)算精度值和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第個(gè)輸入樣本及對(duì)應(yīng)期望輸出第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第三步,計(jì)算隱含層各神經(jīng)元的輸入和輸出第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步,利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出,計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第五步,利用隱含層到輸出層的連接權(quán)值、輸出層的和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第六步,利用輸出層各神經(jīng)元的和隱含層各神經(jīng)元的輸出來(lái)修正連接權(quán)值。第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第七步,利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步,計(jì)算全局誤差第九步,判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù),則結(jié)束算法。否則,選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出,返回到第三步,進(jìn)入下一輪學(xué)習(xí)。第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況一直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí),權(quán)值調(diào)整量為負(fù),實(shí)際輸出大于期望輸出,權(quán)值向減少方向調(diào)整,使得實(shí)際輸出與期望輸出的差減少。whoe>0,此時(shí)Δwho<0第4章神經(jīng)計(jì)算4.3.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí),權(quán)值調(diào)整量為正,實(shí)際輸出少于期望輸出,權(quán)值向增大方向調(diào)整,使得實(shí)際輸出與期望輸出的差減少。e<0,此時(shí)Δwho>0who第4章神經(jīng)計(jì)算4.3.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)第4章神經(jīng)計(jì)算4.3.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR,[S1S2...SN1],{TF1TF2...TFN1},BTF,BLF,PF)說(shuō)明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò);PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣;[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù);{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù),默認(rèn)為‘tansig’;BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù),默認(rèn)為‘trainlm’;BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù),默認(rèn)為‘learngdm’;PF表示性能數(shù),默認(rèn)為‘mse’。第4章神經(jīng)計(jì)算4.3.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說(shuō)明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞,+∞)映射到(-1,1)。它是可導(dǎo)函數(shù),適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對(duì)數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說(shuō)明對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞,+∞)映射到(0,1)。它是可導(dǎo)函數(shù),適用于BP訓(xùn)練的神經(jīng)元。第4章神經(jīng)計(jì)算2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)例2-3,下表為某藥品的銷售情況,現(xiàn)構(gòu)建一個(gè)如下的三層BP神經(jīng)網(wǎng)絡(luò)對(duì)藥品的銷售進(jìn)行預(yù)測(cè):輸入層有三個(gè)結(jié)點(diǎn),隱含層結(jié)點(diǎn)數(shù)為5,隱含層的激活函數(shù)為tansig;輸出層結(jié)點(diǎn)數(shù)為1個(gè),輸出層的激活函數(shù)為logsig,并利用此網(wǎng)絡(luò)對(duì)藥品的銷售量進(jìn)行預(yù)測(cè),預(yù)測(cè)方法采用滾動(dòng)預(yù)測(cè)方式,即用前三個(gè)月的銷售量來(lái)預(yù)測(cè)第四個(gè)月的銷售量,如用1、2、3月的銷售量為輸入預(yù)測(cè)第4個(gè)月的銷售量,用2、3、4月的銷售量為輸入預(yù)測(cè)第5個(gè)月的銷售量.如此反復(fù)直至滿足預(yù)測(cè)精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556第4章神經(jīng)計(jì)算2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)%以每三個(gè)月的銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四個(gè)月的銷售量歸一化處理后作為目標(biāo)向量T=[0.73080.13900.10870.35200.00000.3761];%創(chuàng)建一個(gè)BP神經(jīng)網(wǎng)絡(luò),每一個(gè)輸入向量的取值范圍為[0,1],隱含層有5個(gè)神經(jīng)%元,輸出層有一個(gè)神經(jīng)元,隱含層的激活函數(shù)為tansig,輸出層的激活函數(shù)為%logsig,訓(xùn)練函數(shù)為梯度下降函數(shù),即2.3.2節(jié)中所描述的標(biāo)準(zhǔn)學(xué)習(xí)算法

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論