版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
神經(jīng)網(wǎng)絡(luò)原理主講老師:田傳俊神經(jīng)網(wǎng)絡(luò)原理主講老師:田傳俊11.概述1.1什么是人工神經(jīng)網(wǎng)絡(luò)人腦是世界上已知的最復(fù)雜、最完善和最有效的信息處理系統(tǒng)。計算機的不足:因當代的計算機的形象智能較差,致使模擬人腦的神經(jīng)網(wǎng)絡(luò)技術(shù)得以發(fā)展,試圖建立模仿人類大腦的計算機。
形象智能:記憶聯(lián)想、語言理解、直覺推理、圖象識別等。人工神經(jīng)網(wǎng)絡(luò):基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)(計算機)或一種數(shù)學(xué)物理模型。1.概述1.1什么是人工神經(jīng)網(wǎng)絡(luò)21.1什么是人工神經(jīng)網(wǎng)絡(luò)大腦是由大量神經(jīng)細胞或神經(jīng)元組成的。每個神經(jīng)元按某種方式連接起來,形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。神經(jīng)元之間聯(lián)結(jié)的強弱,按外部的激勵信號做自適應(yīng)變化,而每個神經(jīng)元又隨著這些接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。需要指出,盡管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿,但這種模仿目前還處于極低的水平。人腦特點:1.1什么是人工神經(jīng)網(wǎng)絡(luò)人腦特點:31.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期—MP模型的提出和ANN的興起1943年,美國神經(jīng)生理學(xué)家WarrenMcculloch和數(shù)學(xué)家WalterPitts提出了一個簡單的神經(jīng)元模型,即MP模型,并預(yù)言大腦的所有活動最終將被解釋清楚。雖然問題并非如此簡單,但它給人們一個信念,即大腦的活動是靠腦細胞的組合連接實現(xiàn)的。1949年,心理學(xué)家DonalaHebb提出腦細胞間的思路每當通過參與某種活動時將被加強,這就是后來的Hebb學(xué)習(xí)規(guī)則。目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期—MP模型的提出和ANN的41.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展到了二十世紀50年代,隨著計算機的發(fā)展,神經(jīng)系統(tǒng)功能的理論開始在計算機上進行模擬,IBM的研究室在Hebb工作的基礎(chǔ)上,對神經(jīng)網(wǎng)絡(luò)的模型進行了軟件模擬,使得模型像人那樣適應(yīng)環(huán)境的實驗上取得了一定程度的成功。1956年,一個人工智能研究項目(DartmouthSummer)給給神經(jīng)計算領(lǐng)域以巨大推動。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展51.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期—感知器模型和ANN1957年,計算機專家FrankRosenblatt開始從事感知器的研究,并制成硬件,通常被認為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年,兩位電機工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應(yīng)線性單元的網(wǎng)絡(luò)模型,并描述了它的學(xué)習(xí)算法(Widrow-Haff算法)。該網(wǎng)絡(luò)可以成功用于抵消通信中的回波和噪聲,以及天氣預(yù)報,成為第一個用于實際問題的神經(jīng)網(wǎng)絡(luò)。這一時期,由于感知器的某些進展和對神經(jīng)網(wǎng)絡(luò)的宣傳,許多部門開始大批地投入此項研究,形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期—感知器模型和AN61.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期——神經(jīng)網(wǎng)絡(luò)的低潮1969年,MarvinMinsky和SeymourPapert分析了當時的簡單感知器,指出它有非常嚴重的局限性,甚至不能解決簡單的“異或”問題。此時,批評的聲音高漲,不少研究人員把注意力轉(zhuǎn)向了以編寫程序或?qū)<蚁到y(tǒng)為特點的人工智能,導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。雖然如此,二十世紀70年代到80年代早期,仍有一些堅信神經(jīng)網(wǎng)絡(luò)的人堅持他們的工作,為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準備。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展71.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮—Hopfield模型的出現(xiàn)和ANN的復(fù)蘇1982年,美國物理學(xué)家JohnHopfield提出Hopfield模型。這是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).
1986年,Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法—BP算法,較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題1987年首屆國際ANN大會在圣地亞哥召開,國際ANN聯(lián)合會成立,創(chuàng)辦了多種ANN國際刊物。1990年12月,北京召開首屆神經(jīng)網(wǎng)絡(luò)大會。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展81.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認識與應(yīng)用研究期二十世紀90年代后,神經(jīng)網(wǎng)絡(luò)研究趨于平緩,主要問題:應(yīng)用面還不夠?qū)?;結(jié)果不夠精確;存在可信度問題主要研究內(nèi)容開發(fā)現(xiàn)有模型的應(yīng)用,并對模型、算法加以改造,以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。希望在理論上尋找新的突破,建立新的專用或通用模型和算法。進一步對生物神經(jīng)系統(tǒng)進行研究,不斷豐富對人腦的認識。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展91.3人工神經(jīng)網(wǎng)絡(luò)的特點固有的并行結(jié)構(gòu)和并行處理知識的分布存儲聯(lián)想記憶功能容錯性高度的非線性全局作用神經(jīng)網(wǎng)絡(luò)的特點:1.3人工神經(jīng)網(wǎng)絡(luò)的特點固有的并行結(jié)構(gòu)和并行處理神經(jīng)網(wǎng)絡(luò)的101.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性ANN不適于高精度的計算ANN不適于做類似順序計數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。ANN的學(xué)習(xí)和訓(xùn)練往往是一個艱難的過程。網(wǎng)絡(luò)的設(shè)計沒有嚴格確定的方法,所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標準。脫機訓(xùn)練往往需要很長時間,為了獲得最佳效果,常常要重復(fù)試驗多次。網(wǎng)絡(luò)收斂性的問題。1.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性111.3人工神經(jīng)網(wǎng)絡(luò)的特點總之,ANN是基于人類大腦的結(jié)構(gòu)和功能建立起來的學(xué)科,盡管它只是大腦的低級近似,但它的許多特點和人類的智能特點類似,有著較強的識別能力和廣泛的應(yīng)用前景。1.3人工神經(jīng)網(wǎng)絡(luò)的特點總之,ANN是基于人類大腦的結(jié)構(gòu)和121.4人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域
模式信息處理和模式識別
模式是事物的某種特性類屬.
模式識別就是將所研究客體的特性類屬映射成“類別號”.最優(yōu)化問題計算信息的智能化處理復(fù)雜控制信號處理1.4人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域模式信息處理和模式識別132.人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡單的神經(jīng)元2.人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦142.1
ANN的生物原型—大腦神經(jīng)元就是神經(jīng)細胞,在人體內(nèi)從大腦到全身存在大約1010個神經(jīng)元。神經(jīng)元的組成細胞體:神經(jīng)元的本體,內(nèi)有細胞核和細胞質(zhì),完成普通細胞的生存功能。樹突:它有大量的分枝,多達103數(shù)量級,長度較短(通常不超過1毫米),用以接受來自其它神經(jīng)元的信號。軸突:它用以輸出信號,有些較長(可達1米以上),軸突的遠端也有分枝,可與多個神經(jīng)元相連。突觸:它是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位,通常是一個神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號傳遞給下一個神經(jīng)元的樹突或細胞體。神經(jīng)元間的信號通過突觸傳遞2.1ANN的生物原型—大腦152.1
ANN的生物原型—大腦神經(jīng)元的基本工作機制神經(jīng)元有兩種狀態(tài)—興奮和抑制(也不能認為神經(jīng)元只能表達或傳遞二值邏輯信號)當神經(jīng)元接收到其它神經(jīng)元經(jīng)由突觸傳來的激勵信號時,多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。如果疊加總量超過某個閾值,神經(jīng)元就會被激發(fā)進入興奮狀態(tài),發(fā)出輸出脈沖,并由軸突的突觸傳遞給其它神經(jīng)元。進入突觸的信號會被加權(quán),起興奮作用的信號為正,起抑制作用的信號為負。2.1ANN的生物原型—大腦162.2人工神經(jīng)元模型輸入輸出WX函數(shù)處理人工神經(jīng)元神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元。人工神經(jīng)元的結(jié)構(gòu)和功能與生物神經(jīng)元類似,但只模擬了生物神經(jīng)元的部分功能。2.2人工神經(jīng)元模型輸入輸出WX函數(shù)處理172.2人工神經(jīng)元模型人工神經(jīng)元模型的基本結(jié)構(gòu)和功能,輸入與輸出關(guān)系:注意:偏差也可看成權(quán)值,其輸入值為1
輸入信號向量權(quán)值向量2.2人工神經(jīng)元模型人工神經(jīng)元模型的基本結(jié)構(gòu)和功能,輸入與182.2人工神經(jīng)元模型激活函數(shù)轉(zhuǎn)移函數(shù)F(?)也稱激勵函數(shù)、傳輸函數(shù)或限幅函數(shù),人工神經(jīng)元和網(wǎng)絡(luò)的核心
。激活函數(shù)的基本作用控制輸入對輸出的激活作用;對輸入、輸出進行函數(shù)轉(zhuǎn)換;決定輸出范圍。2.2人工神經(jīng)元模型192.2人工神經(jīng)元模型常用激活函數(shù)-閥值型(硬限制型、開關(guān)型):(階躍,符號)
fn1-1fn1-1-b無偏差閾值型激活函數(shù)有偏差閾值型激活函數(shù)2.2人工神經(jīng)元模型常用激活函數(shù)fn1-1fn1-1-b無202.2人工神經(jīng)元模型-線性函數(shù)
fn1-1fn1-1-b無偏差線性激活函數(shù)有偏差線性激活函數(shù)2.2人工神經(jīng)元模型-線性函數(shù)fn1-1fn1-1-b無偏212.2人工神經(jīng)元模型-S型激活函數(shù)(非線性)Sigmoid函數(shù)
y=F(s)=1/(1+e-s)2.2人工神經(jīng)元模型-S型激活函數(shù)(非線性)y=F(s222.2人工神經(jīng)元模型雙曲正切函數(shù)y=tand(s)=(es-e-s)/(es+e-s)相對于Sigmoid函數(shù),它是原點對稱的。當要求輸出(-11)范圍的信號時,它常被采用。
2.2人工神經(jīng)元模型雙曲正切函數(shù)232.3ANN的拓撲結(jié)構(gòu)大量人工神經(jīng)元相互連接組成的神經(jīng)網(wǎng)絡(luò)
單層網(wǎng)絡(luò)輸入和輸出的關(guān)系2.3ANN的拓撲結(jié)構(gòu)大量人工神經(jīng)元相互連242.3ANN的拓撲結(jié)構(gòu)其中權(quán)矩陣:多組輸入與輸出:2.3ANN的拓撲結(jié)構(gòu)其中權(quán)矩陣:多組輸入與輸出:252.3ANN的拓撲結(jié)構(gòu)多層網(wǎng)絡(luò)目前很多網(wǎng)絡(luò)模型,它們的結(jié)點都是按層排列的,這一點正是模仿了大腦皮層中的網(wǎng)絡(luò)模塊。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進行級聯(lián)構(gòu)成的,即上一層的輸出作為下一層的輸入。多層網(wǎng)絡(luò)中,接收輸入信號的層稱為輸入層,它不計入網(wǎng)絡(luò)層數(shù)。產(chǎn)生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層,它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。2.3ANN的拓撲結(jié)構(gòu)多層網(wǎng)絡(luò)262.3ANN的拓撲結(jié)構(gòu)兩層網(wǎng)絡(luò)(前饋全連接網(wǎng)絡(luò))三層網(wǎng)絡(luò)(前饋全連接網(wǎng)絡(luò))2.3ANN的拓撲結(jié)構(gòu)兩層網(wǎng)絡(luò)(前饋全連接網(wǎng)絡(luò))272.3ANN的拓撲結(jié)構(gòu)輸入和輸出的關(guān)系:2.3ANN的拓撲結(jié)構(gòu)輸入和輸出的關(guān)系:282.3ANN的拓撲結(jié)構(gòu)注意:在構(gòu)成多層網(wǎng)絡(luò)時,層間的激活函數(shù)應(yīng)為非線性,否則多層網(wǎng)絡(luò)的計算能力并不比單層網(wǎng)絡(luò)強。當為線性函數(shù)時,有
這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò),只是后者的加權(quán)矩陣為兩個加權(quán)矩陣的乘積。2.3ANN的拓撲結(jié)構(gòu)注意:在構(gòu)成多層網(wǎng)絡(luò)時,層間292.3ANN的拓撲結(jié)構(gòu)回歸型網(wǎng)絡(luò)(反饋網(wǎng)絡(luò))一般來說,凡包含反饋連接的網(wǎng)絡(luò)均稱為回歸型網(wǎng)絡(luò),或稱反饋網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)輸入隨時間變化,t時刻輸出對應(yīng)于t-1時刻輸入。
2.3ANN的拓撲結(jié)構(gòu)回歸型網(wǎng)絡(luò)(反饋網(wǎng)絡(luò))302.3ANN的拓撲結(jié)構(gòu)前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)的比較前向網(wǎng)絡(luò)不需存儲記憶,它的輸出只是由當前的輸入和加權(quán)值確定。反饋網(wǎng)絡(luò)要將以前的輸出循環(huán)返回到輸入,所以其輸出不但取決于當前的輸入,還要取決于以前的輸出。反饋網(wǎng)絡(luò)類似于人類的短期記憶,即網(wǎng)絡(luò)的輸出狀態(tài)部分取決于以前的輸入,是一類廣泛應(yīng)用的網(wǎng)絡(luò)。2.3ANN的拓撲結(jié)構(gòu)前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)的比較31神經(jīng)網(wǎng)絡(luò)原理主講老師:田傳俊神經(jīng)網(wǎng)絡(luò)原理主講老師:田傳俊321.概述1.1什么是人工神經(jīng)網(wǎng)絡(luò)人腦是世界上已知的最復(fù)雜、最完善和最有效的信息處理系統(tǒng)。計算機的不足:因當代的計算機的形象智能較差,致使模擬人腦的神經(jīng)網(wǎng)絡(luò)技術(shù)得以發(fā)展,試圖建立模仿人類大腦的計算機。
形象智能:記憶聯(lián)想、語言理解、直覺推理、圖象識別等。人工神經(jīng)網(wǎng)絡(luò):基于模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種信息處理系統(tǒng)(計算機)或一種數(shù)學(xué)物理模型。1.概述1.1什么是人工神經(jīng)網(wǎng)絡(luò)331.1什么是人工神經(jīng)網(wǎng)絡(luò)大腦是由大量神經(jīng)細胞或神經(jīng)元組成的。每個神經(jīng)元按某種方式連接起來,形成大腦內(nèi)部的生理神經(jīng)元網(wǎng)絡(luò)。神經(jīng)元之間聯(lián)結(jié)的強弱,按外部的激勵信號做自適應(yīng)變化,而每個神經(jīng)元又隨著這些接收信號的綜合大小而呈現(xiàn)興奮或抑制狀態(tài)。需要指出,盡管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿,但這種模仿目前還處于極低的水平。人腦特點:1.1什么是人工神經(jīng)網(wǎng)絡(luò)人腦特點:341.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期—MP模型的提出和ANN的興起1943年,美國神經(jīng)生理學(xué)家WarrenMcculloch和數(shù)學(xué)家WalterPitts提出了一個簡單的神經(jīng)元模型,即MP模型,并預(yù)言大腦的所有活動最終將被解釋清楚。雖然問題并非如此簡單,但它給人們一個信念,即大腦的活動是靠腦細胞的組合連接實現(xiàn)的。1949年,心理學(xué)家DonalaHebb提出腦細胞間的思路每當通過參與某種活動時將被加強,這就是后來的Hebb學(xué)習(xí)規(guī)則。目前有些神經(jīng)網(wǎng)絡(luò)模型仍然采用這種學(xué)習(xí)規(guī)則。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展初始期—MP模型的提出和ANN的351.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展到了二十世紀50年代,隨著計算機的發(fā)展,神經(jīng)系統(tǒng)功能的理論開始在計算機上進行模擬,IBM的研究室在Hebb工作的基礎(chǔ)上,對神經(jīng)網(wǎng)絡(luò)的模型進行了軟件模擬,使得模型像人那樣適應(yīng)環(huán)境的實驗上取得了一定程度的成功。1956年,一個人工智能研究項目(DartmouthSummer)給給神經(jīng)計算領(lǐng)域以巨大推動。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展361.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期—感知器模型和ANN1957年,計算機專家FrankRosenblatt開始從事感知器的研究,并制成硬件,通常被認為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年,兩位電機工程師BernardWidrow和MarcianHaff開發(fā)出一種叫作自適應(yīng)線性單元的網(wǎng)絡(luò)模型,并描述了它的學(xué)習(xí)算法(Widrow-Haff算法)。該網(wǎng)絡(luò)可以成功用于抵消通信中的回波和噪聲,以及天氣預(yù)報,成為第一個用于實際問題的神經(jīng)網(wǎng)絡(luò)。這一時期,由于感知器的某些進展和對神經(jīng)網(wǎng)絡(luò)的宣傳,許多部門開始大批地投入此項研究,形成了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期—感知器模型和AN371.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期——神經(jīng)網(wǎng)絡(luò)的低潮1969年,MarvinMinsky和SeymourPapert分析了當時的簡單感知器,指出它有非常嚴重的局限性,甚至不能解決簡單的“異或”問題。此時,批評的聲音高漲,不少研究人員把注意力轉(zhuǎn)向了以編寫程序或?qū)<蚁到y(tǒng)為特點的人工智能,導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。雖然如此,二十世紀70年代到80年代早期,仍有一些堅信神經(jīng)網(wǎng)絡(luò)的人堅持他們的工作,為人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇做準備。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展381.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮—Hopfield模型的出現(xiàn)和ANN的復(fù)蘇1982年,美國物理學(xué)家JohnHopfield提出Hopfield模型。這是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).
1986年,Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法—BP算法,較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題1987年首屆國際ANN大會在圣地亞哥召開,國際ANN聯(lián)合會成立,創(chuàng)辦了多種ANN國際刊物。1990年12月,北京召開首屆神經(jīng)網(wǎng)絡(luò)大會。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展391.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認識與應(yīng)用研究期二十世紀90年代后,神經(jīng)網(wǎng)絡(luò)研究趨于平緩,主要問題:應(yīng)用面還不夠?qū)?;結(jié)果不夠精確;存在可信度問題主要研究內(nèi)容開發(fā)現(xiàn)有模型的應(yīng)用,并對模型、算法加以改造,以提高網(wǎng)絡(luò)的訓(xùn)練速度和運行的準確度。希望在理論上尋找新的突破,建立新的專用或通用模型和算法。進一步對生物神經(jīng)系統(tǒng)進行研究,不斷豐富對人腦的認識。1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展401.3人工神經(jīng)網(wǎng)絡(luò)的特點固有的并行結(jié)構(gòu)和并行處理知識的分布存儲聯(lián)想記憶功能容錯性高度的非線性全局作用神經(jīng)網(wǎng)絡(luò)的特點:1.3人工神經(jīng)網(wǎng)絡(luò)的特點固有的并行結(jié)構(gòu)和并行處理神經(jīng)網(wǎng)絡(luò)的411.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性ANN不適于高精度的計算ANN不適于做類似順序計數(shù)的工作。人工神經(jīng)網(wǎng)絡(luò)是以并行方式工作的。ANN的學(xué)習(xí)和訓(xùn)練往往是一個艱難的過程。網(wǎng)絡(luò)的設(shè)計沒有嚴格確定的方法,所以選擇訓(xùn)練方法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標準。脫機訓(xùn)練往往需要很長時間,為了獲得最佳效果,常常要重復(fù)試驗多次。網(wǎng)絡(luò)收斂性的問題。1.3人工神經(jīng)網(wǎng)絡(luò)的特點人工神經(jīng)網(wǎng)絡(luò)的局限性421.3人工神經(jīng)網(wǎng)絡(luò)的特點總之,ANN是基于人類大腦的結(jié)構(gòu)和功能建立起來的學(xué)科,盡管它只是大腦的低級近似,但它的許多特點和人類的智能特點類似,有著較強的識別能力和廣泛的應(yīng)用前景。1.3人工神經(jīng)網(wǎng)絡(luò)的特點總之,ANN是基于人類大腦的結(jié)構(gòu)和431.4人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域
模式信息處理和模式識別
模式是事物的某種特性類屬.
模式識別就是將所研究客體的特性類屬映射成“類別號”.最優(yōu)化問題計算信息的智能化處理復(fù)雜控制信號處理1.4人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域模式信息處理和模式識別442.人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦簡單的神經(jīng)元2.人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1人工神經(jīng)網(wǎng)絡(luò)的生物原型—大腦452.1
ANN的生物原型—大腦神經(jīng)元就是神經(jīng)細胞,在人體內(nèi)從大腦到全身存在大約1010個神經(jīng)元。神經(jīng)元的組成細胞體:神經(jīng)元的本體,內(nèi)有細胞核和細胞質(zhì),完成普通細胞的生存功能。樹突:它有大量的分枝,多達103數(shù)量級,長度較短(通常不超過1毫米),用以接受來自其它神經(jīng)元的信號。軸突:它用以輸出信號,有些較長(可達1米以上),軸突的遠端也有分枝,可與多個神經(jīng)元相連。突觸:它是一個神經(jīng)元與另一個神經(jīng)元相聯(lián)系的特殊部位,通常是一個神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號傳遞給下一個神經(jīng)元的樹突或細胞體。神經(jīng)元間的信號通過突觸傳遞2.1ANN的生物原型—大腦462.1
ANN的生物原型—大腦神經(jīng)元的基本工作機制神經(jīng)元有兩種狀態(tài)—興奮和抑制(也不能認為神經(jīng)元只能表達或傳遞二值邏輯信號)當神經(jīng)元接收到其它神經(jīng)元經(jīng)由突觸傳來的激勵信號時,多個輸入在神經(jīng)元中以代數(shù)和的方式疊加。如果疊加總量超過某個閾值,神經(jīng)元就會被激發(fā)進入興奮狀態(tài),發(fā)出輸出脈沖,并由軸突的突觸傳遞給其它神經(jīng)元。進入突觸的信號會被加權(quán),起興奮作用的信號為正,起抑制作用的信號為負。2.1ANN的生物原型—大腦472.2人工神經(jīng)元模型輸入輸出WX函數(shù)處理人工神經(jīng)元神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元。人工神經(jīng)元的結(jié)構(gòu)和功能與生物神經(jīng)元類似,但只模擬了生物神經(jīng)元的部分功能。2.2人工神經(jīng)元模型輸入輸出WX函數(shù)處理482.2人工神經(jīng)元模型人工神經(jīng)元模型的基本結(jié)構(gòu)和功能,輸入與輸出關(guān)系:注意:偏差也可看成權(quán)值,其輸入值為1
輸入信號向量權(quán)值向量2.2人工神經(jīng)元模型人工神經(jīng)元模型的基本結(jié)構(gòu)和功能,輸入與492.2人工神經(jīng)元模型激活函數(shù)轉(zhuǎn)移函數(shù)F(?)也稱激勵函數(shù)、傳輸函數(shù)或限幅函數(shù),人工神經(jīng)元和網(wǎng)絡(luò)的核心
。激活函數(shù)的基本作用控制輸入對輸出的激活作用;對輸入、輸出進行函數(shù)轉(zhuǎn)換;決定輸出范圍。2.2人工神經(jīng)元模型502.2人工神經(jīng)元模型常用激活函數(shù)-閥值型(硬限制型、開關(guān)型):(階躍,符號)
fn1-1fn1-1-b無偏差閾值型激活函數(shù)有偏差閾值型激活函數(shù)2.2人工神經(jīng)元模型常用激活函數(shù)fn1-1fn1-1-b無512.2人工神經(jīng)元模型-線性函數(shù)
fn1-1fn1-1-b無偏差線性激活函數(shù)有偏差線性激活函數(shù)2.2人工神經(jīng)元模型-線性函數(shù)fn1-1fn1-1-b無偏522.2人工神經(jīng)元模型-S型激活函數(shù)(非線性)Sigmoid函數(shù)
y=F(s)=1/(1+e-s)2.2人工神經(jīng)元模型-S型激活函數(shù)(非線性)y=F(s532.2人工神經(jīng)元模型雙曲正切函數(shù)y=tand(s)=(es-e-s)/(es+e-s)相對于Sigmoid函數(shù),它是原點對稱
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年08月浙江溫州銀行溫州分行招考(828)筆試歷年參考題庫附帶答案詳解
- 2024年涂塑鋼網(wǎng)項目可行性研究報告
- 2024年擺管盒項目可行性研究報告
- 2024至2030年高爾夫球車頂棚吸塑項目投資價值分析報告
- 2024至2030年風(fēng)寒咳嗽顆粒項目投資價值分析報告
- 2025至2031年中國反饋泵行業(yè)投資前景及策略咨詢研究報告
- 2024至2030年中國絨布鋼絲數(shù)據(jù)監(jiān)測研究報告
- 2025年中國移動金融科技公司招聘筆試參考題庫含答案解析
- 2025年遼寧鞍煉集團有限公司招聘筆試參考題庫含答案解析
- 2025年山東地礦集團有限公司招聘筆試參考題庫含答案解析
- 承諾函(支付寶)
- FZ/T 81024-2022機織披風(fēng)
- GB/T 24123-2009電容器用金屬化薄膜
- 艾滋病梅毒乙肝實驗室檢測
- 國鐵橋梁人行道支架制作及安裝施工要點課件
- 領(lǐng)導(dǎo)科學(xué)全套精講課件
- 粵教版地理七年級下冊全冊課件
- 小學(xué)科學(xué)蘇教版六年級上冊全冊精華知識點(2022新版)
- 萎縮性胃炎共識解讀
- 2022版義務(wù)教育語文課程標準(2022版含新增和修訂部分)
- 精品金屬線管布線施工工程施工方法
評論
0/150
提交評論