人工神經(jīng)網(wǎng)絡(luò)的入門

1、關(guān)于人工神經(jīng)網(wǎng)絡(luò)入門第1頁，共32頁，2022年，5月20日，18點34分，星期四一、概述生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)特點神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式第2頁，共32頁，2022年，5月20日，18點34分，星期四1、生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 生物神經(jīng)系統(tǒng)的某些結(jié)構(gòu)和功能是天生的，如某些本能動作，但大多數(shù)功能需要后天學(xué)習(xí)才能獲得。構(gòu)造“人工神經(jīng)元”模擬生物細胞，并以某種方式進行連接，從而模擬“人腦”的某些功能。第3頁，共32頁，2022年，5月20日，18點34分，星期四2、生物神經(jīng)元 生物神經(jīng)元是人腦神經(jīng)系統(tǒng)的基本單元，相互之間通過神經(jīng)末梢連接，神經(jīng)元信息是寬度

2、和幅度相同的脈沖串，興奮的神經(jīng)元，輸出高頻率的脈沖串，引起下一個神經(jīng)元興奮；否則輸出頻率就低，抑制下一個神經(jīng)元。第4頁，共32頁，2022年，5月20日，18點34分，星期四3、人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本單元。依據(jù)生物神經(jīng)元的結(jié)構(gòu)和功能，可以把它看作一個多輸入單輸出的非線性閾值器件。第5頁，共32頁，2022年，5月20日，18點34分，星期四p2p1pRfaw1w2wRP：其它神經(jīng)元的輸出，即該神經(jīng)元輸入向量；w：其它神經(jīng)元與該神經(jīng)元的連接強度，即權(quán)值向量；：神經(jīng)元的閾值，判斷輸入向量加權(quán)和與其大小；f：神經(jīng)元輸入輸出關(guān)系函數(shù)，即傳輸函數(shù)，傳輸函數(shù) 不同構(gòu)成了不同的神經(jīng)

3、網(wǎng)絡(luò)模型；a：神經(jīng)元輸出第6頁，共32頁，2022年，5月20日，18點34分，星期四p2p1pRaw1w2wRfnb人工神經(jīng)元一般模型第7頁，共32頁，2022年，5月20日，18點34分，星期四4、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 單個人工神經(jīng)元不能完成輸入信號的處理，需要按照一定的規(guī)則連接成網(wǎng)絡(luò)，并讓網(wǎng)絡(luò)中每個神經(jīng)元的權(quán)值和閾值按照一定的規(guī)則變化，才能實現(xiàn)一定的功能要求。可分為分層型和互連型兩種。第8頁，共32頁，2022年，5月20日，18點34分，星期四 分層型神經(jīng)網(wǎng)絡(luò)按照功能分為輸入層、中間層和輸出層，中間層也稱為隱層，隱層可以有多層（一般不超過2層），也可以沒有。第9頁，共32頁，2022年，5

4、月20日，18點34分，星期四5、神經(jīng)網(wǎng)絡(luò)特點分布式存儲信息并行協(xié)同處理信息信息處理與存儲合而為一對信息處理具有自組織、自學(xué)習(xí)特點，便于聯(lián)想、綜合和推廣。第10頁，共32頁，2022年，5月20日，18點34分，星期四6、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式 與生物神經(jīng)網(wǎng)絡(luò)一樣，人工神經(jīng)網(wǎng)絡(luò)必須經(jīng)過學(xué)習(xí)，才具有智能特性。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程是在不斷調(diào)節(jié)權(quán)值和閾值的過程。模仿人的學(xué)習(xí)過程，提出三種學(xué)習(xí)方法：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)。第11頁，共32頁，2022年，5月20日，18點34分，星期四1）監(jiān)督學(xué)習(xí) 給出了與所有輸入模式p對應(yīng)的輸出模式的“正確答案”，即期望輸出t（目標(biāo)），每次學(xué)習(xí)后，根據(jù)實際輸出a

5、與期望輸出t的差別（誤差e），決定是否再次學(xué)習(xí)和學(xué)習(xí)方法，最終使e滿足要求。神經(jīng)網(wǎng)絡(luò)（學(xué)習(xí)系統(tǒng)）誤差分析 P輸入 a實際輸出e 誤差信號 t 期望輸出第12頁，共32頁，2022年，5月20日，18點34分，星期四監(jiān)督學(xué)習(xí)的誤差信號定義：均方誤差mse平均絕對誤差mae誤差平方和sse第13頁，共32頁，2022年，5月20日，18點34分，星期四2）無監(jiān)督學(xué)習(xí)沒有信息作為響應(yīng)的校正，依據(jù)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則調(diào)節(jié)自身參數(shù)和結(jié)構(gòu)，使網(wǎng)絡(luò)輸出反映輸入的某些固有特性。3）強化學(xué)習(xí)介于兩者之間，外部環(huán)境對學(xué)習(xí)后的輸出結(jié)果只給出評價信息，而無答案，網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)通過強化正面評價行為來改善自身性能。第14頁，

6、共32頁，2022年，5月20日，18點34分，星期四二、神經(jīng)網(wǎng)絡(luò)模型感知器BP網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)徑向基網(wǎng)絡(luò)競爭型神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)第15頁，共32頁，2022年，5月20日，18點34分，星期四1、感知器特點感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型感知器學(xué)習(xí)局限性感知器網(wǎng)絡(luò)設(shè)計第16頁，共32頁，2022年，5月20日，18點34分，星期四特點在解決線性可分問題時，感知器保持了運算速度快，性能可靠的優(yōu)點；理解感知器的訓(xùn)練算法，能夠為更好理解其它復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型奠定基礎(chǔ)。第17頁，共32頁，2022年，5月20日，18點34分，星期四感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型神經(jīng)元傳輸函數(shù)f

7、：閾值型傳輸函數(shù)感知器網(wǎng)絡(luò)輸出：0，1感知器學(xué)習(xí)規(guī)則：規(guī)則，eta，網(wǎng)絡(luò)訓(xùn)練目的是使t a第18頁，共32頁，2022年，5月20日，18點34分，星期四感知器學(xué)習(xí) 感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，需要提供訓(xùn)練樣本集，每個樣本由神經(jīng)網(wǎng)絡(luò)的輸入向量和輸出向量對組成，n個訓(xùn)練樣本構(gòu)成的訓(xùn)練樣本集為： 每一步學(xué)習(xí)，對于各層感知器神經(jīng)元的權(quán)值和閾值的調(diào)整算法表示為：第19頁，共32頁，2022年，5月20日，18點34分，星期四 通過有限步數(shù)的學(xué)習(xí)后，網(wǎng)絡(luò)實際輸出和期望輸出的誤差將減小到0，此時，完成網(wǎng)絡(luò)訓(xùn)練。訓(xùn)練結(jié)果使網(wǎng)絡(luò)訓(xùn)練樣本模式分布記憶在權(quán)值和閾值之中，當(dāng)給定網(wǎng)絡(luò)一個輸入模式時，網(wǎng)絡(luò)將計算出相應(yīng)輸出，從

8、而判斷這一輸入模式屬于記憶中的哪一種模式或接近于哪一種模式。第20頁，共32頁，2022年，5月20日，18點34分，星期四感知器局限性輸出值單層感知器網(wǎng)絡(luò)只用于解決線性可分問題感知器學(xué)習(xí)算法只適用于單層感知器網(wǎng)絡(luò)第21頁，共32頁，2022年，5月20日，18點34分，星期四感知器網(wǎng)絡(luò)設(shè)計確定輸入向量的取值范圍、維數(shù)、網(wǎng)絡(luò)層的神經(jīng)元數(shù)目、傳輸函數(shù)和學(xué)習(xí)函數(shù)；構(gòu)造訓(xùn)練樣本集，確定每個樣本的輸入向量和目標(biāo)向量，訓(xùn)練樣本，得到滿足誤差性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)；構(gòu)造測試樣本集，仿真網(wǎng)絡(luò)的性能。第22頁，共32頁，2022年，5月20日，18點34分，星期四 舉例：判斷數(shù)字的奇偶性。第23頁，共32頁，20

9、22年，5月20日，18點34分，星期四2、BP網(wǎng)絡(luò)特點BP網(wǎng)絡(luò)學(xué)習(xí)BP網(wǎng)絡(luò)設(shè)計第24頁，共32頁，2022年，5月20日，18點34分，星期四特點感知器神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則和LMS學(xué)習(xí)算法只能訓(xùn)練單層神經(jīng)網(wǎng)絡(luò)，只能解決線性可分問題，多層神經(jīng)網(wǎng)絡(luò)可用于非線性分類BP神經(jīng)元傳輸函數(shù)為非線性函數(shù)BP網(wǎng)絡(luò)一般為多層網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)應(yīng)用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型采用了BP網(wǎng)絡(luò)及其變化形式第25頁，共32頁，2022年，5月20日，18點34分，星期四BP網(wǎng)絡(luò)學(xué)習(xí)第一階段：輸入已知學(xué)習(xí)樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)第一層向后計算各神經(jīng)元輸出第二階段：從最后一層向前計算各權(quán)值和閾值

10、對總誤差的影響，并據(jù)此修改以上兩個過程反復(fù)交替，直到達到收斂：誤差反向傳播（back propagation）。第26頁，共32頁，2022年，5月20日，18點34分，星期四BP網(wǎng)絡(luò)設(shè)計網(wǎng)絡(luò)層數(shù)輸入層節(jié)點數(shù)輸出層節(jié)點數(shù)隱層節(jié)點數(shù)第27頁，共32頁，2022年，5月20日，18點34分，星期四網(wǎng)絡(luò)層數(shù) 理論上已經(jīng)證明，在不限制隱層節(jié)點數(shù)的情況下，兩層（只有一個隱層）BP網(wǎng)絡(luò)可以實現(xiàn)任意非線性映射，BP網(wǎng)絡(luò)隱層一般不超過兩層。第28頁，共32頁，2022年，5月20日，18點34分，星期四輸入層節(jié)點數(shù) 輸入層起緩沖存儲器作用，它接收外部輸入數(shù)據(jù)，其節(jié)點數(shù)取決于輸入矢量的維數(shù)，如以3232大小圖像像素作為輸入數(shù)據(jù)時，輸入節(jié)點為1024第29頁，共32頁，2022年，5月20日，18點34分，星期四輸出層節(jié)點數(shù) 當(dāng)神經(jīng)網(wǎng)絡(luò)用于模式分類時，可以二進制形式表示不同模式的輸出結(jié)果，輸出節(jié)點數(shù)可根據(jù)待分類模式數(shù)來確定。第30頁，共32頁，