原創(chuàng)神經(jīng)網(wǎng)絡(luò)PPT.2021完整版ppt課件

1、原創(chuàng)神經(jīng)網(wǎng)絡(luò)PPTTitle“神經(jīng)網(wǎng)絡(luò)”這一概念于20世紀(jì)七十年代提出。但實(shí)際上多層感知器早在50年代就已經(jīng)有人提出，多層感知器是神經(jīng)網(wǎng)絡(luò)的雛形。因此，首先簡(jiǎn)單介紹背景知識(shí)感知器感知器首先看一個(gè)線性可分問(wèn)題x1x2Title把這兩類(lèi)點(diǎn)分開(kāi)非常簡(jiǎn)單，只要定義一個(gè)線性判別函數(shù)那線性不可分怎么辦呢？看一個(gè)例子Title黑色代表一類(lèi)點(diǎn)，紅色代表一類(lèi)點(diǎn)。怎么把他們分開(kāi)呢？Title也就是將向量x映射到y(tǒng)空間y=(1,x,x2)Tg(x)=a1+a2x+a3x2這樣用一個(gè)簡(jiǎn)單的二次函數(shù)就可以判斷了Title簡(jiǎn)單起見(jiàn)，我們?cè)O(shè)x0=1y=(1,x1,x2xd)Ta=(w0,w1,w2wd)這個(gè)簡(jiǎn)單線性分類(lèi)器的

2、圖示它的輸出就是一個(gè)簡(jiǎn)單的符號(hào)函數(shù)。大于某一值，輸出1；否則，輸出零。把這些單元組成多層結(jié)構(gòu)，就是多層感知器Title1969年Minsky和Paper發(fā)表感知器一書(shū)，論證了簡(jiǎn)單線型感知器的局限性。并且指出多層感知器還不能找到有效的計(jì)算方法。70代中后期重新提起神經(jīng)網(wǎng)絡(luò)概念。80年代BP網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 理論上講，三層神經(jīng)網(wǎng)絡(luò)就可以以任意精度逼近任意函數(shù)TitleTitle凈函數(shù)，激活函數(shù)凈函數(shù)要具備的幾個(gè)特征：首先f(wàn)要有非線性，否則三層網(wǎng)絡(luò)將不提供高于兩層網(wǎng)絡(luò)的計(jì)算能力第二：飽和性，即存在最大最小值第三是連續(xù)性和光華性第四是單調(diào)性反向傳播算法BP網(wǎng)絡(luò)解決了訓(xùn)練和學(xué)習(xí)問(wèn)題！BP(Back Prop

3、agation)訓(xùn)練過(guò)程：給它一組輸入，有對(duì)應(yīng)的輸出。我們定義期望的輸出值是tk ,實(shí)際的輸出值z(mì)k。定義一種平方和這里括號(hào)里的W表示所有的權(quán)值。反向傳播學(xué)習(xí)規(guī)則是基于梯度下降法的：沿著梯度的負(fù)方向，收斂速度最快。首先隨機(jī)賦予權(quán)值，一般來(lái)說(shuō)權(quán)值應(yīng)該比較小。然后向誤差減小的方向調(diào)整。BP學(xué)習(xí)率只表示權(quán)值的相對(duì)變化尺度在第m步迭代將權(quán)向量更新為以三層網(wǎng)絡(luò)為例?？紤]第一個(gè)隱含層到輸出層的權(quán)值wjk,BP敏感度BP輸入層到隱含層的權(quán)值計(jì)算是分配問(wèn)題的關(guān)鍵。右邊的第一項(xiàng)包含了所有的權(quán)值wkjBP隱單元的敏感度BPBPBP隱含節(jié)點(diǎn)數(shù)的選?。耗壳皼](méi)有太好的理論證明，具體的問(wèn)題不太一樣。但是在經(jīng)驗(yàn)中人們總結(jié)，

4、對(duì)于一個(gè)確定輸入節(jié)點(diǎn)數(shù)和輸出節(jié)點(diǎn)數(shù)的網(wǎng)絡(luò)，確定隱含節(jié)點(diǎn)數(shù)，使權(quán)值數(shù)大致為訓(xùn)練樣本數(shù)的十分之一實(shí)例本文根據(jù)經(jīng)驗(yàn)公式和多方面的試驗(yàn)，選取風(fēng)速預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)模型的輸入變量為 8 個(gè)，從而輸入層節(jié)點(diǎn)數(shù)為 8；隱層數(shù)為一個(gè)，其節(jié)點(diǎn)數(shù)為 17；網(wǎng)絡(luò)的輸出為下一小時(shí)風(fēng)速的預(yù)測(cè)值，從而輸出層節(jié)點(diǎn)數(shù)為 1。在風(fēng)速預(yù)測(cè)網(wǎng)絡(luò)模型中，隱層采用 tansig 轉(zhuǎn)移函數(shù)，輸出層采用 pureline轉(zhuǎn)移函數(shù)，將神經(jīng)網(wǎng)絡(luò)的輸入變量確定該為序列的最近 6 個(gè)歷史值以及最近兩個(gè)殘差值，共需 8 個(gè)輸入層節(jié)點(diǎn)。時(shí)間序列法。神經(jīng)網(wǎng)絡(luò)法風(fēng)速預(yù)測(cè)的絕對(duì)平均誤差在 21%左右神經(jīng)網(wǎng)絡(luò)非線性問(wèn)題對(duì)于函數(shù)未知的復(fù)雜問(wèn)題訓(xùn)練和學(xué)習(xí)速率2. 生活

5、如海，寬容作舟，泛舟于海，方知海之寬闊;生活如山，寬容為徑，循徑登山，方知山之高大;生活如歌，寬容是曲，和曲而歌，方知歌之動(dòng)聽(tīng)。1. 感謝上蒼我所擁有的，感謝上蒼我所沒(méi)有的。9. 自己打敗自己的遠(yuǎn)遠(yuǎn)多于比別人打敗的。4. 凡真心嘗試助人者，沒(méi)有不幫到自己的。15. 火柴如果躲避燃燒的痛苦，它的一生都將黯淡無(wú)光。（ ）14. 進(jìn)入黑名單就意味著你不再是我看重的人，連陌生人都比不上。9. 巖石下的小草教我們堅(jiān)強(qiáng)，峭壁上的野百合教我們執(zhí)著，山頂上的松樹(shù)教我們拼搏風(fēng)雨，嚴(yán)寒中的臘梅教我們笑迎冰雪。15、夫婦一條心，泥土變黃金。4、人生偉業(yè)的建立 ，不在能知，乃在能行。15. 恐懼自己受苦的人，已經(jīng)因?yàn)?/p>

6、自己的恐懼在受苦。20. 在世界的歷史中，每一偉大而高貴的時(shí)刻都是某種熱忱的勝利。5、擁有夢(mèng)想只是一種智力，實(shí)現(xiàn)夢(mèng)想才是一種能力。14. 不要吝惜自己的愛(ài)，敞開(kāi)自己的胸懷，多多給予，你會(huì)發(fā)現(xiàn)，你也已經(jīng)沐浴在了愛(ài)河里。3. 貧窮是不需要計(jì)劃的，致富才需要一個(gè)周密的計(jì)劃15. 孤獨(dú)是空氣，你呼吸著它而感覺(jué)到自己存在。11. 只向最頂端的人學(xué)習(xí)，只和最棒的人交往，只做最棒的人做的事。16. 你可以選擇這樣的“三心二意”：信心、恒心、決心;創(chuàng)意、樂(lè)意。3. 空想會(huì)想出很多絕妙的主意，但卻辦不成任何事情。9. 感情一再疏遠(yuǎn)的原因，或許就是，我需要你的時(shí)候，而你恰好都不在。兩人之間的愛(ài)，不要猜測(cè)心意，不需要擔(dān)心行蹤;不害怕在無(wú)意之間激怒，不懷疑做任何事情的動(dòng)機(jī)。兩