機(jī)器學(xué)習(xí)課次39-神經(jīng)網(wǎng)絡(luò)（感知機(jī)）

彭輝94031097（QQ）機(jī)器學(xué)習(xí)MachineLearning神經(jīng)網(wǎng)絡(luò)（感知機(jī)原理）任務(wù)目標(biāo)素質(zhì)目標(biāo)團(tuán)隊(duì)協(xié)作學(xué)會(huì)學(xué)習(xí)實(shí)踐創(chuàng)新神經(jīng)網(wǎng)絡(luò)背景巴普洛夫神經(jīng)條件反射的實(shí)驗(yàn)神經(jīng)網(wǎng)絡(luò)是模仿人的大腦神經(jīng)元處理信息的方式來運(yùn)作的。生物學(xué)家對(duì)神經(jīng)元的研究曾有這樣的實(shí)驗(yàn)。條件反射對(duì)應(yīng)于模型；輸入就是外界的刺激，樣本就是食物；輸出就是做出的反饋（反射）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)是一門受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而興起的、發(fā)展迅速的交叉學(xué)科，涉及計(jì)算機(jī)、生物、數(shù)學(xué)、心理學(xué)、電子、認(rèn)知科學(xué)等學(xué)科。

生物神經(jīng)網(wǎng)絡(luò)：每個(gè)神經(jīng)元與其他神經(jīng)元相連,當(dāng)它“興奮”時(shí),就會(huì)向相連的神經(jīng)云發(fā)送化學(xué)物質(zhì),從而改變這些神經(jīng)元內(nèi)的電位；如果某神經(jīng)元的電位超過一個(gè)“閾值”,那么它就會(huì)被激活,即“興奮”起來,向其它神經(jīng)元發(fā)送化學(xué)物質(zhì)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念

機(jī)器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)通常是指“神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)”

或者機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)兩個(gè)學(xué)科的交叉部分

神經(jīng)網(wǎng)絡(luò)（也稱為人工神經(jīng)網(wǎng)絡(luò)）是由具有適應(yīng)性的簡單單元（神經(jīng)元模型）組成的廣泛并行互聯(lián)的網(wǎng)絡(luò),它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的反應(yīng)。神經(jīng)元模型是神經(jīng)網(wǎng)絡(luò)的基本成分神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)發(fā)展三階段1943年,McCulloch和Pitts提出第一個(gè)神經(jīng)元數(shù)學(xué)模型,即M-P模型,并從原理上證明了人工神經(jīng)網(wǎng)絡(luò)能夠計(jì)算任何算數(shù)和邏輯函數(shù)1949年,Hebb發(fā)表《TheOrganizationofBehavior》一書,提出生物神經(jīng)元學(xué)習(xí)的機(jī)理,即Hebb學(xué)習(xí)規(guī)則1958年,Rosenblatt提出感知機(jī)網(wǎng)絡(luò)（Perceptron）模型和其學(xué)習(xí)規(guī)則1960年,Widrow和Hoff提出自適應(yīng)線性神經(jīng)元（Adaline）模型和最小均方學(xué)習(xí)算法1969年,Minsky和Papert發(fā)表《Perceptrons》一書,指出單層神經(jīng)網(wǎng)路不能解決非線性問題,多層網(wǎng)絡(luò)的訓(xùn)練算法尚無希望.這個(gè)論斷導(dǎo)致神經(jīng)網(wǎng)絡(luò)進(jìn)入低谷第一階段神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)發(fā)展三階段（續(xù)）1982年,物理學(xué)家Hopfield提出了一種具有聯(lián)想記憶、優(yōu)化計(jì)算能力的遞歸網(wǎng)絡(luò)模型,即Hopfield網(wǎng)絡(luò)1986年,Rumelhart等編輯的著作《ParallelDistributedProceesing:ExplorationsintheMicrostructuresofCognition》報(bào)告了反向傳播算法1987年,IEEE在美國加州圣地亞哥召開第一屆神經(jīng)網(wǎng)絡(luò)國際會(huì)議（ICNN）90年代初,伴隨統(tǒng)計(jì)學(xué)習(xí)理論和SVM的興起,神經(jīng)網(wǎng)絡(luò)由于理論不夠清楚,試錯(cuò)性強(qiáng),難以訓(xùn)練,再次進(jìn)入低谷第二階段神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)發(fā)展三階段（續(xù)）2006年,Hinton提出了深度信念網(wǎng)絡(luò)(DBN),通過“預(yù)訓(xùn)練+微調(diào)”使得深度模型的最優(yōu)化變得相對(duì)容易2012年,Hinton組參加ImageNet競賽,使用CNN模型以超過第二名10個(gè)百分點(diǎn)的成績奪得當(dāng)年競賽的冠軍伴隨云計(jì)算、大數(shù)據(jù)時(shí)代的到來，計(jì)算能力的大幅提升，使得深度學(xué)習(xí)模型在計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別等眾多領(lǐng)域都取得了較大的成功第三階段神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元模型1904年生物學(xué)家就已經(jīng)知曉了神經(jīng)元的組成結(jié)構(gòu)。一個(gè)（生物）神經(jīng)元主要由細(xì)胞體（Cellbody）、樹突（Dendrites）、軸突（MyelinSheath）和突觸（Synapse）等組成。突觸（軸突末梢）神經(jīng)網(wǎng)絡(luò)M-P神經(jīng)元模型1943年，神經(jīng)學(xué)家和解剖學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts參考了生物神經(jīng)元的結(jié)構(gòu)，提出了形似（生物）神經(jīng)元的線性加權(quán)求和閾值模型，簡稱M-P模型神經(jīng)網(wǎng)絡(luò)

激活函數(shù)：理想激活函數(shù)是階躍函數(shù),0表示抑制神經(jīng)元而1表示激活神經(jīng)元階躍函數(shù)具有不連續(xù)、不光滑等不好的性質(zhì),常用的是Sigmoid函數(shù)

神經(jīng)網(wǎng)絡(luò)

感知機(jī)與多層神經(jīng)網(wǎng)絡(luò)

感知機(jī)由兩層神經(jīng)元組成,輸入層接受外界輸入信號(hào)傳遞給輸出層,輸出層是M-P神經(jīng)元（閾值邏輯單元）

。感知機(jī)能夠容易地實(shí)現(xiàn)邏輯與、或、非運(yùn)算（假設(shè)激活函數(shù)f是理想階躍函數(shù)）

美國計(jì)算機(jī)科學(xué)家FrankRosenblatt于1957年發(fā)明了感知機(jī)，是最早的人工神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器。神經(jīng)網(wǎng)絡(luò)

感知機(jī)學(xué)習(xí)過程（2）感知機(jī)學(xué)習(xí)規(guī)則（1）給定訓(xùn)練數(shù)據(jù)集,權(quán)重與閾值可以通過學(xué)習(xí)得到

對(duì)訓(xùn)練樣例,若當(dāng)前感知機(jī)的輸出為,則感知機(jī)權(quán)重調(diào)整規(guī)則為：其中稱為學(xué)習(xí)率

若感知機(jī)對(duì)訓(xùn)練樣例預(yù)測正確,則感知機(jī)不發(fā)生變化；否則根據(jù)錯(cuò)誤程度進(jìn)行權(quán)重的調(diào)整.神經(jīng)網(wǎng)絡(luò)

感知機(jī)特點(diǎn)感知機(jī)神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)一般采用閾值函數(shù)，故輸出只有兩種（1或者0），所以只能用來解決簡單的分類問題；單層感知機(jī)網(wǎng)絡(luò)只能解決線性可分的分類問題，而對(duì)線性不可分的分類問題無能為力；事實(shí)上,與、或、非問題是線性可分的,因此感知機(jī)學(xué)習(xí)過程能夠求得適當(dāng)?shù)臋?quán)值向量.而異或問題不是線性可分的,感知機(jī)學(xué)習(xí)不能求得合適解

對(duì)于非線性可分問題,如何求解？

多層感知機(jī)神經(jīng)網(wǎng)絡(luò)

多層感知機(jī)解決異或問題的兩層感知機(jī)輸出層與輸入層之間的一層神經(jīng)元,被稱之為隱層或隱含層,隱含層和輸出層神經(jīng)元都是具有激活函數(shù)的功能神經(jīng)元。神經(jīng)網(wǎng)絡(luò)

多層神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)——多層前饋神經(jīng)網(wǎng)絡(luò)定義：每層神經(jīng)元與下一層神經(jīng)元全互聯(lián),神經(jīng)元之間不存在同層連接也不存在跨層連接前饋：輸入層接受外界輸入,隱含層與輸出層神經(jīng)元對(duì)信號(hào)進(jìn)行加工,最終結(jié)果由輸出層神經(jīng)元輸出學(xué)習(xí)：根據(jù)訓(xùn)練數(shù)據(jù)來調(diào)整神經(jīng)元之間的“連接權(quán)”以及每個(gè)功能神經(jīng)元的“閾值”。

神經(jīng)網(wǎng)絡(luò)學(xué)到的東西，蘊(yùn)含在連接權(quán)與閾值中。多層網(wǎng)絡(luò)：包含隱層的網(wǎng)絡(luò)

神