機器學(xué)習課次39-神經(jīng)網(wǎng)絡(luò)（感知機）

彭輝94031097（QQ）機器學(xué)習MachineLearning神經(jīng)網(wǎng)絡(luò)（感知機原理）任務(wù)目標素質(zhì)目標團隊協(xié)作學(xué)會學(xué)習實踐創(chuàng)新神經(jīng)網(wǎng)絡(luò)背景巴普洛夫神經(jīng)條件反射的實驗神經(jīng)網(wǎng)絡(luò)是模仿人的大腦神經(jīng)元處理信息的方式來運作的。生物學(xué)家對神經(jīng)元的研究曾有這樣的實驗。條件反射對應(yīng)于模型；輸入就是外界的刺激，樣本就是食物；輸出就是做出的反饋（反射）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)是一門受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而興起的、發(fā)展迅速的交叉學(xué)科，涉及計算機、生物、數(shù)學(xué)、心理學(xué)、電子、認知科學(xué)等學(xué)科。

生物神經(jīng)網(wǎng)絡(luò)：每個神經(jīng)元與其他神經(jīng)元相連,當它“興奮”時,就會向相連的神經(jīng)云發(fā)送化學(xué)物質(zhì),從而改變這些神經(jīng)元內(nèi)的電位；如果某神經(jīng)元的電位超過一個“閾值”,那么它就會被激活,即“興奮”起來,向其它神經(jīng)元發(fā)送化學(xué)物質(zhì)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)基本概念

機器學(xué)習中的神經(jīng)網(wǎng)絡(luò)通常是指“神經(jīng)網(wǎng)絡(luò)學(xué)習”

或者機器學(xué)習與神經(jīng)網(wǎng)絡(luò)兩個學(xué)科的交叉部分

神經(jīng)網(wǎng)絡(luò)（也稱為人工神經(jīng)網(wǎng)絡(luò)）是由具有適應(yīng)性的簡單單元（神經(jīng)元模型）組成的廣泛并行互聯(lián)的網(wǎng)絡(luò),它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的反應(yīng)。神經(jīng)元模型是神經(jīng)網(wǎng)絡(luò)的基本成分神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)發(fā)展三階段1943年,McCulloch和Pitts提出第一個神經(jīng)元數(shù)學(xué)模型,即M-P模型,并從原理上證明了人工神經(jīng)網(wǎng)絡(luò)能夠計算任何算數(shù)和邏輯函數(shù)1949年,Hebb發(fā)表《TheOrganizationofBehavior》一書,提出生物神經(jīng)元學(xué)習的機理,即Hebb學(xué)習規(guī)則1958年,Rosenblatt提出感知機網(wǎng)絡(luò)（Perceptron）模型和其學(xué)習規(guī)則1960年,Widrow和Hoff提出自適應(yīng)線性神經(jīng)元（Adaline）模型和最小均方學(xué)習算法1969年,Minsky和Papert發(fā)表《Perceptrons》一書,指出單層神經(jīng)網(wǎng)路不能解決非線性問題,多層網(wǎng)絡(luò)的訓(xùn)練算法尚無希望.這個論斷導(dǎo)致神經(jīng)網(wǎng)絡(luò)進入低谷第一階段神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)發(fā)展三階段（續(xù)）1982年,物理學(xué)家Hopfield提出了一種具有聯(lián)想記憶、優(yōu)化計算能力的遞歸網(wǎng)絡(luò)模型,即Hopfield網(wǎng)絡(luò)1986年,Rumelhart等編輯的著作《ParallelDistributedProceesing:ExplorationsintheMicrostructuresofCognition》報告了反向傳播算法1987年,IEEE在美國加州圣地亞哥召開第一屆神經(jīng)網(wǎng)絡(luò)國際會議（ICNN）90年代初,伴隨統(tǒng)計學(xué)習理論和SVM的興起,神經(jīng)網(wǎng)絡(luò)由于理論不夠清楚,試錯性強,難以訓(xùn)練,再次進入低谷第二階段神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)發(fā)展三階段（續(xù)）2006年,Hinton提出了深度信念網(wǎng)絡(luò)(DBN),通過“預(yù)訓(xùn)練+微調(diào)”使得深度模型的最優(yōu)化變得相對容易2012年,Hinton組參加ImageNet競賽,使用CNN模型以超過第二名10個百分點的成績奪得當年競賽的冠軍伴隨云計算、大數(shù)據(jù)時代的到來，計算能力的大幅提升，使得深度學(xué)習模型在計算機視覺、自然語言處理、語音識別等眾多領(lǐng)域都取得了較大的成功第三階段神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元模型1904年生物學(xué)家就已經(jīng)知曉了神經(jīng)元的組成結(jié)構(gòu)。一個（生物）神經(jīng)元主要由細胞體（Cellbody）、樹突（Dendrites）、軸突（MyelinSheath）和突觸（Synapse）等組成。突觸（軸突末梢）神經(jīng)網(wǎng)絡(luò)M-P神經(jīng)元模型1943年，神經(jīng)學(xué)家和解剖學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts參考了生物神經(jīng)元的結(jié)構(gòu)，提出了形似（生物）神經(jīng)元的線性加權(quán)求和閾值模型，簡稱M-P模型神經(jīng)網(wǎng)絡(luò)

激活函數(shù)：理想激活函數(shù)是階躍函數(shù),0表示抑制神經(jīng)元而1表示激活神經(jīng)元階躍函數(shù)具有不連續(xù)、不光滑等不好的性質(zhì),常用的是Sigmoid函數(shù)

神經(jīng)網(wǎng)絡(luò)

感知機與多層神經(jīng)網(wǎng)絡(luò)

感知機由兩層神經(jīng)元組成,輸入層接受外界輸入信號傳遞給輸出層,輸出層是M-P神經(jīng)元（閾值邏輯單元）

。感知機能夠容易地實現(xiàn)邏輯與、或、非運算（假設(shè)激活函數(shù)f是理想階躍函數(shù)）

美國計算機科學(xué)家FrankRosenblatt于1957年發(fā)明了感知機，是最早的人工神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器。神經(jīng)網(wǎng)絡(luò)

感知機學(xué)習過程（2）感知機學(xué)習規(guī)則（1）給定訓(xùn)練數(shù)據(jù)集,權(quán)重與閾值可以通過學(xué)習得到

對訓(xùn)練樣例,若當前感知機的輸出為,則感知機權(quán)重調(diào)整規(guī)則為：其中稱為學(xué)習率

若感知機對訓(xùn)練樣例預(yù)測正確,則感知機不發(fā)生變化；否則根據(jù)錯誤程度進行權(quán)重的調(diào)整.神經(jīng)網(wǎng)絡(luò)

感知機特點感知機神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)一般采用閾值函數(shù)，故輸出只有兩種（1或者0），所以只能用來解決簡單的分類問題；單層感知機網(wǎng)絡(luò)只能解決線性可分的分類問題，而對線性不可分的分類問題無能為力；事實上,與、或、非問題是線性可分的,因此感知機學(xué)習過程能夠求得適當?shù)臋?quán)值向量.而異或問題不是線性可分的,感知機學(xué)習不能求得合適解

對于非線性可分問題,如何求解？

多層感知機神經(jīng)網(wǎng)絡(luò)

多層感知機解決異或問題的兩層感知機輸出層與輸入層之間的一層神經(jīng)元,被稱之為隱層或隱含層,隱含層和輸出層神經(jīng)元都是具有激活函數(shù)的功能神經(jīng)元。神經(jīng)網(wǎng)絡(luò)

多層神經(jīng)網(wǎng)絡(luò)的一般結(jié)構(gòu)——多層前饋神經(jīng)網(wǎng)絡(luò)定義：每層神經(jīng)元與下一層神經(jīng)元全互聯(lián),神經(jīng)元之間不存在同層連接也不存在跨層連接前饋：輸入層接受外界輸入,隱含層與輸出層神經(jīng)元對信號進行加工,最終結(jié)果由輸出層神經(jīng)元輸出學(xué)習：根據(jù)訓(xùn)練數(shù)據(jù)來調(diào)整神經(jīng)元之間的“連接權(quán)”以及每個功能神經(jīng)元的“閾值”。

神經(jīng)網(wǎng)絡(luò)學(xué)到的東西，蘊含在連接權(quán)與閾值中。多層網(wǎng)絡(luò)：包含隱層的網(wǎng)絡(luò)

神