《Python機器學習：原理與實踐(第2版)》課件 薛薇 -第8、9章 數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡、數(shù)據(jù)預測建模：支持向量機

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡的基本概念感知機網(wǎng)絡多層感知機網(wǎng)絡B-P反向傳播算法人工神經(jīng)網(wǎng)絡的Python應用實踐導言

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡（ArtificialNeuralNetwork,ANN）是一種人腦的抽象計算模型，是一種模擬人腦思維的計算機建模方式通過類似于生物神經(jīng)元的處理單元，以及處理單元之間的有機連接，解決現(xiàn)實世界的模式識別、聯(lián)想記憶、優(yōu)化計算等復雜問題人工神經(jīng)網(wǎng)絡的基本概念

人工神經(jīng)網(wǎng)絡的基本構(gòu)成人工神經(jīng)網(wǎng)絡由相互連接的神經(jīng)元，稱為節(jié)點或處理單元組成人腦神經(jīng)元的連接和連接強弱，在人工神經(jīng)網(wǎng)絡中體現(xiàn)為節(jié)點間的連線，稱為連接或邊，以及連接權(quán)重的大小上根據(jù)網(wǎng)絡的層數(shù)，從拓撲結(jié)構(gòu)上神經(jīng)網(wǎng)絡可分為：兩層神經(jīng)網(wǎng)絡、三層及以上的多層神經(jīng)網(wǎng)絡這種方向性連接的網(wǎng)絡也稱前饋式網(wǎng)絡各層的節(jié)點之間是全連接的，是一種全連接網(wǎng)絡感知機網(wǎng)絡多層感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡感知機網(wǎng)絡感知機：一種最基本的前饋式兩層神經(jīng)網(wǎng)絡模型，僅由輸入層和輸出層構(gòu)成感知機網(wǎng)絡中的節(jié)點生物神經(jīng)元會對不同類型和強度的刺激信號呈現(xiàn)出不同的反映狀態(tài)（State）或激活水平（ActivityLevel）。同理，感知機的節(jié)點也會對不同的輸入給出不同的輸出由加法器和激活函數(shù)組成第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡感知機節(jié)點中的激活函數(shù)連續(xù)型激活函數(shù)雙曲正切函數(shù)：ReLU(RectifiedlinearUnit，ReLU)激活函數(shù):感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡感知機節(jié)點中的激活函數(shù)[0,1]型階躍函數(shù)在分類預測中的作用感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡感知機節(jié)點中的激活函數(shù)Logistic激活函數(shù)在分類預測中的作用感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡Python模擬和啟示：認識激活函數(shù)加法器：Chapter8-1.ipynb第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡感知機的迭代步驟：第一步，計算各節(jié)點的加法器和激活函數(shù)，給出節(jié)點的輸出結(jié)果，即樣本觀測的預測值。第二步，計算樣本觀測的預測值與實際值間的誤差，根據(jù)誤差重新調(diào)整各連接權(quán)重會反復執(zhí)行上述兩步。需經(jīng)過多個周期的學習。直到滿足迭代終止條件為止迭代結(jié)束后將得到一組合理的連接權(quán)重和其對應的理想超平面。后續(xù)將依據(jù)超平面進行預測涉及的問題包括：第一，如何度量誤差第二，如何通過迭代逐步調(diào)整網(wǎng)絡權(quán)重如何度量誤差：回歸預測的損失函數(shù)：最優(yōu)的網(wǎng)絡權(quán)重：分類預測的損失函數(shù)：不適用于階躍函數(shù)的情況，采用以下?lián)p失函數(shù)

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡如何通過迭代逐步調(diào)整網(wǎng)絡權(quán)重：梯度下降法機器學習中常用的實現(xiàn)參數(shù)優(yōu)化的方法參數(shù)優(yōu)化的目標：對特定模型M，利用數(shù)據(jù)D，得到損失函數(shù)最小時的最優(yōu)模型參數(shù)wopt通常模型參數(shù)w為向量如：回歸模型中w為回歸系數(shù)和截距項；人工神經(jīng)網(wǎng)絡中w為網(wǎng)絡權(quán)重損失函數(shù)的復雜程度取決于：損失函數(shù)L的形式；模型結(jié)構(gòu)如：模型是關(guān)于參數(shù)W的線性函數(shù)，損失函數(shù)L為平方損失，L是w的二次函數(shù)參數(shù)優(yōu)化較簡單：單峰（存在唯一最值）求L對w的偏導數(shù)，并令偏導g(w)=0；求解方程組(最小二乘法)感知機網(wǎng)絡---權(quán)重訓練

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡參數(shù)優(yōu)化的目標：如果模型形式較為復雜，則L可能不是關(guān)于w的簡單平滑函數(shù)，如：多峰通常求解L(w)最小的參數(shù)w等價在高維空間中最小化一個多元復雜函數(shù)采用梯度下降法，通過迭代，利用關(guān)于L曲率的局部信息，引導在L曲面上進行局部搜索

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡第三步驟具體為：對于回歸預測中的平方損失函數(shù)：有：對分類預測中的損失函數(shù)：有：

感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡說明：連接權(quán)重和偏差權(quán)重的初始值是隨機的，相同迭代策略下迭代結(jié)束時的權(quán)重最終值可能是不等的，有些可能是最優(yōu)解有些可能僅是局部最優(yōu)解一般可通過迭代的多次重啟動方式解決這個問題感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

多層感知機網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

多層感知機網(wǎng)絡第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡多層感知機網(wǎng)絡中的隱藏節(jié)點隱藏節(jié)點在分類預測中的作用：實現(xiàn)非線性樣本的線性變換分類預測中的線性樣本：對P維輸入變量空間的兩類樣本，若能找到一個超平面將兩類分開，則該樣本為線性樣本，否則為非線性樣本

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡Python模擬和啟示：認識隱藏節(jié)點本例中隨著隱藏節(jié)點的增加，分類邊界從直線逐步變?yōu)榍€和圓圈，較好地實現(xiàn)了非線性樣本的分類Chapter8-2.ipynb第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡多層感知機網(wǎng)絡中的隱藏節(jié)點隱藏節(jié)點在回歸預測中的作用：實現(xiàn)非線性投影尋蹤回歸

可將投影尋蹤回歸視為三層感知機網(wǎng)絡中隱藏層到輸出層的所有連接權(quán)重均等于1的特例第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡BP方向傳播算法：多層網(wǎng)絡引入反方向傳播機制傳遞誤差并完成權(quán)重更新反向傳播算法的基本思想：向傳播和反向傳播兩個階段正向傳播階段：傳播的是樣本信息，網(wǎng)絡的所有連接權(quán)重保持不變反向傳播階段：將輸出節(jié)點的預測誤差反方向逐層傳播到上層隱藏節(jié)點，逐層更新權(quán)重，直至所有權(quán)重全部更新為止B-P反向傳播算法第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡

第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡的Python應用實踐：手寫體郵政編碼的識別在數(shù)據(jù)集劃分的基礎(chǔ)上，建立不同個數(shù)隱藏節(jié)點的三層感知機網(wǎng)絡，激活函數(shù)依次為ReLU和Logistic函數(shù)繪制隨隱藏節(jié)點的增加，各網(wǎng)絡測試誤差變化曲線圖，確定較為理想的網(wǎng)絡拓撲結(jié)構(gòu)和激活函數(shù)較為理想的模型是采用ReLU激活函數(shù)且包含9個隱藏節(jié)點的網(wǎng)絡Chapter8-3.ipynb第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡的Python應用實踐：PM2.5濃度的回歸預測指定輸入變量SO2、CO、NO2、O3和輸出變量PM2.5涉及多個參數(shù)組合的反復調(diào)試，為快速達成目標，直接利用Python的網(wǎng)格搜索算法實現(xiàn)基于最優(yōu)網(wǎng)絡結(jié)構(gòu)進行預測Chapter8-4.ipynb第8章數(shù)據(jù)預測建模：人工神經(jīng)網(wǎng)絡第9章數(shù)據(jù)預測建模：支持向量機支持向量分類概述完全線性可分下的支持向量分類廣義線性可分下的支持向量分類線性不可分下的支持向量分類Python應用實踐導言

第9章數(shù)據(jù)預測建模：支持向量機支持向量機（SupportVectorMachine，SVM）是在統(tǒng)計學習理論（StatisticalLearningTheory，SLT）基礎(chǔ)上發(fā)展起來的一種機器學習方法（1992年由Boser，Guyon和Vapnik提出）在解決小樣本、非線性和高維的分類預測和回歸預測問題上有許多優(yōu)勢支持向量機分為支持向量分類機和支持向量回歸機討論的問題涉及：第一、支持向量分類概述第二、完全線性可分下的支持向量分類第三、廣義線性可分下的支持向量分類第四、線性不可分下的支持向量分類支持向量分類概述

第9章數(shù)據(jù)預測建模：支持向量機支持向量分類的基本思路如果兩類樣本觀測點能夠被超平面有效分開，則可能會找到多個這樣的超平面支持向量分類算法確定的分類超平面：是具有最大邊界的超平面，是距兩類別的邊緣觀測點最遠的超平面支持向量分類概述

固定迭代次數(shù)下，不同初始參數(shù)的神經(jīng)網(wǎng)絡給出分類邊界應采用哪個超平面進行預測呢？第9章數(shù)據(jù)預測建模：支持向量機支持向量分類的基本思路支持向量分類中的超平面：具有最大邊界的超平面，是距兩類別的邊緣觀測點最遠的超平面最大邊界超平面的意義：有較高的預測置信度最大邊界超平面僅取決于兩類邊緣上的觀測點：這些樣本觀測稱為支持向量，預測具有很強的魯棒性

第9章數(shù)據(jù)預測建模：支持向量機支持向量分類概述

支持向量分類的基本思路支持向量分類的三種情況線性可分樣本：樣本觀測點可被超平面線性分開的情況完全線性可分樣本無法完全線性可分（廣義線性可分）線性不可分樣本第9章數(shù)據(jù)預測建模：支持向量機完全線性可分下的支持向量分類

以二維空間為例：首先，分別將兩類的最外圍的樣本觀測點連線形成兩個多邊形，應是關(guān)于兩類樣本點集的凸包（ConvexHull），最小凸多邊形(各自類的樣本觀測點均在多邊形內(nèi)或邊上)然后，以一類的凸包邊界為基準線，找到另一類凸包邊界上的點，過該點做基準線的平行線，得到一對平行線可以有多條這樣的基準線和對應的平行線，應找到：相距最遠,且能正確劃分兩類的一對平行線最大邊界超平面（線）：平行于該對平行線、位于該對平行線的中間位置上第9章數(shù)據(jù)預測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預測建模：支持向量機

第9章數(shù)據(jù)預測建模：支持向量機

第9章數(shù)據(jù)預測建模：支持向量機

完全線性可分下的支持向量分類

第9章數(shù)據(jù)預測建模：支持向量機完全線性可分下支持向量分類的實現(xiàn)Chapter9-2.ipynb第9章數(shù)據(jù)預測建模：支持向量機廣義線性可分下的超平面：采用適當?shù)膶捤刹呗裕试S部分樣本觀測點進入“禁區(qū)”：廣義線性或線性軟間隔支持向量分類廣義線性可分下的支持向量分類

第9章數(shù)據(jù)預測建模：支持向量機

廣義線性可分下的支持向量分類第9章數(shù)據(jù)預測建模：支持向量機廣義線性可分下的超平面

Chapter9-3.ipynb第9章數(shù)據(jù)預測建模：支持向量機

廣義線性可分下的支持向量分類

只能要求兩項之和最小第9章數(shù)據(jù)預測建模：支持向量機

第9章數(shù)據(jù)預測建模：支持向量機

第9章數(shù)據(jù)預測建模：支持向量機如何解決線性不可分的分類問題一般方式是進行非線性空間轉(zhuǎn)換：低維空間中的線性不可分問題，通過恰當?shù)姆蔷€性變換轉(zhuǎn)化為高維空間中的線性可分問題線性不可分下的支持向量分類第9章數(shù)據(jù)預測建模：支持向量機

線性不可分下的支持向量分類第9章數(shù)據(jù)預測建模：支持向量機

點積計算是關(guān)鍵第9章數(shù)據(jù)預測建模：支持向量機

第9章數(shù)據(jù)預測建模：支持向量機

第9章數(shù)據(jù)預測建模：支持向量機

Chapter9-4.ipynb第9章數(shù)據(jù)預測建模：支持向量機Py