模式識別與機器學(xué)習 課件 第7、8章 核方法和支持向量機、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習

核方法和支持向量機第七章模式識別與機器學(xué)習新工科建設(shè)·人工智能與智能科學(xué)系列教材01引言在機器學(xué)習與模式識別中，如在回歸與分類問題的線性參數(shù)模型中，從輸入x到輸出y的映射y（x，w）由自適應(yīng)參數(shù)w控制。在學(xué)習階段，一組訓(xùn)練數(shù)據(jù)被用于參數(shù)向量的點估計，或用于判別參數(shù)向量的后驗分布。引言然后，丟棄訓(xùn)練數(shù)據(jù)，對新輸入的預(yù)測僅依賴于被學(xué)習的參數(shù)向量w。這一方法同樣適用于非線性參數(shù)模型，如神經(jīng)網(wǎng)絡(luò)。引言然而，在另一類模式識別技術(shù)中，訓(xùn)練數(shù)據(jù)點或者其中的一個子集在預(yù)測階段仍被保留或應(yīng)用。例如，Parzen概率密度模型包含核函數(shù)的線性組合，其中的每個核函數(shù)都以一個訓(xùn)練數(shù)據(jù)點為中心。引言類似地，“最近鄰域”這樣的簡單分類技術(shù)對每個新測試向量分配訓(xùn)練集中與其最接近例子的相同標簽?；谟洃浀姆椒ù鎯φ麄€數(shù)據(jù)集，以便對未來數(shù)據(jù)點做出預(yù)測。這類方法的特點是，需要預(yù)先定義一個度量標準來測量輸入空間中兩個向量的相似度，訓(xùn)練速度通常很快，但對測試數(shù)據(jù)點做出預(yù)測的速度很慢。引言02核學(xué)習機大多數(shù)線性參數(shù)模型都采用對偶形式表達為核函數(shù)的形式。其中預(yù)測根據(jù)核函數(shù)的線性組合得到，核函數(shù)則通過訓(xùn)練數(shù)據(jù)點估計。核學(xué)習機如將要看到的那樣，對于依賴不變非線性特征空間的映射φ（x），核函數(shù)由如下關(guān)系式給出：由以上定義可以看出，核是關(guān)于其參數(shù)的一個對稱函數(shù)，于是有k（x，x'）=k（x'，x）。核學(xué)習機考慮式（7.1）中特征空間的恒等映射，即φ（x）=x，有k（x，x'）=xTx'，我們將其稱為線性核，這是最簡單的核函數(shù)。核被表述為特征空間內(nèi)積的概念可讓我們擴展許多被人熟知的算法，方法是采用核決策或者核置換。核學(xué)習機核方法是解決非線性模式分析問題的有效途徑之一，其核心思想如下：首先，通過某個非線性映射將原始數(shù)據(jù)嵌入合適的高維特征空間。然后，利用通用線性學(xué)習器在這個新空間中分析和處理模式。核方法基于如下假設(shè)：在低維空間中不能線性分割的點集，轉(zhuǎn)換為高維空間中的點集后，很可能變成線性可分的。核學(xué)習機相對于使用通用非線性學(xué)習器直接在原始數(shù)據(jù)上進行分析的范式，核方法具有如下優(yōu)點：首先，通用非線性學(xué)習器不便反映具體應(yīng)用問題的特性，而核方法的非線性映射因面向具體應(yīng)用問題設(shè)計而便于集成問題相關(guān)的先驗知識。線性學(xué)習器相對于非線性學(xué)習器有更好的過擬合控制，因此可以更好地保證泛化性能。核學(xué)習機03支持向量機支持向量機（SupportVectorMachines）是一種二分類模型，目的是尋找一個超平面來分割樣本。分割的原則是間隔最大化，最終轉(zhuǎn)換為一個凸二次規(guī)劃問題來求解。支持向量機由簡至繁的模型包括：當訓(xùn)練樣本線性可分時，通過硬間隔最大化，學(xué)習一個線性可分支持向量機。當訓(xùn)練樣本近似線性可分時，通過軟間隔最大化，學(xué)習一個線性支持向量機。當訓(xùn)練樣本線性不可分時，通過核技巧和軟間隔最大化，學(xué)習一個非線性支持向量機。支持向量機線性可分支持向量機支持向量機通過間隔的概念來解決這個問題，間隔定義為兩個異類支持向量到超平面的距離之和，如圖7.1所示。支持向量機在支持向量機中，決策邊界選為間隔最大的那個。最大間隔的解受計算學(xué)習理論的推動。然而，了解最大間隔的起源后，就會發(fā)現(xiàn)旱在2000年它就被Tong和Koller提出他們考慮了一個基于生成和判別方法的分類框架。支持向量機軟間隔線性支持向量機在前面的討論中，我們假設(shè)訓(xùn)練樣本在樣本空間或特征空間中是線性可分的。但在現(xiàn)實任務(wù)中往往很難確定合適的核函數(shù)使訓(xùn)練集在特征空間中線性可分。支持向量機即使找到了這樣的核函數(shù)使得樣本在特征空間中線性可分，也很難判斷其是否由過擬合造成。因此，人們提出了線性支持向量機（軟間隔支持向量機）。支持向量機為了解決該問題，可對每個樣本點引入一個松弛變量（見圖7.2）。支持向量機非線性支持向量機到目前為止，我們都假設(shè)訓(xùn)練數(shù)據(jù)點在特征空間q（x）中是線性可分的。盡管相應(yīng)的決策邊界是非線性的，支持向量機的結(jié)果仍會在原始輸入空間x中給出訓(xùn)練數(shù)據(jù)的準確分類。支持向量機實際上，類條件分布可能是重疊的，這時訓(xùn)練數(shù)據(jù)的準確分類會導(dǎo)致較差的推廣。對于非線性問題，線性可分支持向量機并不能有效地解決，需要使用非線性模型。支持向量機非線性問題往往不好求解，因此希望能用解線性分類問題的方法求解。于是，我們可以采用非線性變換將非線性問題變換成線性問題。支持向量機對于這樣的問題，可將訓(xùn)練樣本從原始空間映射到一個高維空間，使樣本在高維空間中線性可分。如果原始空間的維數(shù)是有限的，即屬性是有限的，就一定存在一個高維特征空間是樣本可分的。支持向量機于是，在特征空間中劃分超平面對應(yīng)的模型就可以表示為最小化函數(shù)為支持向量機04支持向量回歸機下面將支持向量機擴展到回歸問題，同時保留稀疏性。在簡單的線性回歸中，我們用式（7.39）最小化一個正規(guī)化誤差函數(shù)：支持向量回歸機ε不敏感誤差函數(shù)的一個簡單例子如下，它與不敏感區(qū)域外誤差相比有一個線性損失，如圖7.3所示：支持向量回歸機奇異值分解回歸示意圖，如圖7.4所示：支持向量回歸機圖7.5采用正弦數(shù)據(jù)集顯示了如何用支持向量機解決回歸分析問題，其中參數(shù)v和C是人為選擇的。支持向量回歸機05小結(jié)本章介紹了核方法和支持向量機的相關(guān)知識，并且基于核學(xué)習機的定義和核函數(shù)重點介紹了支持向量機在分類核回歸問題上的應(yīng)用。即線性可分支持向量機、線性與非線性支持向量機和線性與非線性支持向量回歸機。小結(jié)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習第八章模式識別與機器學(xué)習新工科建設(shè)·人工智能與智能科學(xué)系列教材01引言簡單來說，人工神經(jīng)網(wǎng)絡(luò)是指模仿生物大腦的結(jié)構(gòu)和功能，采用數(shù)學(xué)和物理方法進行研究而構(gòu)成的一種信息處理系統(tǒng)或計算機。人是地球上具有最高智慧的生物，而人的智能均來自大腦，人類靠大腦進行思考、聯(lián)想、記憶和推理判斷，這些功能是任何被稱為電腦的計算機都無法取代的。引言長期以來，很多科學(xué)家一直致力于人腦內(nèi)部結(jié)構(gòu)和功能的研究，試圖建立模仿人類大腦的計算機。截至目前，雖然人們對大腦的內(nèi)部工作原理還不甚清楚，但對其結(jié)構(gòu)已有所了解。引言02感知器感知器的概念美國學(xué)者F.Rosenblatt在1957年提出了感知器模型，如圖8.1所示。感知器因此，它實質(zhì)上是一種線性閾值計算單元，如圖8.2所示。感知器感知器訓(xùn)練算法及其收斂性通過上面的定義，感知器問題就變成了ωi/ωj，兩類問題。因此，感知器的自組織、自學(xué)習思想可用于確定性分類器的訓(xùn)練。這就是感知器訓(xùn)練方法。感知器針對ωi/ωj兩類問題，可以利用增廣模式向量、增廣加權(quán)向量和判決規(guī)則感知器感知器準則函數(shù)及梯度法我們知道，一個函數(shù)的梯度指明了其自變量增加時該函數(shù)的最大增大率方向，負梯度則指明了同樣條件下函數(shù)的最陡下降方向?；谔荻群瘮?shù)這一重要性質(zhì)，下面介紹梯度法。感知器求函數(shù)f（w）的數(shù)值解時，通常只能求出某種意義下的最優(yōu)解，即首先定義一個準則函數(shù)，然后在使此準則函數(shù)最大或最小的情況下，求出f（w）的解。梯度法首先確定一個準則函數(shù)J（w），然后選擇一個初值w（1），通過迭代方法找到w的數(shù)值解。感知器03多層前向神經(jīng)網(wǎng)絡(luò)一般來說，一個人工神經(jīng)元網(wǎng)絡(luò)由多層神經(jīng)元結(jié)構(gòu)組成，而每層神經(jīng)元都包含輸入和輸出兩部分。每層神經(jīng)網(wǎng)絡(luò)Iayer（i）（i表示網(wǎng)絡(luò)層數(shù)）由Ni個網(wǎng)絡(luò)神經(jīng)元組成，layer（i-1）層神經(jīng)元的輸出是layer（i）層神經(jīng)元的輸入。多層前向神經(jīng)網(wǎng)絡(luò)多層前向神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的設(shè)計涉及網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的數(shù)量，以及網(wǎng)絡(luò)的層數(shù)、神經(jīng)元的激活函數(shù)、初始值和學(xué)習算法等。對于多層感知器網(wǎng)絡(luò)來說，輸入層和輸出層的神經(jīng)元數(shù)量可以根據(jù)需要求解的問題來確定。多層前向神經(jīng)網(wǎng)絡(luò)因此，多層感知器網(wǎng)絡(luò)的設(shè)計一般應(yīng)從網(wǎng)絡(luò)的層數(shù)、隱藏層中的神經(jīng)元數(shù)量、神經(jīng)元的激活函數(shù)、初始值和學(xué)習率等方面來考慮。在設(shè)計過程中，應(yīng)當盡可能地減小神經(jīng)網(wǎng)絡(luò)模型的規(guī)模，以便縮短網(wǎng)絡(luò)的訓(xùn)練時間。多層前向神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)基本BP算法包括兩個方面：信號的正向傳播和誤差的反向傳播。也就是說，計算實際輸出時按從輸入到輸出的方向進行，而權(quán)值和閾值的修正從輸出到輸入的方向進行。多層前向神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖8.6所示。多層前向神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)徑向基函數(shù)（RedialBasisFunction，RBF）神經(jīng)網(wǎng)絡(luò)是由J.Moody和C.Darken于20世紀80年代末提出的一種神經(jīng)網(wǎng)絡(luò)模型。它是由輸入層、隱藏層（徑向基層）和線性輸出層組成的前向神經(jīng)網(wǎng)絡(luò)。多層前向神經(jīng)網(wǎng)絡(luò)04自組織特征映射神經(jīng)網(wǎng)絡(luò)生物學(xué)研究表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列的。當外界的特定時空信息輸入時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應(yīng)的區(qū)域中是連續(xù)映像的。自組織特征映射神經(jīng)網(wǎng)絡(luò)生物視網(wǎng)膜中有許多特定的細胞對特定的圖形比較敏感，當視網(wǎng)膜中有若干接收單元同時受特定模式刺激時;就使大腦皮層中的特定神經(jīng)元開始興奮，輸入模式接近，與之對應(yīng)的興奮神經(jīng)元也接近。在聽覺通道上，神經(jīng)元在結(jié)構(gòu)排列上與頻率的關(guān)系十分密切，對于某個頻率，特定的神經(jīng)元具有最大的響應(yīng)，位置相鄰的神經(jīng)元具有相近的頻率特征，而相互遠離的神經(jīng)元具有的頻率特征差別也較大。自組織特征映射神經(jīng)網(wǎng)絡(luò)SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)輸入層：通過加權(quán)向量將外界信息匯集到輸出層的各神經(jīng)元。輸入層的形式與BP神經(jīng)網(wǎng)絡(luò)的相同，節(jié)點數(shù)與樣本維數(shù)相同。輸出層：輸出層也是競爭層。其神經(jīng)元的排列有多種形式，分為一維線陣、二維平面陣和三維柵格陣。自組織特征映射神經(jīng)網(wǎng)絡(luò)最典型的結(jié)構(gòu)是二維形式，它更具大腦皮層的形象，如圖8.11所示。自組織特征映射神經(jīng)網(wǎng)絡(luò)05深度學(xué)習深度學(xué)習是機器學(xué)習的一個分支，主要是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的進一步發(fā)展，現(xiàn)已廣泛應(yīng)用于人工智能的很多方面。如圖像分類、目標檢測、景深估計、超分辨重建等，并取得了非常好的效果。深度學(xué)習在機器學(xué)習的發(fā)展歷程中，人工神經(jīng)網(wǎng)絡(luò)曾是非常熱的一個領(lǐng)域，但是后來由于人工神經(jīng)網(wǎng)絡(luò)的理論分析較為困難。在當時的計算機等硬件水平下，其他一些人工智能方法有著不輸人工神經(jīng)網(wǎng)絡(luò)的效率，人工神經(jīng)網(wǎng)絡(luò)的研宄逐漸退出了人們的視野。深度學(xué)習2006年，Hinton提出了逐層訓(xùn)練的思想，并且利用逐層訓(xùn)練建立的網(wǎng)絡(luò)模型在分類方面取得了很好的效果，使得深度學(xué)習被研究人員所關(guān)注。2012年，Krizhevsky等人提出了深度網(wǎng)絡(luò)模型AlexNet，該網(wǎng)絡(luò)模型在2012年的Imagenet挑戰(zhàn)中取得了最好的分類效果。深度學(xué)習深度學(xué)習的應(yīng)用范圍十分廣泛，在圖像處理方面，有2012年用于圖片級別分類（確定整張圖片包含的內(nèi)容屬于什么類）的AlexNet。有2014年用于像素級別分類（確定一張圖片中的每個像素屬于什么類）的全卷積網(wǎng)絡(luò)FCN，還有2015年用于圖像超分辨重建和單張圖片景深估計方面的深度卷積網(wǎng)絡(luò)。深度學(xué)習自2016年以來，一些基于深度學(xué)習的圖像問答研究取得了一定的進展。在工業(yè)界，各種IT巨頭也對深度學(xué)習表現(xiàn)出了足夠的重視。Google、Baidu、Microsoft等公司均成立了專門的研究院，并且取得了有意義的研究成果。深度學(xué)習研究深度學(xué)習的相關(guān)模型對計算機的硬件水平有一定的要求，而現(xiàn)在的計算機硬件發(fā)展十分迅速。各種高性能的CPU處理器、強大的GPU運算單元、存儲量巨大的硬盤等，都為深度學(xué)習的發(fā)展建立了理想的平臺，深度學(xué)習領(lǐng)域的相關(guān)研究成果呈現(xiàn)出爆炸式增長。深度學(xué)習近年來，深度學(xué)習發(fā)展十分迅速，研究人員提出了大量的深度學(xué)習模型。本節(jié)詳細介紹深度學(xué)習的幾個常用模型。包括堆棧式自編碼網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)。深度學(xué)習堆棧式自編碼網(wǎng)絡(luò)（SAE）前面在對比淺層學(xué)習和深度學(xué)習時說過，簡單地增加淺層人工神經(jīng)網(wǎng)絡(luò)的層數(shù)并不能得到深度學(xué)習模型。原因是簡單增加層數(shù)后，訓(xùn)練時會出現(xiàn)梯度擴散（膨脹）問題。深度學(xué)習深度置信網(wǎng)絡(luò)（DBN）RBM結(jié)構(gòu)示意圖如圖8.16所示。深度學(xué)習卷積神經(jīng)網(wǎng)絡(luò)（CNN）卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）是另一種深度學(xué)習模型，現(xiàn)已成為語音分析和圖像識別領(lǐng)域的研究熱點。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更加類似于生物神經(jīng)網(wǎng)絡(luò)，因此降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。深度學(xué)習循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）RNN是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它是根據(jù)“人的認知基于過往的經(jīng)驗和記憶”這一觀點提出的。與CNN不同的是，它不僅考慮前一時刻的輸入，而且賦予網(wǎng)絡(luò)對前面的內(nèi)容的一種“記憶”功能。深度學(xué)習生成對抗網(wǎng)絡(luò)（GAN）圖8.26中顯示了GAN模型中的生成模型和判別模型。深度學(xué)習擴散模型擴散模型（DiffusionModel）是深度生成模型中最先進的模型之一。擴散模型在圖像合成任務(wù)上超越了GAN模型，且在其他多項任務(wù)上也表現(xiàn)出了較大的潛力，如計算機視覺、自然語言處理和多模態(tài)建模等。深度學(xué)習Transformer模型Transformer模型是一種基于注意力機制的深度學(xué)習模型，最初用于自然語言處理（NLP）任務(wù)，在機器翻譯中表現(xiàn)尤其出色。Transformer的主要貢獻是提出了自注意力（Self-Attention）機制和多頭（Multi-Head）注意力機制。深度學(xué)習0