第6章深度學(xué)習(xí)

第六章深度學(xué)習(xí)人工智能概論目錄人工智能相關(guān)概念6.1深度學(xué)習(xí)6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)6.3典型神經(jīng)網(wǎng)絡(luò)模型6.4強(qiáng)化學(xué)習(xí)6.5遷移學(xué)習(xí)6.6小結(jié)6.1深度學(xué)習(xí)概念機(jī)器學(xué)習(xí)（machinelearning）通俗地說(shuō)就是研究如何用機(jī)器來(lái)模擬人類的學(xué)習(xí)活動(dòng)，以使機(jī)器能夠更好地幫助人類。通過(guò)對(duì)人類學(xué)習(xí)過(guò)程和特點(diǎn)的研究，建立學(xué)習(xí)理論和方法，并應(yīng)用于機(jī)器，以改進(jìn)機(jī)器的行為和性能，提高機(jī)器解決問(wèn)題的能力。人工智能基礎(chǔ)6.1深度學(xué)習(xí)人工智能基礎(chǔ)深度學(xué)習(xí)基本思想對(duì)于深度學(xué)習(xí)來(lái)說(shuō)，其思想就是堆疊多個(gè)層，也就是說(shuō)這一層的輸出作為下一層的輸入。通過(guò)這種方式就可以實(shí)現(xiàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)了。另外，前面假設(shè)輸出嚴(yán)格地等于輸入，這個(gè)限制太嚴(yán)格，可以略微放寬這個(gè)限制，例如，只要使得輸入與輸出的差別盡可能地小即可，放寬限制會(huì)導(dǎo)致另外一類不同的深度學(xué)習(xí)方法。上述就是深度學(xué)習(xí)的基本思想。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.2深度學(xué)習(xí)基本結(jié)構(gòu)深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)靈活，但其大多是由很多基本的網(wǎng)絡(luò)結(jié)構(gòu)組成而來(lái)的，分別是多層感知機(jī)（multi-layerperceptronMLP）、卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneuralnetwork，CNN）以及循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrentneuralnetwork，RNN）。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.3深度學(xué)習(xí)框架深度學(xué)習(xí)框架可以說(shuō)是一個(gè)庫(kù)或工具，它使我們?cè)跓o(wú)須深入了解底層算法細(xì)節(jié)的情況下，能夠更容易、更快速地構(gòu)建深度學(xué)習(xí)模型。深度學(xué)習(xí)框架利用預(yù)先構(gòu)建和優(yōu)化好的組件集合定義模型，為模型的實(shí)現(xiàn)提供了一種清晰而簡(jiǎn)潔的方法。利用合適的框架能夠快速構(gòu)建模型，這里的框架就好比房子的整體建筑，而我們?cè)谶@個(gè)框架下編程就類似于對(duì)這個(gè)建筑進(jìn)行裝修。目前有多種開(kāi)源深度學(xué)習(xí)框架，包括TensorFlow、Caffe、PyTorch、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等，下面介紹其中較為流行的幾種框架。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.3深度學(xué)習(xí)框架TensorFlow的前身是Google的神經(jīng)網(wǎng)絡(luò)算法庫(kù)DistBelief，由“谷歌大腦”團(tuán)隊(duì)開(kāi)發(fā)和維護(hù)，自2015年11月9日起，開(kāi)放源代碼。TensorFlow是一個(gè)使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的開(kāi)源軟件庫(kù)，被廣泛應(yīng)用于各類機(jī)器學(xué)習(xí)算法的編程實(shí)現(xiàn)，用數(shù)據(jù)流圖中的節(jié)點(diǎn)表示數(shù)學(xué)運(yùn)算，圖中的邊表示節(jié)點(diǎn)之間傳遞的多維數(shù)據(jù)陣列（又稱張量）。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.3深度學(xué)習(xí)框架2.CaffeCaffe是一個(gè)清晰而高效的深度學(xué)習(xí)框架，由加利福尼亞大學(xué)伯克利分校人工智能研究小組與伯克利視覺(jué)和學(xué)習(xí)中心共同開(kāi)發(fā)。雖然其內(nèi)核是用C++編寫的，但Caffe有Python和MATLAB的相關(guān)接口。在TensorFlow出現(xiàn)之前，Caffe一直是深度學(xué)習(xí)領(lǐng)域Github（全球最大的社交編程及代碼托管平臺(tái)）好評(píng)最多的項(xiàng)目。其主要優(yōu)勢(shì)為容易上手，網(wǎng)絡(luò)結(jié)構(gòu)都是以配置文件的形式定義的，不需要用代碼設(shè)計(jì)網(wǎng)絡(luò)，有較快的訓(xùn)練速度，組件被模塊化，可以被方便地拓展到新的模型和學(xué)習(xí)任務(wù)上。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.3深度學(xué)習(xí)框架3.PyTorch在2017年，Torch的幕后團(tuán)隊(duì)推出了PyTorch。PyTorch不是簡(jiǎn)單地封裝LuaTorch以提供Python接口，而是對(duì)Tensor之上的所有模塊進(jìn)行了重構(gòu)，并新增了自動(dòng)求導(dǎo)系統(tǒng)，進(jìn)而成為了當(dāng)下最流行的動(dòng)態(tài)圖框架。考慮到Python在計(jì)算科學(xué)領(lǐng)域的領(lǐng)先地位，以及其生態(tài)完整性和接口易用性，幾乎任何框架都不可避免地要提供Python接口。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.3深度學(xué)習(xí)框架4.KerasKeras是一個(gè)高層神經(jīng)網(wǎng)絡(luò)API，由Python編寫而成，并將TensorFlow、Theano（一個(gè)Python庫(kù)，被認(rèn)為是深度學(xué)習(xí)研究和開(kāi)發(fā)的行業(yè)標(biāo)準(zhǔn)）及CNTK（微軟開(kāi)源的人工智能工具包）作為后端。Keras為支持快速實(shí)驗(yàn)而生，能夠把想法迅速轉(zhuǎn)換為結(jié)果。Keras應(yīng)該是深度學(xué)習(xí)框架之中最容易上手的一個(gè)，它提供了一致而簡(jiǎn)潔的API，能夠極大地減少一般應(yīng)用下用戶的工作量，避免用戶“重復(fù)造輪子”。6.1深度學(xué)習(xí)人工智能基礎(chǔ)6.1.4深度學(xué)習(xí)適用領(lǐng)域深度學(xué)習(xí)研究及應(yīng)用的一個(gè)目標(biāo)是算法及網(wǎng)絡(luò)結(jié)構(gòu)盡量能夠處理各種任務(wù)，而深度學(xué)習(xí)的現(xiàn)狀是在各個(gè)應(yīng)用領(lǐng)域仍然需要結(jié)合領(lǐng)域知識(shí)和數(shù)據(jù)特性進(jìn)行一定結(jié)構(gòu)的設(shè)計(jì)。深度學(xué)習(xí)應(yīng)用領(lǐng)域主要有計(jì)算機(jī)視覺(jué)（computervision）、語(yǔ)音識(shí)別工業(yè)界和學(xué)術(shù)界和自認(rèn)語(yǔ)言處理等。計(jì)算機(jī)視覺(jué)來(lái)解決如何使機(jī)器“看”這個(gè)問(wèn)題的科學(xué)，包括圖像識(shí)別、物體檢測(cè)、人臉識(shí)別、圖像描述等。6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)人工智能基礎(chǔ)機(jī)器學(xué)習(xí)的研究工作CNN主要有如下結(jié)構(gòu)卷積層池化層激活層批規(guī)范層丟棄層全連接層6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)卷積層積層（convolutionlayer）是卷積網(wǎng)絡(luò)的核心通常用于對(duì)輸入層輸入數(shù)據(jù)進(jìn)行特征提取，是通過(guò)卷積核矩陣對(duì)原始數(shù)據(jù)中隱含關(guān)聯(lián)性的一種抽象。6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)激活層激活層負(fù)責(zé)對(duì)卷積層抽取的特征進(jìn)行激活，由于卷積操作是由輸入矩陣與卷積核矩陣進(jìn)行相乘的過(guò)程，是線性變化關(guān)系，需要激活層對(duì)其進(jìn)行非線性的映射。激活層主要由激活函數(shù)組成，即在卷積層輸出結(jié)果的基礎(chǔ)上嵌套一個(gè)非線性函數(shù)，讓輸出的特征圖具有非線性關(guān)系。6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)池化層池化層又稱為降采樣層（downsamplinglayer），作用是對(duì)感受野內(nèi)的特征進(jìn)行篩選，提取區(qū)域內(nèi)最具代表性的特征，能夠有效地減小輸出特征尺度，進(jìn)而減少模型所需要的參數(shù)量。6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)批規(guī)范層批規(guī)范化是2015年Ioffe和Szegedy等人提出的想法，目標(biāo)是加速神經(jīng)網(wǎng)絡(luò)的收斂過(guò)程，提高訓(xùn)練過(guò)程中的穩(wěn)定性。批規(guī)范化的基本思想是當(dāng)沒(méi)有進(jìn)行數(shù)據(jù)批規(guī)范化處理時(shí)，數(shù)據(jù)的分布是任意的，那么就會(huì)有大量數(shù)據(jù)處在激活函數(shù)的敏感區(qū)域外，而如果進(jìn)行了數(shù)據(jù)批規(guī)范化處理，相對(duì)來(lái)說(shuō)數(shù)據(jù)的分布就比較均衡了。6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)丟棄層丟棄層（Dropout層）可以看作一種模型平均。所謂模型平均，顧名思義，就是把來(lái)自不同模型的估計(jì)或者預(yù)測(cè)通過(guò)一定的權(quán)重進(jìn)行平均，在一些文獻(xiàn)中也稱為模型組合，一般包括組合估計(jì)和組合預(yù)測(cè)。6.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)全連接層全連接層（fullconnectedlayer）負(fù)責(zé)對(duì)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)提取到的特征進(jìn)行匯總，將多維的特征輸入映射為二維的特征輸出，高維表示樣本批次，低維常常對(duì)應(yīng)任務(wù)目標(biāo)。、6.3典型神經(jīng)網(wǎng)絡(luò)模型6.3.1FCN全卷積神經(jīng)網(wǎng)絡(luò)通常，卷積網(wǎng)絡(luò)由卷積層、下采樣層（池化層）和全連接層組成。全卷積網(wǎng)絡(luò)（fullyconvolutionalnetwork，F(xiàn)CN）是一種沒(méi)有全連接層的卷積網(wǎng)絡(luò)，但除了卷積層和下采樣層，另外還可以包含上采樣層和反卷積層等其他具有空間平移不變形式的層。、6.3典型神經(jīng)網(wǎng)絡(luò)模型6.3.2GoogleNet結(jié)構(gòu)更深的卷積網(wǎng)絡(luò)VGGNet驗(yàn)證了加深模型結(jié)構(gòu)有助于提升網(wǎng)絡(luò)的性能，GoogLeNet專注于如何建立更深的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)引入新型的基本結(jié)構(gòu)——Inception模塊，以增加網(wǎng)絡(luò)的寬度。作為一種卷積網(wǎng)絡(luò)的新模型，GoogLeNet網(wǎng)絡(luò)由輸入層、輸出層、卷積層和大量Inception層組成。其中Inception模塊結(jié)構(gòu)如圖所示、6.3典型神經(jīng)網(wǎng)絡(luò)模型6.3.3ResNet殘差網(wǎng)絡(luò)通常，卷積網(wǎng)絡(luò)由卷積層、下采樣層（池化層）和全連接層組成。全卷積網(wǎng)絡(luò)（fullyconvolutionalnetwork，F(xiàn)CN）是一種沒(méi)有全連接層的卷積網(wǎng)絡(luò)，但除了卷積層和下采樣層，另外還可以包含上采樣層和反卷積層等其他具有空間平移不變形式的層。、6.3典型神經(jīng)網(wǎng)絡(luò)模型6.3.4CNN卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（convolutionalneuralnetwork，CNN）是通過(guò)模擬人腦視覺(jué)系統(tǒng)，采用卷積層和池化層依次交替的模型結(jié)構(gòu)，卷積層使原始信號(hào)得到增強(qiáng)，提高信噪比，池化層利用圖像局部相關(guān)性原理，對(duì)圖像進(jìn)行鄰域間采樣，在減少數(shù)據(jù)量的同時(shí)提取有用信息，同時(shí)參數(shù)減少和權(quán)值共享使得系統(tǒng)訓(xùn)練時(shí)間長(zhǎng)的問(wèn)題得到改善。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。、6.3典型神經(jīng)網(wǎng)絡(luò)模型6.3.5DCCNet密集連接網(wǎng)絡(luò)密集連接卷積神經(jīng)網(wǎng)絡(luò)（denselyconnectedconvolutionnetwork，DCCNet）一個(gè)完整的DCCNet網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該包括：密集連接塊（denseblock）、過(guò)渡層（transitionlayer）、增長(zhǎng)率（growthrate）及變換函數(shù)（compositefunction）等各方面。、6.3典型神經(jīng)網(wǎng)絡(luò)模型6.3.6GAN生成對(duì)抗網(wǎng)絡(luò)GAN由generator（生成式模型）和discriminator（判別式模型）兩部分構(gòu)成，模型如圖所示。所有GAN網(wǎng)絡(luò)的核心邏輯就是生成器和判別器相互對(duì)抗、相互博弈。強(qiáng)化學(xué)習(xí)（reinforcementlearning，RL）又稱為再勵(lì)學(xué)習(xí)、評(píng)價(jià)學(xué)習(xí)，是一種通過(guò)模擬大腦神經(jīng)細(xì)胞中的獎(jiǎng)勵(lì)信號(hào)來(lái)改善行為的機(jī)器學(xué)習(xí)方法，其計(jì)算模型也已經(jīng)應(yīng)用于機(jī)器人、分析預(yù)測(cè)等人工智能領(lǐng)域。6.4強(qiáng)化學(xué)習(xí)6.4.1強(qiáng)化學(xué)習(xí)的基本原理與模型強(qiáng)化學(xué)習(xí)主要研究具有一定思考和行為能力的個(gè)體（agent）在與其所處的環(huán)境（environment）進(jìn)行交互的過(guò)程中，通過(guò)學(xué)習(xí)策略達(dá)到收獲最大化或?qū)崿F(xiàn)特定的目標(biāo)。根據(jù)個(gè)體建立的組件的特點(diǎn)，將強(qiáng)化學(xué)習(xí)中的個(gè)體進(jìn)行如下分類：僅直接基于策略在這樣的個(gè)體中，行為直接由策略函數(shù)產(chǎn)生，個(gè)體并不維護(hù)一個(gè)對(duì)各狀態(tài)價(jià)值的估計(jì)函數(shù)。6.4強(qiáng)化學(xué)習(xí)僅基于價(jià)值函數(shù)這樣的個(gè)體有對(duì)狀態(tài)價(jià)值的估計(jì)函數(shù)，但是沒(méi)有直接的策略函數(shù)，策略函數(shù)由價(jià)值函數(shù)間接得到演員-評(píng)判家（actor-critic）類型這樣的個(gè)體既有價(jià)值函數(shù)也有策略函數(shù)，兩者相互結(jié)合解決問(wèn)題。強(qiáng)化學(xué)習(xí)分類6.4強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)分類此外，根據(jù)個(gè)體是否建立一個(gè)針對(duì)環(huán)境動(dòng)力學(xué)的模型，可將其分為兩大類：不基于模型的個(gè)體這類個(gè)體并不試圖了解環(huán)境如何工作，而僅聚焦于價(jià)值和策略函數(shù)，或者二者之一?；谀Ｐ偷膫€(gè)體個(gè)體嘗試建立一個(gè)描述環(huán)境運(yùn)作過(guò)程的模型，以此來(lái)指導(dǎo)價(jià)值或策略函數(shù)的更新。2.追求長(zhǎng)期回報(bào)的最大化強(qiáng)化學(xué)習(xí)的目的是最大化長(zhǎng)期回報(bào)。所謂長(zhǎng)期回報(bào)，是指從當(dāng)前時(shí)刻（狀態(tài)）開(kāi)始直到最終時(shí)刻（狀態(tài)）的總獎(jiǎng)勵(lì)期望。強(qiáng)化學(xué)習(xí)不對(duì)即時(shí)獎(jiǎng)勵(lì)進(jìn)行行為鼓勵(lì)，是因?yàn)楫?dāng)前狀態(tài)下采取的行動(dòng)會(huì)影響后續(xù)的環(huán)境狀態(tài)和獎(jiǎng)勵(lì)。因此，獲取最大的即時(shí)獎(jiǎng)勵(lì)無(wú)法保證未來(lái)的總獎(jiǎng)勵(lì)也是最大的。6.4強(qiáng)化學(xué)習(xí)1.通過(guò)不斷試錯(cuò)進(jìn)行學(xué)習(xí)在沒(méi)有提供正確選項(xiàng)的情況下，智能體通過(guò)試錯(cuò)（trial-and-error）與環(huán)境進(jìn)行嘗試性互動(dòng)，并根據(jù)環(huán)境產(chǎn)生的反饋增強(qiáng)或抑制行動(dòng)。試錯(cuò)包含利用（exploitation）和探索（exploration）兩個(gè)過(guò)程。6.4.2強(qiáng)化學(xué)習(xí)的主要特點(diǎn)與構(gòu)成2.強(qiáng)化學(xué)習(xí)在完全信息博弈中的應(yīng)用自人工智能興起以來(lái)，機(jī)器博弈成為了一個(gè)重要的研究方向。根據(jù)游戲狀態(tài)可見(jiàn)性和玩家決定性，博弈分為完全信息（象棋、圍棋）和非完全信息（如撲克）、確定性和非確定性（如西洋雙陸棋）。搜索算法是機(jī)器博弈的核心，隨著難度增加，強(qiáng)化學(xué)習(xí)成為提高水平的關(guān)鍵，但必須解決問(wèn)題描述和策略尋找兩個(gè)挑戰(zhàn)。6.4強(qiáng)化學(xué)習(xí)1.AlphaGo及AlphaGoZero2016年初，GoogleDeepMind的AlphaGo擊敗了圍棋冠軍李世石，標(biāo)志著人工智能的重大進(jìn)步。后來(lái)，他們推出了AlphaGoZero，不再依賴人類數(shù)據(jù)，而是通過(guò)自我學(xué)習(xí)，在更復(fù)雜的環(huán)境中取得了巨大成功。6.4.3強(qiáng)化學(xué)習(xí)的應(yīng)用6.5遷移學(xué)習(xí)6.5.1遷移學(xué)習(xí)的概述遷移學(xué)習(xí)（transferlearning，TL）是指利用數(shù)據(jù)、任務(wù)或模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)過(guò)的模型應(yīng)用于新領(lǐng)域的一種學(xué)習(xí)過(guò)程。人類的遷移學(xué)習(xí)能力是與生俱來(lái)的。遷移學(xué)習(xí)的目標(biāo)是希望模型或數(shù)據(jù)可以復(fù)用，傳統(tǒng)的機(jī)器學(xué)習(xí)需要標(biāo)注大量訓(xùn)練數(shù)據(jù)，耗費(fèi)大量的人力與物力，而沒(méi)有這些標(biāo)注數(shù)據(jù)，訓(xùn)練出來(lái)的模型性能會(huì)較差。另外，遷移學(xué)習(xí)可以起到模型泛化的作用，模擬人類的遷移學(xué)習(xí)經(jīng)歷。在傳統(tǒng)的機(jī)器學(xué)習(xí)中，一般假設(shè)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)服從相同的數(shù)據(jù)分布。然而，在遷移學(xué)習(xí)中，假設(shè)并不成立，所以讓知識(shí)從源領(lǐng)域中順利轉(zhuǎn)換到目標(biāo)領(lǐng)域中，遷移學(xué)習(xí)面臨著眾多問(wèn)題。如何選擇數(shù)據(jù)、如何選擇特征、如何對(duì)數(shù)據(jù)權(quán)重進(jìn)行調(diào)整等。如果兩個(gè)領(lǐng)域選擇不當(dāng)或者其中的樣本或特征選擇錯(cuò)誤，不僅不利于目標(biāo)領(lǐng)域的模型訓(xùn)練，反而會(huì)起負(fù)面作用，即負(fù)遷移（negativetransfer）。所以，如何找到相似度盡可能高的源領(lǐng)域，是整個(gè)遷移學(xué)習(xí)的重要前提。人工智能基礎(chǔ)6.5遷移學(xué)習(xí)

6.5.2遷移學(xué)習(xí)分類4.基于關(guān)系知識(shí)遷移學(xué)習(xí)3.基于模型的遷移學(xué)習(xí)2.基于特征的遷移學(xué)習(xí)1.基于樣本的遷移學(xué)習(xí)

遷移學(xué)習(xí)分類基于樣本的遷移學(xué)習(xí)是從源數(shù)據(jù)中找出適合的樣本數(shù)據(jù)，并將其遷移到目標(biāo)領(lǐng)域的訓(xùn)練數(shù)據(jù)集中，供模型進(jìn)行訓(xùn)練?；谀Ｐ偷姆椒ㄊ侵咐迷从蚰Ｐ椭械墓蚕韰?shù)，應(yīng)用到目標(biāo)域進(jìn)行訓(xùn)練和預(yù)測(cè)。目前基于模型的遷移學(xué)習(xí)應(yīng)用較多，在圖像處理領(lǐng)域中常見(jiàn)的已經(jīng)訓(xùn)練好的模型有VGG模型、Inception模型、ResNet模型。基于特征的