《人工智能應(yīng)用基礎(chǔ)》 課件-模塊八 深度學(xué)習(xí)概述

BasisofArtificialIntelligenceApplication人工智能應(yīng)用基礎(chǔ)模塊八深度學(xué)習(xí)概述08GANs:哪一個(gè)為原始圖像？練習(xí)：訓(xùn)練神經(jīng)網(wǎng)絡(luò)：網(wǎng)絡(luò)結(jié)構(gòu)配置與超參數(shù)設(shè)置/嘗試：/machine-learning/crash-course/introduction-to-neural-networks/playground-exercises?hl=zh-cn通過增加神經(jīng)網(wǎng)絡(luò)的層數(shù)，以及每一層中神經(jīng)元的個(gè)數(shù)，能逐漸降低測試損失。當(dāng)你嘗試過各種組合以后，找到的測試損失不超過0.177的神經(jīng)元和層的最小數(shù)量是多少？任務(wù)八：深度學(xué)習(xí)模型訓(xùn)練網(wǎng)絡(luò)通信正常已安裝Anaconda集成環(huán)境已安裝百度SDK并注冊用戶1、任務(wù)描述進(jìn)入谷歌機(jī)器學(xué)習(xí)平臺

設(shè)置相關(guān)超參數(shù)觀察輸出指標(biāo)并修改學(xué)習(xí)率等2、環(huán)境要求3、任務(wù)設(shè)計(jì)本次任務(wù)借助谷歌機(jī)器學(xué)習(xí)平臺，對深度學(xué)習(xí)模型進(jìn)行參數(shù)調(diào)優(yōu)。效果如下所示。｝任務(wù)一請掃碼完成百度平臺注冊1.了解神經(jīng)網(wǎng)絡(luò)的概念2.了解深度學(xué)習(xí)及卷積、池化、全連接等相關(guān)概念3.了解生成對抗網(wǎng)絡(luò)及應(yīng)用4.能訓(xùn)練深度學(xué)習(xí)模型5.培養(yǎng)質(zhì)量意識與工匠精神重點(diǎn):1.神經(jīng)網(wǎng)絡(luò)的概念2.深度學(xué)習(xí)的相關(guān)術(shù)語3.訓(xùn)練深度學(xué)習(xí)模型難點(diǎn):1.生成對抗網(wǎng)絡(luò)2.深度學(xué)習(xí)模型參數(shù)調(diào)優(yōu)知識技能目標(biāo)重難點(diǎn)人工智能應(yīng)用基礎(chǔ)BasisofArtificialIntelligenceApplication1、神經(jīng)網(wǎng)絡(luò)的概念2、深度學(xué)習(xí)相關(guān)概念3、生成對抗網(wǎng)絡(luò)及應(yīng)用4、任務(wù)八：深度學(xué)習(xí)模型調(diào)參人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANN）也簡稱為神經(jīng)網(wǎng)絡(luò)（NN），是一種參照大腦工作機(jī)制進(jìn)行信息處理的數(shù)學(xué)模型，由大量簡單處理單元經(jīng)廣泛連接而組成，是對人類大腦神經(jīng)元聯(lián)接結(jié)構(gòu)的模擬和簡化。神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖1、神經(jīng)網(wǎng)絡(luò)的定義8.1神經(jīng)網(wǎng)絡(luò)的概念2、神經(jīng)網(wǎng)絡(luò)的起源8.1神經(jīng)網(wǎng)絡(luò)的概念1904年，生物學(xué)家了解了神經(jīng)元的組成結(jié)構(gòu)。外界的刺激通過各個(gè)樹突傳遞給神經(jīng)元，神經(jīng)元進(jìn)行加工處理后由軸突輸出信號，信號經(jīng)由神經(jīng)末梢（突觸）傳遞到其他神經(jīng)元。其中突觸是指一個(gè)神經(jīng)元的沖動傳到另一個(gè)神經(jīng)元時(shí)相互接觸的結(jié)構(gòu)。神經(jīng)元結(jié)構(gòu)與數(shù)學(xué)模型1943年，心理學(xué)家麥卡洛克（McCulloch）和數(shù)學(xué)家皮茨（Pitts）在分析、總結(jié)神經(jīng)元基本特性的基礎(chǔ)上首先提出神經(jīng)元的數(shù)學(xué)模型（M-P模型）。目前有多種神經(jīng)元模型，標(biāo)準(zhǔn)的數(shù)學(xué)模型中包含加權(quán)求和、線性動態(tài)系統(tǒng)和非線性函數(shù)映射三個(gè)部分。3、神經(jīng)元的數(shù)學(xué)模型8.1神經(jīng)網(wǎng)絡(luò)的概念

神經(jīng)元的數(shù)學(xué)模型4、神經(jīng)網(wǎng)絡(luò)的歷史8.1神經(jīng)網(wǎng)絡(luò)的概念多層前饋神經(jīng)網(wǎng)絡(luò)示例模型1982年，約翰·霍普菲爾德提出了霍普菲爾德神經(jīng)網(wǎng)絡(luò)(Hopfieldnet)。1986年，魯梅爾哈特等提出反向傳播(BackPropagation，BP)算法，即BP神經(jīng)網(wǎng)絡(luò)。1989年，YannLeCun構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)LeNet，應(yīng)用于計(jì)算機(jī)視覺問題。1998年，YannLeCun等基于LeNet構(gòu)建了更加完備的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5。自2012年的AlexNet開始，卷積神經(jīng)網(wǎng)絡(luò)多次成為ImageNet競賽的優(yōu)勝算法：2013年ZFNet2014年VGGNet、GoogLeNet2015年ResNet1、神經(jīng)網(wǎng)絡(luò)的概念2、深度學(xué)習(xí)相關(guān)概念3、生成對抗網(wǎng)絡(luò)及應(yīng)用4、任務(wù)八：深度學(xué)習(xí)模型調(diào)參深度學(xué)習(xí)（Deeplearning）是機(jī)器學(xué)習(xí)的一個(gè)子集，通常指三層及以上的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)從大量數(shù)據(jù)中“學(xué)習(xí)”，并試圖模擬人腦的行為。單層神經(jīng)網(wǎng)絡(luò)也能進(jìn)行近似預(yù)測，但額外的隱藏層有助于優(yōu)化網(wǎng)絡(luò)、提高精度。1、深度學(xué)習(xí)的定義8.2深度學(xué)習(xí)相關(guān)概念當(dāng)小狗的圖片（數(shù)字化信息）被送入卷積神經(jīng)網(wǎng)絡(luò)時(shí)，需要通過多次的卷積（convolutional）

池化（pooling）運(yùn)算，最后通過全連接層（fully-connectedlayer），輸出為屬于貓狗等各個(gè)動物類別的概率。2、深度學(xué)習(xí)相關(guān)概念8.2深度學(xué)習(xí)相關(guān)概念卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一，在圖像領(lǐng)域處于主導(dǎo)地位。卷積神經(jīng)網(wǎng)絡(luò)工作過程3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念一維卷積一維卷積神經(jīng)網(wǎng)絡(luò)工作原理卷積核輸入

0112-1

1-21-1211輸出

?

-101

3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念一維卷積采用本卷積核進(jìn)行卷積運(yùn)算可以使信號平滑過渡卷積核輸入

638584612

00201004000輸出

?

0.30.40.3

3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念一維卷積答答看，看你理解了沒有？卷積輸出卷積核輸入?-111

1-12-110102-220卷積神經(jīng)網(wǎng)絡(luò)工作過程3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念二維卷積二維卷積神經(jīng)網(wǎng)絡(luò)工作原理輸入信號 卷積核 輸出信號卷積神經(jīng)網(wǎng)絡(luò)工作過程3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念二維卷積答答看，看你理解了沒有？輸入信號 卷積核 輸出信號-13、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念池化兩種池化的結(jié)果上一層輸出作為輸入

最大池化均值池化3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念全連接全連接層的每一個(gè)結(jié)點(diǎn)都與上一層的所有結(jié)點(diǎn)相連，用來把前邊提取到的特征綜合起來。由于其全相連的特性，一般全連接層的參數(shù)也是最多的。例如在VGG16中，第一個(gè)全連接層FC1有4096個(gè)節(jié)點(diǎn)，上一層POOL2是7*7*512=25088個(gè)節(jié)點(diǎn)，則該傳輸需要4096*25088個(gè)權(quán)值，需要耗很大的內(nèi)存。3、深度學(xué)習(xí)相關(guān)術(shù)語8.2深度學(xué)習(xí)相關(guān)概念激活函數(shù)

Sigmoid函數(shù)常見的激活函數(shù)有三個(gè)：

Sigmoid函數(shù)Tanh函數(shù)ReLU函數(shù)Tanh函數(shù)ReLU函數(shù)1、神經(jīng)網(wǎng)絡(luò)的概念2、深度學(xué)習(xí)相關(guān)概念3、生成對抗網(wǎng)絡(luò)及應(yīng)用4、任務(wù)八：深度學(xué)習(xí)模型調(diào)參

生成對抗網(wǎng)絡(luò)（Generativeadversarialnetworks，GAN）由IanJ.Goodfellow等人于2014年提出，是深度學(xué)習(xí)領(lǐng)域的一個(gè)重要生成模型，由生成模型（GenerativeModel）和判別模型（DiscriminativeModel）的互相博弈學(xué)習(xí)產(chǎn)生很好的輸出。1、生成對抗網(wǎng)絡(luò)的概念8.3生成對抗網(wǎng)絡(luò)及應(yīng)用生成對抗網(wǎng)絡(luò)是當(dāng)前最熱門的技術(shù)之一，在圖像、視頻、自然語言和音樂等數(shù)據(jù)的生成方面有著廣泛應(yīng)用，但也因?yàn)樵旒偌夹g(shù)日益精湛而引發(fā)了許多社會問題。生成對抗網(wǎng)絡(luò)概念圖2、生成對抗網(wǎng)絡(luò)的原理8.3生成對抗網(wǎng)絡(luò)及應(yīng)用GAN由兩個(gè)重要的部分構(gòu)成：生成器(Generator，G)和判別器(Discriminator，D)。

生成器G：根據(jù)隨機(jī)數(shù)z，生成假數(shù)據(jù)G(z)，目標(biāo)是盡可能“騙過”判別器；

判別器D：判斷數(shù)據(jù)是真實(shí)數(shù)據(jù)還是「生成器」生成的假數(shù)據(jù)，目的是盡可能把「生成器」造出的“假數(shù)據(jù)”辨識出來。

判別器D的輸入?yún)?shù)是數(shù)據(jù)x，輸出D(x)為介于0-1之間的某個(gè)標(biāo)量，用于表示x為真實(shí)數(shù)據(jù)的概率。如果值為1，則代表x為真實(shí)數(shù)據(jù)的概率達(dá)到了100%。生成人臉照片3、生成對抗網(wǎng)絡(luò)的應(yīng)用8.3生成對抗網(wǎng)絡(luò)及應(yīng)用生成現(xiàn)實(shí)照片DeepDream模型將塔樓、房屋和小鳥等對象融入圖像中的效果示例讓機(jī)器擁有想象力3、生成對抗網(wǎng)絡(luò)的應(yīng)用8.3生成對抗網(wǎng)絡(luò)及應(yīng)用讓機(jī)器擁有想象力試圖模仿人類來自學(xué)跑步僅根據(jù)文本描述來生成圖像3、生成對抗網(wǎng)絡(luò)的應(yīng)用8.3生成對抗網(wǎng)絡(luò)及應(yīng)用通過檢測視頻中正在移動中的野馬并把斑馬條紋疊加上去，可將野馬轉(zhuǎn)換成斑馬指馬為斑馬改變圖像中的季節(jié)，如把優(yōu)勝美地的冬天變成夏天，反之也可以把冬天變成春天3、生成對抗網(wǎng)絡(luò)的應(yīng)用8.3生成對抗網(wǎng)絡(luò)及應(yīng)用2019:BigGan在各種鳥類之間從容變換模仿多種蘑菇跨物種也不成問題，從企鵝到大象，變化自然1、神經(jīng)網(wǎng)絡(luò)的概念2、深度學(xué)習(xí)相關(guān)概念3、生成對抗網(wǎng)絡(luò)及應(yīng)用4、任務(wù)八：深度學(xué)習(xí)模型調(diào)參任務(wù)八：深度學(xué)習(xí)模型訓(xùn)練網(wǎng)絡(luò)通信正常已安裝Anaconda集成環(huán)境已安裝百度SDK并注冊用戶1、任務(wù)描述進(jìn)入谷歌機(jī)器學(xué)習(xí)平臺

設(shè)置相關(guān)超參數(shù)觀察輸出指標(biāo)并修改學(xué)習(xí)率等2、環(huán)境要求3、任務(wù)設(shè)計(jì)本次任務(wù)借助谷歌機(jī)器學(xué)習(xí)平臺，對深度學(xué)習(xí)模型進(jìn)行參數(shù)調(diào)優(yōu)。效果如下所示。｝任務(wù)一請掃碼完成百度平臺注冊實(shí)驗(yàn)區(qū)域4、任務(wù)實(shí)施任務(wù)八：深度學(xué)習(xí)模型訓(xùn)練Activation

Activation

①運(yùn)行控制區(qū)②超參數(shù)設(shè)置區(qū)③數(shù)據(jù)準(zhǔn)備區(qū)④網(wǎng)絡(luò)結(jié)構(gòu)區(qū)⑤結(jié)果輸出區(qū)③②①

④⑤超參數(shù)分析4、任務(wù)實(shí)施任務(wù)八：深度學(xué)習(xí)模型訓(xùn)練Activation

Activation

序號參數(shù)表示含義1Learningrate學(xué)習(xí)率權(quán)重更新的速率2Activation

激活函數(shù)

增加模型的非線性擬合能力3Regularization

正則化

防止模型過擬合4Regularizationrate正則化率正則化作用強(qiáng)弱5HIDDENLAYERS隱藏層設(shè)置隱藏層個(gè)數(shù)6neuron神經(jīng)元每個(gè)隱層的節(jié)點(diǎn)個(gè)數(shù)參數(shù)設(shè)置與調(diào)試4、任務(wù)實(shí)施任務(wù)八：深度學(xué)習(xí)模型訓(xùn)練通過調(diào)節(jié)上述超參數(shù)，使測試損失達(dá)到預(yù)定值調(diào)節(jié)超參數(shù)常見問題：測試損失過大隱藏層過少，只用了一層每個(gè)隱藏層的神經(jīng)元個(gè)數(shù)較少使用線性激活函數(shù)，增加調(diào)參難度未使用正則化項(xiàng)其它建議建議設(shè)置兩個(gè)隱藏層，神經(jīng)元個(gè)數(shù)分別為3個(gè)和2個(gè)。5、常見問題任務(wù)八：深度學(xué)習(xí)模型訓(xùn)練本次任務(wù)利用谷歌機(jī)器學(xué)習(xí)平臺實(shí)現(xiàn)了深度學(xué)習(xí)模型的超參數(shù)調(diào)優(yōu)分析。學(xué)員們可以