機(jī)械工業(yè)出版社2020《人工智能導(dǎo)論》課程同步PPT課件第8章 深度學(xué)習(xí)

人工智能導(dǎo)論Introductiontoartificialintelligence機(jī)械工業(yè)出版社2020第8章深度學(xué)習(xí)【導(dǎo)讀案例】谷歌大腦討論：1了解神經(jīng)網(wǎng)絡(luò)2什么是深度學(xué)習(xí)3機(jī)器學(xué)習(xí)VS深度學(xué)習(xí)1人腦神經(jīng)的研究2人工神經(jīng)網(wǎng)絡(luò)的研究3神經(jīng)網(wǎng)絡(luò)理解圖片第1節(jié)8.1了解神經(jīng)網(wǎng)絡(luò)每當(dāng)你開始一項(xiàng)新的活動(dòng)時(shí)，應(yīng)該先了解是否已經(jīng)存在現(xiàn)成的解決方案。例如，假設(shè)是在1902年，即萊特兄弟成功進(jìn)行飛行實(shí)驗(yàn)的前一年，你突發(fā)奇想要設(shè)計(jì)一個(gè)人造飛行器），你首先應(yīng)該注意到，在自然界，飛行的“機(jī)器”實(shí)際上是存在的（鳥），由此得到啟發(fā)，你的飛機(jī)設(shè)計(jì)方案中可能要有兩個(gè)大翼。同樣道理，如果你想設(shè)計(jì)人工智能系統(tǒng)，那就要

學(xué)習(xí)并分析這個(gè)星球上最自然的智能系統(tǒng)之

一，即人腦和神經(jīng)系統(tǒng)。

圖8-2人腦和神經(jīng)系統(tǒng)8.1了解神經(jīng)網(wǎng)絡(luò)所謂神經(jīng)網(wǎng)絡(luò)，是指以人腦和神經(jīng)系統(tǒng)為模型的機(jī)器學(xué)習(xí)算法。如今，人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN，簡稱神經(jīng)網(wǎng)絡(luò)）從股票市場預(yù)測到汽車的自主控制，在模式識(shí)別、經(jīng)濟(jì)預(yù)測和許多其他應(yīng)用領(lǐng)域都有突出的應(yīng)用表現(xiàn)。人腦由100億~1000億個(gè)神經(jīng)元組成，這些神經(jīng)元彼此高度相連。一些神經(jīng)元與另一些或另外幾十個(gè)相鄰的神經(jīng)元通信，然后，其他神經(jīng)元與數(shù)千個(gè)神經(jīng)元共享信息。在過去數(shù)十年里，研究人員就是從這種自然典范中汲取靈感，設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)。8.1.1人腦神經(jīng)的研究人腦是一種適應(yīng)性系統(tǒng)，必須對變幻莫測的事物做出反應(yīng)，而學(xué)習(xí)是通過修改神經(jīng)元之間連接的強(qiáng)度來進(jìn)行的?，F(xiàn)在，生物學(xué)家和神經(jīng)學(xué)家已經(jīng)了解了在生物中個(gè)體神經(jīng)元是如何相互交流的。動(dòng)物神經(jīng)系統(tǒng)由數(shù)以千萬計(jì)的互連細(xì)胞組成，而對于人類，這個(gè)數(shù)字達(dá)到了數(shù)十億。然而，并行的神經(jīng)元集合如何形成功能單元仍然是一個(gè)謎。

圖8-3生物神經(jīng)元的基本構(gòu)造8.1.1人腦神經(jīng)的研究電信號通過樹突（毛發(fā)狀細(xì)絲）流入細(xì)胞體。細(xì)胞體（或神經(jīng)元胞體）是“數(shù)據(jù)處理”的地方。當(dāng)存在足夠的應(yīng)激反應(yīng)時(shí)，神經(jīng)元就被激發(fā)了。換句話說，它發(fā)送一個(gè)微弱的電信號（以毫瓦為單位）到被稱為軸突的電纜狀突出。神經(jīng)元通常只有單一的軸突，但會(huì)有許多樹突。足夠的應(yīng)激反應(yīng)指的是超過預(yù)定的閾值。電信號流經(jīng)軸突，直接到達(dá)神經(jīng)斷端。細(xì)胞之間的軸突-樹突（軸突-神經(jīng)元胞體或軸突-軸突）接觸稱為神經(jīng)元的突觸。兩個(gè)神經(jīng)元之間實(shí)際上有一個(gè)小的間隔（幾乎觸及），這個(gè)間隙充滿了導(dǎo)電流體，允許神經(jīng)元間電信號的流動(dòng)。腦激素（或攝入的藥物，如咖啡因）影響了當(dāng)前的電導(dǎo)率。8.1.2人工神經(jīng)網(wǎng)絡(luò)的研究與人腦神經(jīng)系統(tǒng)類似，人工神經(jīng)網(wǎng)絡(luò)通過改變權(quán)重以呈現(xiàn)出相同的適應(yīng)性。在監(jiān)督學(xué)習(xí)的ANN范式中，學(xué)習(xí)規(guī)則承擔(dān)了這個(gè)任務(wù)，監(jiān)督學(xué)習(xí)通過比較網(wǎng)絡(luò)的表現(xiàn)與所希望的響應(yīng)，相應(yīng)地修改系統(tǒng)的權(quán)重。ANN主要有3種學(xué)習(xí)規(guī)則：感知器學(xué)習(xí)規(guī)則，增量規(guī)則和反向傳播規(guī)則。反向傳播規(guī)則具有處理多層網(wǎng)絡(luò)所需的能力，并且在許多應(yīng)用中取得了廣泛的成功。熟悉各種網(wǎng)絡(luò)架構(gòu)和學(xué)習(xí)規(guī)則還不足以保證模型的成功，還需要知道如何編碼數(shù)據(jù)、網(wǎng)絡(luò)培訓(xùn)應(yīng)持續(xù)多長時(shí)間，以及如果網(wǎng)絡(luò)無法收斂，應(yīng)如何處理這種情況。8.1.2人工神經(jīng)網(wǎng)絡(luò)的研究20世紀(jì)70年代，人工網(wǎng)絡(luò)研究進(jìn)入了停滯期。資金不足導(dǎo)致這個(gè)領(lǐng)域少有新成果產(chǎn)生。諾貝爾物理學(xué)獎(jiǎng)獲得者約翰·霍普菲爾德在這個(gè)學(xué)科的研究重新激起了人們對這一學(xué)科的熱情。他的模型（即所謂的Hopfield網(wǎng)絡(luò)）己被廣泛應(yīng)用于優(yōu)化。在了解（并模擬）動(dòng)物神經(jīng)系統(tǒng)的行為的基礎(chǔ)上，麥卡洛克和皮茨開發(fā)了人工神經(jīng)元的第一個(gè)模型。8.1.2人工神經(jīng)網(wǎng)絡(luò)的研究對應(yīng)于生物神經(jīng)網(wǎng)絡(luò)的生物學(xué)模型，人工神經(jīng)網(wǎng)絡(luò)采用了4個(gè)要素：生物模型：細(xì)胞體、軸突、樹突、突觸；人工神經(jīng)元：細(xì)胞體、輸出通道、輸入通道、權(quán)重。其中，權(quán)重（實(shí)值）扮演了突觸的角色。權(quán)重反映生物突觸的導(dǎo)電水平，用于調(diào)節(jié)一個(gè)神經(jīng)元對另一個(gè)神經(jīng)元的影響程度。神經(jīng)網(wǎng)絡(luò)模仿了神經(jīng)元即神經(jīng)細(xì)胞的結(jié)構(gòu)，右圖所示的是

抽象神經(jīng)元（有時(shí)稱為單

元或節(jié)點(diǎn)，或僅稱為神經(jīng)

元）模型。8.1.2人工神經(jīng)網(wǎng)絡(luò)的研究神經(jīng)元的輸入是具有n個(gè)分量的實(shí)值向量。權(quán)重向量也是實(shí)值的，權(quán)重對應(yīng)于生物神經(jīng)元突觸，這些權(quán)重控制著輸入對單元的影響。未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型很像新生兒：它們被創(chuàng)造出來的時(shí)候?qū)κ澜缫粺o所知，只有通過接觸這個(gè)世界，也就是后天的知識(shí)，才會(huì)慢慢提高它們的認(rèn)知程度。算法通過數(shù)據(jù)體驗(yàn)世界——人們試圖通過在相關(guān)數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，來提高其認(rèn)知程度。衡量進(jìn)度的方法是通過監(jiān)測網(wǎng)絡(luò)產(chǎn)生的誤差。8.1.2人工神經(jīng)網(wǎng)絡(luò)的研究實(shí)際神經(jīng)元運(yùn)作時(shí)要積累電勢能，當(dāng)能量超過特定值時(shí)，突觸前神經(jīng)元會(huì)經(jīng)軸突放電，繼而刺激突觸后神經(jīng)元。人類有著數(shù)以億計(jì)相互連接的神經(jīng)元，其放電模式無比復(fù)雜。哪怕是最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也難以比擬人腦的能力，因此，神經(jīng)網(wǎng)絡(luò)在短時(shí)間內(nèi)應(yīng)該還無法模擬人腦的功能。ANN是一種模仿生物神經(jīng)網(wǎng)絡(luò)（動(dòng)物的中樞神經(jīng)系統(tǒng)，特別是大腦）的結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，用于對函數(shù)進(jìn)行估計(jì)或近似計(jì)算。大多數(shù)情況下ANN能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)，是一種自適應(yīng)系統(tǒng)。8.1.2人工神經(jīng)網(wǎng)絡(luò)的研究作為一種非線性統(tǒng)計(jì)性數(shù)據(jù)建模工具，典型的神經(jīng)網(wǎng)絡(luò)具有以下三個(gè)部分：結(jié)構(gòu)：指定網(wǎng)絡(luò)中的變量及其拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重和神經(jīng)元的激勵(lì)值。激勵(lì)函數(shù)：大部分神經(jīng)網(wǎng)絡(luò)模型具有一個(gè)短時(shí)間尺度的動(dòng)力學(xué)規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動(dòng)改變自己的激勵(lì)值。一般激勵(lì)函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。學(xué)習(xí)規(guī)則：指定了網(wǎng)絡(luò)中的權(quán)重如何隨著時(shí)間推進(jìn)而調(diào)整。這一般被看做是一種長時(shí)間尺度的動(dòng)力學(xué)規(guī)則。一般情況下，學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵(lì)值，它也可能依賴于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。8.1.3神經(jīng)網(wǎng)絡(luò)理解圖片支持圖像識(shí)別技術(shù)局的驕人成績的通常是深度神經(jīng)網(wǎng)絡(luò)。如圖8-5所示，借助于特征可視化這個(gè)強(qiáng)大工具，能幫我們理解神經(jīng)網(wǎng)絡(luò)究竟是怎樣認(rèn)識(shí)圖像的?，F(xiàn)在，計(jì)算機(jī)視覺模型中每一層所檢測的東西都可以可

視化。經(jīng)過在一層層神經(jīng)網(wǎng)絡(luò)中的傳遞，會(huì)逐漸對圖

片進(jìn)行抽象：先探測邊緣，然后用這些邊緣來檢測紋

理，再用紋理檢測模式，用模式檢測物體的部分……

圖8-5神經(jīng)網(wǎng)絡(luò)的可視化8.1.3神經(jīng)網(wǎng)絡(luò)理解圖片圖8-6是ImageNet（一個(gè)用于視覺對象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫項(xiàng)目）訓(xùn)練的GoogLeNet的特征可視化圖，我們可以從中看出它的每一層是如何對圖片進(jìn)行抽象的。圖8-6訓(xùn)練用的特征可視化圖8.1.3神經(jīng)網(wǎng)絡(luò)理解圖片在神經(jīng)網(wǎng)絡(luò)處理圖像的過程中，單個(gè)神經(jīng)元不能理解任何東西，它們需要協(xié)作。所以，我們也需要理解它們彼此之間如何交互。通過在神經(jīng)元之間插值，使神經(jīng)元之間彼此交互。圖8-7就展示了兩個(gè)神經(jīng)元是如何共同表示圖像的。

圖8-7兩個(gè)神經(jīng)元共同表示圖像8.1.3神經(jīng)網(wǎng)絡(luò)理解圖片在進(jìn)行特征可視化時(shí)，得到的結(jié)果通常會(huì)布滿噪點(diǎn)和無意義的高頻圖案。我們想更好地理解神經(jīng)網(wǎng)絡(luò)模型是如何工作的，就要避開這些高頻圖案。這時(shí)所用的方法是進(jìn)行預(yù)先規(guī)則化，或者說約束、預(yù)處理。當(dāng)然，了解神經(jīng)網(wǎng)絡(luò)內(nèi)部的工作原理，也是增強(qiáng)人工智能可解釋性的一種途徑，而特征可視化正是其中一個(gè)很有潛力的研究方向。神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了廣泛應(yīng)用，解決了控制、搜索、優(yōu)化、函數(shù)近似、模式關(guān)聯(lián)、聚類、分類和預(yù)測等領(lǐng)域的問題。8.1.3神經(jīng)網(wǎng)絡(luò)理解圖片在控制領(lǐng)域的應(yīng)用中，給設(shè)備輸入數(shù)據(jù)，產(chǎn)生所需的輸出。例如雷克薩斯（Lexus）汽車（豐田豪華系列），這種車的尾部配備了后備攝像機(jī)，聲納設(shè)備和神經(jīng)網(wǎng)絡(luò)可以自動(dòng)并行停車。實(shí)際上，這是一個(gè)所謂的反向問題的例子，汽車采用的路線是己知的，所計(jì)算的是需要的力以及所涉及方向盤的位移。反向控制的一個(gè)較早的示例是卡車倒車，正向識(shí)別的一個(gè)示例是機(jī)器人手臂控制（所需的力己知，必須識(shí)別動(dòng)作）。在任何智能系統(tǒng)中，搜索都是一個(gè)關(guān)鍵部分，可以將神經(jīng)網(wǎng)絡(luò)應(yīng)用于搜索。8.1.3神經(jīng)網(wǎng)絡(luò)理解圖片神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)是其不透明性，換句話說它們不能解釋結(jié)果。有個(gè)研究領(lǐng)域是將ANN與模糊邏輯結(jié)合起來生成神經(jīng)模糊網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)具有ANN的學(xué)習(xí)能力，同時(shí)也具有模糊邏輯的解釋能力。1深度學(xué)習(xí)的意義2深度的概念3深度學(xué)習(xí)的核心思路4深度學(xué)習(xí)的實(shí)現(xiàn)第2節(jié)8.2什么是深度學(xué)習(xí)如今，人工智能技術(shù)正發(fā)展成為一種能夠改變世界的力量，其中尤以深度學(xué)習(xí)（deeplearning）所取得的進(jìn)步最為顯著，深度學(xué)習(xí)所帶來的重大技術(shù)革命，甚至有可能顛覆過去長期以來人們對互聯(lián)網(wǎng)技術(shù)的認(rèn)知，實(shí)現(xiàn)技術(shù)體驗(yàn)的跨越式發(fā)展。8.2.1深度學(xué)習(xí)的意義從研究角度看，深度學(xué)習(xí)是基于多層神經(jīng)網(wǎng)絡(luò)的，海量數(shù)據(jù)為輸入，發(fā)現(xiàn)規(guī)則自學(xué)習(xí)的方法。這里包含了幾個(gè)關(guān)鍵詞：第一個(gè)關(guān)鍵詞叫多層神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)所基于的多層神經(jīng)網(wǎng)絡(luò)并非新鮮事物，甚至在80年代被認(rèn)為沒前途。但近年來，科學(xué)家們對多層神經(jīng)網(wǎng)絡(luò)的算法不斷優(yōu)化，使它出現(xiàn)了突破性的進(jìn)展。以往很多算法是線性的，而現(xiàn)實(shí)世界大多數(shù)事情的特征是復(fù)雜非線性的。比如貓的圖像中，就包含了顏色、形態(tài)、五官、光線等各種信息。深度學(xué)習(xí)的關(guān)鍵就是通過多層非線性映射將這些因素成功分開。8.2.1深度學(xué)習(xí)的意義那為什么要深呢？多層神經(jīng)網(wǎng)絡(luò)比淺層的好處在哪兒呢？簡單說，就是可以減少參數(shù)。因?yàn)樗貜?fù)利用中間層的計(jì)算單元。還是以認(rèn)貓作為例子。它可以學(xué)習(xí)貓的分層特征：最底層從原始像素開始，刻畫局部的邊緣和紋；中層把各種邊緣進(jìn)行組合，描述不同類型的貓的器官；最高層描述的是整個(gè)貓的全局特征。深度學(xué)習(xí)需要具備超強(qiáng)的計(jì)算能力，同時(shí)還不斷有海量數(shù)據(jù)的輸入。特別是在信息表示和特征設(shè)計(jì)方面，過去大量依賴人工，嚴(yán)重影響有效性和通用性。深度學(xué)習(xí)則徹底顛覆了“人造特征”的范式，開啟了數(shù)據(jù)驅(qū)動(dòng)的“表示學(xué)習(xí)”范式——由數(shù)據(jù)自提取特征，計(jì)算機(jī)自己發(fā)現(xiàn)規(guī)則，進(jìn)行自學(xué)習(xí)。8.2.1深度學(xué)習(xí)的意義你可以理解為——過去，人們對經(jīng)驗(yàn)的利用靠人類自己完成。而深度學(xué)習(xí)中，經(jīng)驗(yàn)以數(shù)據(jù)形式存在。因此，深度學(xué)習(xí)，就是關(guān)于在計(jì)算機(jī)上從數(shù)據(jù)中產(chǎn)生模型的算法，即深度學(xué)習(xí)算法。那么大數(shù)據(jù)以及各種算法與深度學(xué)習(xí)有什么區(qū)別呢？8.2.1深度學(xué)習(xí)的意義過去的算法模式，數(shù)學(xué)上叫線性，x和y的關(guān)系是對應(yīng)的，它是一種函數(shù)體現(xiàn)的映射。但這種算法在海量數(shù)據(jù)面前遇到了瓶頸。國際上著名的ImageNet圖像分類大賽，用傳統(tǒng)算法，識(shí)別錯(cuò)誤率一直降不下去，采用深度學(xué)習(xí)后，錯(cuò)誤率大幅降低。在2010年，獲勝的系統(tǒng)只能正確標(biāo)記72%的圖片；到了2012年，多倫多大學(xué)的杰夫·辛頓利用深度學(xué)習(xí)的新技術(shù)，帶領(lǐng)團(tuán)隊(duì)實(shí)現(xiàn)了85%的準(zhǔn)確率；2015年的ImageNet競賽上，一個(gè)深度學(xué)習(xí)系統(tǒng)以96%的準(zhǔn)確率第一次超過了人類（人類平均有95%的準(zhǔn)確率）。計(jì)算機(jī)認(rèn)圖的能力，已經(jīng)超過了人，尤其在圖像和語音等復(fù)雜應(yīng)用方面，深度學(xué)習(xí)技術(shù)取得了優(yōu)越的性能。為什么呢？其實(shí)就是思路的革新。8.2.1深度學(xué)習(xí)的意義示例1：形狀檢測。先從一個(gè)簡單例子開始，從概念層面上解釋究竟發(fā)生了什么的事情。我們來試試看如何從多個(gè)形狀中識(shí)別正方形。

圖8-9簡單例子8.2.1深度學(xué)習(xí)的意義第一件事是檢查圖中是否有四條線（簡單的概念）。如果找到這樣的四條線，進(jìn)一步檢查它們是相連的、閉合的和相互垂直的，并且它們是否相等（嵌套的概念層次結(jié)構(gòu)）。所以，我們完成了一個(gè)復(fù)雜的任務(wù)（識(shí)別一個(gè)正方形），并以簡單、不太抽象的任務(wù)來完成它。深度學(xué)習(xí)本質(zhì)上在大規(guī)模執(zhí)行類似的邏輯。8.2.1深度學(xué)習(xí)的意義示例2：計(jì)算機(jī)認(rèn)貓。我們通常能用很多屬性描述一個(gè)事物。其中有些屬性可能很關(guān)鍵，很有用，另一些屬性可能沒什么用。我們就將屬性被稱為特征。特征辨識(shí)是一個(gè)數(shù)據(jù)處理的過程。傳統(tǒng)算法認(rèn)貓，是標(biāo)注各種特征去認(rèn)：大眼睛，有胡子，有花紋。但這種特征寫著寫著，可能分不出是貓還是老虎了，狗和貓也分不出來。這種方法叫——人制定規(guī)則，機(jī)器學(xué)習(xí)這種規(guī)則。8.2.1深度學(xué)習(xí)的意義深度學(xué)習(xí)的方法是，直接給你百萬張圖片，說這里有貓，再給你百萬張圖，說這里沒貓，然后來訓(xùn)練深度網(wǎng)絡(luò)，通過深度學(xué)習(xí)自己去學(xué)貓的特征，計(jì)算機(jī)就知道了，誰是貓。

從YouTube視頻里面尋找貓的圖片是深度學(xué)習(xí)接觸性能的首次展現(xiàn)圖8-10放貓8.2.1深度學(xué)習(xí)的意義示例3：谷歌訓(xùn)練機(jī)械手抓取。傳統(tǒng)方法肯定是看到那里有個(gè)機(jī)械手，就寫好函數(shù)，移動(dòng)到xyz標(biāo)注的空間點(diǎn)，利用程序?qū)崿F(xiàn)一次抓取。而谷歌現(xiàn)在用機(jī)器人訓(xùn)練一個(gè)深度神經(jīng)網(wǎng)絡(luò)，幫助機(jī)器人根據(jù)攝像頭輸入和電機(jī)命令，預(yù)測抓取的結(jié)果。簡單說，就是訓(xùn)練機(jī)

器人的手眼協(xié)調(diào)。機(jī)器人會(huì)觀測自己的機(jī)械臂，

實(shí)時(shí)糾正抓取運(yùn)動(dòng)。所有行為都從學(xué)習(xí)中自然浮

現(xiàn)，而不是依靠傳統(tǒng)的系統(tǒng)程序。圖8-11谷歌訓(xùn)練機(jī)械手8.2.1深度學(xué)習(xí)的意義為了加快學(xué)習(xí)進(jìn)程，谷歌用了14個(gè)機(jī)械手同時(shí)工作，在將近3000小時(shí)的訓(xùn)練，相當(dāng)于80萬次抓取嘗試后，開始看到智能反應(yīng)行為的出現(xiàn)。資料顯示，沒有訓(xùn)練的機(jī)械手，前30次抓取失敗率為34%，而訓(xùn)練后，失敗率降低到18%。這就是一個(gè)自我學(xué)習(xí)的過程。8.2.1深度學(xué)習(xí)的意義示例4：斯坦福博士訓(xùn)練機(jī)器寫文章。斯坦福大學(xué)的計(jì)算機(jī)博士AndrejKapathy曾用托爾斯泰的小說《戰(zhàn)爭與和平》來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。每訓(xùn)練100個(gè)回合，就叫它寫文章。100個(gè)回合后，機(jī)器知道要空格，但仍然有亂碼。500個(gè)回合后，能正確拼寫一些短單詞。1200個(gè)回合后，有標(biāo)點(diǎn)符號和長單詞。2000個(gè)回合后，已經(jīng)可以正確拼寫更復(fù)雜的語句。整個(gè)演化過程是個(gè)什么情況呢？8.2.1深度學(xué)習(xí)的意義以前我們寫文章，只要告訴主謂賓，就是規(guī)則。而這個(gè)過程，完全沒人告訴機(jī)器語法規(guī)則。甚至，連標(biāo)點(diǎn)和字母區(qū)別都不用告訴它。不告訴機(jī)器任何程序。只是不停地用原始數(shù)據(jù)進(jìn)行訓(xùn)練，一層一層訓(xùn)練，最后輸出結(jié)果——就是一個(gè)個(gè)看得懂的語句。一切看起來都很有趣。人工智能與深度學(xué)習(xí)的美妙之處，也正在于此。8.2.1深度學(xué)習(xí)的意義示例5：硅谷企業(yè)利用深度學(xué)習(xí)實(shí)現(xiàn)圖像深度信息的采集。市面上的無人機(jī)可以實(shí)現(xiàn)對人的跟蹤。它的方法是什么呢？一個(gè)人，在圖像系統(tǒng)里是一堆色塊的組合。通過人工方式進(jìn)行特征選擇，比如顏色特征，梯度特征。以顏色特征為例：比如你穿著綠色衣服，突然走進(jìn)草叢，就可能跟丟?；蛘咚摿思路?，幾個(gè)人很相近，也容易跟丟。此時(shí)，若想在這個(gè)基礎(chǔ)上繼續(xù)優(yōu)化，將顏色特征進(jìn)行某些調(diào)整是非常困難的，而且調(diào)整后，還會(huì)存在對過去某些狀況不適用的問題。總之，這樣的算法需要不停迭代，迭代又會(huì)影響前面的效果。8.2.1深度學(xué)習(xí)的意義而硅谷有團(tuán)隊(duì)，利用深度學(xué)習(xí)，把所有人腦袋做出來，只區(qū)分好前景和背景。區(qū)分之后，背景全部用數(shù)學(xué)方式隨意填充，再不斷生產(chǎn)大量背景數(shù)據(jù)，進(jìn)行自學(xué)習(xí)。只要把前景學(xué)習(xí)出來就行。很多傳統(tǒng)方法是采用雙目視覺，用計(jì)算機(jī)去做局部匹配，再根據(jù)雙目測出的兩個(gè)匹配的差距，去推算空間另一個(gè)點(diǎn)和它的三角位置，從而判斷離你多遠(yuǎn)?？上攵?，深度學(xué)習(xí)的出現(xiàn)，使得很多公司辛苦積累的軟件算法直接作廢了。“算法作為核心競爭力”正在轉(zhuǎn)變?yōu)椤皵?shù)據(jù)作為核心競爭力”，我們必須進(jìn)入新的起跑線。8.2.1深度學(xué)習(xí)的意義示例6：做胃鏡。胃不舒服做檢查，常常會(huì)需要做胃鏡，甚至要分開做腸、胃鏡檢查，而且通常小腸還看不見。有一家公司出了一種膠囊攝像頭（見圖8-12）。將攝像頭吃進(jìn)去后，在人體消化道內(nèi)每5秒拍一幅圖，連續(xù)攝像，此后再排出膠囊。這樣，所有關(guān)于腸道和胃部的問題，全部完整記錄。但光是等醫(yī)生把這些圖看完就需要五個(gè)小時(shí)。原本的機(jī)器主動(dòng)檢測漏檢率高，還需要醫(yī)生復(fù)查。8.2.1深度學(xué)習(xí)的意義圖8-12膠囊攝像頭做胃鏡檢查8.2.1深度學(xué)習(xí)的意義后來采用深度學(xué)習(xí)。采集8000多例圖片數(shù)據(jù)灌進(jìn)去，用機(jī)器不斷學(xué)，不僅提高診斷精確率，減少了醫(yī)生的漏診以及對好醫(yī)生的經(jīng)驗(yàn)依賴，只需要靠機(jī)器自己去學(xué)習(xí)規(guī)則。深度學(xué)習(xí)算法，可以幫助醫(yī)生作出決策。8.2.2深度的概念深度學(xué)習(xí)是一種以人工神經(jīng)網(wǎng)絡(luò)（ANN）為架構(gòu)，對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法，即可以這樣定義：“深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，通過學(xué)習(xí)將現(xiàn)實(shí)使用嵌套的概念層次來表示并實(shí)現(xiàn)巨大的功能和靈活性，其中每個(gè)概念都定義為與簡單概念相關(guān)聯(lián)，而更為抽象的表示則以較不抽象的方式來計(jì)算。”已經(jīng)有多種深度學(xué)習(xí)框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理、音頻識(shí)別與生物信息學(xué)等領(lǐng)域并獲取了極好的效果。另外，“深度學(xué)習(xí)”也成為神經(jīng)網(wǎng)絡(luò)的品牌重塑。8.2.2深度的概念通過多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示后，用“簡單模型”即可完成復(fù)雜的分類等學(xué)習(xí)任務(wù)。由此，可將深度學(xué)習(xí)理解為進(jìn)行“特征學(xué)習(xí)”或“表示學(xué)習(xí)”。以往在機(jī)器學(xué)習(xí)用于現(xiàn)實(shí)任務(wù)時(shí)，描述樣本的特征通常需由人類專家來設(shè)計(jì)，這成為“特征工程”。眾所周知，特征的好壞對泛化性能有至關(guān)重要的影響，人類專家設(shè)計(jì)出好特征也并非易事；特征學(xué)習(xí)（表征學(xué)習(xí)）則通過機(jī)器學(xué)習(xí)技術(shù)自身來產(chǎn)生好特征，這使機(jī)器學(xué)習(xí)向“全自動(dòng)數(shù)據(jù)分析”又前進(jìn)了一步。8.2.2深度的概念人工智能研究的方向之一，是以所謂“專家系統(tǒng)”為代表的，用大量“If-Then”規(guī)則定義的，自上而下的思路。ANN標(biāo)志著另外一種自下而上的思路，它的基本特點(diǎn)是，試圖模仿大腦的神經(jīng)元之間傳遞、處理信息的模式。8.2.3深度學(xué)習(xí)的核心思路假設(shè)我們有一個(gè)系統(tǒng)S，它有n層（S1，…Sn），它的輸入是I，輸出是O，形象地表示為：I=>S1=>S2=>……=>Sn=>O，如果輸出O等于輸入I，即輸入I經(jīng)過這個(gè)系統(tǒng)變化之后沒有任何的信息損失，設(shè)處理a信息得到b，再對b處理得到c，那么可以證明：a和c的互信息不會(huì)超過a和b的互信息。這表明信息處理不會(huì)增加信息，大部分處理會(huì)丟失信息。保持了不變，這意味著輸入I經(jīng)過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。8.2.3深度學(xué)習(xí)的核心思路現(xiàn)在回到深度學(xué)習(xí)的主題，需要自動(dòng)地學(xué)習(xí)特征，假設(shè)我們有一堆輸入I（如一堆圖像或者文本），假設(shè)設(shè)計(jì)了一個(gè)系統(tǒng)S（有n層），通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，…，Sn。對于深度學(xué)習(xí)來說，其思想就是對堆疊多個(gè)層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，實(shí)現(xiàn)對輸入信息進(jìn)行分級表達(dá)。8.2.3深度學(xué)習(xí)的核心思路另外，前面是假設(shè)輸出嚴(yán)格地等于輸入，這個(gè)限制太嚴(yán)格，可以略微地放松這個(gè)限制，例如只要使得輸入與輸出的差別盡可能地小即可，這個(gè)放松會(huì)導(dǎo)致另外一類不同的深度學(xué)習(xí)方法。這就是深度學(xué)習(xí)的基本思想。把學(xué)習(xí)結(jié)構(gòu)看作一個(gè)網(wǎng)絡(luò)，則深度學(xué)習(xí)的核心思路是：（1）將無監(jiān)督學(xué)習(xí)應(yīng)用于每一層網(wǎng)絡(luò)的pre-train（預(yù)處理）；（2）每次用無監(jiān)督學(xué)習(xí)只訓(xùn)練一層，將其訓(xùn)練結(jié)果作為其高一層的輸入；（3）用自頂而下的監(jiān)督算法去調(diào)整所有層。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)深度學(xué)習(xí)本來并不是一種獨(dú)立的學(xué)習(xí)方法，它也會(huì)用到有監(jiān)督和無監(jiān)督的學(xué)習(xí)方法來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但由于近幾年該領(lǐng)域發(fā)展迅猛，一些特有的學(xué)習(xí)手段相繼被提出（如殘差網(wǎng)絡(luò)），因此越來越多的人將其單獨(dú)看作一種學(xué)習(xí)的方法。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)最初的深度學(xué)習(xí)是利用神經(jīng)網(wǎng)絡(luò)來解決特征表達(dá)的一種學(xué)習(xí)過程。深度神經(jīng)網(wǎng)絡(luò)可大致理解為包含多個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。為了提高深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，人們對神經(jīng)元的連接方法和激活函數(shù)等方面做出相應(yīng)的調(diào)整。如今，深度學(xué)習(xí)迅速發(fā)展，奇跡般地實(shí)現(xiàn)了各種任務(wù)，使得似乎所有的機(jī)器輔助功能都變?yōu)榭赡?，無人駕駛汽車，預(yù)防性醫(yī)療保健，更好的電影推薦等等，都近在眼前或者即將實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)的原理是受動(dòng)物大腦的生理結(jié)構(gòu)——互相交叉相連的神經(jīng)元啟發(fā)。但與大腦中一個(gè)神經(jīng)元可以連接一定距離內(nèi)的任意神經(jīng)元不同，ANN具有離散的層、連接和數(shù)據(jù)傳播的方向。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)例如，我們可以把一幅圖像切分成圖像塊，輸入到神經(jīng)網(wǎng)絡(luò)的第一層。在第一層的每一個(gè)神經(jīng)元都把數(shù)據(jù)傳遞到第二層。第二層的神經(jīng)元也是完成類似的工作，把數(shù)據(jù)傳遞到第三層，以此類推，直到最后一層，然后生成結(jié)果。以道路上的停止（Stop）標(biāo)志牌為例。將一個(gè)停止標(biāo)志牌圖像的所有元素都打碎，然后用神經(jīng)元進(jìn)行“檢查”：八邊形的外形、救火車般的紅顏色、鮮明突出的字母、交通標(biāo)志的典型尺寸和靜止不動(dòng)運(yùn)動(dòng)特

性等等。神經(jīng)網(wǎng)絡(luò)的任務(wù)就是給出結(jié)論，它到底是

不是一個(gè)停止標(biāo)志牌。神經(jīng)網(wǎng)絡(luò)會(huì)根據(jù)所有權(quán)重，

給出一個(gè)經(jīng)過深思熟慮的猜測——“概率向量”。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)在這個(gè)例子里，系統(tǒng)可能會(huì)給出這樣的結(jié)果：86%可能是一個(gè)停止標(biāo)志牌，7%可能是一個(gè)限速標(biāo)志牌，5%可能是一個(gè)風(fēng)箏掛在樹上等等，然后網(wǎng)絡(luò)結(jié)構(gòu)告訴神經(jīng)網(wǎng)絡(luò)，它的結(jié)論是否正確。神經(jīng)網(wǎng)絡(luò)是調(diào)制、訓(xùn)練出來的，時(shí)不時(shí)還是很容易出錯(cuò)的。它最需要的就是訓(xùn)練。需要成百上千甚至幾百萬張圖像來訓(xùn)練，直到神經(jīng)元的輸入的權(quán)值都被調(diào)制得十分精確，無論是否有霧，晴天還是雨天，每次都能得到正確的結(jié)果。只有在這個(gè)時(shí)候，我們才可以說神經(jīng)網(wǎng)絡(luò)成功地自學(xué)習(xí)到一個(gè)停止標(biāo)志的樣子。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)關(guān)鍵的突破在于，把這些神經(jīng)網(wǎng)絡(luò)從基礎(chǔ)上顯著地增大，層數(shù)非常多，神經(jīng)元也非常多，然后給系統(tǒng)輸入海量的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)。這樣就為深度學(xué)習(xí)加入了“深度”，這就是說神經(jīng)網(wǎng)絡(luò)中眾多的層。現(xiàn)在，經(jīng)過深度學(xué)習(xí)訓(xùn)練的圖像識(shí)別，在一些場景中甚至可以比人做得更好：從識(shí)別貓，到辨別血液中癌癥的早期成分，到識(shí)別核磁共振成像中的腫瘤。Google的AlphaGo先是學(xué)會(huì)了如何下圍棋，然后與它自己下棋訓(xùn)練。它訓(xùn)練自己神經(jīng)網(wǎng)絡(luò)的方法，就是不斷地與自己下棋，反復(fù)地下，永不停歇。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)深度學(xué)習(xí)還存在以下問題：（1）深度學(xué)習(xí)模型需要大量的訓(xùn)練數(shù)據(jù)，才能展現(xiàn)出神奇的效果，但現(xiàn)實(shí)生活中往往會(huì)遇到小樣本問題，此時(shí)深度學(xué)習(xí)方法無法入手，傳統(tǒng)的機(jī)器學(xué)習(xí)方法就可以處理；（2）有些領(lǐng)域，采用傳統(tǒng)的簡單的機(jī)器學(xué)習(xí)方法，可以很好地解決了，沒必要非得用復(fù)雜的深度學(xué)習(xí)方法；8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)（3）深度學(xué)習(xí)的思想來源于人腦的啟發(fā)，但絕不是人腦的模擬，舉個(gè)例子，給一個(gè)三四歲的小孩看一輛自行車之后，再見到哪怕外觀完全不同的自行車，小孩也大都能說出那是一輛自行車，也就是說，人類的學(xué)習(xí)過程往往不需要大規(guī)模的訓(xùn)練數(shù)據(jù)，而現(xiàn)在的深度學(xué)習(xí)方法顯然不是對人腦的模擬。8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)資深學(xué)者YoshuaBengio在回答類似問題時(shí)，有一段話講得特別好，引用如下：ScienceisNOTabattle，itisacollaboration.Weallbuildoneachother'sideas.Scienceisanactoflove，notwar.Loveforthebeautyintheworldthatsurroundsusandlovetoshareandbuildsomethingtogether.Thatmakesscienceahighlysatisfyingactivity，emotionallyspeaking!這段話的大致意思是，“科學(xué)不是一場戰(zhàn)斗，而是一場建立在彼此想法上的合作。科學(xué)是一種愛，而不是戰(zhàn)爭，熱愛周圍世界的美麗，熱愛分享和共同創(chuàng)造美好的事物。從情感上說，這使得科學(xué)成為一項(xiàng)令人非常賞心悅目的活動(dòng)！”8.2.4深度學(xué)習(xí)的實(shí)現(xiàn)結(jié)合機(jī)器學(xué)習(xí)近年來的迅速發(fā)展，再來看Bengio的這段話，深有感觸。未來哪種機(jī)器學(xué)習(xí)算法會(huì)成為熱點(diǎn)呢？資深專家吳恩達(dá)曾表示，“在繼深度學(xué)習(xí)之后，遷移學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)”。第3節(jié)8.3機(jī)器學(xué)習(xí)VS.深度學(xué)習(xí)在有所了解的基礎(chǔ)上，接下來，我們來對比機(jī)器學(xué)習(xí)和深度學(xué)習(xí)這兩種技術(shù)。（1）數(shù)據(jù)依賴性。深度學(xué)習(xí)與傳統(tǒng)的機(jī)器學(xué)習(xí)最主要的區(qū)別在于隨著數(shù)據(jù)規(guī)模的增加其性能也不斷增長。當(dāng)數(shù)據(jù)很少時(shí)，深度學(xué)習(xí)算法的性能并不好。這是因?yàn)樯疃葘W(xué)習(xí)算法需要大量的數(shù)據(jù)來完美地理解它。另一方面，在這種情況下，傳統(tǒng)的機(jī)器學(xué)習(xí)算法使用

制定的規(guī)則，性能會(huì)比較好，下圖總結(jié)了

這一事實(shí)。圖8-14數(shù)據(jù)量與性能8.3機(jī)器學(xué)習(xí)VS.深度學(xué)習(xí)（2）硬件依賴。深度學(xué)習(xí)算法需要進(jìn)行大量的矩陣運(yùn)算，GPU主要用來高效優(yōu)化矩陣運(yùn)算，所以GPU是深度學(xué)習(xí)正常工作的必須硬件。與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)更依賴安裝GPU的高端機(jī)器。8.3機(jī)器學(xué)習(xí)VS.深度學(xué)習(xí)（3）特征處理。是將領(lǐng)域知識(shí)放入特征提取器里面來減少數(shù)據(jù)的復(fù)雜度并生成使學(xué)習(xí)算法工作的更好的模式的過程。特征處理過程很耗時(shí)而且需要專業(yè)知識(shí)。在機(jī)器學(xué)習(xí)中，大多數(shù)應(yīng)用的特征都需要專家確定然后編碼為一種數(shù)據(jù)類型。特征可以使像素值、形狀、紋理、位置和方向。大多數(shù)機(jī)器學(xué)習(xí)算法的性能依賴于所提取的特征的準(zhǔn)確度。8.3機(jī)器學(xué)習(xí)VS.深度學(xué)習(xí)深度學(xué)習(xí)嘗試從數(shù)據(jù)中直接獲取高等級的特征，這是深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)算法的主要的不同?；诖?，深度學(xué)習(xí)削減了對每一個(gè)問題設(shè)計(jì)特征提取器的工作。例如，卷積神經(jīng)網(wǎng)絡(luò)嘗試在前邊的層學(xué)習(xí)低等級的特征（邊界，線條），然后學(xué)習(xí)部分人臉，然后是