人工智能通識教程 第2版 課件 第6章 深度學習

第2版人工智能通識教程第6章周蘇教授QQ：81505050深度學習導(dǎo)讀案例：人類與動物智商的差別人的基因組與動物的基因組差距并不大，例如人與自己的靈長類近親倭黑猩猩有99.6%的基因一模一樣，而與黑猩猩的基因也有98.73%的相似性。盡管基因差異不大，但是人的智商卻遠遠高于自己的靈長類近親。排除人類社會生活這個重要因素之外，人類智商高的純粹生物學原因主要在于大腦的差異。01動物的中樞神經(jīng)系統(tǒng)02了解人工神經(jīng)網(wǎng)絡(luò)03深度學習的定義04卷積神經(jīng)網(wǎng)絡(luò)目錄/CONTENTS05遷移學習06深度學習的應(yīng)用深度學習是機器學習的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)進行表征學習的算法。已有多種深度學習框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計算機視覺、語音識別、自然語言處理與生物信息學等領(lǐng)域并獲得了極好的效果，推動人工智能進入工業(yè)化大生產(chǎn)階段，具有很強的通用性，同時具備標準化、自動化和模塊化基本特征。第6章深度學習PART01動物的中樞神經(jīng)系統(tǒng)每當開始一項新的研究時，應(yīng)該先了解是否已經(jīng)存在現(xiàn)成可借鑒的解決方案。例如，假設(shè)是在1902年萊特兄弟成功進行飛行實驗的前一年，你突發(fā)奇想要設(shè)計一個人造飛行器，那么，你首先應(yīng)該注意到，在自然界中飛行的“機器”實際上是存在的（鳥），由此得到啟發(fā)，你的飛機設(shè)計方案中可能要有兩個大翼。同樣，如果你想設(shè)計人工智能系統(tǒng)，那就要學習并分析這個星球上最自然的智能系統(tǒng)之一，即人腦神經(jīng)系統(tǒng)。6.1動物的中樞神經(jīng)系統(tǒng)動物中樞神經(jīng)系統(tǒng)由被稱為神經(jīng)細胞或神經(jīng)元的細胞組成，和所有細胞一樣，它們具有含DNA（脫氧核糖核酸）的細胞核及含其他物質(zhì)的細胞膜，細胞可以通過DNA復(fù)制的過程簡單地復(fù)制遺傳信息。它們比其他的大多數(shù)細胞的體積要大得多，這些神經(jīng)細胞能夠?qū)哪_趾接收到的感覺印象再由脊柱底部傳至全身。例如，長頸鹿頸部的神經(jīng)元能夠伸展至其身體的每個角落。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)神經(jīng)細胞一般由三部分組成：細胞體、樹突和軸突。每個神經(jīng)元都由一個包含神經(jīng)核的細胞體組成。許多從細胞體中分支出來的纖維狀被稱為樹突，這些較短的分支細絲接收來自其他神經(jīng)細胞的信號。其中單一長條形分支的長纖維稱為軸突。軸突伸展的距離很長，一般要長到1厘米（是細胞體直徑的100倍），但也可以達到1米。一個細胞的軸突另一個細胞的樹突之間的連接部位被稱為突觸。一個神經(jīng)元在突觸的連接處與其他10～100000個神經(jīng)元建立連接。圖6-5生物神經(jīng)元的基本構(gòu)造6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)神經(jīng)細胞可被刺激激活，并沿軸突傳導(dǎo)沖動。神經(jīng)沖動要么存在要么不存在，無信號強弱之分。其他神經(jīng)元的信號決定了神經(jīng)元發(fā)送自身信號的可能性。這些來自其他細胞的信號可能提高或降低信號發(fā)送的概率，也能夠改變其他信號的作用效果。有一部分神經(jīng)元，除非接收到其他信號，否則自身不會發(fā)送信號；也有一部分神經(jīng)元會不斷重復(fù)發(fā)送信號，直到有其他信號進行干擾。一些信號的發(fā)送頻率取決于它們接收到的信號。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)信號通過復(fù)雜的電化學反應(yīng)從一個神經(jīng)元傳遞到其他神經(jīng)元。這些信號可以在短期內(nèi)控制大腦活動，還可以長期改變神經(jīng)元的連通性。這些機制被認為是大腦學習的基礎(chǔ)。大多數(shù)信息都在大腦皮質(zhì)（大腦的外層）中處理的?；镜慕M織單元似乎是直徑約0.5毫米的柱狀組織，包含約20000個神經(jīng)元，并延伸到整個皮質(zhì)（人類皮質(zhì)深度約4毫米）。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)人腦是一種適應(yīng)性系統(tǒng)，必須對變幻莫測的事物做出反應(yīng)，而學習是通過修改神經(jīng)元之間連接的強度來進行的?，F(xiàn)在，生物學家和神經(jīng)學家已經(jīng)了解了在生物中個體神經(jīng)元是如何相互交流的。動物神經(jīng)系統(tǒng)由數(shù)以千萬計的互連細胞組成，而人腦由100億~1000億個神經(jīng)元組成。然而，并行的神經(jīng)元集合如何形成功能單元仍然是一個謎。6.1.2神經(jīng)系統(tǒng)學習機制電信號通過樹突流入細胞體。細胞體（或神經(jīng)元胞體）是“數(shù)據(jù)處理”的地方。當存在足夠的應(yīng)激反應(yīng)時，神經(jīng)元就被激發(fā)了。換句話說，它發(fā)送一個微弱的電信號（以毫瓦為單位）到被稱為軸突的電纜狀突出。神經(jīng)元通常只有單一的軸突，但會有許多樹突。足夠的應(yīng)激反應(yīng)指的是超過預(yù)定的閾值。電信號流經(jīng)軸突，直接到達神經(jīng)斷端。細胞之間的軸突-樹突（軸突-神經(jīng)元胞體或軸突-軸突）接觸稱為神經(jīng)元的突觸。兩個神經(jīng)元之間實際上有一個小的間隔（幾乎觸及），這個間隙充滿了導(dǎo)電流體，允許神經(jīng)元間電信號的流動。腦激素（或攝入的藥物，如咖啡因）影響了當前的電導(dǎo)率。6.1.2神經(jīng)系統(tǒng)學習機制PART02了解人工神經(jīng)網(wǎng)絡(luò)人腦神經(jīng)元彼此高度相連。一些神經(jīng)元與另一些或另外幾十個相鄰的神經(jīng)元通信，然后，其他神經(jīng)元與數(shù)千個神經(jīng)元共享信息。在過去數(shù)十年里，研究人員就是從這種自然典范中汲取靈感，設(shè)計人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)（ANN）是指以人腦和神經(jīng)系統(tǒng)為模型的機器學習算法。如今，人工神經(jīng)網(wǎng)絡(luò)從股票市場預(yù)測到汽車的自主控制，在模式識別、經(jīng)濟預(yù)測和許多其他應(yīng)用領(lǐng)域都有突出的應(yīng)用表現(xiàn)。6.2了解人工神經(jīng)網(wǎng)絡(luò)與人腦神經(jīng)系統(tǒng)類似，人工神經(jīng)網(wǎng)絡(luò)通過改變權(quán)重以呈現(xiàn)出相同的適應(yīng)性。在監(jiān)督學習的ANN范式中，學習規(guī)則承擔了這個任務(wù)，監(jiān)督學習通過比較網(wǎng)絡(luò)的表現(xiàn)與所希望的響應(yīng)，相應(yīng)地修改系統(tǒng)的權(quán)重。ANN主要有3種學習規(guī)則，即感知器學習、增量和反向傳播。反向傳播規(guī)則具有處理多層網(wǎng)絡(luò)所需的能力，并且在許多應(yīng)用中取得了廣泛的成功。熟悉各種網(wǎng)絡(luò)架構(gòu)和學習規(guī)則還不足以保證模型的成功，還需要知道如何編碼數(shù)據(jù)、網(wǎng)絡(luò)培訓應(yīng)持續(xù)多長時間，以及如果網(wǎng)絡(luò)無法收斂，應(yīng)如何處理這種情況。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究20世紀70年代，人工網(wǎng)絡(luò)研究進入了停滯期。資金不足導(dǎo)致這個領(lǐng)域少有新成果產(chǎn)生。諾貝爾物理學獎獲得者約翰·霍普菲爾德在這個學科的研究重新激起了人們對這一學科的熱情。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究在了解（并模擬）動物神經(jīng)系統(tǒng)的行為的基礎(chǔ)上，美國的麥卡洛克和皮茨開發(fā)了人工神經(jīng)元的第一個模型。對應(yīng)于生物神經(jīng)網(wǎng)絡(luò)的生物學模型，人工神經(jīng)元采用了4個要素：（1）細胞體，對應(yīng)于神經(jīng)元的細胞體。（2）輸出通道，對應(yīng)于神經(jīng)元的軸突。（3）輸入通道，對應(yīng)于神經(jīng)元的樹突。（4）權(quán)重，對應(yīng)于神經(jīng)元的突觸。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究其中，權(quán)重（實值）扮演了突觸的角色，反映生物突觸的導(dǎo)電水平，用于調(diào)節(jié)一個神經(jīng)元對另一個神經(jīng)元的影響程度，控制著輸入對單元的影響。人工神經(jīng)元模仿了神經(jīng)元的結(jié)構(gòu)。未經(jīng)訓練的神經(jīng)網(wǎng)絡(luò)模型很像新生兒：它們被創(chuàng)造出來的時候?qū)κ澜缫粺o所知，只有通過接觸這個世界，也就是后天的知識，才會慢慢提高它們的認知程度。算法通過數(shù)據(jù)體驗世界——人們試圖通過在相關(guān)數(shù)據(jù)集上訓練神經(jīng)網(wǎng)絡(luò)，來提高其認知程度。衡量進度的方法是通過監(jiān)測網(wǎng)絡(luò)產(chǎn)生的誤差。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究實際神經(jīng)元運作時要積累電勢能，當能量超過特定值時，突觸前神經(jīng)元會經(jīng)軸突放電，繼而刺激突觸后神經(jīng)元。人類有著數(shù)以億計相互連接的神經(jīng)元，其放電模式無比復(fù)雜。哪怕是最先進的神經(jīng)網(wǎng)絡(luò)也難以比擬人腦的能力，因此，神經(jīng)網(wǎng)絡(luò)在短時間內(nèi)應(yīng)該還無法模擬人腦的功能。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究人工神經(jīng)網(wǎng)絡(luò)是一種仿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學模型或計算模型，用于對函數(shù)進行估計或近似計算。大多數(shù)情況下，人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)。6.2.2典型的人工神經(jīng)網(wǎng)絡(luò)作為一種非線性統(tǒng)計性數(shù)據(jù)建模工具，典型的神經(jīng)網(wǎng)絡(luò)具有以下3個部分：（1）結(jié)構(gòu)：指定網(wǎng)絡(luò)中的變量及其拓撲關(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重和神經(jīng)元的激勵值。（2）激勵函數(shù)：大部分神經(jīng)網(wǎng)絡(luò)模型具有一個短時間尺度的動力學規(guī)則，來定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動改變自己的激勵值。一般激勵函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。（3）學習規(guī)則：指定人工神經(jīng)網(wǎng)絡(luò)中的權(quán)重如何隨時間推進而調(diào)整。這一般被看做是一種長時間尺度的動力學規(guī)則。通常，學習規(guī)則依賴于神經(jīng)元的激勵值，它也可能依賴于監(jiān)督者提供的目標值和當前權(quán)重的值。6.2.2典型的人工神經(jīng)網(wǎng)絡(luò)人腦平均包含1000億個神經(jīng)元，每個神經(jīng)元又平均與7000個其他神經(jīng)元相連，我們可以想象能夠匹配人腦的計算機有多龐大。每個突觸需要一個基本操作，這樣的操作每秒大約需要進行1000次，精確之后也就是每秒1017次。目前的一般家用電腦有四個處理器（四核），在寫入時每個處理器的速度約為每秒109次操作。我們可以通過廉價硬件來實現(xiàn)每秒1011次操作，但至少需要100萬個這樣的處理器才能夠匹配人腦。計算機性能每18個月就能強化一倍，這意味著每十年它們的速度就可以提高100倍。在接下來的30年里，計算機的計算能力有望與人腦相匹敵。6.2.3類腦計算機擁有速度更快的計算機也無法立即創(chuàng)建起人工智能，因為我們還需要了解如何編程。如果大腦由神經(jīng)元組成并且是智能的，或許我們可以模擬神經(jīng)元進行編程，畢竟這已經(jīng)被證明是可行的了。6.2.3類腦計算機人工神經(jīng)元比人類神經(jīng)元簡單，它們接收數(shù)以千計的輸入，并對其進行疊加，如果總數(shù)超過閾值則被激活。每一次輸入都被設(shè)置一個可配置的權(quán)重，人類可以決定任何一次輸入對總數(shù)的作用效果，如果權(quán)重為負值，則神經(jīng)元的激活將被抑制。這些人工神經(jīng)元可以用于構(gòu)建計算機程序，但它們比目前使用的語言更復(fù)雜。不過，我們可以類比大腦將它們大量集合成群，并且改變所有輸入的權(quán)重，然后根據(jù)需求管理整個系統(tǒng)，而不必弄清其工作原理。6.2.3類腦計算機將這些神經(jīng)元排列在至少三層結(jié)構(gòu)中，一些情況下將多達30層，每一層都含有眾多神經(jīng)元，可能多達幾千個。因此，一個完整的神經(jīng)網(wǎng)絡(luò)可能含有10萬個或更多的個體神經(jīng)元，每個神經(jīng)元接收來自前一層其他神經(jīng)元的輸入，并將信號發(fā)送給后一層的所有神經(jīng)元，我們向第一層注入信號并解釋最后一層發(fā)出的信號，以此來進行操作。

圖6-6三層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)6.2.3類腦計算機PART03深度學習的定義深度學習起源于早期用計算電路模擬大腦神經(jīng)元網(wǎng)絡(luò)的工作，是機器學習中一系列技術(shù)的組合。深度學習假設(shè)具有復(fù)雜代數(shù)電路的形式，其“深度”的含義是指電路通常被設(shè)計成多層，這意味著從輸入到輸出的計算路徑包含較多計算步驟，且其中的連接強度是可調(diào)整的，因此，通過深度學習方法訓練的網(wǎng)絡(luò)通常被稱為神經(jīng)網(wǎng)絡(luò)，盡管它與真實的神經(jīng)細胞和結(jié)構(gòu)之間的相似性僅僅停留于表面。6.3深度學習的定義深度學習學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，它在使用復(fù)雜機器學習算法的學習過程中所獲得的信息，對諸如文字、圖像識別和語音識別等數(shù)據(jù)的解釋有很大幫助，所取得的效果遠遠超過先前的相關(guān)技術(shù)，其最終目標是讓機器能夠像人一樣具有分析學習能力。6.3深度學習的定義與傳統(tǒng)機器學習所述的一些方法相比，深度學習尤其是在處理圖像等高維數(shù)據(jù)時具有明顯的優(yōu)勢。舉例來說，雖然線性回歸和邏輯斯諦回歸等方法可以處理大量的輸入變量，但每個樣本從輸入到輸出的計算路徑都非常短——只是乘以某個權(quán)重后加到總輸出中。此外，不同的輸入變量各自獨立地影響輸出而不相互影響（圖6-7（a））。這大大限制了這些模型的表達能力。它們只能表示輸入空間中的線性函數(shù)與邊界，而真實世界中的大多數(shù)概念要比這復(fù)雜得多。6.3.1深度學習的優(yōu)勢

圖6-7學習的計算路徑（a）淺層模型，例如線性回歸，其輸入到輸出之間的計算路徑很短。（b）決策列表網(wǎng)絡(luò)中可能存在某些具有長計算路徑的輸入，但大多數(shù)計算路徑都較短。（c）深度學習網(wǎng)絡(luò)具有更長的計算路徑，且每個變量都能與所有其他變量相互作用。6.3.1深度學習的優(yōu)勢另外，決策列表和決策樹能夠?qū)崿F(xiàn)較長的計算路徑，這些路徑可能依賴于較多的輸入變量，但只是對很小的一部分輸入向量而言（圖6-7（b））。如果一個決策樹對一定部分的可能輸入有很長的計算路徑，那么它的輸入變量的數(shù)量必將是指數(shù)級的。深度學習的基本思想是訓練電路，使其計算路徑可以很長，進而使得所有輸入變量之間以復(fù)雜的方式相互作用（圖6-7（c））。事實證明，這些電路模型具有足夠的表達能力，它們在許多重要類型的學習問題中都能夠擬合復(fù)雜的真實數(shù)據(jù)。6.3.1深度學習的優(yōu)勢從研究角度看，深度學習是基于多層人工神經(jīng)網(wǎng)絡(luò)，海量數(shù)據(jù)為輸入，發(fā)現(xiàn)規(guī)則自學習的方法。深度學習所基于的多層神經(jīng)網(wǎng)絡(luò)并非新鮮事物，甚至在80年代還被認為沒有前途。但近年來，科學家們對多層神經(jīng)網(wǎng)絡(luò)的算法不斷優(yōu)化，使它出現(xiàn)了突破性的進展。如今人工智能技術(shù)正發(fā)展成為一種能夠改變世界的力量，其中尤以深度學習所取得的進步最為顯著，深度學習所帶來的重大技術(shù)革命，甚至有可能顛覆過去長期以來人們對互聯(lián)網(wǎng)技術(shù)的認知，實現(xiàn)技術(shù)體驗的跨越式發(fā)展。6.3.1深度學習的優(yōu)勢以往很多算法是線性的，而現(xiàn)實世界大多數(shù)事情的特征是復(fù)雜非線性的。比如貓的圖像中，就包含了顏色、形態(tài)、五官、光線等各種信息。深度學習的關(guān)鍵就是通過多層非線性映射將這些因素成功分開。與淺層相比，多層神經(jīng)網(wǎng)絡(luò)簡單地說，就是可以減少參數(shù)。因為它重復(fù)利用中間層的計算單元。以認貓為例，它學習貓的分層特征：最底層從原始像素開始，刻畫局部的邊緣和紋；中層把各種邊緣進行組合，描述不同類型的貓的器官；最高層描述的是整個貓的全局特征。6.3.2深度學習的意義深度學習需要具備超強的計算能力，同時還不斷有海量數(shù)據(jù)的輸入。特別是在信息表示和特征設(shè)計方面，過去大量依賴人工，嚴重影響有效性和通用性。深度學習則徹底顛覆了“人造特征”的范式，開啟了數(shù)據(jù)驅(qū)動的“表示學習”范式——由數(shù)據(jù)自提取特征，計算機自己發(fā)現(xiàn)規(guī)則，進行自學習。可以這樣理解：過去，人們對經(jīng)驗的利用靠人類自己完成。而深度學習中，經(jīng)驗以數(shù)據(jù)形式存在。因此，深度學習就是關(guān)于從數(shù)據(jù)中產(chǎn)生模型的算法，即深度學習算法。6.3.2深度學習的意義那么大數(shù)據(jù)以及各種算法與深度學習有什么區(qū)別呢？過去的算法模式，數(shù)學上叫線性，x和y的關(guān)系是對應(yīng)的，它是一種函數(shù)體現(xiàn)的映射。但這種算法在海量數(shù)據(jù)面前遇到了瓶頸。國際上著名的ImageNet圖像分類大賽，用傳統(tǒng)算法，識別錯誤率一直降不下去，采用深度學習后，錯誤率大幅降低。在2010年，獲勝的系統(tǒng)只能正確標記72%的圖片；到了2012年，多倫多大學的杰夫·辛頓利用深度學習的新技術(shù)，帶領(lǐng)團隊實現(xiàn)了85%的準確率；2015年的ImageNet競賽上，一個深度學習系統(tǒng)以96%的準確率第一次超過了人類（人類平均有95%的準確率）。6.3.2深度學習的意義計算機認圖的能力已經(jīng)超過人，尤其在圖像和語音等復(fù)雜應(yīng)用方面，深度學習技術(shù)取得了優(yōu)越的性能。深度學習是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對數(shù)據(jù)進行表征學習的算法，即可以這樣定義：“深度學習是一種特殊的機器學習，通過學習將現(xiàn)實使用嵌套的概念層次來表示并實現(xiàn)巨大的功能和靈活性，其中每個概念都定義為與簡單概念相關(guān)聯(lián)，而更為抽象的表示則以較不抽象的方式來計算?！?.3.2深度學習的意義已經(jīng)有多種深度學習框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計算機視覺、語音識別、自然語言處理、音頻識別與生物信息學等領(lǐng)域并獲取了極好的效果。另外，“深度學習”也成為神經(jīng)網(wǎng)絡(luò)的品牌重塑。通過多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示后，用“簡單模型”即可完成復(fù)雜的分類等學習任務(wù)。由此，可將深度學習理解為進行“特征學習”或“表示學習”。6.3.2深度學習的意義以往在機器學習用于現(xiàn)實任務(wù)時，描述樣本的特征通常需由人類專家來設(shè)計，這成為“特征工程”。眾所周知，特征的好壞對泛化性能有至關(guān)重要的影響，人類專家設(shè)計出好特征也并非易事；特征學習（表征學習）則通過機器學習技術(shù)自身來產(chǎn)生好特征，這使機器學習向“全自動數(shù)據(jù)分析”又前進了一步。人工智能研究方向之一是以“專家系統(tǒng)”為代表，用大量“If-Then”規(guī)則定義，自上而下的思路。ANN標志著另一種自下而上的思路，試圖模仿大腦神經(jīng)元之間傳遞、處理信息的模式。6.3.2深度學習的意義支持圖像識別技術(shù)驕人成績的通常是深度神經(jīng)網(wǎng)絡(luò)，借助于特征可視化這個強大工具，能幫我們理解神經(jīng)網(wǎng)絡(luò)究竟是怎樣認識圖像的。圖6-8神經(jīng)網(wǎng)絡(luò)的可視化6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片現(xiàn)在，計算機視覺模型中每一層所檢測的東西都可以可視化。經(jīng)過在一層層神經(jīng)網(wǎng)絡(luò)中的傳遞，會逐漸對圖片進行抽象：先探測邊緣，然后用這些邊緣來檢測紋理，再用紋理檢測模式，用模式檢測物體的部分……6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片圖6-9是ImageNet（一個用于視覺對象識別軟件研究的大型可視化數(shù)據(jù)庫項目）訓練的GoogLeNet的特征可視化圖，我們可以從中看出它的每一層是如何對圖片進行抽象的。

圖6-9訓練用的特征可視化圖6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片在神經(jīng)網(wǎng)絡(luò)處理圖像的過程中，單個神經(jīng)元不能理解任何東西，它們需要協(xié)作。所以，我們也需要理解它們彼此之間如何交互。通過在神經(jīng)元之間插值，使神經(jīng)元之間彼此交互。圖6-10就展示了兩個神經(jīng)元是如何共同表示圖像的。圖6-10兩個神經(jīng)元共同表示圖像6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片在進行特征可視化時，得到的結(jié)果通常會布滿噪點和無意義的高頻圖案。要更好地理解神經(jīng)網(wǎng)絡(luò)模型是如何工作的，就要避開這些高頻圖案。這時所用的方法是進行預(yù)先規(guī)則化，或者說約束、預(yù)處理。當然，了解神經(jīng)網(wǎng)絡(luò)內(nèi)部的工作原理，也是增強人工智能可解釋性的一種途徑，而特征可視化正是其中一個很有潛力的研究方向。神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了廣泛應(yīng)用，解決了控制、搜索、優(yōu)化、函數(shù)近似、模式關(guān)聯(lián)、聚類、分類和預(yù)測等領(lǐng)域的問題。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片例如，將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在控制領(lǐng)域中，給設(shè)備輸入數(shù)據(jù)，產(chǎn)生所需的輸出。在雷克薩斯豪華系列汽車的尾部配備了后備攝像機，聲納設(shè)備和人工神經(jīng)網(wǎng)絡(luò)，可以自動并行停車。實際上，這是一個所謂反向問題的例子，汽車采用的路線是己知的，所計算的是需要的力以及所涉及方向盤的位移。反向控制的一個較早的示例是卡車倒車，正向識別的一個示例是機器人手臂控制（所需的力己知，必須識別動作）。在任何智能系統(tǒng)中，搜索都是一個關(guān)鍵部分，可以將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于搜索。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片神經(jīng)網(wǎng)絡(luò)的主要缺點是其不透明性，換句話說它們不能解釋結(jié)果。有個研究領(lǐng)域是將ANN與模糊邏輯結(jié)合起來生成神經(jīng)模糊網(wǎng)絡(luò)，這個網(wǎng)絡(luò)具有ANN的學習能力，同時也具有模糊邏輯的解釋能力。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片起初，神經(jīng)網(wǎng)絡(luò)產(chǎn)生的結(jié)果是雜亂無章的，因為我們還沒有給予其具體操作的指令。因此，我們?yōu)槠涮峁┐罅繑?shù)據(jù)，并十分清楚神經(jīng)網(wǎng)絡(luò)應(yīng)該給出怎樣的反饋。如果要思考的問題是觀察戰(zhàn)場的照片，判斷其中是否存在坦克，我們可以拿幾千張或有或沒有坦克的照片，將其輸入網(wǎng)絡(luò)的第一層，然后，調(diào)整所有神經(jīng)元的全部輸入權(quán)重，使最后一層的輸出更接近正確答案。其中涉及復(fù)雜的數(shù)學運算，但可以通過自動化程序解決，接著，不斷重復(fù)這一過程，成百上千次地展示每一張訓練圖像。慢慢地，犯錯的概率將逐漸降低，直到每次都能做出正確應(yīng)答為止。6.3.4訓練神經(jīng)網(wǎng)絡(luò)一旦訓練完成，我們就可以開始提供新的圖片。如果我們選擇的訓練數(shù)據(jù)足夠嚴謹，訓練周期足夠長，網(wǎng)絡(luò)就能準確回答圖中是否有坦克的存在。訓練神經(jīng)網(wǎng)絡(luò)的主要問題在于我們不知道它們究竟是如何得出結(jié)論的，因而無法確定它們是否真的在尋找我們想要它們尋找的答案。如果有坦克的照片都是在晴天拍攝的，而所有沒有坦克的照片都是在雨天拍攝的，那么神經(jīng)網(wǎng)絡(luò)可能只是在判斷我們是否需要雨傘而已。6.3.4訓練神經(jīng)網(wǎng)絡(luò)因為神經(jīng)網(wǎng)絡(luò)不需要我們告訴它們?nèi)绾潍@取答案，所以即使我們不知道它們怎樣去做要做的事情，還是可以照常使用它們。識別圖片中的物體只是一個例子，其他用途可能還包括預(yù)測股市走向等。只要擁有大量優(yōu)質(zhì)的訓練數(shù)據(jù)，就可以對神經(jīng)網(wǎng)絡(luò)進行編程來完成這項工作。6.3.4訓練神經(jīng)網(wǎng)絡(luò)盡管人工神經(jīng)元只是真正神經(jīng)細胞的簡化模型，但有趣的是神經(jīng)網(wǎng)絡(luò)的運作方式卻與大腦相同。掃描顯示大腦的某些區(qū)域?qū)ι?、下、左、右移動的光暗邊緣十分敏感。谷歌公司訓練神?jīng)網(wǎng)絡(luò)來識別物體，向用戶提供可愛的貓咪圖片。這些神經(jīng)網(wǎng)絡(luò)大約有30層，谷歌表示第一層正是通過物體的不同邊緣來分析圖像，程序員并沒有進行過這方面的編程，這種行為是在網(wǎng)絡(luò)綜合訓練中自主出現(xiàn)的。6.3.4訓練神經(jīng)網(wǎng)絡(luò)我們通過幾個例子，來了解深度學習的方法。示例1：識別正方形。先從一個簡單例子開始，從概念層面上解釋究竟發(fā)生了什么事情。我們來試試看如何從多個形狀中識別正方形。

圖6-11簡單例子6.3.5深度學習的方法第一件事是檢查圖中是否有四條線（簡單的概念）。如果找到這樣的四條線，進一步檢查它們是相連的、閉合的和相互垂直的，并且它們是否相等（嵌套的概念層次結(jié)構(gòu)）。這樣就完成了一個復(fù)雜的任務(wù)（識別一個正方形），并以簡單、不太抽象的任務(wù)來完成它。深度學習本質(zhì)上在大規(guī)模執(zhí)行類似的邏輯。6.3.5深度學習的方法示例2：識別貓。我們通常能用很多屬性描述一個事物。其中有些屬性可能很關(guān)鍵，很有用，另一些屬性可能沒什么用。我們就將屬性被稱為特征。特征辨識是一個數(shù)據(jù)處理的過程。6.3.5深度學習的方法傳統(tǒng)算法認貓，是標注各種特征去認：大眼睛，有胡子，有花紋。但這種特征寫著寫著，可能分不出是貓還是老虎了，狗和貓也分不出來。這種方法叫——人制定規(guī)則，機器學習這種規(guī)則。深度學習的方法是，直接給你百萬張圖片，說這里有貓，再給你百萬張圖，說這里沒貓，然后來訓練深度網(wǎng)絡(luò)，通過深度學習自己去學貓的特征，計算機就知道了，誰是貓。圖6-12從視頻里面尋找貓的圖片是深度學習接觸性能的首次展現(xiàn)6.3.5深度學習的方法示例3：訓練機械手學習抓取動作。訓練機械手學習抓取動作，傳統(tǒng)方法肯定是針對機械手寫好函數(shù)，移動到xyz標注的空間點，利用程序?qū)崿F(xiàn)一次抓取。而谷歌用機器人訓練一個深度神經(jīng)網(wǎng)絡(luò)，幫助機器人根據(jù)攝像頭輸入和電機命令，預(yù)測抓取的結(jié)果。簡單地說，就是訓練機器人的手眼協(xié)調(diào)。機器人會觀測自己的機械臂，實時糾正抓取運動。所有行為都從學習中自然浮現(xiàn)。

圖6-13谷歌訓練機械手6.3.5深度學習的方法為了加快學習進程，谷歌公司用14個機械手同時工作，在將近3000小時的訓練，相當于80萬次抓取嘗試后，開始看到智能反應(yīng)行為的出現(xiàn)。資料顯示，沒有訓練的機械手，前30次抓取失敗率為34%，而訓練后，失敗率降低到18%。這就是一個自我學習的過程。6.3.5深度學習的方法示例4：訓練人工神經(jīng)網(wǎng)絡(luò)寫文章。斯坦福大學的計算機博士安德烈·卡帕蒂曾用托爾斯泰的小說《戰(zhàn)爭與和平》來訓練人工神經(jīng)網(wǎng)絡(luò)。每訓練100個回合，就叫它寫文章。在100次訓練后，它就知道要加空格，但仍然有時是在“胡言亂語”（亂碼）。500個回合后，能正確拼寫一些短單詞。1200個回合后，有標點符號和長單詞。2000個回合后，已經(jīng)可以正確拼寫更復(fù)雜的語句。6.3.5深度學習的方法整個演化過程是個什么情況呢？以前我們寫文章，只要告訴主謂賓，就是規(guī)則。而這個過程，完全沒人告訴機器語法規(guī)則。甚至，連標點和字母區(qū)別都不用告訴它。不告訴機器任何程序。只是不停地用原始數(shù)據(jù)進行訓練，一層一層訓練，最后輸出結(jié)果——就是一個個看得懂的語句。一切看起來都很有趣。人工智能與深度學習的美妙之處，也正在于此。6.3.5深度學習的方法示例5：圖像深度信息采集。市面上的無人機可以實現(xiàn)對人的跟蹤。它的方法是什么呢？一個人，在圖像系統(tǒng)里是一堆色塊的組合。通過人工方式進行特征選擇，比如顏色特征，梯度特征。以顏色特征為例：比如你穿著綠色衣服，突然走進草叢，就可能跟丟?；蛘咚摿思路?，幾個人很相近，也容易跟丟。此時，若想在這個基礎(chǔ)上繼續(xù)優(yōu)化，將顏色特征進行某些調(diào)整是非常困難的，而且調(diào)整后，還會存在對過去某些狀況不適用的問題。這樣的算法需要不停迭代，迭代又會影響前面的效果。6.3.5深度學習的方法硅谷有個團隊利用深度學習，把所有人腦袋做出來，只區(qū)分好前景和背景。區(qū)分之后，背景全部用數(shù)學方式隨意填充，再不斷生產(chǎn)大量背景數(shù)據(jù)，進行自學習。只要把前景學習出來就行。很多傳統(tǒng)方法是采用雙目視覺，用計算機去做局部匹配，再根據(jù)雙目測出的兩個匹配的差距，去推算空間另一個點和它的三角位置，從而判斷離你多遠?？上攵?，深度學習的出現(xiàn)，使得很多公司辛苦積累的軟件算法直接作廢了?！八惴ㄗ鳛楹诵母偁幜Α闭谵D(zhuǎn)變?yōu)椤皟|數(shù)據(jù)作為核心競爭力”，我們必須進入新的起跑線。6.3.5深度學習的方法示例6：做胃鏡檢查。胃不舒服做檢查，常常會需要做胃鏡，甚至要分開做腸、胃鏡檢查，而且通常小腸還看不見。有一家公司出了一種膠囊攝像頭。將攝像頭吃進去后，在人體消化道內(nèi)每5秒拍一幅圖，連續(xù)攝像，此后再排出膠囊。這樣，所有關(guān)于腸道和胃部的問題，全部完整記錄。但光是等醫(yī)生把這些圖看完就需要五個小時。原本的機器主動檢測漏檢率高，還需要醫(yī)生復(fù)查。

圖6-14膠囊攝像頭做胃鏡檢查6.3.5深度學習的方法后來采用深度學習。采集8000多例圖片數(shù)據(jù)灌進去，用機器不斷學，不僅提高診斷精確率，減少了醫(yī)生的漏診以及對好醫(yī)生的經(jīng)驗依賴，只需要靠機器自己去學習規(guī)則。深度學習算法，可以幫助醫(yī)生作出決策。資深學者本吉奧有一段話講得特別好，引用如下：“科學不是一場戰(zhàn)斗，而是一場建立在彼此想法上的合作?？茖W是一種愛，而不是戰(zhàn)爭，熱愛周圍世界的美麗，熱愛分享和共同創(chuàng)造美好的事物。從情感上說，這使得科學成為一項令人非常賞心悅目的活動！”6.3.5深度學習的方法結(jié)合機器學習近年來的迅速發(fā)展來看本吉奧的這段話，就可以感受到其中的深刻含義。未來哪種機器學習算法會成為熱點呢？資深專家吳恩達曾表示，“在繼深度學習之后，遷移學習將引領(lǐng)下一波機器學習技術(shù)”。6.3.5深度學習的方法PART04卷積神經(jīng)網(wǎng)絡(luò)在數(shù)學泛函分析中，卷積是通過兩個函數(shù)f和g生成第三個函數(shù)的一種數(shù)學運算，其本質(zhì)是一種特殊的表征函數(shù)f與g經(jīng)過翻轉(zhuǎn)和平移的重疊部分函數(shù)值乘積對重疊長度的積分變換。如果將參加卷積的一個函數(shù)看作區(qū)間的指示函數(shù)，卷積還可以被看作是“滑動平均”的推廣。6.4卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種用來分析視覺圖像的強大的深度學習模型，它是包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，類似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，也是深度學習的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)的創(chuàng)始人是著名的計算機科學家楊立昆，他是第一個通過卷積神經(jīng)網(wǎng)絡(luò)在MNIST數(shù)據(jù)集（美國國家標準與技術(shù)研究院收集整理的大型手寫數(shù)字數(shù)據(jù)庫，其中包含60,000個示例的訓練集以及10,000個示例的測試集）上解決手寫數(shù)字問題的人。6.4卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)是受到了生物處理過程的啟發(fā)，因為神經(jīng)元之間的連接模式類似于動物的視覺皮層組織。個體皮層神經(jīng)元僅在被稱為感受野的視野受限區(qū)域中對刺激作出反應(yīng)，不同神經(jīng)元的感受野部分重疊，使得它們能夠覆蓋整個視野。我們在談?wù)撊魏晤愋偷纳窠?jīng)網(wǎng)絡(luò)時，都不可能不提及一點神經(jīng)科學以及人體（特別是大腦）及其功能的相關(guān)知識，這些知識成為創(chuàng)建深度學習模型的主要靈感來源。

圖6-15人的視覺組織6.4.1為什么選擇卷積顧名思義，前饋網(wǎng)絡(luò)是只在一個方向上有連接的網(wǎng)絡(luò)，也就是說，它是一個有向無環(huán)圖且有指定的輸入和輸出節(jié)點。每個節(jié)點計算一個輸入函數(shù)，并將結(jié)果傳遞給網(wǎng)絡(luò)中的后續(xù)節(jié)點。信息從輸入節(jié)點流向輸出節(jié)點從而通過網(wǎng)絡(luò)，且沒有環(huán)路。另外，循環(huán)網(wǎng)絡(luò)將其中間輸出或最終輸出反饋到自己的輸入中。這意味著網(wǎng)絡(luò)中的信號值將形成一個具有內(nèi)部狀態(tài)或記憶的動態(tài)系統(tǒng)。6.4.1為什么選擇卷積卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)與常規(guī)人工神經(jīng)網(wǎng)絡(luò)架構(gòu)非常相似，特別是在網(wǎng)絡(luò)的最后一層，即全連接。此外，還注意到卷積神經(jīng)網(wǎng)絡(luò)能夠接受多個特征圖作為輸入，而不是向量。卷積神經(jīng)網(wǎng)絡(luò)具有表征學習能力，能夠按其階層結(jié)構(gòu)對輸入信息進行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)。

圖6-16卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)6.4.1為什么選擇卷積卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典用例是執(zhí)行圖像分類，例如查看寵物的圖像并確定它是貓還是狗。這是一項看似簡單的任務(wù)，那為什么不使用普通的神經(jīng)網(wǎng)絡(luò)，不從一開始就展開輸入圖像矩陣呢？6.4.1為什么選擇卷積用全連接神經(jīng)網(wǎng)絡(luò)處理大尺寸圖像，具有三個明顯的缺點：（1）首先將圖像展開為向量會丟失空間信息。（2）其次，需要訓練的參數(shù)過多會導(dǎo)致效率低下，訓練困難，難以以最快方式解決計算成本高昂的任務(wù)。（3）同時，大量的參數(shù)很快會導(dǎo)致網(wǎng)絡(luò)過擬合。而卷積神經(jīng)網(wǎng)絡(luò)參數(shù)少，可以避免出現(xiàn)過擬合現(xiàn)象。6.4.1為什么選擇卷積例如，用于處理計算機視覺問題的圖像通常是224×224或更大。想象一下，構(gòu)建一個神經(jīng)網(wǎng)絡(luò)來處理224×224彩色圖像：包括圖像中的3個彩色通道（RGB），得到224×224×3=150,528個輸入特征。在這樣的網(wǎng)絡(luò)中，一個典型的隱含層可能有1024個節(jié)點，因此必須為第一層單獨訓練150,528x1024=1.5+億個權(quán)重。這樣的網(wǎng)絡(luò)巨大，幾乎不可能訓練。其實，圖像的好處之一是，其像素在相鄰的上下文中最有用，圖像中的物體是由小的局部特征組成的，比如眼睛的圓形虹膜或一張紙的方角。一個隱藏層中的每個節(jié)點都要查看每個像素，這會很浪費時間。6.4.1為什么選擇卷積此外，位置可能會改變。如果你訓練一個網(wǎng)絡(luò)來檢測狗，你希望能夠檢測狗，而不管它出現(xiàn)在圖像的什么地方。想象一下，訓練一個網(wǎng)絡(luò)，它能很好地處理特定的狗的圖像，然后給它喂食的是同一圖像的一個稍微移動的版本，狗就不會激活相同的神經(jīng)元，網(wǎng)絡(luò)反應(yīng)會完全不同。6.4.1為什么選擇卷積與常規(guī)神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)的各層中的神經(jīng)元是3維排列的：寬度、高度和深度。其中的寬度和高度是很好理解的，因為本身卷積就是一個二維模板，但是在卷積神經(jīng)網(wǎng)絡(luò)中的深度指的是激活數(shù)據(jù)體的第三個維度，而不是整個網(wǎng)絡(luò)的深度，整個網(wǎng)絡(luò)的深度指的是網(wǎng)絡(luò)的層數(shù)。舉個例子來理解什么是寬度，高度和深度，假如使用圖6-17中的圖像是作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，該輸入數(shù)據(jù)體的維度是32×32×3（寬度、高度和深度），層中的神經(jīng)元將只與前一層中的一小塊區(qū)域連接，而不是采取全連接方式。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖6-17全連接神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的對比6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對于用來分類圖中圖像的卷積網(wǎng)絡(luò)，其最后的輸出層的維度是1×1×10，因為在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的最后部分將會把全尺寸的圖像壓縮為包含分類評分的一個向量，向量是在深度方向排列的。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖6-17中左側(cè)是一個3層的神經(jīng)網(wǎng)絡(luò)，右側(cè)是一個神經(jīng)元在3個維度（寬、高和深度）排列的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的每一層都將3D的輸入數(shù)據(jù)變化為神經(jīng)元3D的激活數(shù)據(jù)并輸出。在圖6-17右側(cè)，左邊輸入層代表輸入圖像，它的寬度和高度就是圖像的寬度和高度，它的深度是3（代表紅、綠、藍3種顏色通道），第2部分是經(jīng)過卷積和池化之后的激活值（也可以看做是神經(jīng)元），后面是接著的卷積池化層。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)池化層（圖6-18）所做的就是減小輸入的大小。它的核心目標之一是提供空間方差，這意味著你或機器將能夠?qū)ο笞R別出來，即使它的外觀以某種方式發(fā)生改變。池化層通常由一個簡單的操作完成，比如最大、最小或平均。目前有兩種廣泛使用的池化操作——平均池化和最大池化，其中最大池化使用更多，其效果一般要優(yōu)于平均池化。池化層減小特征空間維度但不會減小深度。當使用最大池化層時，采用輸入?yún)^(qū)域的最大數(shù)量，而當使用平均池化時，采用輸入?yún)^(qū)域的平均值。6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖6-18卷積神經(jīng)網(wǎng)絡(luò)的處理過程6.4.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)PART05遷移學習一方面，越來越多的機器學習應(yīng)用場景在出現(xiàn)，而另一方面，表現(xiàn)比較好的監(jiān)督學習需要大量的標注數(shù)據(jù)，這是一項枯燥無味且花費巨大的任務(wù)，所以遷移學習受到越來越多的關(guān)注。傳統(tǒng)機器學習（主要指監(jiān)督學習）通?；谕植技僭O(shè)，同時需要大量標注數(shù)據(jù)。然而，實際使用過程中不同數(shù)據(jù)集可能存在一些問題，比如：·數(shù)據(jù)分布差異·標注數(shù)據(jù)過期，也就是好不容易標定的數(shù)據(jù)要被丟棄，有些應(yīng)用中數(shù)據(jù)是分布隨著時間推移會有變化。6.5遷移學習如何充分利用之前標注好的數(shù)據(jù)（廢物利用），同時又保證在新的任務(wù)上的模型精度？基于這樣的需求，就有了對遷移學習的研究，即：將某個領(lǐng)域或任務(wù)上學習到的知識或模式應(yīng)用到不同但相關(guān)的領(lǐng)域或問題中，或者說從相關(guān)領(lǐng)域中遷移標注數(shù)據(jù)或者知識結(jié)構(gòu)、完成或改進目標領(lǐng)域或任務(wù)的學習效果。

圖6-19遷移學習的考慮6.5遷移學習人在實際生活中有很多遷移學習，比如學會騎自行車，就比較容易學摩托車，學會了C語言，在學一些其它編程語言會簡單很多。那么機器是否能夠像人類一樣舉一反三呢？6.5遷移學習在一個商品評論情感分析的例子中，包含兩個不同的產(chǎn)品領(lǐng)域：圖書領(lǐng)域和家具領(lǐng)域。在圖書領(lǐng)域，通常用“寬闊”“品質(zhì)創(chuàng)作”等詞匯來表達正面情感，而在家具領(lǐng)域中卻由“鋒利”“輕巧”等詞匯來表達正面情感。可見此任務(wù)中，不同領(lǐng)域的不同情感詞多數(shù)不發(fā)生重疊、存在領(lǐng)域獨享詞、且詞匯在不同領(lǐng)域出現(xiàn)的頻率顯著不同，因此會導(dǎo)致領(lǐng)域間的概率分布失配問題。6.5遷移學習遷移學習的關(guān)鍵點是：（1）研究可以用哪些知識在不同的領(lǐng)域或者任務(wù)中進行遷移學習，即不同領(lǐng)域之間有哪些共有知識可以遷移——遷移什么。（2）研究在找到了遷移對象之后，針對具體問題所采用哪種遷移學習的特定算法，即如何設(shè)計出合適的算法來提取和遷移共有知識——如何遷移。（3）研究什么情況下適合遷移，遷移技巧是否適合具體應(yīng)用，其中涉及到負遷移的問題——何時遷移。6.5遷移學習當領(lǐng)域間的概率分布差異很大時，上述假設(shè)通常難以成立，這會導(dǎo)致嚴重的負遷移問題。負遷移是舊知識對新知識學習的阻礙作用，比如學習了三輪車之后對騎自行車的影響，和學習漢語拼音對學英文字母的影響。需要研究如何利用正遷移，避免負遷移。6.5遷移學習基于實例的遷移學習研究的是如何從源領(lǐng)域中挑選出對目標領(lǐng)域的訓練有用的實例，比如對源領(lǐng)域的有標記數(shù)據(jù)實例，進行有效的權(quán)重分配，讓源域?qū)嵗植冀咏繕擞虻膶嵗植迹瑥亩谀繕祟I(lǐng)域中建立一個分類精度較高的、可靠地學習模型。因為遷移學習中源領(lǐng)域與目標領(lǐng)域的數(shù)據(jù)分布是不一致，所以源領(lǐng)域中所有有標記的數(shù)據(jù)實例不一定都對目標領(lǐng)域有用。6.5.1基于實例的遷移（1）特征選擇?；谔卣鬟x擇的遷移學習算法，關(guān)注的是如何找出源領(lǐng)域與目標領(lǐng)域之間共同的特征表示，然后利用這些特征進行知識遷移。（2）