人工智能通識(shí)教程 第2版 課件 第5、6章 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)

第2版人工智能通識(shí)教程第5章周蘇教授QQ：81505050機(jī)器學(xué)習(xí)導(dǎo)讀案例：奈飛的電影推薦引擎2012年9月21日奈飛宣布，來(lái)自186個(gè)國(guó)家和地區(qū)的四萬(wàn)多個(gè)團(tuán)隊(duì)經(jīng)過(guò)近三年的較量，一個(gè)由來(lái)自?shī)W地利、加拿大、以色列和美國(guó)的計(jì)算機(jī)、統(tǒng)計(jì)和人工智能專(zhuān)家組成的7人團(tuán)隊(duì)BPC奪得了奈飛大獎(jiǎng)。獲獎(jiǎng)團(tuán)隊(duì)成功地將奈飛的影片推薦引擎的推薦效率提高了10%。奈飛大獎(jiǎng)的參賽者們不斷改進(jìn)影片推薦效率，奈飛的客戶為此獲益。這項(xiàng)比賽的規(guī)則要求獲勝團(tuán)隊(duì)公開(kāi)他們采用的推薦算法，這樣很多商業(yè)都能從中獲益。01什么是機(jī)器學(xué)習(xí)02基于學(xué)習(xí)方式的分類(lèi)03機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)04機(jī)器學(xué)習(xí)算法目錄/CONTENTS05機(jī)器學(xué)習(xí)的應(yīng)用機(jī)器學(xué)習(xí)是使計(jì)算機(jī)具有智能的根本途徑，它涉及到概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多學(xué)科知識(shí)，專(zhuān)門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。機(jī)器學(xué)習(xí)的歷史可以追溯到17世紀(jì)，貝葉斯、拉普拉斯關(guān)于最小二乘法的推導(dǎo)和馬爾可夫鏈構(gòu)成了機(jī)器學(xué)習(xí)廣泛使用的工具和基礎(chǔ)。從1950年圖靈提議建立一個(gè)學(xué)習(xí)機(jī)器，到2000年初深度學(xué)習(xí)的實(shí)際應(yīng)用及進(jìn)展，機(jī)器學(xué)習(xí)有了很大的進(jìn)展。第5章機(jī)器學(xué)習(xí)PART01什么是機(jī)器學(xué)習(xí)如今，一些手機(jī)提供了智能語(yǔ)音助手，一些電子郵箱使用了垃圾郵件過(guò)濾器（軟件），等等。如果你使用過(guò)類(lèi)似這樣的服務(wù)，那么，事實(shí)上你已經(jīng)在利用機(jī)器學(xué)習(xí)了！作為人工智能的一個(gè)分支，機(jī)器學(xué)習(xí)所涉及的應(yīng)用范圍包括語(yǔ)言處理、圖像識(shí)別和智能規(guī)劃等。5.1什么是機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)最早的發(fā)展可以追溯到英國(guó)數(shù)學(xué)家貝葉斯（1702年~1761年）在1763年發(fā)表的貝葉斯定理，這是關(guān)于隨機(jī)事件A和B的條件概率（或邊緣概率）的一則數(shù)學(xué)定理，是機(jī)器學(xué)習(xí)的基本思想。其中，P(A|B)是指在B發(fā)生的情況下A發(fā)生的可能性，即根據(jù)以前的信息尋找最可能發(fā)生的事件。5.1.1機(jī)器學(xué)習(xí)的發(fā)展從20世紀(jì)50年代研究機(jī)器學(xué)習(xí)以來(lái)，不同時(shí)期的研究途徑和目標(biāo)并不相同，大體上可以劃分為四個(gè)階段。第一階段是20世紀(jì)50年代中葉到60年代中葉，屬于熱烈時(shí)期。主要研究“有無(wú)知識(shí)的學(xué)習(xí)”，關(guān)注系統(tǒng)的執(zhí)行能力。這個(gè)時(shí)期，通過(guò)對(duì)機(jī)器的環(huán)境及其相應(yīng)性能參數(shù)的改變來(lái)檢測(cè)系統(tǒng)所反饋的數(shù)據(jù)，系統(tǒng)受到程序的影響而改變自身的組織，最后會(huì)選擇一個(gè)最優(yōu)的環(huán)境生存。這個(gè)時(shí)期最具代表性的研究是塞繆特的下棋程序。5.1.1機(jī)器學(xué)習(xí)的發(fā)展第二階段從20世紀(jì)60年代中葉到70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。主要研究將各領(lǐng)域的知識(shí)植入到系統(tǒng)里，通過(guò)機(jī)器模擬人類(lèi)學(xué)習(xí)的過(guò)程，同時(shí)采用圖結(jié)構(gòu)及邏輯結(jié)構(gòu)方面的知識(shí)進(jìn)行系統(tǒng)描述。在這一研究階段，主要是用各種符號(hào)來(lái)表示機(jī)器語(yǔ)言，研究人員在進(jìn)行實(shí)驗(yàn)時(shí)意識(shí)到學(xué)習(xí)是一個(gè)長(zhǎng)期的過(guò)程，從這種系統(tǒng)環(huán)境中無(wú)法學(xué)到更加深入的知識(shí)。因此，研究人員將各專(zhuān)家的知識(shí)加入到系統(tǒng)里。經(jīng)過(guò)實(shí)踐，證明這種方法取得了一定的成效。這一階段具有代表性的工作有海耶斯-羅斯等的對(duì)結(jié)構(gòu)學(xué)習(xí)系統(tǒng)方法。5.1.1機(jī)器學(xué)習(xí)的發(fā)展第三階段從20世紀(jì)70年代中葉到80年代中葉，稱為復(fù)興時(shí)期。在此期間，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和方法，開(kāi)始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，并取得很大的成功。同時(shí)，專(zhuān)家系統(tǒng)在知識(shí)獲取方面的需求也極大地刺激了機(jī)器學(xué)習(xí)的研究和發(fā)展。在出現(xiàn)第一個(gè)專(zhuān)家學(xué)習(xí)系統(tǒng)之后，示例歸納學(xué)習(xí)系統(tǒng)成為研究的主流，自動(dòng)知識(shí)獲取成為機(jī)器學(xué)習(xí)應(yīng)用的研究目標(biāo)。5.1.1機(jī)器學(xué)習(xí)的發(fā)展1980年，在美國(guó)的卡內(nèi)基·梅隆大學(xué)（CMU）召開(kāi)了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。此后，機(jī)器學(xué)習(xí)開(kāi)始得到大量的應(yīng)用。1984年，西蒙等20多位人工智能專(zhuān)家共同撰文編寫(xiě)的機(jī)器學(xué)習(xí)文集第二卷出版，國(guó)際性雜志《機(jī)器學(xué)習(xí)》創(chuàng)刊，更加顯示出機(jī)器學(xué)習(xí)突飛猛進(jìn)的發(fā)展趨勢(shì)。這一階段代表性的工作有莫斯托的指導(dǎo)式學(xué)習(xí)、萊納特的數(shù)學(xué)概念發(fā)現(xiàn)程序、蘭利的BACON程序及其改進(jìn)程序。5.1.1機(jī)器學(xué)習(xí)的發(fā)展第四階段起步于20世紀(jì)80年代中葉，機(jī)器學(xué)習(xí)的這個(gè)新階段具有如下特點(diǎn)：（1）機(jī)器學(xué)習(xí)成為新的邊緣學(xué)科，它綜合應(yīng)用了心理學(xué)、生物學(xué)、神經(jīng)生理學(xué)、數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)等形成了機(jī)器學(xué)習(xí)理論基礎(chǔ)。（2）融合各種學(xué)習(xí)方法，且形式多樣的集成學(xué)習(xí)系統(tǒng)研究正在興起（圖5-3）。特別是連接符號(hào)的學(xué)習(xí)耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問(wèn)題而受到重視。5.1.1機(jī)器學(xué)習(xí)的發(fā)展

圖5-3機(jī)器學(xué)習(xí)融合了各種學(xué)習(xí)方法5.1.1機(jī)器學(xué)習(xí)的發(fā)展（3）機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。例如學(xué)習(xí)與問(wèn)題求解結(jié)合進(jìn)行、知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)的組塊學(xué)習(xí)。類(lèi)比學(xué)習(xí)與問(wèn)題求解結(jié)合的基于案例方法已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。（4）各種學(xué)習(xí)方法應(yīng)用范圍不斷擴(kuò)大。歸納學(xué)習(xí)知識(shí)獲取工具在診斷專(zhuān)家系統(tǒng)中廣泛使用，連接學(xué)習(xí)在聲圖文識(shí)別中占優(yōu)勢(shì)，分析學(xué)習(xí)用于設(shè)計(jì)型專(zhuān)家系統(tǒng)，遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好應(yīng)用，與符號(hào)系統(tǒng)耦合的深度學(xué)習(xí)在智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。5.1.1機(jī)器學(xué)習(xí)的發(fā)展（5）與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國(guó)際上除每年舉行的機(jī)器學(xué)習(xí)研討會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議以及遺傳算法會(huì)議。5.1.1機(jī)器學(xué)習(xí)的發(fā)展機(jī)器學(xué)習(xí)在1997年達(dá)到巔峰，當(dāng)時(shí)，IBM深藍(lán)計(jì)算機(jī)在一場(chǎng)國(guó)際象棋比賽中擊敗了世界冠軍加里·卡斯帕羅夫。之后，谷歌開(kāi)發(fā)專(zhuān)注于圍棋游戲的AlphaGo（阿爾法狗），盡管?chē)灞徽J(rèn)為過(guò)于復(fù)雜，2016年AlphaGo終于獲得勝利，在一場(chǎng)五局比賽中擊敗世界冠軍李世石。圖5-4AlphaGo在圍棋賽中擊敗李世石5.1.1機(jī)器學(xué)習(xí)的發(fā)展學(xué)習(xí)是人類(lèi)具有的一種重要的智能行為，而機(jī)器學(xué)習(xí)是一門(mén)多學(xué)科交叉專(zhuān)業(yè)，涵蓋概率論知識(shí)，統(tǒng)計(jì)學(xué)知識(shí)，近似理論知識(shí)和復(fù)雜算法知識(shí)，使用計(jì)算機(jī)作為工具并致力于真實(shí)實(shí)時(shí)的模擬人類(lèi)學(xué)習(xí)方式，并將現(xiàn)有內(nèi)容進(jìn)行知識(shí)結(jié)構(gòu)劃分來(lái)有效提高學(xué)習(xí)效率。5.1.2機(jī)器學(xué)習(xí)的定義蘭利（1996）的定義是：“機(jī)器學(xué)習(xí)是一門(mén)人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。”湯姆·米切爾（1997）對(duì)信息論中的一些概念有詳細(xì)的解釋?zhuān)渲卸x機(jī)器學(xué)習(xí)時(shí)提到：“機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究?！卑柵炼。?004）對(duì)機(jī)器學(xué)習(xí)的定義：“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。”5.1.2機(jī)器學(xué)習(xí)的定義顧名思義，機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類(lèi)學(xué)習(xí)活動(dòng)的一門(mén)學(xué)科。較為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門(mén)研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。這里所說(shuō)的“機(jī)器”，指的就是計(jì)算機(jī)，電子計(jì)算機(jī)，中子計(jì)算機(jī)、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等。5.1.2機(jī)器學(xué)習(xí)的定義機(jī)器能否像人類(lèi)一樣具有學(xué)習(xí)能力？機(jī)器的能力是否能超過(guò)人的，很多持否定意見(jiàn)的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。這種意見(jiàn)對(duì)不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)的確是對(duì)的，可是對(duì)具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過(guò)一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平。5.1.2機(jī)器學(xué)習(xí)的定義由湯姆·米切爾給出的機(jī)器學(xué)習(xí)定義得到了廣泛引用，其內(nèi)容是：“計(jì)算機(jī)程序可以在給定某種類(lèi)別的任務(wù)T和性能度量P下學(xué)習(xí)經(jīng)驗(yàn)E，如果其在任務(wù)T中的性能恰好可以用P度量，則隨著經(jīng)驗(yàn)E而提高?！蔽覀冇煤?jiǎn)單的例子來(lái)分解這個(gè)描述。5.1.2機(jī)器學(xué)習(xí)的定義示例：臺(tái)風(fēng)預(yù)測(cè)系統(tǒng)。假設(shè)你要構(gòu)建一個(gè)臺(tái)風(fēng)預(yù)測(cè)系統(tǒng)，你手里有所有以前發(fā)生過(guò)的臺(tái)風(fēng)的數(shù)據(jù)和這次臺(tái)風(fēng)產(chǎn)生前三個(gè)月的天氣信息。如果要手動(dòng)構(gòu)建一個(gè)臺(tái)風(fēng)預(yù)測(cè)系統(tǒng)，我們應(yīng)該怎么做？圖5-5預(yù)測(cè)臺(tái)風(fēng)5.1.2機(jī)器學(xué)習(xí)的定義首先是清洗所有的數(shù)據(jù)，找到數(shù)據(jù)里面的模式進(jìn)而查找產(chǎn)生臺(tái)風(fēng)的條件。我們既可以將模型條件數(shù)據(jù)（例如氣溫高于40℃，濕度在80%~100%等）輸入到系統(tǒng)里面生成輸出，也可以讓系統(tǒng)自己通過(guò)這些條件數(shù)據(jù)產(chǎn)生合適的輸出?？梢园阉幸郧暗臄?shù)據(jù)輸入到系統(tǒng)里面來(lái)預(yù)測(cè)未來(lái)是否會(huì)有臺(tái)風(fēng)?；谙到y(tǒng)條件的取值，評(píng)估系統(tǒng)性能（正確預(yù)測(cè)臺(tái)風(fēng)的次數(shù)）。可以將系統(tǒng)預(yù)測(cè)結(jié)果作為反饋繼續(xù)多次迭代以上步驟。5.1.2機(jī)器學(xué)習(xí)的定義根據(jù)米切爾的解釋來(lái)定義這個(gè)預(yù)測(cè)系統(tǒng)：任務(wù)是確定可能產(chǎn)生臺(tái)風(fēng)的氣象條件。性能P是在系統(tǒng)所有給定的條件下有多少次正確預(yù)測(cè)臺(tái)風(fēng)，經(jīng)驗(yàn)E是系統(tǒng)的迭代次數(shù)。5.1.2機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)是人工智能中研究怎樣使用計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類(lèi)學(xué)習(xí)活動(dòng)的科學(xué)，其理論和方法已被廣泛應(yīng)用于解決工程應(yīng)用和科學(xué)領(lǐng)域的復(fù)雜問(wèn)題。自20世紀(jì)80年代以來(lái)，機(jī)器學(xué)習(xí)作為實(shí)現(xiàn)人工智能的途徑，在人工智能界引起了廣泛的興趣。歷經(jīng)數(shù)十年的曲折發(fā)展，機(jī)器學(xué)習(xí)以深度學(xué)習(xí)為代表，借鑒人腦的多分層結(jié)構(gòu)、神經(jīng)元的連接交互信息的逐層分析處理機(jī)制，自適應(yīng)、自學(xué)習(xí)的強(qiáng)大并行信息處理能力，在很多方面收獲了突破性進(jìn)展，其中最有代表性的是圖像識(shí)別領(lǐng)域。5.1.3機(jī)器學(xué)習(xí)的研究機(jī)器學(xué)習(xí)的研究主要分為兩個(gè)方向：第一個(gè)是傳統(tǒng)機(jī)器學(xué)習(xí)的研究，第二個(gè)是大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)的研究。5.1.3機(jī)器學(xué)習(xí)的研究1.傳統(tǒng)機(jī)器學(xué)習(xí)的研究傳統(tǒng)機(jī)器學(xué)習(xí)主要研究學(xué)習(xí)機(jī)制，注重探索模擬人的學(xué)習(xí)機(jī)制，研究?jī)?nèi)容包括決策樹(shù)、隨機(jī)森林、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯學(xué)習(xí)等方面。5.1.3機(jī)器學(xué)習(xí)的研究決策樹(shù)是機(jī)器學(xué)習(xí)常見(jiàn)的一種方法。20世紀(jì)末期，機(jī)器學(xué)習(xí)研究者羅斯·昆蘭將香農(nóng)的信息論引入到?jīng)Q策樹(shù)算法中，提出了ID3算法。1984年I.科諾年科、E.羅斯卡和I.布拉特科在ID3算法的基礎(chǔ)上提出了AS-SISTANT算法，這種算法允許類(lèi)別的取值之間有交集。同年，A.哈特提出Chi-Squa統(tǒng)計(jì)算法，采用一種基于屬性與類(lèi)別關(guān)聯(lián)程度的統(tǒng)計(jì)量。1984年L.布雷曼、C.通、R.奧爾申和J.弗雷德曼提出決策樹(shù)剪枝概念，極大地改善了決策樹(shù)的性能。5.1.3機(jī)器學(xué)習(xí)的研究1993年，昆蘭在ID3算法的基礎(chǔ)上提出一種改進(jìn)算法，即C4.5算法，克服了ID3算法屬性偏向問(wèn)題，增加了對(duì)連續(xù)屬性的處理通過(guò)剪枝，在一定程度上避免了“過(guò)度適合”現(xiàn)象。但是該算法將連續(xù)屬性離散化時(shí)，需要遍歷該屬性的所有值，降低了效率，并且要求訓(xùn)練樣本集駐留在內(nèi)存，不適合處理大規(guī)模數(shù)據(jù)集。5.1.3機(jī)器學(xué)習(xí)的研究2010年Xie提出一種CART算法，這是描述給定預(yù)測(cè)向量X條件分布變量Y的一個(gè)靈活方法。CART算法可以處理無(wú)序的數(shù)據(jù)，采用基尼系數(shù)作為測(cè)試屬性的選擇標(biāo)準(zhǔn)。CART算法生成的決策樹(shù)精確度較高，但當(dāng)其生成的決策樹(shù)復(fù)雜度超過(guò)一定程度后，隨著復(fù)雜度的提高，分類(lèi)精確度會(huì)降低。CART算法已經(jīng)在許多領(lǐng)域得到應(yīng)用。5.1.3機(jī)器學(xué)習(xí)的研究2007年房祥飛表述一種SLIQ（決策樹(shù)分類(lèi)）算法，這種算法的分類(lèi)精度與其他決策樹(shù)算法不相上下，但執(zhí)行速度比其他決策樹(shù)算法快，它對(duì)訓(xùn)練樣本集的樣本數(shù)量以及屬性的數(shù)量沒(méi)有限制。SLIQ算法能夠處理大規(guī)模的訓(xùn)練樣本集，具有較好的伸縮性；執(zhí)行速度快而且能生成較小的二叉決策樹(shù)。SLIQ算法允許多個(gè)處理器同時(shí)處理屬性表，從而實(shí)現(xiàn)了并行性。但SLIQ算法依然不能擺脫主存容量的限制。5.1.3機(jī)器學(xué)習(xí)的研究2000年拉吉夫·拉斯托等提出PUBLIC算法，對(duì)尚未完全生成的決策樹(shù)進(jìn)行剪枝，因而提高了效率。近幾年來(lái)，模糊決策樹(shù)也得到了蓬勃發(fā)展。研究者考慮到屬性間的相關(guān)性提出分層回歸算法、約束分層歸納算法和功能樹(shù)算法，這三種都是基于多分類(lèi)器組合的決策樹(shù)算法，對(duì)屬性間可能存在的相關(guān)性進(jìn)行了部分實(shí)驗(yàn)和研究，但是這些研究并沒(méi)有從總體上闡述屬性間的相關(guān)性是如何影響決策樹(shù)性能。此外，還有很多其他的算法，如Zhang.J于2014年提出的一種基于粗糙集的優(yōu)化算法、Wang.R在2015年提出的基于極端學(xué)習(xí)樹(shù)的算法模型等。5.1.3機(jī)器學(xué)習(xí)的研究隨機(jī)森林（RF）作為機(jī)器學(xué)習(xí)重要算法之一，是一種利用多個(gè)樹(shù)分類(lèi)器進(jìn)行分類(lèi)和預(yù)測(cè)的方法。隨機(jī)森林算法研究的發(fā)展十分迅速，已經(jīng)在生物信息學(xué)、生態(tài)學(xué)、醫(yī)學(xué)、遺傳學(xué)、遙感地理學(xué)等多領(lǐng)域開(kāi)展的應(yīng)用性研究。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，ANN）是一種具有非線性適應(yīng)性信息處理能力的算法，可克服傳統(tǒng)人工智能方法對(duì)于直覺(jué)，如模式、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，得到迅速發(fā)展。5.1.3機(jī)器學(xué)習(xí)的研究2.大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)的研究大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)主要是研究如何有效利用信息，注重從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識(shí)。大數(shù)據(jù)的價(jià)值體現(xiàn)主要集中在數(shù)據(jù)的轉(zhuǎn)向以及數(shù)據(jù)的信息處理能力。在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的今天，對(duì)數(shù)據(jù)的轉(zhuǎn)換、處理、存儲(chǔ)等帶來(lái)了更好的技術(shù)支持，產(chǎn)業(yè)升級(jí)和新產(chǎn)業(yè)誕生形成了一種推動(dòng)力量，讓大數(shù)據(jù)能夠針對(duì)可發(fā)現(xiàn)事物的程序進(jìn)行自動(dòng)規(guī)劃，實(shí)現(xiàn)人類(lèi)用戶與計(jì)算機(jī)信息之間的協(xié)調(diào)。5.1.3機(jī)器學(xué)習(xí)的研究大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)算法，依據(jù)一定的性能標(biāo)準(zhǔn)，對(duì)學(xué)習(xí)結(jié)果的重要程度可以予以忽視。采用分布式和并行計(jì)算的方式進(jìn)行分治策略的實(shí)施，規(guī)避噪音數(shù)據(jù)和冗余帶來(lái)的干擾，降低存儲(chǔ)耗費(fèi)，同時(shí)提高學(xué)習(xí)算法的運(yùn)行效率。隨著各行業(yè)對(duì)數(shù)據(jù)分析需求的持續(xù)增加，通過(guò)機(jī)器學(xué)習(xí)高效地獲取知識(shí)，已逐漸成為當(dāng)今機(jī)器學(xué)習(xí)技術(shù)發(fā)展的主要推動(dòng)力。大數(shù)據(jù)時(shí)代的機(jī)器學(xué)習(xí)更強(qiáng)調(diào)“學(xué)習(xí)本身是手段”，機(jī)器學(xué)習(xí)成為一種支持和服務(wù)技術(shù)。如何基于機(jī)器學(xué)習(xí)對(duì)復(fù)雜多樣的數(shù)據(jù)進(jìn)行深層次的分析，更高效地利用信息，成為當(dāng)前大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)研究的主要方向。5.1.3機(jī)器學(xué)習(xí)的研究所以，機(jī)器學(xué)習(xí)越來(lái)越朝著智能數(shù)據(jù)分析的方向發(fā)展，成為智能數(shù)據(jù)分析技術(shù)的一個(gè)重要源泉。另外，在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)產(chǎn)生速度的持續(xù)加快，數(shù)據(jù)的體量有了前所未有的增長(zhǎng)，需要分析的新的數(shù)據(jù)種類(lèi)也在不斷涌現(xiàn)，如文本的理解、文本情感的分析、圖像的檢索和理解、圖形和網(wǎng)絡(luò)數(shù)據(jù)的分析等。使得大數(shù)據(jù)機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等智能計(jì)算技術(shù)在大數(shù)據(jù)智能化分析處理應(yīng)用中具有極其重要的作用。5.1.3機(jī)器學(xué)習(xí)的研究PART02基于學(xué)習(xí)方式的分類(lèi)機(jī)器學(xué)習(xí)的核心是“使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后對(duì)世界上的某件事情做出決定或預(yù)測(cè)”。這意味著，與其顯式地編寫(xiě)程序來(lái)執(zhí)行某些任務(wù)，不如教計(jì)算機(jī)學(xué)會(huì)如何開(kāi)發(fā)一個(gè)算法來(lái)完成任務(wù)。機(jī)器學(xué)習(xí)有三種主要類(lèi)型，即監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

圖5-6機(jī)器學(xué)習(xí)的三種主要類(lèi)型5.2基于學(xué)習(xí)方式的分類(lèi)監(jiān)督學(xué)習(xí)，也稱有導(dǎo)師學(xué)習(xí)，是指輸入數(shù)據(jù)中有導(dǎo)師信號(hào)，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計(jì)算方法，學(xué)習(xí)結(jié)果為函數(shù)。監(jiān)督學(xué)習(xí)涉及一組標(biāo)記數(shù)據(jù)，計(jì)算機(jī)可以使用特定的模式來(lái)識(shí)別每種標(biāo)記類(lèi)型的新樣本，即在機(jī)器學(xué)習(xí)過(guò)程中提供對(duì)錯(cuò)指示，一般是在數(shù)據(jù)組中包含最終結(jié)果(0,1)。通過(guò)算法讓機(jī)器自我減少誤差。監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)接收到一個(gè)新的數(shù)據(jù)時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入和輸出，也可以說(shuō)是特征和目標(biāo)，目標(biāo)是由人標(biāo)注的。監(jiān)督學(xué)習(xí)的主要類(lèi)型是分類(lèi)和回歸。5.2.1監(jiān)督學(xué)習(xí)在分類(lèi)中，機(jī)器被訓(xùn)練成將一個(gè)組劃分為特定的類(lèi)，一個(gè)簡(jiǎn)單例子就是電子郵件中的垃圾郵件過(guò)濾器。過(guò)濾器分析你以前標(biāo)記為垃圾郵件的電子郵件，并將它們與新郵件進(jìn)行比較，如果它們有一定的百分比匹配，這些新郵件將被標(biāo)記為垃圾郵件并發(fā)送到適當(dāng)?shù)奈募A中。在回歸中，機(jī)器使用先前的（標(biāo)記的）數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)，天氣應(yīng)用是回歸的好例子。使用氣象事件的歷史數(shù)據(jù)（即平均氣溫、濕度和降水量），手機(jī)天氣預(yù)報(bào)APP可以查看當(dāng)前天氣，并對(duì)未來(lái)時(shí)間的天氣進(jìn)行預(yù)測(cè)。5.2.1監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)又稱無(wú)導(dǎo)師學(xué)習(xí)、歸納性學(xué)習(xí)，是指輸入數(shù)據(jù)中無(wú)導(dǎo)師信號(hào)，采用聚類(lèi)方法，學(xué)習(xí)結(jié)果為類(lèi)別。典型的無(wú)導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類(lèi)、競(jìng)爭(zhēng)學(xué)習(xí)等。無(wú)監(jiān)督學(xué)習(xí)通過(guò)循環(huán)和遞減運(yùn)算來(lái)減小誤差，達(dá)到分類(lèi)的目的。在無(wú)監(jiān)督學(xué)習(xí)中，數(shù)據(jù)是無(wú)標(biāo)簽的。由于大多數(shù)真實(shí)世界的數(shù)據(jù)都沒(méi)有標(biāo)簽，這樣的算法就特別有用。5.2.2無(wú)監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)分為聚類(lèi)和降維。聚類(lèi)用于根據(jù)屬性和行為對(duì)象進(jìn)行分組。這與分類(lèi)不同，因?yàn)檫@些組不是你提供的。聚類(lèi)的一個(gè)例子是將一個(gè)組劃分成不同的子組（例如，基于年齡和婚姻狀況），然后應(yīng)用到有針對(duì)性的營(yíng)銷(xiāo)方案中。降維通過(guò)找到共同點(diǎn)來(lái)減少數(shù)據(jù)集的變量。大多數(shù)大數(shù)據(jù)可視化使用降維來(lái)識(shí)別趨勢(shì)和規(guī)則。5.2.2無(wú)監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)也稱增強(qiáng)學(xué)習(xí)，是指以環(huán)境反饋（獎(jiǎng)/懲信號(hào)）作為輸入，以統(tǒng)計(jì)和動(dòng)態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。強(qiáng)化學(xué)習(xí)使用機(jī)器的歷史和經(jīng)驗(yàn)來(lái)做出決定，其經(jīng)典應(yīng)用是玩游戲。與監(jiān)督和非監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不涉及提供“正確的”答案或輸出。相反，它只關(guān)注性能，這反映了人類(lèi)是如何根據(jù)積極和消極的結(jié)果學(xué)習(xí)的。很快就學(xué)會(huì)了不要重復(fù)這一動(dòng)作。同樣的道理，一臺(tái)下棋的計(jì)算機(jī)可以學(xué)會(huì)不把它的國(guó)王移到對(duì)手的棋子可以進(jìn)入的空間。然后，國(guó)際象棋的這一基本教訓(xùn)就可以被擴(kuò)展和推斷出來(lái)，直到機(jī)器能夠打（并最終擊?。┤祟?lèi)頂級(jí)玩家為止。5.2.3強(qiáng)化學(xué)習(xí)機(jī)器學(xué)習(xí)使用特定的算法和編程方法來(lái)實(shí)現(xiàn)人工智能。有了機(jī)器學(xué)習(xí)，我們可以將代碼量縮小到以前的一小部分。作為機(jī)器學(xué)習(xí)的子集，深度學(xué)習(xí)專(zhuān)注于模仿人類(lèi)大腦的生物學(xué)和過(guò)程。5.2.3強(qiáng)化學(xué)習(xí)幾十年來(lái)，研究發(fā)表的機(jī)器學(xué)習(xí)方法種類(lèi)很多，根據(jù)強(qiáng)調(diào)側(cè)面的不同可以有多種分類(lèi)方法。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)1.基于學(xué)習(xí)策略的分類(lèi)（1）模擬人腦的機(jī)器學(xué)習(xí)。符號(hào)學(xué)習(xí)：模擬人腦的宏現(xiàn)心理級(jí)學(xué)習(xí)過(guò)程，以認(rèn)知心理學(xué)原理為基礎(chǔ)，以符號(hào)數(shù)據(jù)為輸入，以符號(hào)運(yùn)算為方法，用推理過(guò)程在圖或狀態(tài)空間中搜索，學(xué)習(xí)的目標(biāo)為概念或規(guī)則等。符號(hào)學(xué)習(xí)的典型方法有記憶學(xué)習(xí)、示例學(xué)習(xí)、演繹學(xué)習(xí).類(lèi)比學(xué)習(xí)、解釋學(xué)習(xí)等。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（或連接學(xué)習(xí)）：模擬人腦的微觀生理級(jí)學(xué)習(xí)過(guò)程，以腦和神經(jīng)科學(xué)原理為基礎(chǔ)，以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型，以數(shù)值數(shù)據(jù)為輸入，以數(shù)值運(yùn)算為方法，用迭代過(guò)程在系數(shù)向量空間中搜索，學(xué)習(xí)的目標(biāo)為函數(shù)。典型的連接學(xué)習(xí)有權(quán)值修正學(xué)習(xí)、拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)（2）直接采用數(shù)學(xué)方法的機(jī)器學(xué)習(xí)。主要有統(tǒng)計(jì)機(jī)器學(xué)習(xí)。統(tǒng)計(jì)機(jī)器學(xué)習(xí)是基于對(duì)數(shù)據(jù)的初步認(rèn)識(shí)以及學(xué)習(xí)目的的分析，選擇合適的數(shù)學(xué)模型，擬定超參數(shù)，并輸入樣本數(shù)據(jù)，依據(jù)一定的策略，運(yùn)用合適的學(xué)習(xí)算法對(duì)模型進(jìn)行訓(xùn)練，最后運(yùn)用訓(xùn)練好的模型對(duì)數(shù)據(jù)進(jìn)行分析預(yù)測(cè)。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)統(tǒng)計(jì)機(jī)器學(xué)習(xí)三個(gè)要素：（1）模型：在未進(jìn)行訓(xùn)練前，其可能的參數(shù)是多個(gè)甚至無(wú)窮的，故可能的模型也是多個(gè)甚至無(wú)窮的，這些模型構(gòu)成的集合就是假設(shè)空間。（2）策略：即從假設(shè)空間中挑選出參數(shù)最優(yōu)的模型的準(zhǔn)則。模型的分類(lèi)或預(yù)測(cè)結(jié)果與實(shí)際情況的誤差（損失函數(shù)）越小，模型就越好。那么策略就是誤差最小。（3）算法：即從假設(shè)空間中挑選模型的方法（等同于求解最佳的模型參數(shù)）。機(jī)器學(xué)習(xí)的參數(shù)求解通常都會(huì)轉(zhuǎn)化為最優(yōu)化問(wèn)題，故學(xué)習(xí)算法通常是最優(yōu)化算法，例如最速梯度下降法、牛頓法以及擬牛頓法等。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)2.基于學(xué)習(xí)方法的分類(lèi)（1）歸納學(xué)習(xí)。符號(hào)歸納學(xué)習(xí)：典型的有示例學(xué)習(xí)、決策樹(shù)學(xué)習(xí)。函數(shù)歸納學(xué)習(xí)（發(fā)現(xiàn)學(xué)習(xí)）：典型的有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)。（2）演繹學(xué)習(xí)。（3）類(lèi)比學(xué)習(xí)：典型的有案例（范例）學(xué)習(xí)。（4）分析學(xué)習(xí)：典型的有解釋學(xué)習(xí)、宏操作學(xué)習(xí)。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)3.基于數(shù)據(jù)形式的分類(lèi)（1）結(jié)構(gòu)化學(xué)習(xí)：以結(jié)構(gòu)化數(shù)據(jù)為輸入，以數(shù)值計(jì)算或符號(hào)推演為方法。典型的有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、決策樹(shù)學(xué)習(xí)、規(guī)則學(xué)習(xí)。（2）非結(jié)構(gòu)化學(xué)習(xí)：以非結(jié)構(gòu)化數(shù)據(jù)為輸入，典型的有類(lèi)比學(xué)習(xí)、案例學(xué)習(xí)、解釋學(xué)習(xí)、文本挖掘、圖像挖掘、Web挖掘等。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)4.基于學(xué)習(xí)目標(biāo)的分類(lèi)（1）概念學(xué)習(xí)：學(xué)習(xí)目標(biāo)和結(jié)果為概念，或者說(shuō)是獲得概念的學(xué)習(xí)。典型的有示例學(xué)習(xí)。（2）規(guī)則學(xué)習(xí)：學(xué)習(xí)目標(biāo)和結(jié)果為規(guī)則，或者說(shuō)是獲得規(guī)則的學(xué)習(xí)。典型的有決策樹(shù)學(xué)習(xí)。（3）函數(shù)學(xué)習(xí)：學(xué)習(xí)的目標(biāo)和結(jié)果為函數(shù)，或者說(shuō)是獲得函數(shù)的學(xué)習(xí)。典型的有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)（4）類(lèi)別學(xué)習(xí)：學(xué)習(xí)目標(biāo)和結(jié)果為對(duì)象類(lèi)，或者說(shuō)是獲得類(lèi)別的學(xué)習(xí)。典型的有聚類(lèi)分析。（5）貝葉斯網(wǎng)絡(luò)學(xué)習(xí)：學(xué)習(xí)目標(biāo)和結(jié)果是貝葉斯網(wǎng)絡(luò)，或者說(shuō)是獲得貝葉斯網(wǎng)絡(luò)的一種學(xué)習(xí)。其又可分為結(jié)構(gòu)學(xué)習(xí)和多數(shù)學(xué)習(xí)。5.2.4機(jī)器學(xué)習(xí)的其他分類(lèi)PART03機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)機(jī)器學(xué)習(xí)的基本流程是：數(shù)據(jù)預(yù)處理—>模型學(xué)習(xí)—>模型評(píng)估—>新樣本預(yù)測(cè)。機(jī)器學(xué)習(xí)與人腦思考過(guò)程的對(duì)比如右圖所示。5.3機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)在學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)中，環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部分利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中，環(huán)境、知識(shí)庫(kù)和執(zhí)行部分決定了工作內(nèi)容，確定了學(xué)習(xí)部分所需要解決的問(wèn)題。5.3機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)（1）環(huán)境。向系統(tǒng)提供信息，更具體地說(shuō)，信息的質(zhì)量是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素。知識(shí)庫(kù)里存放的是指導(dǎo)執(zhí)行部分動(dòng)作的一般原則，但環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息卻是各種各樣的。如果信息的質(zhì)量比較高，與一般原則的差別比較小，則學(xué)習(xí)部分比較容易處理。如果向?qū)W習(xí)系統(tǒng)提供的是雜亂無(wú)章的指導(dǎo)執(zhí)行具體動(dòng)作的具體信息，則學(xué)習(xí)系統(tǒng)需要在獲得足夠數(shù)據(jù)之后，刪除不必要的細(xì)節(jié)，進(jìn)行總結(jié)推廣，形成指導(dǎo)動(dòng)作的一般原則，放入知識(shí)庫(kù)，這樣學(xué)習(xí)部分的任務(wù)就比較繁重，設(shè)計(jì)起來(lái)也較為困難。5.3機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)因?yàn)閷W(xué)習(xí)系統(tǒng)獲得的信息往往是不完全的，所以學(xué)習(xí)系統(tǒng)所進(jìn)行的推理并不完全是可靠的，它總結(jié)出來(lái)的規(guī)則可能正確，也可能不正確，這要通過(guò)執(zhí)行效果加以檢驗(yàn)。正確的規(guī)則能使系統(tǒng)的效能提高，應(yīng)予保留；不正確的規(guī)則應(yīng)予修改或從數(shù)據(jù)庫(kù)中刪除。5.3機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)（2）知識(shí)庫(kù)。這是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有多種形式，比如特征向量、一階邏輯語(yǔ)句、產(chǎn)生式規(guī)則、語(yǔ)義網(wǎng)絡(luò)和框架等等。這些表示方式各有其特點(diǎn)，在選擇表示方式時(shí)要兼顧以下4個(gè)方面：·表達(dá)能力強(qiáng)?！ひ子谕评?。·容易修改知識(shí)庫(kù)?！ぶR(shí)表示易于擴(kuò)展。5.3機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)學(xué)習(xí)系統(tǒng)不能在沒(méi)有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng)都要求具有某些知識(shí)理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這些假設(shè)。因此，更確切地說(shuō)，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。（3）執(zhí)行部分。是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問(wèn)題有3個(gè)：復(fù)雜性、反饋和透明性。5.3機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)PART04機(jī)器學(xué)習(xí)算法學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動(dòng)，學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。要完全理解大多數(shù)機(jī)器學(xué)習(xí)算法，需要對(duì)一些關(guān)鍵的數(shù)學(xué)概念有一個(gè)基本的理解，這些概念包括線性代數(shù)、微積分、概率和統(tǒng)計(jì)知識(shí)。圖5-8機(jī)器學(xué)習(xí)所需的數(shù)學(xué)主題的重要性5.4機(jī)器學(xué)習(xí)算法·線性代數(shù)概念包括：矩陣運(yùn)算、特征值/特征向量、向量空間和范數(shù)?！の⒎e分概念包括：偏導(dǎo)數(shù)、向量-值函數(shù)、方向梯度?！そy(tǒng)計(jì)概念包括：貝葉斯定理、組合學(xué)、抽樣方法。5.4機(jī)器學(xué)習(xí)算法機(jī)器學(xué)習(xí)專(zhuān)注于讓人工智能具備學(xué)習(xí)任務(wù)的能力，使人工智能能夠使用數(shù)據(jù)來(lái)教自己。程序員是通過(guò)機(jī)器學(xué)習(xí)算法來(lái)實(shí)現(xiàn)這一目標(biāo)的。這些算法是人工智能學(xué)習(xí)行為所基于的模型。算法與訓(xùn)練數(shù)據(jù)集一起使人工智能能夠?qū)W習(xí)。例如，學(xué)習(xí)如何識(shí)別貓與狗的照片。人工智能將算法設(shè)置的模型應(yīng)用于包含貓和狗圖像的數(shù)據(jù)集。隨著時(shí)間的推移，人工智能將學(xué)習(xí)如何更準(zhǔn)確，更輕松地識(shí)別狗與貓而無(wú)需人工輸入。5.4.1專(zhuān)注于學(xué)習(xí)能力1.算法的特征與要素算法能夠?qū)σ欢ㄒ?guī)范的輸入，在有限時(shí)間內(nèi)獲得所要求的輸出。如果一個(gè)算法有缺陷，或者不適合于某個(gè)問(wèn)題，執(zhí)行這個(gè)算法就不會(huì)解決這個(gè)問(wèn)題。不同的算法可能用不同的時(shí)間、空間或效率來(lái)完成同樣的任務(wù)。5.4.1專(zhuān)注于學(xué)習(xí)能力一個(gè)算法應(yīng)該具有以下五個(gè)重要特征：（1）有窮性。是指算法必須能在執(zhí)行有限個(gè)步驟之后終止。（2）確切性。算法的每一步驟必須有確切的定義。（3）輸入項(xiàng)。一個(gè)算法有0個(gè)或多個(gè)輸入，以刻畫(huà)運(yùn)算對(duì)象的初始情況，所謂0個(gè)輸入是指算法本身給出了初始條件。（4）輸出項(xiàng)。一個(gè)算法有一個(gè)或多個(gè)輸出，以反映對(duì)輸入數(shù)據(jù)加工后的結(jié)果。沒(méi)有輸出的算法是毫無(wú)意義的。（5）可行性。算法中執(zhí)行的任何計(jì)算步驟都可以被分解為基本的可執(zhí)行的操作步，即每個(gè)計(jì)算步都可以在有限時(shí)間內(nèi)完成（也稱為有效性）。5.4.1專(zhuān)注于學(xué)習(xí)能力算法的要素主要是：（1）數(shù)據(jù)對(duì)象的運(yùn)算和操作：計(jì)算機(jī)可以執(zhí)行的基本操作是以指令的形式描述的。一個(gè)計(jì)算機(jī)系統(tǒng)能執(zhí)行的所有指令的集合，成為該計(jì)算機(jī)系統(tǒng)的指令系統(tǒng)。一個(gè)計(jì)算機(jī)的基本運(yùn)算和操作有如下四類(lèi)：①算術(shù)運(yùn)算：加、減、乘、除運(yùn)算。②邏輯運(yùn)算：或、且、非運(yùn)算。③關(guān)系運(yùn)算：大于、小于、等于、不等于運(yùn)算。④數(shù)據(jù)傳輸：輸入、輸出、賦值運(yùn)算。5.4.1專(zhuān)注于學(xué)習(xí)能力（2）算法的控制結(jié)構(gòu)：一個(gè)算法的功能結(jié)構(gòu)不僅取決于所選用的操作，而且還與各操作之間的執(zhí)行順序有關(guān)。5.4.1專(zhuān)注于學(xué)習(xí)能力2.算法的評(píng)定同一問(wèn)題可用不同算法解決，而算法的質(zhì)量?jī)?yōu)劣將影響到算法乃至程序的效率。算法分析的目的在于選擇合適算法和改進(jìn)算法。算法評(píng)價(jià)主要從時(shí)間復(fù)雜度和空間復(fù)雜度來(lái)考慮：（1）時(shí)間復(fù)雜度。是指執(zhí)行算法所需要的計(jì)算工作量。一般來(lái)說(shuō)，計(jì)算機(jī)算法是問(wèn)題規(guī)模的正相關(guān)函數(shù)。5.4.1專(zhuān)注于學(xué)習(xí)能力（2）空間復(fù)雜度。是指算法需要消耗的內(nèi)存空間。其計(jì)算和表示方法與時(shí)間復(fù)雜度類(lèi)似，一般都用復(fù)雜度的漸近性來(lái)表示。同時(shí)間復(fù)雜度相比，空間復(fù)雜度的分析要簡(jiǎn)單得多。（3）正確性。是評(píng)價(jià)一個(gè)算法優(yōu)劣的最重要的標(biāo)準(zhǔn)。（4）可讀性。是指一個(gè)算法可供人們閱讀的容易程度。（5）健壯性。是指一個(gè)算法對(duì)不合理數(shù)據(jù)輸入的反應(yīng)能力和處理能力，也稱為容錯(cuò)性。5.4.1專(zhuān)注于學(xué)習(xí)能力回歸分析是一種建模和分析數(shù)據(jù)的預(yù)測(cè)性的建模技重要工具術(shù)，它研究的是因變量（目標(biāo)）和自變量（預(yù)測(cè)器）之間的關(guān)系，通常用于預(yù)測(cè)分析、時(shí)間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系，我們使用曲線/線來(lái)擬合這些數(shù)據(jù)點(diǎn)，在這種方式下，從曲線或線到數(shù)據(jù)點(diǎn)的距離差異最小。

圖5-9回歸分析的曲線擬合5.4.2回歸算法例如，司機(jī)的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系，最好的研究方法就是回歸?；貧w分析是建模和分析數(shù)據(jù)的重要工具?；貧w分析主要有線性回歸、邏輯回歸、多項(xiàng)式回歸、逐步回歸、嶺回歸、套索回歸、彈性網(wǎng)絡(luò)回歸等七種最常用的回歸技術(shù)。比如說(shuō)，在當(dāng)前的經(jīng)濟(jì)條件下，我們要估計(jì)一家公司的銷(xiāo)售額增長(zhǎng)情況?，F(xiàn)在，你有公司最新的數(shù)據(jù)，這些數(shù)據(jù)顯示出銷(xiāo)售額增長(zhǎng)大約是經(jīng)濟(jì)增長(zhǎng)的2.5倍。那么使用回歸分析，我們就可以根據(jù)當(dāng)前和過(guò)去的信息來(lái)預(yù)測(cè)未來(lái)公司的銷(xiāo)售情況。5.4.2回歸算法使用回歸分析的好處良多。具體如下：（1）它表明自變量和因變量之間的顯著關(guān)系；（2）它表明多個(gè)自變量對(duì)一個(gè)因變量的影響強(qiáng)度?；貧w分析也允許我們?nèi)ケ容^那些衡量不同尺度的變量之間的相互影響，如價(jià)格變動(dòng)與促銷(xiāo)活動(dòng)數(shù)量之間聯(lián)系。這些有利于幫助市場(chǎng)研究人員，數(shù)據(jù)分析人員以及數(shù)據(jù)科學(xué)家排除并估計(jì)出一組最佳的變量，用來(lái)構(gòu)建預(yù)測(cè)模型。5.4.2回歸算法K-近鄰算法（K-NearestNeighbor,KNN）算法是最著名的基于實(shí)例的算法，是機(jī)器學(xué)習(xí)中最基礎(chǔ)和簡(jiǎn)單的算法之一，它既能用于分類(lèi)，也能用于回歸。KNN算法有一個(gè)十分特別的地方：沒(méi)有一個(gè)顯示的學(xué)習(xí)過(guò)程，工作原理是利用訓(xùn)練數(shù)據(jù)對(duì)特征向量空間進(jìn)行劃分，并將其劃分的結(jié)果作為其最終的算法模型。即基于實(shí)例的分析使用提供數(shù)據(jù)的特定實(shí)例來(lái)預(yù)測(cè)結(jié)果。KNN用于分類(lèi)，比較數(shù)據(jù)點(diǎn)的距離，并將每個(gè)點(diǎn)分配給它最接近的組。5.4.3K-近鄰算法決策樹(shù)算法將一組“弱”學(xué)習(xí)器集合在一起，形成一種強(qiáng)算法，這些學(xué)習(xí)器組織在樹(shù)狀結(jié)構(gòu)中相互分支，將輸入空間分成不同的區(qū)域，每個(gè)區(qū)域有獨(dú)立參數(shù)的算法。決策樹(shù)算法充分利用了樹(shù)形模型，根節(jié)點(diǎn)到一個(gè)葉子節(jié)點(diǎn)是一條分類(lèi)的路徑規(guī)則，每個(gè)葉子節(jié)點(diǎn)象征一個(gè)判斷類(lèi)別。先將樣本分成不同的子集，再進(jìn)行分割遞推，直至每個(gè)子集得到同類(lèi)型的樣本，從根節(jié)點(diǎn)開(kāi)始測(cè)試，到子樹(shù)再到葉子節(jié)點(diǎn)，即可得出預(yù)測(cè)類(lèi)別。此方法的特點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、處理數(shù)據(jù)效率較高。5.4.4決策樹(shù)算法在圖5-10所示的例子中，我們可以發(fā)現(xiàn)許多共同的特征（就像眼睛是藍(lán)的或者不是藍(lán)色的），它們都不足以單獨(dú)識(shí)別動(dòng)物。然而，當(dāng)我們把所有這些觀察結(jié)合在一起時(shí)，我們就能形成一個(gè)更完整的畫(huà)面，并做出更準(zhǔn)確的預(yù)測(cè)。

圖5-10決策樹(shù)算法5.4.4決策樹(shù)算法一種流行的決策樹(shù)算法是隨機(jī)森林算法。在該算法中，弱學(xué)習(xí)器是隨機(jī)選擇的，通過(guò)學(xué)習(xí)往往可以獲得一個(gè)強(qiáng)預(yù)測(cè)器。控制數(shù)據(jù)樹(shù)生成的方式有多種，根據(jù)前人的經(jīng)驗(yàn)，大多數(shù)時(shí)候更傾向選擇分裂屬性和剪枝，但這并不能解決所有問(wèn)題，偶爾會(huì)遇到噪聲或分裂屬性過(guò)多的問(wèn)題?；谶@種情況，總結(jié)每次的結(jié)果可以得到數(shù)據(jù)的估計(jì)誤差，將它和測(cè)試樣本的估計(jì)誤差相結(jié)合可以評(píng)估組合樹(shù)學(xué)習(xí)器的擬合及預(yù)測(cè)精度。此方法的優(yōu)點(diǎn)有很多，可以產(chǎn)生高精度的分類(lèi)器，并能夠處理大量的變數(shù)，也可以平衡分類(lèi)資料集之間的誤差。5.4.4決策樹(shù)算法樸素貝葉斯經(jīng)常用于文本分析算法，是一種由一系列算法組成的分類(lèi)算法，各種算法有一個(gè)共同的原則，即被分類(lèi)的每個(gè)特征都與任何其他特征的值無(wú)關(guān)，這些“特征”中的每一個(gè)都獨(dú)立地貢獻(xiàn)概率，而不管特征之間的任何相關(guān)性。然而，特征并不總是獨(dú)立的，這通常被視為樸素貝葉斯算法的缺點(diǎn)。簡(jiǎn)而言之，樸素貝葉斯算法允許使用概率給出一組特征來(lái)預(yù)測(cè)一個(gè)類(lèi)。與其他常見(jiàn)的分類(lèi)方法相比，樸素貝葉斯算法需要的訓(xùn)練很少。5.4.5貝葉斯算法在進(jìn)行預(yù)測(cè)之前必須完成的唯一工作是找到特征的個(gè)體概率分布的參數(shù)，這通?？梢钥焖偾掖_定地完成。這意味著即使對(duì)于高維數(shù)據(jù)點(diǎn)或大量數(shù)據(jù)點(diǎn)，樸素貝葉斯分類(lèi)器也可以表現(xiàn)良好。例如，大多數(shù)垃圾郵件過(guò)濾器使用貝葉斯算法，它們使用用戶輸入的類(lèi)標(biāo)記數(shù)據(jù)來(lái)比較新數(shù)據(jù)并對(duì)其進(jìn)行適當(dāng)分類(lèi)。5.4.5貝葉斯算法聚類(lèi)算法的重點(diǎn)是發(fā)現(xiàn)元素之間的共性并對(duì)它們進(jìn)行相應(yīng)的分組，常用的聚類(lèi)算法是k均值聚類(lèi)算法。在k均值中，分析人員選擇簇?cái)?shù)（以變量k表示），并根據(jù)物理距離將元素分組為適當(dāng)?shù)木垲?lèi)。5.4.6聚類(lèi)算法支持向量機(jī)是統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域中一個(gè)代表性算法，但它與傳統(tǒng)方式的思維方法很不同，輸入空間、提高維度從而將問(wèn)題簡(jiǎn)短化，使問(wèn)題歸結(jié)為線性可分的經(jīng)典解問(wèn)題?；舅枷胧牵菏紫龋靡环N變換將空間高維化，當(dāng)然這種變換是非線性的，然后，在新的復(fù)雜空間取最優(yōu)線性分類(lèi)表面。由此種方式獲得的分類(lèi)函數(shù)在形式上類(lèi)似于神經(jīng)網(wǎng)絡(luò)算法。支持向量機(jī)應(yīng)用于垃圾郵件識(shí)別，人臉識(shí)別等多種分類(lèi)問(wèn)題。5.4.7支持向量機(jī)算法人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)元組成的異常復(fù)雜的網(wǎng)絡(luò)大體相似，是個(gè)體單元互相連接而成，每個(gè)單元有數(shù)值量的輸入和輸出，形式可以為實(shí)數(shù)或線性組合函數(shù)。它先要以一種學(xué)習(xí)準(zhǔn)則去學(xué)習(xí)，然后才能進(jìn)行工作。當(dāng)網(wǎng)絡(luò)判斷錯(cuò)誤時(shí)，通過(guò)學(xué)習(xí)使其減少犯同樣錯(cuò)誤的可能性。此方法有很強(qiáng)的泛化能力和非線性映射能力，可以對(duì)信息量少的系統(tǒng)進(jìn)行模型處理。從功能模擬角度看具有并行性，且傳遞信息速度極快。圖5-11神經(jīng)網(wǎng)絡(luò)算法5.4.8神經(jīng)網(wǎng)絡(luò)算法深度學(xué)習(xí)采用神經(jīng)網(wǎng)絡(luò)模型并對(duì)其進(jìn)行更新。它們是大、且極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)，使用少量的標(biāo)記數(shù)據(jù)和更多的未標(biāo)記數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)有許多輸入，它們經(jīng)過(guò)幾個(gè)隱藏層后才產(chǎn)生一個(gè)或多個(gè)輸出。這些連接形成一個(gè)特定的循環(huán)，模仿人腦處理信息和建立邏輯連接的方式。此外，隨著算法的運(yùn)行，隱藏層往往變得更小、更細(xì)微。一旦選定了算法，還有一個(gè)非常重要的步驟，就是可視化和交流結(jié)果。雖然與算法編程的細(xì)節(jié)相比，這看起來(lái)比較簡(jiǎn)單，但是，如果沒(méi)有人能夠理解，那么驚人的洞察力又有什么用呢？5.4.8神經(jīng)網(wǎng)絡(luò)算法梯度增強(qiáng)（Boosting）算法是一種通用的增強(qiáng)基礎(chǔ)算法性能的回歸分析算法。不需構(gòu)造一個(gè)高精度的回歸分析，只需一個(gè)粗糙的基礎(chǔ)算法即可，再反復(fù)調(diào)整基礎(chǔ)算法就可以得到較好的組合回歸模型。它可以將弱學(xué)習(xí)算法提高為強(qiáng)學(xué)習(xí)算法，可以應(yīng)用到其它基礎(chǔ)回歸算法，如線性回歸、神經(jīng)網(wǎng)絡(luò)等，來(lái)提高精度。Bagging（裝袋）和前一種算法大體相似但又略有差別，主要想法是給出已知的弱學(xué)習(xí)算法和訓(xùn)練集，它需要經(jīng)過(guò)多輪計(jì)算，才可以得到預(yù)測(cè)函數(shù)列，最后采用投票方式對(duì)示例進(jìn)行判別。5.4.9梯度增強(qiáng)算法關(guān)聯(lián)規(guī)則是用規(guī)則去描述兩個(gè)變量或多個(gè)變量之間的關(guān)系，是客觀反映數(shù)據(jù)本身性質(zhì)的方法。它是機(jī)器學(xué)習(xí)的一大類(lèi)任務(wù)，可分為兩個(gè)階段，先從資料集中找到高頻項(xiàng)目組，再去研究它們的關(guān)聯(lián)規(guī)則。其得到的分析結(jié)果即是對(duì)變量間規(guī)律的總結(jié)。5.4.10關(guān)聯(lián)規(guī)則算法在進(jìn)行機(jī)器學(xué)習(xí)的過(guò)程中需要用到極大似然估計(jì)等參數(shù)估計(jì)方法，在有潛在變量的情況下，通常選擇EM（Expectation-Maximum，期望最大化）算法，不直接對(duì)函數(shù)對(duì)象進(jìn)行極大估計(jì)，而是添加一些數(shù)據(jù)進(jìn)行簡(jiǎn)化計(jì)算，再進(jìn)行極大化模擬。它是對(duì)本身受限制或比較難直接處理的數(shù)據(jù)的極大似然估計(jì)算法。5.4.11EM（期望最大化）算法EM算法是最常見(jiàn)的隱變量估計(jì)方法，在機(jī)器學(xué)習(xí)中有極為廣泛的用途。EM算法是一種迭代優(yōu)化策略，它的計(jì)算方法中每一次迭代都分兩步，一個(gè)為期望步（E步），另一個(gè)為極大步（M步）。EM算法最初是為了解決數(shù)據(jù)缺失情況下的參數(shù)估計(jì)問(wèn)題，其基本思想是：首先根據(jù)己經(jīng)給出的觀測(cè)數(shù)據(jù)估計(jì)出模型參數(shù)值；然后依據(jù)上一步的參數(shù)值估計(jì)缺失數(shù)據(jù)值，再將缺失數(shù)據(jù)加上之前觀測(cè)到的數(shù)據(jù)重新再對(duì)參數(shù)值進(jìn)行估計(jì)，反復(fù)迭代，直至最后收斂，迭代結(jié)束。5.4.11EM（期望最大化）算法PART05機(jī)器學(xué)習(xí)的應(yīng)用機(jī)械學(xué)習(xí)的主要目的是為了從使用者和輸入數(shù)據(jù)等處獲得知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。從而可以減少錯(cuò)誤，幫助解決更多問(wèn)題，提高解決問(wèn)題的效率。例如，機(jī)器翻譯中最重要的過(guò)程是學(xué)習(xí)人類(lèi)怎樣翻譯語(yǔ)言，程序通過(guò)閱讀大量翻譯內(nèi)容來(lái)實(shí)現(xiàn)對(duì)語(yǔ)言的理解。5.5機(jī)器學(xué)習(xí)的應(yīng)用以漢語(yǔ)VS日語(yǔ)來(lái)舉例，機(jī)器學(xué)習(xí)的原理很簡(jiǎn)單，當(dāng)一個(gè)相同的詞語(yǔ)在幾個(gè)句子中出現(xiàn)時(shí)，只要通過(guò)對(duì)比日語(yǔ)版本翻譯中同樣在每個(gè)句子中都出現(xiàn)的短語(yǔ)便可知道它的日語(yǔ)翻譯是什么，按照這種方式不難推測(cè)：

（1）“產(chǎn)品經(jīng)理”一詞的日語(yǔ)可翻譯為“マネージャー”；（2）“經(jīng)理”則一般翻譯為“社長(zhǎng)”。圖5-12漢語(yǔ)VS日語(yǔ)5.5機(jī)器學(xué)習(xí)的應(yīng)用機(jī)器學(xué)習(xí)在識(shí)別詞匯時(shí)可以不追求完全匹配，只要匹配達(dá)到一定比例便可認(rèn)為這是一種可能的翻譯方式。機(jī)器學(xué)習(xí)應(yīng)用廣泛，無(wú)論是在軍事領(lǐng)域還是民用領(lǐng)域，都有機(jī)器學(xué)習(xí)算法施展的機(jī)會(huì)，主要包括以下幾個(gè)方面。5.5機(jī)器學(xué)習(xí)的應(yīng)用“數(shù)據(jù)挖掘”和“數(shù)據(jù)分析”通常被相提并論，并在許多場(chǎng)合被認(rèn)為是可以相互替代的術(shù)語(yǔ)。無(wú)論是數(shù)據(jù)分析還是數(shù)據(jù)挖掘，都是“識(shí)別出巨量數(shù)據(jù)中有效的、新穎的、潛在有用的、最終可理解的、模式的非平凡過(guò)程”，幫助人們收集、分析數(shù)據(jù)，使之成為信息并做出判斷，因此，可以將這兩項(xiàng)合稱為數(shù)據(jù)分析與挖掘。數(shù)據(jù)分析與挖掘技術(shù)是機(jī)器學(xué)習(xí)算法和數(shù)據(jù)存取技術(shù)的結(jié)合，利用機(jī)器學(xué)習(xí)提供的統(tǒng)計(jì)分析、知識(shí)發(fā)現(xiàn)等手段分析海量數(shù)據(jù)，同時(shí)利用數(shù)據(jù)存取機(jī)制實(shí)現(xiàn)數(shù)據(jù)的高效讀寫(xiě)。機(jī)器學(xué)習(xí)在數(shù)據(jù)分析與挖掘領(lǐng)域中擁有無(wú)可取代的地位。5.5.1數(shù)據(jù)分析與挖掘模式識(shí)別起源于工程領(lǐng)域，而機(jī)器學(xué)習(xí)起源于計(jì)算機(jī)科學(xué)，這兩個(gè)不同學(xué)科的結(jié)合帶來(lái)了模式識(shí)別領(lǐng)域的調(diào)整和發(fā)展。模式識(shí)別研究主要集中在兩個(gè)方面。（1）研究生物體（包括人）是如何感知對(duì)象的，屬于認(rèn)識(shí)科學(xué)的范疇。（2）在給定的任務(wù)下，如何用計(jì)算機(jī)實(shí)現(xiàn)模式識(shí)別的理論和方法，這些是機(jī)器學(xué)習(xí)的長(zhǎng)項(xiàng)，也是機(jī)器學(xué)習(xí)研究的內(nèi)容之一。5.5.2模式識(shí)別模式識(shí)別的應(yīng)用領(lǐng)域廣泛，包括計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像分析、光學(xué)文字識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別、手寫(xiě)識(shí)別、生物特征識(shí)別、文件分類(lèi)、搜索引擎等，而這些領(lǐng)域也正是機(jī)器學(xué)習(xí)大展身手的舞臺(tái)，因此模式識(shí)別與機(jī)器學(xué)習(xí)的關(guān)系越來(lái)越密切。5.5.2模式識(shí)別隨著基因組和其他測(cè)序項(xiàng)目的不斷發(fā)展，生物信息學(xué)研究的重點(diǎn)正逐步從積累數(shù)據(jù)轉(zhuǎn)移到如何解釋這些數(shù)據(jù)。在未來(lái)，生物學(xué)的新發(fā)現(xiàn)將極大地依賴于我們?cè)诙鄠€(gè)維度和不同尺度下對(duì)多樣化的數(shù)據(jù)進(jìn)行組合和關(guān)聯(lián)的分析能力，而不再僅僅依賴于對(duì)傳統(tǒng)領(lǐng)域的繼續(xù)關(guān)注。序列數(shù)據(jù)將與結(jié)構(gòu)和功能數(shù)據(jù)基因表達(dá)數(shù)據(jù)、生化反應(yīng)通路數(shù)據(jù)表現(xiàn)型和臨床數(shù)據(jù)等一系列數(shù)據(jù)相互集成。如此大量的數(shù)據(jù)，在生物信息的存儲(chǔ)、獲取、處理、瀏覽及可視化等方面，都對(duì)理論算法和軟件的發(fā)展提出了迫切的需求。5.5.3生物信息學(xué)應(yīng)用另外，由于基因組數(shù)據(jù)本身的復(fù)雜性也對(duì)理論算法和軟件的發(fā)展提出了迫切的需求。而機(jī)器學(xué)習(xí)方法例如神經(jīng)網(wǎng)絡(luò)、遺傳算法、決策樹(shù)和支持向量機(jī)等正適合于處理這種數(shù)據(jù)量大、含有噪聲并且缺乏統(tǒng)一理論的領(lǐng)域。借由高功率顯微鏡和機(jī)器學(xué)習(xí)，美國(guó)科學(xué)家研發(fā)出一種新算法，可在整個(gè)細(xì)胞的超高分辨率圖像中快速揭示細(xì)胞內(nèi)部結(jié)構(gòu)，自動(dòng)識(shí)別大約30種不同類(lèi)型的細(xì)胞器和其他結(jié)構(gòu)。

圖5-13高功率顯微鏡與機(jī)器學(xué)習(xí)5.5.3生物信息學(xué)應(yīng)用物聯(lián)網(wǎng)（IoT），是指家里和辦公室里聯(lián)網(wǎng)的物理設(shè)備。流行的物聯(lián)網(wǎng)設(shè)備是智能燈泡，其銷(xiāo)售額在過(guò)去幾年里猛增。隨著機(jī)器學(xué)習(xí)的進(jìn)步，物聯(lián)網(wǎng)設(shè)備比以往任何時(shí)候都更聰明、更復(fù)雜。機(jī)器學(xué)習(xí)有兩個(gè)主要的與物聯(lián)網(wǎng)相關(guān)的應(yīng)用：使你的設(shè)備變得更好和收集你的數(shù)據(jù)。讓設(shè)備變得更好是非常簡(jiǎn)單的：使用機(jī)器學(xué)習(xí)來(lái)個(gè)性化您的環(huán)境，比如，用面部識(shí)別軟件來(lái)感知哪個(gè)是房間，并相應(yīng)地調(diào)整溫度和AC。收集數(shù)據(jù)更加簡(jiǎn)單，通過(guò)在你的家中保持網(wǎng)絡(luò)連接的設(shè)備（如亞馬遜回聲）的通電和監(jiān)聽(tīng)，像亞馬遜這樣的公司收集關(guān)鍵的人口統(tǒng)計(jì)信息，將其傳遞給廣告商，比如電視顯示你正在觀看的節(jié)目、你什么時(shí)候醒來(lái)或睡覺(jué)、有多少人住在你家。

圖5-14智能燈泡5.5.4物聯(lián)網(wǎng)在過(guò)去的幾年里，我們看到了聊天機(jī)器人的激增，成熟的語(yǔ)言處理算法每天都在改進(jìn)它們。聊天機(jī)器人被公司用在他們自己的移動(dòng)應(yīng)用程序和第三方應(yīng)用上，以提供比傳統(tǒng)的（人類(lèi)）代表更快、更高效的虛擬客戶服務(wù)。像Siri這樣的虛擬助手。顧名思義，當(dāng)使用語(yǔ)音發(fā)出指令后，它們會(huì)協(xié)助查找信息。對(duì)于回答，虛擬助手會(huì)查找信息，回憶相關(guān)查詢，或向其他資源（如電話應(yīng)用程序）發(fā)送命令以收集信息。我們甚至可以指導(dǎo)助手執(zhí)行某些任務(wù)，例如“設(shè)置7點(diǎn)的鬧鐘”等。5.5.5聊天機(jī)器人過(guò)濾垃圾郵件和惡意軟件。電子郵件客戶端使用了許多垃圾郵件過(guò)濾方法。為了確保這些垃圾郵件過(guò)濾器能夠不斷更新，它們使用了機(jī)器學(xué)習(xí)技術(shù)。多層感知器和決策樹(shù)歸納等是由機(jī)器學(xué)習(xí)提供支持的一些垃圾郵件過(guò)濾技術(shù)。每天檢測(cè)到超過(guò)325000個(gè)惡意軟件，每個(gè)代碼與之前版本的90%～98%相似。由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的系統(tǒng)安全程序理解編碼模式。因此，他們可以輕松檢測(cè)到2%～10%變異的新惡意軟件，并提供針對(duì)它們的保護(hù)。5.5.5聊天機(jī)器人如今，有不少大型企業(yè)正在開(kāi)發(fā)無(wú)人駕駛汽車(chē)，這些汽車(chē)使用了通過(guò)機(jī)器學(xué)習(xí)實(shí)現(xiàn)導(dǎo)航、維護(hù)和安全程序的技術(shù)。一個(gè)例子是交通標(biāo)志傳感器，它使用監(jiān)督學(xué)習(xí)算法來(lái)識(shí)別和解析交通標(biāo)志，并將它們與一組標(biāo)有標(biāo)記的標(biāo)準(zhǔn)標(biāo)志進(jìn)行比較。這樣，汽車(chē)就能看到停車(chē)標(biāo)志，并認(rèn)識(shí)到它實(shí)際上意味著停車(chē)，而不是轉(zhuǎn)彎，單向或人行橫道。圖5-15自動(dòng)駕駛示意5.5.6自動(dòng)駕駛交通預(yù)測(cè)。生活中我們經(jīng)常使用衛(wèi)星導(dǎo)航服務(wù)。當(dāng)我們這樣做時(shí)，我們當(dāng)前的位置和速度被保存在中央服務(wù)器上來(lái)進(jìn)行流量管理。之后使用這些數(shù)據(jù)用于構(gòu)建當(dāng)前流量的映射。通過(guò)機(jī)器學(xué)習(xí)可以解決配備衛(wèi)星導(dǎo)航的汽車(chē)數(shù)量較少的問(wèn)題，在這種情況下的機(jī)器學(xué)習(xí)有助于根據(jù)估計(jì)找到擁擠的區(qū)域。5.5.6自動(dòng)駕駛第2版人工智能通識(shí)教程第6章周蘇教授QQ：81505050深度學(xué)習(xí)導(dǎo)讀案例：人類(lèi)與動(dòng)物智商的差別人的基因組與動(dòng)物的基因組差距并不大，例如人與自己的靈長(zhǎng)類(lèi)近親倭黑猩猩有99.6%的基因一模一樣，而與黑猩猩的基因也有98.73%的相似性。盡管基因差異不大，但是人的智商卻遠(yuǎn)遠(yuǎn)高于自己的靈長(zhǎng)類(lèi)近親。排除人類(lèi)社會(huì)生活這個(gè)重要因素之外，人類(lèi)智商高的純粹生物學(xué)原因主要在于大腦的差異。01動(dòng)物的中樞神經(jīng)系統(tǒng)02了解人工神經(jīng)網(wǎng)絡(luò)03深度學(xué)習(xí)的定義04卷積神經(jīng)網(wǎng)絡(luò)目錄/CONTENTS05遷移學(xué)習(xí)06深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法。已有多種深度學(xué)習(xí)框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理與生物信息學(xué)等領(lǐng)域并獲得了極好的效果，推動(dòng)人工智能進(jìn)入工業(yè)化大生產(chǎn)階段，具有很強(qiáng)的通用性，同時(shí)具備標(biāo)準(zhǔn)化、自動(dòng)化和模塊化基本特征。第6章深度學(xué)習(xí)PART01動(dòng)物的中樞神經(jīng)系統(tǒng)每當(dāng)開(kāi)始一項(xiàng)新的研究時(shí)，應(yīng)該先了解是否已經(jīng)存在現(xiàn)成可借鑒的解決方案。例如，假設(shè)是在1902年萊特兄弟成功進(jìn)行飛行實(shí)驗(yàn)的前一年，你突發(fā)奇想要設(shè)計(jì)一個(gè)人造飛行器，那么，你首先應(yīng)該注意到，在自然界中飛行的“機(jī)器”實(shí)際上是存在的（鳥(niǎo)），由此得到啟發(fā)，你的飛機(jī)設(shè)計(jì)方案中可能要有兩個(gè)大翼。同樣，如果你想設(shè)計(jì)人工智能系統(tǒng)，那就要學(xué)習(xí)并分析這個(gè)星球上最自然的智能系統(tǒng)之一，即人腦神經(jīng)系統(tǒng)。6.1動(dòng)物的中樞神經(jīng)系統(tǒng)動(dòng)物中樞神經(jīng)系統(tǒng)由被稱為神經(jīng)細(xì)胞或神經(jīng)元的細(xì)胞組成，和所有細(xì)胞一樣，它們具有含DNA（脫氧核糖核酸）的細(xì)胞核及含其他物質(zhì)的細(xì)胞膜，細(xì)胞可以通過(guò)DNA復(fù)制的過(guò)程簡(jiǎn)單地復(fù)制遺傳信息。它們比其他的大多數(shù)細(xì)胞的體積要大得多，這些神經(jīng)細(xì)胞能夠?qū)哪_趾接收到的感覺(jué)印象再由脊柱底部傳至全身。例如，長(zhǎng)頸鹿頸部的神經(jīng)元能夠伸展至其身體的每個(gè)角落。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)神經(jīng)細(xì)胞一般由三部分組成：細(xì)胞體、樹(shù)突和軸突。每個(gè)神經(jīng)元都由一個(gè)包含神經(jīng)核的細(xì)胞體組成。許多從細(xì)胞體中分支出來(lái)的纖維狀被稱為樹(shù)突，這些較短的分支細(xì)絲接收來(lái)自其他神經(jīng)細(xì)胞的信號(hào)。其中單一長(zhǎng)條形分支的長(zhǎng)纖維稱為軸突。軸突伸展的距離很長(zhǎng)，一般要長(zhǎng)到1厘米（是細(xì)胞體直徑的100倍），但也可以達(dá)到1米。一個(gè)細(xì)胞的軸突另一個(gè)細(xì)胞的樹(shù)突之間的連接部位被稱為突觸。一個(gè)神經(jīng)元在突觸的連接處與其他10～100000個(gè)神經(jīng)元建立連接。圖6-5生物神經(jīng)元的基本構(gòu)造6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)神經(jīng)細(xì)胞可被刺激激活，并沿軸突傳導(dǎo)沖動(dòng)。神經(jīng)沖動(dòng)要么存在要么不存在，無(wú)信號(hào)強(qiáng)弱之分。其他神經(jīng)元的信號(hào)決定了神經(jīng)元發(fā)送自身信號(hào)的可能性。這些來(lái)自其他細(xì)胞的信號(hào)可能提高或降低信號(hào)發(fā)送的概率，也能夠改變其他信號(hào)的作用效果。有一部分神經(jīng)元，除非接收到其他信號(hào)，否則自身不會(huì)發(fā)送信號(hào)；也有一部分神經(jīng)元會(huì)不斷重復(fù)發(fā)送信號(hào)，直到有其他信號(hào)進(jìn)行干擾。一些信號(hào)的發(fā)送頻率取決于它們接收到的信號(hào)。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)信號(hào)通過(guò)復(fù)雜的電化學(xué)反應(yīng)從一個(gè)神經(jīng)元傳遞到其他神經(jīng)元。這些信號(hào)可以在短期內(nèi)控制大腦活動(dòng)，還可以長(zhǎng)期改變神經(jīng)元的連通性。這些機(jī)制被認(rèn)為是大腦學(xué)習(xí)的基礎(chǔ)。大多數(shù)信息都在大腦皮質(zhì)（大腦的外層）中處理的。基本的組織單元似乎是直徑約0.5毫米的柱狀組織，包含約20000個(gè)神經(jīng)元，并延伸到整個(gè)皮質(zhì)（人類(lèi)皮質(zhì)深度約4毫米）。6.1.1神經(jīng)系統(tǒng)的結(jié)構(gòu)人腦是一種適應(yīng)性系統(tǒng)，必須對(duì)變幻莫測(cè)的事物做出反應(yīng)，而學(xué)習(xí)是通過(guò)修改神經(jīng)元之間連接的強(qiáng)度來(lái)進(jìn)行的?，F(xiàn)在，生物學(xué)家和神經(jīng)學(xué)家已經(jīng)了解了在生物中個(gè)體神經(jīng)元是如何相互交流的。動(dòng)物神經(jīng)系統(tǒng)由數(shù)以千萬(wàn)計(jì)的互連細(xì)胞組成，而人腦由100億~1000億個(gè)神經(jīng)元組成。然而，并行的神經(jīng)元集合如何形成功能單元仍然是一個(gè)謎。6.1.2神經(jīng)系統(tǒng)學(xué)習(xí)機(jī)制電信號(hào)通過(guò)樹(shù)突流入細(xì)胞體。細(xì)胞體（或神經(jīng)元胞體）是“數(shù)據(jù)處理”的地方。當(dāng)存在足夠的應(yīng)激反應(yīng)時(shí)，神經(jīng)元就被激發(fā)了。換句話說(shuō)，它發(fā)送一個(gè)微弱的電信號(hào)（以毫瓦為單位）到被稱為軸突的電纜狀突出。神經(jīng)元通常只有單一的軸突，但會(huì)有許多樹(shù)突。足夠的應(yīng)激反應(yīng)指的是超過(guò)預(yù)定的閾值。電信號(hào)流經(jīng)軸突，直接到達(dá)神經(jīng)斷端。細(xì)胞之間的軸突-樹(shù)突（軸突-神經(jīng)元胞體或軸突-軸突）接觸稱為神經(jīng)元的突觸。兩個(gè)神經(jīng)元之間實(shí)際上有一個(gè)小的間隔（幾乎觸及），這個(gè)間隙充滿了導(dǎo)電流體，允許神經(jīng)元間電信號(hào)的流動(dòng)。腦激素（或攝入的藥物，如咖啡因）影響了當(dāng)前的電導(dǎo)率。6.1.2神經(jīng)系統(tǒng)學(xué)習(xí)機(jī)制PART02了解人工神經(jīng)網(wǎng)絡(luò)人腦神經(jīng)元彼此高度相連。一些神經(jīng)元與另一些或另外幾十個(gè)相鄰的神經(jīng)元通信，然后，其他神經(jīng)元與數(shù)千個(gè)神經(jīng)元共享信息。在過(guò)去數(shù)十年里，研究人員就是從這種自然典范中汲取靈感，設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)（ANN）是指以人腦和神經(jīng)系統(tǒng)為模型的機(jī)器學(xué)習(xí)算法。如今，人工神經(jīng)網(wǎng)絡(luò)從股票市場(chǎng)預(yù)測(cè)到汽車(chē)的自主控制，在模式識(shí)別、經(jīng)濟(jì)預(yù)測(cè)和許多其他應(yīng)用領(lǐng)域都有突出的應(yīng)用表現(xiàn)。6.2了解人工神經(jīng)網(wǎng)絡(luò)與人腦神經(jīng)系統(tǒng)類(lèi)似，人工神經(jīng)網(wǎng)絡(luò)通過(guò)改變權(quán)重以呈現(xiàn)出相同的適應(yīng)性。在監(jiān)督學(xué)習(xí)的ANN范式中，學(xué)習(xí)規(guī)則承擔(dān)了這個(gè)任務(wù)，監(jiān)督學(xué)習(xí)通過(guò)比較網(wǎng)絡(luò)的表現(xiàn)與所希望的響應(yīng)，相應(yīng)地修改系統(tǒng)的權(quán)重。ANN主要有3種學(xué)習(xí)規(guī)則，即感知器學(xué)習(xí)、增量和反向傳播。反向傳播規(guī)則具有處理多層網(wǎng)絡(luò)所需的能力，并且在許多應(yīng)用中取得了廣泛的成功。熟悉各種網(wǎng)絡(luò)架構(gòu)和學(xué)習(xí)規(guī)則還不足以保證模型的成功，還需要知道如何編碼數(shù)據(jù)、網(wǎng)絡(luò)培訓(xùn)應(yīng)持續(xù)多長(zhǎng)時(shí)間，以及如果網(wǎng)絡(luò)無(wú)法收斂，應(yīng)如何處理這種情況。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究20世紀(jì)70年代，人工網(wǎng)絡(luò)研究進(jìn)入了停滯期。資金不足導(dǎo)致這個(gè)領(lǐng)域少有新成果產(chǎn)生。諾貝爾物理學(xué)獎(jiǎng)獲得者約翰·霍普菲爾德在這個(gè)學(xué)科的研究重新激起了人們對(duì)這一學(xué)科的熱情。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究在了解（并模擬）動(dòng)物神經(jīng)系統(tǒng)的行為的基礎(chǔ)上，美國(guó)的麥卡洛克和皮茨開(kāi)發(fā)了人工神經(jīng)元的第一個(gè)模型。對(duì)應(yīng)于生物神經(jīng)網(wǎng)絡(luò)的生物學(xué)模型，人工神經(jīng)元采用了4個(gè)要素：（1）細(xì)胞體，對(duì)應(yīng)于神經(jīng)元的細(xì)胞體。（2）輸出通道，對(duì)應(yīng)于神經(jīng)元的軸突。（3）輸入通道，對(duì)應(yīng)于神經(jīng)元的樹(shù)突。（4）權(quán)重，對(duì)應(yīng)于神經(jīng)元的突觸。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究其中，權(quán)重（實(shí)值）扮演了突觸的角色，反映生物突觸的導(dǎo)電水平，用于調(diào)節(jié)一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響程度，控制著輸入對(duì)單元的影響。人工神經(jīng)元模仿了神經(jīng)元的結(jié)構(gòu)。未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型很像新生兒：它們被創(chuàng)造出來(lái)的時(shí)候?qū)κ澜缫粺o(wú)所知，只有通過(guò)接觸這個(gè)世界，也就是后天的知識(shí)，才會(huì)慢慢提高它們的認(rèn)知程度。算法通過(guò)數(shù)據(jù)體驗(yàn)世界——人們?cè)噲D通過(guò)在相關(guān)數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，來(lái)提高其認(rèn)知程度。衡量進(jìn)度的方法是通過(guò)監(jiān)測(cè)網(wǎng)絡(luò)產(chǎn)生的誤差。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究實(shí)際神經(jīng)元運(yùn)作時(shí)要積累電勢(shì)能，當(dāng)能量超過(guò)特定值時(shí)，突觸前神經(jīng)元會(huì)經(jīng)軸突放電，繼而刺激突觸后神經(jīng)元。人類(lèi)有著數(shù)以億計(jì)相互連接的神經(jīng)元，其放電模式無(wú)比復(fù)雜。哪怕是最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也難以比擬人腦的能力，因此，神經(jīng)網(wǎng)絡(luò)在短時(shí)間內(nèi)應(yīng)該還無(wú)法模擬人腦的功能。6.2.1人工神經(jīng)網(wǎng)絡(luò)的研究人工神經(jīng)網(wǎng)絡(luò)是一種仿生神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，用于對(duì)函數(shù)進(jìn)行估計(jì)或近似計(jì)算。大多數(shù)情況下，人工神經(jīng)網(wǎng)絡(luò)能在外界信息的基礎(chǔ)上改變內(nèi)部結(jié)構(gòu)。6.2.2典型的人工神經(jīng)網(wǎng)絡(luò)作為一種非線性統(tǒng)計(jì)性數(shù)據(jù)建模工具，典型的神經(jīng)網(wǎng)絡(luò)具有以下3個(gè)部分：（1）結(jié)構(gòu)：指定網(wǎng)絡(luò)中的變量及其拓?fù)潢P(guān)系。例如，神經(jīng)網(wǎng)絡(luò)中的變量可以是神經(jīng)元連接的權(quán)重和神經(jīng)元的激勵(lì)值。（2）激勵(lì)函數(shù)：大部分神經(jīng)網(wǎng)絡(luò)模型具有一個(gè)短時(shí)間尺度的動(dòng)力學(xué)規(guī)則，來(lái)定義神經(jīng)元如何根據(jù)其他神經(jīng)元的活動(dòng)改變自己的激勵(lì)值。一般激勵(lì)函數(shù)依賴于網(wǎng)絡(luò)中的權(quán)重（即該網(wǎng)絡(luò)的參數(shù)）。（3）學(xué)習(xí)規(guī)則：指定人工神經(jīng)網(wǎng)絡(luò)中的權(quán)重如何隨時(shí)間推進(jìn)而調(diào)整。這一般被看做是一種長(zhǎng)時(shí)間尺度的動(dòng)力學(xué)規(guī)則。通常，學(xué)習(xí)規(guī)則依賴于神經(jīng)元的激勵(lì)值，它也可能依賴于監(jiān)督者提供的目標(biāo)值和當(dāng)前權(quán)重的值。6.2.2典型的人工神經(jīng)網(wǎng)絡(luò)人腦平均包含1000億個(gè)神經(jīng)元，每個(gè)神經(jīng)元又平均與7000個(gè)其他神經(jīng)元相連，我們可以想象能夠匹配人腦的計(jì)算機(jī)有多龐大。每個(gè)突觸需要一個(gè)基本操作，這樣的操作每秒大約需要進(jìn)行1000次，精確之后也就是每秒1017次。目前的一般家用電腦有四個(gè)處理器（四核），在寫(xiě)入時(shí)每個(gè)處理器的速度約為每秒109次操作。我們可以通過(guò)廉價(jià)硬件來(lái)實(shí)現(xiàn)每秒1011次操作，但至少需要100萬(wàn)個(gè)這樣的處理器才能夠匹配人腦。計(jì)算機(jī)性能每18個(gè)月就能強(qiáng)化一倍，這意味著每十年它們的速度就可以提高100倍。在接下來(lái)的30年里，計(jì)算機(jī)的計(jì)算能力有望與人腦相匹敵。6.2.3類(lèi)腦計(jì)算機(jī)擁有速度更快的計(jì)算機(jī)也無(wú)法立即創(chuàng)建起人工智能，因?yàn)槲覀冞€需要了解如何編程。如果大腦由神經(jīng)元組成并且是智能的，或許我們可以模擬神經(jīng)元進(jìn)行編程，畢竟這已經(jīng)被證明是可行的了。6.2.3類(lèi)腦計(jì)算機(jī)人工神經(jīng)元比人類(lèi)神經(jīng)元簡(jiǎn)單，它們接收數(shù)以千計(jì)的輸入，并對(duì)其進(jìn)行疊加，如果總數(shù)超過(guò)閾值則被激活。每一次輸入都被設(shè)置一個(gè)可配置的權(quán)重，人類(lèi)可以決定任何一次輸入對(duì)總數(shù)的作用效果，如果權(quán)重為負(fù)值，則神經(jīng)元的激活將被抑制。這些人工神經(jīng)元可以用于構(gòu)建計(jì)算機(jī)程序，但它們比目前使用的語(yǔ)言更復(fù)雜。不過(guò)，我們可以類(lèi)比大腦將它們大量集合成群，并且改變所有輸入的權(quán)重，然后根據(jù)需求管理整個(gè)系統(tǒng)，而不必弄清其工作原理。6.2.3類(lèi)腦計(jì)算機(jī)將這些神經(jīng)元排列在至少三層結(jié)構(gòu)中，一些情況下將多達(dá)30層，每一層都含有眾多神經(jīng)元，可能多達(dá)幾千個(gè)。因此，一個(gè)完整的神經(jīng)網(wǎng)絡(luò)可能含有10萬(wàn)個(gè)或更多的個(gè)體神經(jīng)元，每個(gè)神經(jīng)元接收來(lái)自前一層其他神經(jīng)元的輸入，并將信號(hào)發(fā)送給后一層的所有神經(jīng)元，我們向第一層注入信號(hào)并解釋最后一層發(fā)出的信號(hào)，以此來(lái)進(jìn)行操作。

圖6-6三層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)6.2.3類(lèi)腦計(jì)算機(jī)PART03深度學(xué)習(xí)的定義深度學(xué)習(xí)起源于早期用計(jì)算電路模擬大腦神經(jīng)元網(wǎng)絡(luò)的工作，是機(jī)器學(xué)習(xí)中一系列技術(shù)的組合。深度學(xué)習(xí)假設(shè)具有復(fù)雜代數(shù)電路的形式，其“深度”的含義是指電路通常被設(shè)計(jì)成多層，這意味著從輸入到輸出的計(jì)算路徑包含較多計(jì)算步驟，且其中的連接強(qiáng)度是可調(diào)整的，因此，通過(guò)深度學(xué)習(xí)方法訓(xùn)練的網(wǎng)絡(luò)通常被稱為神經(jīng)網(wǎng)絡(luò)，盡管它與真實(shí)的神經(jīng)細(xì)胞和結(jié)構(gòu)之間的相似性僅僅停留于表面。6.3深度學(xué)習(xí)的定義深度學(xué)習(xí)學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，它在使用復(fù)雜機(jī)器學(xué)習(xí)算法的學(xué)習(xí)過(guò)程中所獲得的信息，對(duì)諸如文字、圖像識(shí)別和語(yǔ)音識(shí)別等數(shù)據(jù)的解釋有很大幫助，所取得的效果遠(yuǎn)遠(yuǎn)超過(guò)先前的相關(guān)技術(shù)，其最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力。6.3深度學(xué)習(xí)的定義與傳統(tǒng)機(jī)器學(xué)習(xí)所述的一些方法相比，深度學(xué)習(xí)尤其是在處理圖像等高維數(shù)據(jù)時(shí)具有明顯的優(yōu)勢(shì)。舉例來(lái)說(shuō)，雖然線性回歸和邏輯斯諦回歸等方法可以處理大量的輸入變量，但每個(gè)樣本從輸入到輸出的計(jì)算路徑都非常短——只是乘以某個(gè)權(quán)重后加到總輸出中。此外，不同的輸入變量各自獨(dú)立地影響輸出而不相互影響（圖6-7（a））。這大大限制了這些模型的表達(dá)能力。它們只能表示輸入空間中的線性函數(shù)與邊界，而真實(shí)世界中的大多數(shù)概念要比這復(fù)雜得多。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)

圖6-7學(xué)習(xí)的計(jì)算路徑（a）淺層模型，例如線性回歸，其輸入到輸出之間的計(jì)算路徑很短。（b）決策列表網(wǎng)絡(luò)中可能存在某些具有長(zhǎng)計(jì)算路徑的輸入，但大多數(shù)計(jì)算路徑都較短。（c）深度學(xué)習(xí)網(wǎng)絡(luò)具有更長(zhǎng)的計(jì)算路徑，且每個(gè)變量都能與所有其他變量相互作用。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)另外，決策列表和決策樹(shù)能夠?qū)崿F(xiàn)較長(zhǎng)的計(jì)算路徑，這些路徑可能依賴于較多的輸入變量，但只是對(duì)很小的一部分輸入向量而言（圖6-7（b））。如果一個(gè)決策樹(shù)對(duì)一定部分的可能輸入有很長(zhǎng)的計(jì)算路徑，那么它的輸入變量的數(shù)量必將是指數(shù)級(jí)的。深度學(xué)習(xí)的基本思想是訓(xùn)練電路，使其計(jì)算路徑可以很長(zhǎng)，進(jìn)而使得所有輸入變量之間以復(fù)雜的方式相互作用（圖6-7（c））。事實(shí)證明，這些電路模型具有足夠的表達(dá)能力，它們?cè)谠S多重要類(lèi)型的學(xué)習(xí)問(wèn)題中都能夠擬合復(fù)雜的真實(shí)數(shù)據(jù)。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)從研究角度看，深度學(xué)習(xí)是基于多層人工神經(jīng)網(wǎng)絡(luò)，海量數(shù)據(jù)為輸入，發(fā)現(xiàn)規(guī)則自學(xué)習(xí)的方法。深度學(xué)習(xí)所基于的多層神經(jīng)網(wǎng)絡(luò)并非新鮮事物，甚至在80年代還被認(rèn)為沒(méi)有前途。但近年來(lái)，科學(xué)家們對(duì)多層神經(jīng)網(wǎng)絡(luò)的算法不斷優(yōu)化，使它出現(xiàn)了突破性的進(jìn)展。如今人工智能技術(shù)正發(fā)展成為一種能夠改變世界的力量，其中尤以深度學(xué)習(xí)所取得的進(jìn)步最為顯著，深度學(xué)習(xí)所帶來(lái)的重大技術(shù)革命，甚至有可能顛覆過(guò)去長(zhǎng)期以來(lái)人們對(duì)互聯(lián)網(wǎng)技術(shù)的認(rèn)知，實(shí)現(xiàn)技術(shù)體驗(yàn)的跨越式發(fā)展。6.3.1深度學(xué)習(xí)的優(yōu)勢(shì)以往很多算法是線性的，而現(xiàn)實(shí)世界大多數(shù)事情的特征是復(fù)雜非線性的。比如貓的圖像中，就包含了顏色、形態(tài)、五官、光線等各種信息。深度學(xué)習(xí)的關(guān)鍵就是通過(guò)多層非線性映射將這些因素成功分開(kāi)。與淺層相比，多層神經(jīng)網(wǎng)絡(luò)簡(jiǎn)單地說(shuō)，就是可以減少參數(shù)。因?yàn)樗貜?fù)利用中間層的計(jì)算單元。以認(rèn)貓為例，它學(xué)習(xí)貓的分層特征：最底層從原始像素開(kāi)始，刻畫(huà)局部的邊緣和紋；中層把各種邊緣進(jìn)行組合，描述不同類(lèi)型的貓的器官；最高層描述的是整個(gè)貓的全局特征。6.3.2深度學(xué)習(xí)的意義深度學(xué)習(xí)需要具備超強(qiáng)的計(jì)算能力，同時(shí)還不斷有海量數(shù)據(jù)的輸入。特別是在信息表示和特征設(shè)計(jì)方面，過(guò)去大量依賴人工，嚴(yán)重影響有效性和通用性。深度學(xué)習(xí)則徹底顛覆了“人造特征”的范式，開(kāi)啟了數(shù)據(jù)驅(qū)動(dòng)的“表示學(xué)習(xí)”范式——由數(shù)據(jù)自提取特征，計(jì)算機(jī)自己發(fā)現(xiàn)規(guī)則，進(jìn)行自學(xué)習(xí)?？梢赃@樣理解：過(guò)去，人們對(duì)經(jīng)驗(yàn)的利用靠人類(lèi)自己完成。而深度學(xué)習(xí)中，經(jīng)驗(yàn)以數(shù)據(jù)形式存在。因此，深度學(xué)習(xí)就是關(guān)于從數(shù)據(jù)中產(chǎn)生模型的算法，即深度學(xué)習(xí)算法。6.3.2深度學(xué)習(xí)的意義那么大數(shù)據(jù)以及各種算法與深度學(xué)習(xí)有什么區(qū)別呢？過(guò)去的算法模式，數(shù)學(xué)上叫線性，x和y的關(guān)系是對(duì)應(yīng)的，它是一種函數(shù)體現(xiàn)的映射。但這種算法在海量數(shù)據(jù)面前遇到了瓶頸。國(guó)際上著名的ImageNet圖像分類(lèi)大賽，用傳統(tǒng)算法，識(shí)別錯(cuò)誤率一直降不下去，采用深度學(xué)習(xí)后，錯(cuò)誤率大幅降低。在2010年，獲勝的系統(tǒng)只能正確標(biāo)記72%的圖片；到了2012年，多倫多大學(xué)的杰夫·辛頓利用深度學(xué)習(xí)的新技術(shù)，帶領(lǐng)團(tuán)隊(duì)實(shí)現(xiàn)了85%的準(zhǔn)確率；2015年的ImageNet競(jìng)賽上，一個(gè)深度學(xué)習(xí)系統(tǒng)以96%的準(zhǔn)確率第一次超過(guò)了人類(lèi)（人類(lèi)平均有95%的準(zhǔn)確率）。6.3.2深度學(xué)習(xí)的意義計(jì)算機(jī)認(rèn)圖的能力已經(jīng)超過(guò)人，尤其在圖像和語(yǔ)音等復(fù)雜應(yīng)用方面，深度學(xué)習(xí)技術(shù)取得了優(yōu)越的性能。深度學(xué)習(xí)是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法，即可以這樣定義：“深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，通過(guò)學(xué)習(xí)將現(xiàn)實(shí)使用嵌套的概念層次來(lái)表示并實(shí)現(xiàn)巨大的功能和靈活性，其中每個(gè)概念都定義為與簡(jiǎn)單概念相關(guān)聯(lián)，而更為抽象的表示則以較不抽象的方式來(lái)計(jì)算?！?.3.2深度學(xué)習(xí)的意義已經(jīng)有多種深度學(xué)習(xí)框架，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)，被應(yīng)用在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、音頻識(shí)別與生物信息學(xué)等領(lǐng)域并獲取了極好的效果。另外，“深度學(xué)習(xí)”也成為神經(jīng)網(wǎng)絡(luò)的品牌重塑。通過(guò)多層處理，逐漸將初始的“低層”特征表示轉(zhuǎn)化為“高層”特征表示后，用“簡(jiǎn)單模型”即可完成復(fù)雜的分類(lèi)等學(xué)習(xí)任務(wù)。由此，可將深度學(xué)習(xí)理解為進(jìn)行“特征學(xué)習(xí)”或“表示學(xué)習(xí)”。6.3.2深度學(xué)習(xí)的意義以往在機(jī)器學(xué)習(xí)用于現(xiàn)實(shí)任務(wù)時(shí)，描述樣本的特征通常需由人類(lèi)專(zhuān)家來(lái)設(shè)計(jì)，這成為“特征工程”。眾所周知，特征的好壞對(duì)泛化性能有至關(guān)重要的影響，人類(lèi)專(zhuān)家設(shè)計(jì)出好特征也并非易事；特征學(xué)習(xí)（表征學(xué)習(xí)）則通過(guò)機(jī)器學(xué)習(xí)技術(shù)自身來(lái)產(chǎn)生好特征，這使機(jī)器學(xué)習(xí)向“全自動(dòng)數(shù)據(jù)分析”又前進(jìn)了一步。人工智能研究方向之一是以“專(zhuān)家系統(tǒng)”為代表，用大量“If-Then”規(guī)則定義，自上而下的思路。ANN標(biāo)志著另一種自下而上的思路，試圖模仿大腦神經(jīng)元之間傳遞、處理信息的模式。6.3.2深度學(xué)習(xí)的意義支持圖像識(shí)別技術(shù)驕人成績(jī)的通常是深度神經(jīng)網(wǎng)絡(luò)，借助于特征可視化這個(gè)強(qiáng)大工具，能幫我們理解神經(jīng)網(wǎng)絡(luò)究竟是怎樣認(rèn)識(shí)圖像的。圖6-8神經(jīng)網(wǎng)絡(luò)的可視化6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片現(xiàn)在，計(jì)算機(jī)視覺(jué)模型中每一層所檢測(cè)的東西都可以可視化。經(jīng)過(guò)在一層層神經(jīng)網(wǎng)絡(luò)中的傳遞，會(huì)逐漸對(duì)圖片進(jìn)行抽象：先探測(cè)邊緣，然后用這些邊緣來(lái)檢測(cè)紋理，再用紋理檢測(cè)模式，用模式檢測(cè)物體的部分……6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片圖6-9是ImageNet（一個(gè)用于視覺(jué)對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫(kù)項(xiàng)目）訓(xùn)練的GoogLeNet的特征可視化圖，我們可以從中看出它的每一層是如何對(duì)圖片進(jìn)行抽象的。

圖6-9訓(xùn)練用的特征可視化圖6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片在神經(jīng)網(wǎng)絡(luò)處理圖像的過(guò)程中，單個(gè)神經(jīng)元不能理解任何東西，它們需要協(xié)作。所以，我們也需要理解它們彼此之間如何交互。通過(guò)在神經(jīng)元之間插值，使神經(jīng)元之間彼此交互。圖6-10就展示了兩個(gè)神經(jīng)元是如何共同表示圖像的。圖6-10兩個(gè)神經(jīng)元共同表示圖像6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片在進(jìn)行特征可視化時(shí)，得到的結(jié)果通常會(huì)布滿噪點(diǎn)和無(wú)意義的高頻圖案。要更好地理解神經(jīng)網(wǎng)絡(luò)模型是如何工作的，就要避開(kāi)這些高頻圖案。這時(shí)所用的方法是進(jìn)行預(yù)先規(guī)則化，或者說(shuō)約束、預(yù)處理。當(dāng)然，了解神經(jīng)網(wǎng)絡(luò)內(nèi)部的工作原理，也是增強(qiáng)人工智能可解釋性的一種途徑，而特征可視化正是其中一個(gè)很有潛力的研究方向。神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了廣泛應(yīng)用，解決了控制、搜索、優(yōu)化、函數(shù)近似、模式關(guān)聯(lián)、聚類(lèi)、分類(lèi)和預(yù)測(cè)等領(lǐng)域的問(wèn)題。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片例如，將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在控制領(lǐng)域中，給設(shè)備輸入數(shù)據(jù)，產(chǎn)生所需的輸出。在雷克薩斯豪華系列汽車(chē)的尾部配備了后備攝像機(jī)，聲納設(shè)備和人工神經(jīng)網(wǎng)絡(luò)，可以自動(dòng)并行停車(chē)。實(shí)際上，這是一個(gè)所謂反向問(wèn)題的例子，汽車(chē)采用的路線是己知的，所計(jì)算的是需要的力以及所涉及方向盤(pán)的位移。反向控制的一個(gè)較早的示例是卡車(chē)倒車(chē)，正向識(shí)別的一個(gè)示例是機(jī)器人手臂控制（所需的力己知，必須識(shí)別動(dòng)作）。在任何智能系統(tǒng)中，搜索都是一個(gè)關(guān)鍵部分，可以將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用于搜索。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)是其不透明性，換句話說(shuō)它們不能解釋結(jié)果。有個(gè)研究領(lǐng)域是將ANN與模糊邏輯結(jié)合起來(lái)生成神經(jīng)模糊網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)具有ANN的學(xué)習(xí)能力，同時(shí)也具有模糊邏輯的解釋能力。6.3.3神經(jīng)網(wǎng)絡(luò)理解圖片起初，神經(jīng)網(wǎng)絡(luò)產(chǎn)生的結(jié)果是雜亂無(wú)章的，因?yàn)槲覀冞€沒(méi)有給予其具體操作的指令。因此，我們?yōu)槠涮峁┐罅繑?shù)據(jù)，并十分清楚神經(jīng)網(wǎng)絡(luò)應(yīng)該給出怎樣的反饋。如果要思考的問(wèn)題是觀察戰(zhàn)場(chǎng)的照片，判斷其中是否存在坦克，我們可以拿幾千張或有或沒(méi)有坦克的照片，將其輸入網(wǎng)絡(luò)的第一層，然后，調(diào)整所有神經(jīng)元的全部輸入權(quán)重，使最后一層的輸出更接近正確答案。其中涉及復(fù)雜的數(shù)學(xué)運(yùn)算，但可以通過(guò)自動(dòng)化程序解決，接著，不斷重復(fù)這一過(guò)程，成百上千次地展示每一張訓(xùn)練圖像。慢慢地，犯錯(cuò)的概率將逐漸降低，直到每次都能做出正確應(yīng)答為止。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)一旦訓(xùn)練完成，我們就可以開(kāi)始提供新的圖片。如果我們選擇的訓(xùn)練數(shù)據(jù)足夠嚴(yán)謹(jǐn)，訓(xùn)練周期足夠長(zhǎng)，網(wǎng)絡(luò)就能準(zhǔn)確回答圖中是否有坦克的存在。訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主要問(wèn)題在于我們不知道它們究竟是如何得出結(jié)論的，因而無(wú)法確定它們是否真的在尋找我們想要它們尋找的答案。如果有坦克的照片都是在晴天拍攝的，而所有沒(méi)有坦克的照片都是在雨天拍攝的，那么神經(jīng)網(wǎng)絡(luò)可能只是在判斷我們是否需要雨傘而已。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)因?yàn)樯窠?jīng)網(wǎng)絡(luò)不需要我們告訴它們?nèi)绾潍@取答案，所以即使我們不知道它們?cè)鯓尤プ鲆龅氖虑椋€是可以照常使用它們。識(shí)別圖片中的物體只是一個(gè)例子，其他用途可能還包括預(yù)測(cè)股市走向等。只要擁有大量?jī)?yōu)質(zhì)的訓(xùn)練數(shù)據(jù)，就可以對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行編程來(lái)完成這項(xiàng)工作。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)盡管人工神經(jīng)元只是真正神經(jīng)細(xì)胞的簡(jiǎn)化模型，但有趣的是神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式卻與大腦相同。掃描顯示大腦的某些區(qū)域?qū)ι?、下、左、右移?dòng)的光暗邊緣十分敏感。谷歌公司訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別物體，向用戶提供可愛(ài)的貓咪圖片。這些神經(jīng)網(wǎng)絡(luò)大約有30層，谷歌表示第一層正是通過(guò)物體的不同邊緣來(lái)分析圖像，程序員并沒(méi)有進(jìn)行過(guò)這方面的編程，這種行為是在網(wǎng)絡(luò)綜合訓(xùn)練中自主出現(xiàn)的。6.3.4訓(xùn)練神經(jīng)網(wǎng)絡(luò)我們通過(guò)幾個(gè)例子，來(lái)了解深度學(xué)習(xí)的方法。示例1：識(shí)別正方形。先從一個(gè)簡(jiǎn)單例子開(kāi)始，從概念層面上解釋究竟發(fā)生了什么事情。我們來(lái)試試看如何從多個(gè)形狀中識(shí)別正方形。

圖6-11簡(jiǎn)單例子6.3.5深度學(xué)習(xí)的方法第一件事是檢查圖中是否有四條線（簡(jiǎn)單的概念）。如果找到這樣的四條線，進(jìn)一步檢查它們是相連的、閉合的和相互垂直的，并且它們是否相等（嵌套的概念層次結(jié)構(gòu)）。這樣就完成了一個(gè)復(fù)雜的任務(wù)（識(shí)別一個(gè)正方形），并以簡(jiǎn)單、不太抽象的任務(wù)來(lái)完成它。深度學(xué)習(xí)本質(zhì)上在大規(guī)模執(zhí)行類(lèi)似的邏輯。6.3.5深度學(xué)習(xí)的方法示例2：識(shí)別貓。我們通常能用很多屬性描述一個(gè)事物。其中有些屬性可能很關(guān)鍵，很有用，另一些屬性可能沒(méi)什么用。我們就將屬性被稱為特征。特征辨識(shí)是一個(gè)數(shù)據(jù)處理的過(guò)程。6.3.5深度學(xué)習(xí)的方法傳統(tǒng)算法認(rèn)貓，是標(biāo)注各種特征去認(rèn)：大眼睛，有胡子，有花紋。但這種特征寫(xiě)著寫(xiě)著，可能分不出是貓還是老虎了，狗和貓也分不出來(lái)。這種方法叫——人制定規(guī)則，機(jī)器學(xué)習(xí)這種規(guī)則。深度學(xué)習(xí)的方法是，直接給你百萬(wàn)張圖片，說(shuō)這里有貓，再給你百萬(wàn)張圖，說(shuō)這里沒(méi)貓，然后來(lái)訓(xùn)練深度網(wǎng)絡(luò)，通過(guò)深度學(xué)習(xí)自己去學(xué)貓的特征，計(jì)算機(jī)就知道了，誰(shuí)是貓。圖6-12從視頻里面尋找貓的圖片是深度學(xué)習(xí)接觸性能的首次展現(xiàn)6.3.5深度學(xué)習(xí)的方法示例3：訓(xùn)練機(jī)械手學(xué)習(xí)抓取動(dòng)作。訓(xùn)練機(jī)械手學(xué)習(xí)抓取動(dòng)作，傳統(tǒng)方法肯定是針對(duì)機(jī)械手寫(xiě)好函數(shù)，移動(dòng)到xyz標(biāo)注的空間點(diǎn)，利用程序?qū)崿F(xiàn)一次抓取。而谷歌用機(jī)器人訓(xùn)