深度學(xué)習(xí)的關(guān)系

Word深度學(xué)習(xí)研究和應(yīng)用發(fā)展,人工智能/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)的關(guān)系1.（人工智能）、（機(jī)器學(xué)習(xí)）、（深度學(xué)習(xí)）的關(guān)系

近些年人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的概念十分火熱，但很多從業(yè)者卻很難說清它們之間的關(guān)系，外行人更是霧里看花。在研究深度學(xué)習(xí)之前，先從三個概念的正本清源開始。概括來說，人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)覆蓋的技術(shù)范疇是逐層遞減的，三者的關(guān)系如

圖1

所示，即：人工智能>機(jī)器學(xué)習(xí)>深度學(xué)習(xí)。

圖1：人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者關(guān)系示意

人工（智能）（Ar（ti）ficialIn（te）lligence，（AI））是最寬泛的概念，是研發(fā)用于（模擬）、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。由于這個定義只闡述了目標(biāo)，而沒有限定方法，因此實(shí)現(xiàn)人工智能存在的諸多方法和分支，導(dǎo)致其變成一個“大雜燴”式的學(xué)科。機(jī)器學(xué)習(xí)（MachineLearning，ML）是當(dāng)前比較有效的一種實(shí)現(xiàn)人工智能的方式。深度學(xué)習(xí)（DeepLearning，DL）是機(jī)器學(xué)習(xí)（算法）中最熱門的一個分支，近些年取得了顯著的進(jìn)展，并替代了大多數(shù)傳統(tǒng)機(jī)器學(xué)習(xí)算法。

2.機(jī)器學(xué)習(xí)

區(qū)別于人工智能，機(jī)器學(xué)習(xí)、尤其是監(jiān)督學(xué)習(xí)則有更加明確的指代。機(jī)器學(xué)習(xí)是專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)，使之不斷改善自身的性能。這句話有點(diǎn)“云山霧罩”的感覺，讓人不知所云，下面我們從機(jī)器學(xué)習(xí)的實(shí)現(xiàn)和方法論兩個維度進(jìn)行剖析，幫助讀者更加清晰地認(rèn)識機(jī)器學(xué)習(xí)的來龍去脈。

2.1機(jī)器學(xué)習(xí)的實(shí)現(xiàn)

機(jī)器學(xué)習(xí)的實(shí)現(xiàn)可以分成兩步：訓(xùn)練和預(yù)測，類似于歸納和演繹：

歸納：

從具體案例中抽象一般規(guī)律，機(jī)器學(xué)習(xí)中的“訓(xùn)練”亦是如此。從一定數(shù)量的樣本（已知模型輸入X和模型輸出Y）中，學(xué)習(xí)輸出Y與輸入X的關(guān)系（可以想象成是某種表達(dá)式）。

演繹：

從一般規(guī)律推導(dǎo)出具體案例的結(jié)果，機(jī)器學(xué)習(xí)中的“預(yù)測”亦是如此?；谟?xùn)練得到的Y與X之間的關(guān)系，如出現(xiàn)新的輸入X，計(jì)算出輸出Y。通常情況下，如果通過模型計(jì)算的輸出和真實(shí)場景的輸出一致，則說明模型是有效的。

2.2機(jī)器學(xué)習(xí)的方法論

機(jī)器學(xué)習(xí)的方法論和人類科研的過程有著異曲同工之妙，下面以“機(jī)器從牛頓第二定律實(shí)驗(yàn)中學(xué)習(xí)知識”為例，幫助讀者更加深入理解機(jī)器學(xué)習(xí)（監(jiān)督學(xué)習(xí)）的方法論本質(zhì)，即在“機(jī)器思考”的過程中確定模型的三個關(guān)鍵要素：假設(shè)、評價(jià)、優(yōu)化。

2.2.1案例：機(jī)器從牛頓第二定律實(shí)驗(yàn)中學(xué)習(xí)知識

牛頓第二定律

牛頓第二定律是艾薩克·牛頓在1687年于《自然哲學(xué)的數(shù)學(xué)原理》一書中提出的，其常見表述：物體加速度的大小跟作用力成正比，跟物體的質(zhì)量成反比，與物體質(zhì)量的倒數(shù)成正比。牛頓第二運(yùn)動定律和第一、第三定律共同組成了牛頓運(yùn)動定律，闡述了經(jīng)典力學(xué)中基本的運(yùn)動規(guī)律。

在中學(xué)課本中，牛頓第二定律有兩種實(shí)驗(yàn)設(shè)計(jì)方法：傾斜滑動法和水平拉線法，如

圖2

所示。

圖2：牛頓第二定律實(shí)驗(yàn)設(shè)計(jì)方法

相信很多讀者都有擺弄滑輪和小木塊做物理實(shí)驗(yàn)的青澀年代和美好回憶。通過多次實(shí)驗(yàn)數(shù)據(jù)，可以統(tǒng)計(jì)出如

表1

所示的不同作用力下的木塊加速度。

表1：實(shí)驗(yàn)獲取的大量數(shù)據(jù)樣本和觀測結(jié)果

觀察實(shí)驗(yàn)數(shù)據(jù)不難猜測，物體的加速度a和作用力F之間的關(guān)系應(yīng)該是線性關(guān)系。因此我們提出假設(shè)，其中，a代表加速度，F(xiàn)代表作用力，w是待確定的參數(shù)。

通過大量實(shí)驗(yàn)數(shù)據(jù)的訓(xùn)練，確定參數(shù)w是物體質(zhì)量的倒數(shù)(1/m)，即得到完整的模型公式。當(dāng)已知作用到某個物體的力時，基于模型可以快速預(yù)測物體的加速度。例如：燃料對火箭的推力F=10，火箭的質(zhì)量m=2，可快速得出火箭的加速度a=5。

2.2.2如何確定模型參數(shù)？

這個有趣的案例演示了機(jī)器學(xué)習(xí)的基本過程，但其中有一個關(guān)鍵點(diǎn)的實(shí)現(xiàn)尚不清晰，即：如何確定模型參數(shù)（)？

確定參數(shù)的過程與科學(xué)家提出假說的方式類似，合理的假說可以最大化的解釋所有的已知觀測數(shù)據(jù)。如果未來觀測到不符合理論假說的新數(shù)據(jù)，科學(xué)家會嘗試提出新的假說。如：天文史上，使用大圓和小圓組合的方式計(jì)算天體運(yùn)行，在中世紀(jì)是可以擬合觀測數(shù)據(jù)的。但隨著歐洲（工業(yè)）革命的推動，天文觀測設(shè)備逐漸強(qiáng)大，已有的理論已經(jīng)無法解釋越來越多的觀測數(shù)據(jù)，這促進(jìn)了使用橢圓計(jì)算天體運(yùn)行的理論假說出現(xiàn)。因此，模型有效的基本條件是能夠擬合已知的樣本，這給我們提供了學(xué)習(xí)有效模型的實(shí)現(xiàn)方案。

圖3

是以H為模型的假設(shè)，它是一個關(guān)于參數(shù)w和輸入x的函數(shù)，用

表示。模型的優(yōu)化目標(biāo)是的輸出與真實(shí)輸出Y盡量一致，兩者的相差程度即是模型效果的評價(jià)函數(shù)（相差越小越好）。那么，確定參數(shù)的過程就是在已知的樣本上，不斷減小該評價(jià)函數(shù)（H和Y的差距）的過程。直到模型學(xué)習(xí)到一個參數(shù)w，使得評價(jià)函數(shù)的值最小，衡量模型預(yù)測值和真實(shí)值差距的評價(jià)函數(shù)也被稱為損失函數(shù)（損失Loss）。

圖3：確定模型參數(shù)示意圖

假設(shè)機(jī)器通過嘗試答對（最小化損失）大量的習(xí)題（已知樣本）來學(xué)習(xí)知識（模型參數(shù)w），并期望用學(xué)習(xí)到的知識所代表的模型，回答不知道答案的考試題（未知樣本）。最小化損失是模型的優(yōu)化目標(biāo)，實(shí)現(xiàn)損失最小化的方法稱為優(yōu)化算法，也稱為尋解算法（找到使得損失函數(shù)最小的參數(shù)解）。參數(shù)w和輸入x組成公式的基本結(jié)構(gòu)稱為假設(shè)。在牛頓第二定律的案例中，基于對數(shù)據(jù)的觀測，我們提出了線性假設(shè)，即作用力和加速度是線性關(guān)系，用線性方程表示。由此可見，模型假設(shè)、評價(jià)函數(shù)（損失/優(yōu)化目標(biāo)）和優(yōu)化算法是構(gòu)成模型的三個關(guān)鍵要素。

2.2.3模型結(jié)構(gòu)

模型假設(shè)、評價(jià)函數(shù)和優(yōu)化算法是如何支撐機(jī)器學(xué)習(xí)流程的呢？如圖4

所示。

圖4：機(jī)器學(xué)習(xí)流程

模型假設(shè)：世界上的可能關(guān)系千千萬，漫無目標(biāo)的試探Y(jié)~X之間的關(guān)系顯然是十分低效的。因此假設(shè)空間先圈定了一個模型能夠表達(dá)的關(guān)系可能，如藍(lán)色圓圈所示。機(jī)器還會進(jìn)一步在假設(shè)圈定的圓圈內(nèi)尋找最優(yōu)的Y~X關(guān)系，即確定參數(shù)w。

評價(jià)函數(shù)：尋找最優(yōu)之前，我們需要先定義什么是最優(yōu)，即評價(jià)一個Y~X關(guān)系的好壞的指標(biāo)。通常衡量該關(guān)系是否能很好的擬合現(xiàn)有觀測樣本，將擬合的誤差最小作為優(yōu)化目標(biāo)。

優(yōu)化算法：設(shè)置了評價(jià)指標(biāo)后，就可以在假設(shè)圈定的范圍內(nèi)，將使得評價(jià)指標(biāo)最優(yōu)（損失函數(shù)最小/最擬合已有觀測樣本）的Y~X關(guān)系找出來，這個尋找最優(yōu)解的方法即為優(yōu)化算法。最笨的優(yōu)化算法即按照參數(shù)的可能，窮舉每一個可能取值來計(jì)算損失函數(shù)，保留使得損失函數(shù)最小的參數(shù)作為最終結(jié)果。

從上述過程可以得出，機(jī)器學(xué)習(xí)的過程與牛頓第二定律的學(xué)習(xí)過程基本一致，都分為假設(shè)、評價(jià)和優(yōu)化三個階段：

假設(shè)：通過觀察加速度a和作用力F的觀測數(shù)據(jù)，假設(shè)a和F是線性關(guān)系，即。

評價(jià)：對已知觀測數(shù)據(jù)上的擬合效果好，即計(jì)算的結(jié)果要和觀測的a盡量接近。

優(yōu)化：在參數(shù)w的所有可能取值中，發(fā)現(xiàn)可使得評價(jià)最好（最擬合觀測樣本）。

機(jī)器執(zhí)行學(xué)習(xí)任務(wù)的框架體現(xiàn)了其學(xué)習(xí)的本質(zhì)是“參數(shù)估計(jì)”（Learningispa（ram）eterestimation）。

上述方法論使用更規(guī)范化的表示如圖5所示，未知目標(biāo)函數(shù)f，以訓(xùn)練樣本

為依據(jù)。從假設(shè)集合H中，通過學(xué)習(xí)算法A找到一個函數(shù)g。如果g能夠最大程度的擬合訓(xùn)練樣本D，那么可以認(rèn)為函數(shù)g就接近于目標(biāo)函數(shù)f。

圖5：規(guī)范化表示

在此基礎(chǔ)上，許多看起來完全不一樣的問題都可以使用同樣的框架進(jìn)行學(xué)習(xí)，如科學(xué)定律、圖像識別、機(jī)器翻譯和自動問答等，它們的學(xué)習(xí)目標(biāo)都是擬合一個“大公式f”，如

圖6

所示。

圖6：機(jī)器學(xué)習(xí)就是擬合一個“大公式”

3.深度學(xué)習(xí)

機(jī)器學(xué)習(xí)算法理論在上個世紀(jì)90年代發(fā)展成熟，在許多領(lǐng)域都取得了成功，但平靜的日子只延續(xù)到2021年左右。隨著大數(shù)據(jù)的涌現(xiàn)和計(jì)算機(jī)算力提升，深度學(xué)習(xí)模型異軍突起，極大改變了機(jī)器學(xué)習(xí)的應(yīng)用格局。今天，多數(shù)機(jī)器學(xué)習(xí)任務(wù)都可以使用深度學(xué)習(xí)模型解決，尤其在語音、（計(jì)算機(jī)視覺）和自然語言處理等領(lǐng)域，深度學(xué)習(xí)模型的效果比傳統(tǒng)機(jī)器學(xué)習(xí)算法有顯著提升。

相比傳統(tǒng)的機(jī)器學(xué)習(xí)算法，深度學(xué)習(xí)做出了哪些改進(jìn)呢？其實(shí)兩者在理論結(jié)構(gòu)上是一致的，即：模型假設(shè)、評價(jià)函數(shù)和優(yōu)化算法，其根本差別在于假設(shè)的復(fù)雜度。如

圖6

第二個示例（圖像識別）所示，對于美女照片，人腦可以接收到五顏六色的（光學(xué)）（信號），能快速反應(yīng)出這張圖片是一位美女，而且是（程序員）喜歡的類型。但對計(jì)算機(jī)而言，只能接收到一個數(shù)字矩陣，對于美女這種高級的語義概念，從像素到高級語義概念中間要經(jīng)歷的信息變換的復(fù)雜性是難以想象的，如圖7所示。

圖7：深度學(xué)習(xí)的模型復(fù)雜度難以想象

這種變換已經(jīng)無法用數(shù)學(xué)公式表達(dá)，因此研究者們借鑒了人腦神經(jīng)元的結(jié)構(gòu)，設(shè)計(jì)出（神經(jīng)網(wǎng)絡(luò)）的模型，如圖8所示。圖8（a）展示了神經(jīng)網(wǎng)絡(luò)基本單元-感知機(jī)的設(shè)計(jì)方案，其處理信息的方式與人腦中的單一神經(jīng)元有很強(qiáng)的相似性；圖8（b）展示了幾種經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（后續(xù)的章節(jié)中會詳細(xì)闡述），類似于人腦中多種基于大量神經(jīng)元連接而形成的不同職能的器官。

圖8：模擬人腦結(jié)構(gòu)，針對各種任務(wù)設(shè)計(jì)不同的深度學(xué)習(xí)模型

3.1神經(jīng)網(wǎng)絡(luò)的基本概念

人工神經(jīng)（網(wǎng)絡(luò)）包括多個神經(jīng)網(wǎng)絡(luò)層，如：卷積層、全連接層、LSTM等，每一層又包括很多神經(jīng)元，超過三層的非線性神經(jīng)網(wǎng)絡(luò)都可以被稱為深度神經(jīng)網(wǎng)絡(luò)。通俗的講，深度學(xué)習(xí)的模型可以視為是輸入到輸出的映射函數(shù)，如圖像到高級語義（美女）的映射，足夠深的神經(jīng)網(wǎng)絡(luò)理論上可以擬合任何復(fù)雜的函數(shù)。因此神經(jīng)網(wǎng)絡(luò)非常適合學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，對文字、圖像和語音任務(wù)有很好的適用性。這幾個領(lǐng)域的任務(wù)是人工智能的基礎(chǔ)模塊，因此深度學(xué)習(xí)被稱為實(shí)現(xiàn)人工智能的基礎(chǔ)也就不足為奇了。

神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)如

圖9

所示。

圖9：神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖

神經(jīng)元：

神經(jīng)網(wǎng)絡(luò)中每個節(jié)點(diǎn)稱為神經(jīng)元，由兩部分組成：

加權(quán)和：將所有輸入加權(quán)求和。

非線性變換（激活函數(shù)）：加權(quán)和的結(jié)果經(jīng)過一個非線性函數(shù)變換，讓神經(jīng)元計(jì)算具備非線性的能力。

多層連接：

大量這樣的節(jié)點(diǎn)按照不同的層次排布，形成多層的結(jié)構(gòu)連接起來，即稱為神經(jīng)網(wǎng)絡(luò)。

前向計(jì)算：

從輸入計(jì)算輸出的過程，順序從網(wǎng)絡(luò)前至后。

計(jì)算圖：

以圖形化的方式展現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算邏輯又稱為計(jì)算圖，也可以將神經(jīng)網(wǎng)絡(luò)的計(jì)算圖以公式的方式表達(dá)：

由此可見，神經(jīng)網(wǎng)絡(luò)并沒有那么神秘，它的本質(zhì)是一個含有很多參數(shù)的“大公式”。如果大家感覺這些概念仍過于抽象，理解的不夠透徹，先不用著急，下一章會以“房價(jià)預(yù)測”為例，演示使用（Python）實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的細(xì)節(jié)。

3.2深度學(xué)習(xí)的發(fā)展歷程

神經(jīng)網(wǎng)絡(luò)思想的提出已經(jīng)是70多年前的事情了，現(xiàn)今的神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的設(shè)計(jì)理論是一步步趨于完善的。在這漫長的發(fā)展歲月中，一些取得關(guān)鍵突破的閃光時刻，值得深度學(xué)習(xí)愛好者們銘記，如

圖10

所示。

圖10：深度學(xué)習(xí)發(fā)展歷程

1940年代：首次提出神經(jīng)元的結(jié)構(gòu)，但權(quán)重是不可學(xué)的。

50-60年代：提出權(quán)重學(xué)習(xí)理論，神經(jīng)元結(jié)構(gòu)趨于完善，開啟了神經(jīng)網(wǎng)絡(luò)的第一個黃金時代。

1969年：提出異或問題（人們驚訝的發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型連簡單的異或問題也無法解決，對其的期望從云端跌落到谷底），神經(jīng)網(wǎng)絡(luò)模型進(jìn)入了被束之高閣的黑暗時代。

1986年：新提出的多層神經(jīng)網(wǎng)絡(luò)解決了異或問題，但隨著90年代后理論更完備并且實(shí)踐效果更好的SVM等機(jī)器學(xué)習(xí)模型的興起，神經(jīng)網(wǎng)絡(luò)并未得到重視。

2021年左右：深度學(xué)習(xí)進(jìn)入真正興起時期。隨著神經(jīng)網(wǎng)絡(luò)模型改進(jìn)的技術(shù)在語音和計(jì)算機(jī)視覺任務(wù)上大放異彩，也逐漸被證明在更多的任務(wù)，如自然語言處理以及海量數(shù)據(jù)的任務(wù)上更加有效。至此，神經(jīng)網(wǎng)絡(luò)模型重新煥發(fā)生機(jī)，并有了一個更加響亮的名字：深度學(xué)習(xí)。

為何神經(jīng)網(wǎng)絡(luò)到2021年后才煥發(fā)生機(jī)呢？這與深度學(xué)習(xí)成功所依賴的先決條件：大數(shù)據(jù)涌現(xiàn)、（硬件）發(fā)展和算法優(yōu)化有關(guān)。

大數(shù)據(jù)是神經(jīng)網(wǎng)絡(luò)發(fā)展的有效前提。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)是非常強(qiáng)大的模型，需要足夠量級的訓(xùn)練數(shù)據(jù)。時至今日，之所以很多傳統(tǒng)機(jī)器學(xué)習(xí)算法和人工特征依然是足夠有效的方案，原因在于很多場景下沒有足夠的標(biāo)記數(shù)據(jù)來支撐深度學(xué)習(xí)。深度學(xué)習(xí)的能力特別像科學(xué)家阿基米德的豪言壯語：“給我一根足夠長的杠桿，我能撬動地球！”。深度學(xué)習(xí)也可以發(fā)出類似的豪言：“給我足夠多的數(shù)據(jù)，我能夠?qū)W習(xí)任何復(fù)雜的關(guān)系”。但在現(xiàn)實(shí)中，足夠長的杠桿與足夠多的數(shù)據(jù)一樣，往往只能是一種美好的愿景。直到近些年，各行業(yè)IT化程度提高，累積的數(shù)據(jù)量爆發(fā)式地增長，才使得應(yīng)用深度學(xué)習(xí)模型成為可能。

依靠硬件的發(fā)展和算法的優(yōu)化?，F(xiàn)階段，依靠更強(qiáng)大的計(jì)算機(jī)、（GPU）、autoencoder預(yù)訓(xùn)練和并行計(jì)算等技術(shù)，深度學(xué)習(xí)在模型訓(xùn)練上的困難已經(jīng)被逐漸克服。其中，數(shù)據(jù)量和硬件是更主要的原因。沒有前兩者，科學(xué)家們想優(yōu)化算法都無從進(jìn)行。

3.3深度學(xué)習(xí)的研究和應(yīng)用蓬勃發(fā)展

早在1998年，一些科學(xué)家就已經(jīng)使用神經(jīng)網(wǎng)絡(luò)模型識別手寫數(shù)字圖像了。但深度學(xué)習(xí)在計(jì)算機(jī)視覺應(yīng)用上的興起，還是在2021年ImageNet比賽上，使用AlexNet做圖像分類。如果比較下1998年和2021年的模型，會發(fā)現(xiàn)兩者在網(wǎng)絡(luò)結(jié)構(gòu)上非常類似，僅在細(xì)節(jié)上有所優(yōu)化。在這十四年間，計(jì)算性能的大幅提升和數(shù)據(jù)量的爆發(fā)式增長，促使模型完成了從“簡單的數(shù)字識別”到“復(fù)雜的圖像分類”的跨越。

雖然歷史悠久，但深度學(xué)習(xí)在今天依然在蓬勃發(fā)展，一方面基礎(chǔ)研究快速發(fā)展，另一方面工業(yè)實(shí)踐層出不窮?；谏疃葘W(xué)習(xí)的頂級會議ICLR(InternationalConferenceonLearningRepresentations)統(tǒng)計(jì)，深度學(xué)習(xí)相關(guān)的論文數(shù)量呈逐年遞增的狀態(tài)，如

圖11

所示。同時，不僅僅是深度學(xué)習(xí)會議，與數(shù)據(jù)和模型技術(shù)相關(guān)的會議ICML和KDD，專注視覺的CVPR和專注自然語言處理的EMNLP等國際會議的大量論文均涉及著深度學(xué)習(xí)技術(shù)。該領(lǐng)域和相關(guān)領(lǐng)域的研究方興未艾，技術(shù)仍在不斷創(chuàng)新突破中。

圖11：深度學(xué)習(xí)相關(guān)論文數(shù)量逐年攀升

另一方面，以深度學(xué)習(xí)為基礎(chǔ)的人工智能技術(shù)，在升級改造眾多的傳統(tǒng)行業(yè)領(lǐng)域，存在極其廣闊的應(yīng)用場景。圖12

選自艾瑞咨詢的研究報(bào)告，人工智能技術(shù)不僅可在眾多行業(yè)中落地應(yīng)用（廣度），同時，在部分行業(yè)（如安防、遙感、互聯(lián)網(wǎng)、金融、工業(yè)等）已經(jīng)實(shí)現(xiàn)了市場化變現(xiàn)和高速增長（深度），為社會貢獻(xiàn)了巨大的經(jīng)濟(jì)價(jià)值。

圖12：以深度學(xué)習(xí)為基礎(chǔ)的（AI技術(shù)）在各行業(yè)廣泛應(yīng)用

如圖13所示，以計(jì)算機(jī)視覺的行業(yè)應(yīng)用分布為例，根據(jù)IDC的數(shù)據(jù)統(tǒng)計(jì)和預(yù)測，隨著人工智能向各個行業(yè)的滲透，當(dāng)前較多運(yùn)用人工智能的互聯(lián)網(wǎng)行業(yè)的產(chǎn)值占比反而會逐漸變小。

圖13：以深度學(xué)習(xí)為基礎(chǔ)的AI技術(shù)在各行業(yè)廣泛應(yīng)用

3.4深度學(xué)習(xí)改變了AI應(yīng)用的研發(fā)模式

3.4.1實(shí)現(xiàn)了端到端的學(xué)習(xí)

深度學(xué)習(xí)改變了很多領(lǐng)域算法的實(shí)現(xiàn)模式。在深度學(xué)習(xí)興起之前，很多領(lǐng)域建模的思路是投入大量精力做特征工程，將專家對某個領(lǐng)域的“人工理解”沉淀成特征表達(dá)，然后使用簡單模型完成任務(wù)（如分類或回歸）。而在數(shù)據(jù)充足的情況下，深度學(xué)習(xí)模型可以實(shí)現(xiàn)端到端的學(xué)習(xí)，即不需要專門做特征工程，將原始的特征輸入模型中，模型可同時完成特征提取和分類任務(wù)，如

圖14

所示。

圖14：深度學(xué)習(xí)實(shí)現(xiàn)了端到端的學(xué)習(xí)

以計(jì)算機(jī)視覺任務(wù)為例，特征工程是諸多圖像科學(xué)家基于人類對視覺理論的理解，設(shè)計(jì)出來的一系列提取特征的計(jì)算步驟，典型如SIFT特征。在2021年之前的計(jì)算機(jī)視覺領(lǐng)域，人們普遍使用SIFT一類特征+SVM一類的簡單淺層模型完成建模任務(wù)。

說明：

SIFT特征由DavidLowe在1999年提出，在2021年加以完善。SIFT特征是基于物體上的一些局部外觀的興趣點(diǎn)而與影像的大小和旋轉(zhuǎn)無關(guān)。對于光線、噪聲、微視角改變的容忍度也相當(dāng)高?；谶@些特性，它們是高度顯著而且相對容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫中，很容易辨識物體而且鮮有誤認(rèn)。使用SIFT特征描述對于部分物體遮蔽的偵測率也相當(dāng)高，甚至只需要3個以上的SIFT物體特征就足以計(jì)算出位置與方位。在現(xiàn)今的（電腦）硬件速度下和小型的特征數(shù)據(jù)庫條件下，辨識速度可接近即時運(yùn)算。SIFT特征的信息量大，適合在海量數(shù)據(jù)庫中快速準(zhǔn)確匹配。

3.4.2實(shí)現(xiàn)了深度學(xué)習(xí)框架標(biāo)準(zhǔn)化

除了應(yīng)用廣泛的特點(diǎn)外，深度學(xué)習(xí)還推動人工智能進(jìn)入工業(yè)大生產(chǎn)階段，算法的通用性導(dǎo)致標(biāo)準(zhǔn)化、自動化和模塊化的框架產(chǎn)生，如

圖15

所示。

圖15：深度學(xué)習(xí)模型具有通用性特點(diǎn)

在此之前，不同流派的機(jī)器學(xué)習(xí)算法理論和實(shí)現(xiàn)均不同，導(dǎo)致每個算法均要獨(dú)立實(shí)現(xiàn)，如隨機(jī)森林和支撐向量機(jī)（SVM）。但在深度學(xué)習(xí)框架下，不同模型的算法結(jié)構(gòu)有較大的通用性，如常用于計(jì)算機(jī)視覺的卷積神經(jīng)網(wǎng)絡(luò)模型（CNN）和常用于自然語言處理的長期短期記憶模型(LSTM)，都可以分為組網(wǎng)模塊、梯度下降的優(yōu)化模塊和預(yù)測模塊等。這使得抽象出統(tǒng)一的框架成為了可能，并大大降低了編寫建模代碼的成本。一些相對通用的模塊，如網(wǎng)絡(luò)基礎(chǔ)算子的實(shí)現(xiàn)、各種優(yōu)化算法等都可以由框架實(shí)現(xiàn)。建模者只需要關(guān)注數(shù)據(jù)處理，配置組網(wǎng)的方式，以及用少量代碼串起訓(xùn)練和預(yù)測的流程即可。

在深度學(xué)習(xí)框架出現(xiàn)之前，機(jī)器學(xué)習(xí)（工程師）處于“手工作坊”生產(chǎn)的時代。為了完成建模，工程師需要儲備大量數(shù)學(xué)知識，并為特征工程工作積累大量行業(yè)知識。每個模型是極其個性化的，建模者如同手工業(yè)者一樣，將自己的積累形成模型的“個性化簽名”。而今，“深度學(xué)習(xí)工程師”進(jìn)入了工業(yè)化大生產(chǎn)時代，只要掌握深度學(xué)習(xí)必要但少量的理論知識，掌握Python（編程），即可在深度學(xué)習(xí)框架上實(shí)現(xiàn)非常有效的模型，甚至與該領(lǐng)域最領(lǐng)先的模型不相上下。建模領(lǐng)域的技術(shù)壁壘面臨著顛覆，也是新入行者的機(jī)遇。

圖16：深度學(xué)習(xí)框架大大減低了AI建模難度

4.人工智能的職業(yè)發(fā)展空間廣闊

哲學(xué)家們告訴我們，做我們所喜歡的，然后成功就會隨之而來。

——沃倫·巴菲特（全球著名的投資家）

相信本課程的讀者中有很多在?；I備找工作的同學(xué)和職場中期望轉(zhuǎn)型的工程師，大家普遍對人工智能的職業(yè)發(fā)展非常關(guān)心。下面就從經(jīng)濟(jì)回報(bào)的視角，分析下人工智能是不是一個有前途的職業(yè)。坦率的說，如巴菲特所言，選擇一個自己喜歡的職業(yè)是真正的好職業(yè)。但對于多數(shù)普通人，經(jīng)濟(jì)回報(bào)也是職業(yè)選擇的重要考慮因素。一個有高經(jīng)濟(jì)回報(bào)的職業(yè)一定是市場