從人工智能到深度學習

1、從人工智能到深度學習摘要：從人腦科學和現(xiàn)代心理學分析，人類的認知主要還是通過學習和試錯中 完成。觀看這幾年人工智能開展，也是這樣我們周圍的事物正變得越來越智 能。從汽車到智能手機，到個人數(shù)字助理，甚至包括機器人。我們不只是在講 每天層出不窮的、突破性的新功能。更重要的是，設(shè)備、計算機和機器都在聰 明地執(zhí)行任務(wù)?！叭斯ぶ悄堋?一詞最早由認知科學家約翰麥卡錫在研究中提出，他寫到，“這項研究基于一種推測，即任何學習行為或其它智力特征，在原那么上都可以 被精確地描述，從而可以制造出一臺機器來模擬它?！边@種描述在今天仍然適 用，只是復(fù)雜性增加了 一些。你也許最近經(jīng)常聽到“人工智能”和另外幾個詞匯同時出現(xiàn)

2、，特別是“機器學 習”和“深度學習”。它們經(jīng)常被互換使用，盡管它們存在關(guān)聯(lián)，但其實并非 同一事物。這樣說可能會讓人感到困惑。我們通過一個經(jīng)典的例子來解釋人工智能、機器 學習和深度學習之間的區(qū)別：比擬梨、蘋果和橙子。機器學習技術(shù)在當代社會已經(jīng)發(fā)揮了很大的作用：從網(wǎng)絡(luò)搜索到社交網(wǎng)絡(luò)中的 內(nèi)容過濾到電子商務(wù)網(wǎng)站的個性化推薦，它正在快速的出現(xiàn)在用戶的消費品中，如攝像機和智能手機。機器學習系統(tǒng)可以用來識別圖像中的物體，將語音 轉(zhuǎn)變成文字，匹配用戶感興趣的新聞、消息和產(chǎn)品等，也可以選擇相關(guān)的搜索 結(jié)果。從人工智能的角度開看深度學習，我們就可以看到未來隨著硬件計算能力的提 升，軟件設(shè)計和機器學習變得更加重要

3、，產(chǎn)生的結(jié)果每個人從出生都有專屬的 有深度學習能力智能的設(shè)備，任何事情的判斷都需要設(shè)備分析，最終影響到人 類社會，開展出下一個社會階段，那就是“次時代”社會。 s：/baike.baidu. com/item/%E9%98%BF%E5%B0%94%E6%B3%95%E5%9B%B4%E6%A3%8B/19319610?fr=aladdin一全文完一一、人工智能從廣義上講，人工智能（Artificiallntelligence）描述一種機器與周圍世界 交互的各種方式。通過先進的、像人類一樣的智能一一軟件和硬件結(jié)合的結(jié)果 臺人工智能機器或設(shè)備就可以模仿人類的行為或像人一樣執(zhí)行任務(wù)。我們今天讀到了很

4、多關(guān)于人工智能的內(nèi)容，比方語音識別（用于智能個人助理設(shè) 備或者智能手機），面部識別（被用在目前人臉支付、12306驗票、智能門鎖和 社交媒體上很流行的濾鏡中），或者物體識別（比方搜索梨、蘋果和橙子的圖 片）。然而這些功能是如何實現(xiàn)的？從根源上看，配備人工智能的機器會模仿人類的思維過程，比方分辨梨、蘋果 和橙子的能力。二、機器學習機器學習（MachineLearning）是人工智能的一種途徑或子集，它強調(diào)“學習” 而不是計算機程序。一臺機器使用復(fù)雜的算法來分析大量的數(shù)據(jù)，識別數(shù)據(jù)中 的模式，并做出一個預(yù)測一一不需要人在機器的軟件中編寫特定的指令。在錯 誤地將梨或者蘋果當成橙子之后，系統(tǒng)的模式識別

5、會隨著時間的推移而不斷改 進，因為它會像人一樣從錯誤中吸取教訓并糾正自己。通過機器學習，一個系統(tǒng)可以從自身的錯誤中學習來提高它的模式識別能力。通過機器學習，一個系統(tǒng)可以從自身的錯誤中學習來提高它的模式識別能力。三、深度學習深度學習（DeepLearning）（也稱為深度結(jié)構(gòu)學習DeepStructuredLearning、層次學習【HierarchicalLearning】或者是深 度機器學習DeepMachineLearning）是一類算法集合，是機器學習的一個分 支。機器學習的一個子集，推動計算機智能取得長足進步。它用大量的數(shù)據(jù)和 計算能力來模擬深度神經(jīng)網(wǎng)絡(luò)。從本質(zhì)上說，這些網(wǎng)絡(luò)模仿人類大

6、腦的連通 性，對數(shù)據(jù)集進行分類，并發(fā)現(xiàn)它們之間的相關(guān)性。如果有新學習的知識（無需 人工干預(yù)），機器就可以將其見解應(yīng)用于其他數(shù)據(jù)集。機器處理的數(shù)據(jù)越多，它 的預(yù)測就越準確。它嘗試為數(shù)據(jù)的高層次摘要進行建模。以一個簡單的例子來說，假設(shè)你有兩組 神經(jīng)元，一個是接受輸入的信號，一個是發(fā)送輸出的信號。當輸入層接收到輸 入信號的時候，它將輸入層做一個簡單的修改并傳遞給下一層。在一個深度網(wǎng) 絡(luò)中，輸入層與輸出層之間可以有很多的層（這些層并不是由神經(jīng)元組成的， 但是它可以以神經(jīng)元的方式理解），允許算法使用多個處理層，并可以對這些 層的結(jié)果進行線性和非線性的轉(zhuǎn)換。深度學習的思想與人工神經(jīng)網(wǎng)絡(luò)思想是一致的。總的來

7、說，神經(jīng)網(wǎng)絡(luò)是一種機 器學習架構(gòu)，所有的個體單元以權(quán)重的方式連接在一起，且這些權(quán)重是通過網(wǎng) 絡(luò)來訓練的，那么它就可以稱之為神經(jīng)網(wǎng)絡(luò)算法。人工神經(jīng)網(wǎng)絡(luò)算法的思想來 源于模仿人類大腦思考的方式。人類大腦是通過神經(jīng)系統(tǒng)得到輸入信號再作出 相應(yīng)反映的，而接受外部刺激的方式是用神經(jīng)元接受神經(jīng)末梢轉(zhuǎn)換的電信號。 那么，我們希望通過人造神經(jīng)元的方式模擬大腦的思考，這就產(chǎn)生了人工神經(jīng) 網(wǎng)絡(luò)了。人工神經(jīng)元組成了人工神經(jīng)網(wǎng)絡(luò)的計算單元，而人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)描 述了這些神經(jīng)元的連接方式。我們可以采用層的方式組織神經(jīng)元，層與層之間 可以互相連接。以前受制于很多因素，我們無法添加很多層，而現(xiàn)在隨著算法 的更新、數(shù)據(jù)量的增

8、加以及GPU的開展，我們可以用很多的層來開發(fā)神經(jīng)網(wǎng) 絡(luò)，這就產(chǎn)生了深度神經(jīng)網(wǎng)絡(luò)。而深度學習其實就是深度神經(jīng)網(wǎng)絡(luò)的一個代名 詞。關(guān)于人工神經(jīng)網(wǎng)絡(luò)算法可以參考人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork)算法簡介。近些年來，深度學習通過在某些任務(wù)中極佳的表現(xiàn)正在改革機器學習。深度學 習方法在會話識別、圖像識別、對象偵測以及如藥物發(fā)現(xiàn)和基因組學等領(lǐng)域表 現(xiàn)出了驚人的準確性。但是“深度學習”這個詞語很古老，它在1986年由 Dechter在機器學習領(lǐng)域提出，然后在2000年有Aizenberg等人引入到人工神 經(jīng)網(wǎng)絡(luò)中。而現(xiàn)在由于AlphaGo是第一個擊敗人類職業(yè)圍棋選手、第一個戰(zhàn)勝

9、圍棋世界冠軍的人工智能機器人，由谷歌(Google)旗下DeepMind公司戴密 斯哈薩比斯領(lǐng)銜的團隊開發(fā)，2016年3月9日至15日擊敗韓國棋手李世石 總比分1:4, 2017年5月23日至27日擊敗柯潔總比分0：3,最終于2017年10 月18日，DeepMind團隊公布了最強版阿爾法圍棋，代號AlphaGoZero,這幾件 事受到大家的矚目。(一)深度學習架構(gòu).生成式深度架構(gòu)(Generativedeeparchitectures),主要是用來描述具有高 階相關(guān)性的可觀測數(shù)據(jù)或者是可見的對象的特征，主要用于模式分析或者是總 和的目的，或者是描述這些數(shù)據(jù)與他們的類別之間的聯(lián)合分布。(其實就

10、是類 似與生成模型).判別式深度架構(gòu)(Discriminativedeeparchitectures),主要用于提供模 式分類的判別能力，經(jīng)常用來描述在可見數(shù)據(jù)條件下物體的后驗類別的概率。(類似于判別模型).混合深度架構(gòu)(Hybriddeeparchitectures),目標是分類，但是和生成結(jié)構(gòu) 混合在一起了。比方以正在或者優(yōu)化的方式引入生成模型的結(jié)果，或者使用判 別標注來學習生成模型的參數(shù)。(二)深度學習網(wǎng)絡(luò)盡管上述深度學習架構(gòu)的分類比擬復(fù)雜，其實實際中對應(yīng)的模型的例子就是深 度前饋網(wǎng)絡(luò)，卷積網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)(Deepfeedforwardnetworks, Convolutionnet

11、worksandRecurrentNetworks) O.深度前饋網(wǎng)絡(luò)(Deepfeed-forwardnetworks)深度前饋網(wǎng)絡(luò)也叫做前饋神經(jīng)網(wǎng)絡(luò)，或者是多層感知機(MultilayerPerceptrons, MLPs),是深度學習模型中的精粹。前饋網(wǎng)絡(luò)的目標是近似某些函數(shù)。例如，對于一個分類器，y=f (x)y=f (x)來 說，它將一個輸入值xx變成對應(yīng)的類別yy。前饋網(wǎng)絡(luò)就是定義一個映射 y=f (x； theta)y=f (x； 0 ),并學習出參數(shù)theta。使得產(chǎn)生最好的函數(shù)近似。簡而言之，神經(jīng)網(wǎng)絡(luò)可以定義成輸入層，隱含層和輸出層。其中，輸入層接受 數(shù)據(jù)，隱含層處理數(shù)據(jù)，輸

12、出層那么輸出最終結(jié)果。這個信息流就是接受xx,通 過處理函數(shù)ff,在到達輸出yy。這個模型并沒有任何的反響連接，因此被稱為 前饋網(wǎng)絡(luò)。.卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionNeuralNetworks)在機器學習中，卷積神經(jīng)網(wǎng)絡(luò)(簡稱CNN或者ConvNet)是一種前饋神經(jīng)網(wǎng) 絡(luò)，它的神經(jīng)元的連接是啟發(fā)于動物視覺皮層。單個皮質(zhì)神經(jīng)元可以對某個有 限空間區(qū)域的刺激作出反響。這個有限空間可以稱為接受域。不同的神經(jīng)元的 接受域可以重疊，從組成了所有的可見區(qū)域。那么，一個神經(jīng)元對某個接受域 內(nèi)的刺激作出反響，在數(shù)學上可以使用卷積操作來近似。也就是說，卷積神經(jīng) 網(wǎng)絡(luò)是受到生物處理的啟發(fā)，設(shè)計使用最少的預(yù)

13、處理的多層感知機的變體。卷積神經(jīng)網(wǎng)絡(luò)在圖像和視頻識別、推薦系統(tǒng)以及自然語言處理中都有廣泛的運 用。LeNet是早期推動深度學習開展的卷積神經(jīng)網(wǎng)絡(luò)之一。這是YannLeCun從1988 年以來進行的許多詞的成功迭代后得到的開創(chuàng)性工作，稱之為LeNet5。在當 時，LeNet架構(gòu)主要用來進行字符識別的工作，如讀取 ，數(shù)字等。卷積神 經(jīng)網(wǎng)絡(luò)主要包含四塊：卷積層(ConvolutionalLayer)、激活函數(shù) (ActivationFunction)、池化層(PoolingLayer)、全連接層 (FullyConnectedLayer)。卷積層(ConvolutionalLayer)是基于單詞“卷

14、積(Convolution) ”而來，這 是一種數(shù)學上的操作，它是對兩個變量f*gf*g進行操作產(chǎn)生第三個變量。它和 互相關(guān)(cross-correlation)很像。卷積層的輸入是一個 mtimesmtimesrmXmXr圖像，其中m是圖像的高度和寬度，r是通道的數(shù) 量，例如，一個RGB圖像的通道是3,即r=3r=3。卷積層有kk個濾波器 filters(或者稱之為核【kernel】),其大小是ntimesntimesqnXnXq,這里的rm是比圖像維度小的一個數(shù)值，qq既可以 等于通道數(shù)量，也可以小于通道數(shù)量，具體根據(jù)不同的濾波器來定。濾波器的 大小導(dǎo)致了激活函數(shù)(ActivationFu

15、nction)是為了實現(xiàn)復(fù)雜的映射函數(shù)，我們需要使用 激活函數(shù)。它可以帶來非線性的結(jié)果，而非線性可以使得我們很好的擬合各種 函數(shù)。同時，激活函數(shù)對于壓縮來自神經(jīng)元的無界線性加權(quán)和也是重要的。它 可以防止我們把大的數(shù)值在高層次處理中進行累加。激活函數(shù)有很多，常用的 有 sigmoid, tanh 和 ReLUo池化層(PoolingLayer)是一個基于樣本的離散化過程。其目的上降低輸入表 示的采樣(這里的輸入可以是圖像，隱層的輸出等)，減少它們的維度，并允 許我們假設(shè)特征已經(jīng)被包含在了子區(qū)域中。這局部的作用是通過提供一種抽象的形式表示來幫助過擬合表示。同樣的，它 也通過減少了參數(shù)的數(shù)量降低了計

16、算的復(fù)雜度并為內(nèi)部的表示提供一個基本的 不變性的轉(zhuǎn)換。目前最常用的池化技術(shù)有Max-Pooling、Min-Pooling和Average-Pooling。下 圖是2*2濾波器的Ma-Pooling操作示意圖。全連接層(FullyConnectedLayer) “全連接”的意思是指先前的層里面的所有 的神經(jīng)元都與后一個層里面的所有的神經(jīng)元相連。全連接層是一種傳統(tǒng)的多層 感知機，在輸出層，它使用softmax激活函數(shù)或者其他激活函數(shù)。.遞歸神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks)在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，我們假設(shè) 所有的輸入之間相互獨立。但是對于很多任務(wù)來說，這并不是一個好的主意。

17、如果你想知道一個句子中下一個單詞是什么，你最好知道之前的單詞是什么。 RNN之所以叫RNN就是它對一個序列中所有的元素都執(zhí)行相同的任務(wù)，所有的 輸出都依賴于先前的計算。另一種思考RNN的方式是它會記住所有之前的計算 的信息。一個RNN里面有很多循環(huán)，它可以攜帶從輸入中帶來的信息。由于任何輸入和 輸出都可以在RNN中變成一對一或者多對多的形式，RNN可以用在自然語言處 理、機器翻譯、語言模型、圖像識別、視頻分析、圖像生成、驗證碼識別等領(lǐng) 域。（三）深度學習應(yīng)用深度學習有很多應(yīng)用，很多特別的問題也可以通過深度學習解決。一些深度學 習的應(yīng)用舉例如下：.黑白圖像的著色深度學習可以用來根據(jù)對象及其情景來

18、為圖片上色，而且結(jié)果很像人類的著色 結(jié)果。這中解決方案使用了很大的卷積神經(jīng)網(wǎng)絡(luò)和有監(jiān)督的層來重新創(chuàng)造顏 色。.機器翻譯深度學習可以對未經(jīng)處理的語言序列進行翻譯，它使得算法可以學習單詞之間 的依賴關(guān)系，并將其映射到一種新的語言中。大規(guī)模的LSTM的RNN網(wǎng)絡(luò)可以用 來做這種處理。.圖像中的對象分類與檢測這種任務(wù)需要將圖像分成之前我們所知道的某一種類別中。目前這類任務(wù)最好 的結(jié)果是使用超大規(guī)模的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)的。突破性的進展是 AlexKrizhevsky等人在ImageNet比賽中使用的AlexNet模型。.自動產(chǎn)生手寫體 這種任務(wù)是先給定一些手寫的文字，然后嘗試生成新的類似的手寫的結(jié)果。首 先是人用筆在紙上手寫一些文字，然后根據(jù)寫字的筆跡作為語料來訓練模型， 并最終學習產(chǎn)生新的內(nèi)容。.自動玩游戲這項任務(wù)是根據(jù)電腦屏幕的圖像，來決定如何玩游戲。這種很難的任務(wù)是深度 強化模型的研究領(lǐng)域，主要的突破是DeepMind團隊的成果。.聊天機器人一種基于sequencetosequence的模型來創(chuàng)造一個聊天機器人，用以回答某些問 題。它是根據(jù)大量的實際的會話數(shù)據(jù)集產(chǎn)生的。想了解詳情，可以參考： s：/medium, com/shridhar743/generative-model-chatbots-e422ab0846