2024人工智能技術(shù)應(yīng)用導(dǎo)論：第3章機器學(xué)習(xí)

第三章

機器學(xué)習(xí)3.1

應(yīng)用場景人工智能技術(shù)應(yīng)用導(dǎo)論目

錄CONTENTS應(yīng)用場景01自動駕駛02應(yīng)用范圍文本分類基因識別空間數(shù)據(jù)處理衛(wèi)星圖片分析客戶群的特征分類與價值分析……Original

PointsK-means

(2

Clusters)01應(yīng)用范圍經(jīng)濟預(yù)測疾病自動診斷病人分類新聞分類郵件分類……01應(yīng)用范圍應(yīng)用范圍：范圍領(lǐng)域模式識別機器學(xué)習(xí)數(shù)據(jù)挖掘機器學(xué)習(xí)+數(shù)據(jù)庫統(tǒng)計學(xué)習(xí)統(tǒng)計+機器學(xué)習(xí)計算機視覺圖像處理+機器學(xué)習(xí)語音識別語音處理+機器學(xué)習(xí)自然語言處理文本處理+機器學(xué)習(xí)01應(yīng)用范圍視頻來源：/sv/cIfmOW4mUBP7UC.html?from=videoso_result01自動駕駛駕駛輔助系統(tǒng)（DAS）部分自動化系統(tǒng)高度自動化系統(tǒng)完全自動化02第三章

機器學(xué)習(xí)3.2

機器人學(xué)習(xí)概述目

錄CONTENTS人工智能，機器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別01機器學(xué)習(xí)的發(fā)展02機器學(xué)習(xí)的分類03各主流框架基本情況04人工智能

：人工智能，簡稱AI，是指為機器賦予人的智能。人工智能是計算機科學(xué)的一個分支，它企圖了解智能的本質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機器，是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。機器學(xué)習(xí)

：機器學(xué)習(xí)，簡稱ML，是一種實現(xiàn)人工智能的方法。機器學(xué)習(xí)屬于人工智能的一個分支，也是人工智能的和核心。機器學(xué)習(xí)理論主要是設(shè)計和分析一些讓計算機可以自動“”學(xué)習(xí)的算法。深度學(xué)習(xí)

：深度學(xué)習(xí)，簡稱DL，是一種實現(xiàn)機器學(xué)習(xí)的技術(shù)。最初的深度學(xué)習(xí)是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達的一種學(xué)習(xí)過程。深度神經(jīng)網(wǎng)絡(luò)本身并不是一個全新的概念，可大致理解為包含多個隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。01

人工智能，機器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別人工智能，機器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別請分別討論下列各組數(shù)據(jù)的內(nèi)部關(guān)系，并填空。x131724y14.52.58.53.5?x236812y210.537.565.52.5?y1

=

x1

+

1.5y2=x22+

1.501人工智能，機器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別定義：計算機利用已有的數(shù)據(jù)(經(jīng)驗)，得出了某種模型(規(guī)律)，并利用此模型預(yù)測未來數(shù)據(jù)特征的一種方法。人類學(xué)習(xí)

VS

機器學(xué)習(xí)0101 人工智能，機器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別機器學(xué)習(xí)的發(fā)展機器學(xué)習(xí)的發(fā)展：在機器學(xué)習(xí)領(lǐng)域，計算機科學(xué)家不斷探索，基于不同的理論創(chuàng)建出不同的機器學(xué)習(xí)模型。從發(fā)展歷程來說，大致經(jīng)歷了三個階段：符號主義時代（1980年左右）概率論時代（1990-2000年）聯(lián)結(jié)主義時代（2010年左右）02機器學(xué)習(xí)的分類機器學(xué)習(xí)的分類：可以按照輸入的數(shù)據(jù)本身是否已被標定特定的標簽將機器學(xué)習(xí)區(qū)分為有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)三類。機器學(xué)習(xí)有監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)03機器學(xué)習(xí)的分類監(jiān)督學(xué)習(xí)：從帶標簽（標注）的訓(xùn)練樣本中建立一個模式（模型），并依此模式推測新的數(shù)據(jù)標簽的算法。無監(jiān)督學(xué)習(xí)：在學(xué)習(xí)時并不知道其分類結(jié)果，其目的是對原始資料進行分類，以便了解資料內(nèi)部結(jié)構(gòu)算法。半監(jiān)督學(xué)習(xí)：利用少量標注樣本和大量未標注樣本進行機器學(xué)習(xí)，利用數(shù)據(jù)分布上的模型假設(shè),

建立學(xué)習(xí)器對未標簽樣本進行標簽。03各主流框架基本情況各主流框架基本情況對比：庫名發(fā)布者支持語言支持系統(tǒng)TensorFlowGooglePython/C++/

Java/GoLinux/MacOS/Android/iOSCaffeUC

BerkeleyPython/C++/

MatlabLinux/MacOS/WindowsCNTKMicrosoftPython/C++/

BrainScriptLinux/WindowsMXNetDMLC(分布式機器學(xué)習(xí)社區(qū))Python/C++/Matlab/

Julia/Go/R/ScalaLinux/MacOS/Windows/Android/iOSTorchFacebookC/Lua/Linux/MacOS/Windows/Android/iOSTheano蒙特利爾大學(xué)PythonLinux/MacOS/WindowsNeonIntelPythonLinux04各主流框架基本情況各主流框架的性能對比：庫名學(xué)習(xí)材料豐富程度CNN建模能力RNN建模能力易用程度運行速度多GPU支持程度TensorFlow★★★★★★★★★★★★★★★Caffe★★★★★★★CNTK★★★★★★★★★★★MXNet★★★★★★★★★★★★Torch★★★★★★★★★★★★★Theano★★★★★★★★★★★Neon★★★★★★★★★04第三章

機器學(xué)習(xí)3.3

監(jiān)督學(xué)習(xí)及案例體驗?zāi)?/p>

錄CONTENTS監(jiān)督學(xué)習(xí)簡介01案例體驗1：電影票房數(shù)據(jù)分析02案例體驗2：鳶尾花分類03監(jiān)督學(xué)習(xí)簡介在監(jiān)督學(xué)習(xí)中，每一個例子都是一對由一個輸入對象（通常是一個向量）和一個期望的輸出值（也被稱為監(jiān)督信號）組成的。01監(jiān)督學(xué)習(xí)簡介應(yīng)用步驟：步驟1：數(shù)據(jù)集的創(chuàng)建和分類。步驟2：訓(xùn)練。步驟3：驗證。機器學(xué)習(xí)算法模型fit(

)predict(

)x_trainy_train測試數(shù)據(jù)集x_test步驟4：使用。訓(xùn)練數(shù)據(jù)集輸出結(jié)果

y_predy_test

評估報告01監(jiān)督學(xué)習(xí)簡介回歸（Regression）

y

是連續(xù)值（實數(shù)或連續(xù)整數(shù)），f

(x)

的輸出也是連續(xù)值。這種類型的問題就是回歸問題。對于所有已知或未知的

(x,

y)，使得

f

(x,θ

)和

y

盡可能地一致。損失函數(shù)通常定義為平方誤差。分類（Classification）

y

是離散的類別標記（符號），就是分類問題。損失函數(shù)有一般用

0-1

損失函數(shù)或負對數(shù)似然函數(shù)等。在分類問題中，通過學(xué)習(xí)得到的決策函數(shù)

f(x,θ)

也叫分類器。01監(jiān)督學(xué)習(xí)簡介回歸分析確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。一元線性回歸只涉及一個自變量和一個因變量。因變量與自變量呈線性關(guān)系。因變量與自變量的關(guān)系可以用一個線性方程表示：01案例體驗1：電影票房數(shù)據(jù)分析步驟：數(shù)據(jù)讀取數(shù)據(jù)預(yù)處理模型建立與訓(xùn)練數(shù)據(jù)可視化模型預(yù)測與可視化022.1

數(shù)據(jù)讀取02 案例體驗1：電影票房數(shù)據(jù)分析2.2

數(shù)據(jù)預(yù)處理02 案例體驗1：電影票房數(shù)據(jù)分析2.3

模型建立與訓(xùn)練（使用一元線性回歸進行分析）02 案例體驗1：電影票房數(shù)據(jù)分析2.4

數(shù)據(jù)可視化02 案例體驗1：電影票房數(shù)據(jù)分析2.5

模型預(yù)測與可視化02 案例體驗1：電影票房數(shù)據(jù)分析案例體驗2：鳶尾花分類步驟：數(shù)據(jù)讀取數(shù)據(jù)預(yù)處理數(shù)據(jù)可視化模型建立與訓(xùn)練模型評估山鳶尾（setosa）變色鳶尾（versicolor）維吉尼亞鳶尾（virginica）03使用K

近鄰對鳶尾花進行分類

（

物以類聚，

人以群分）K近鄰（K-Nearest

Neighbor，KNN）方法的核心思想是：在特征空間中，如果一個樣本的K個最相似的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別，并具有這個類別上樣本的特性。03 案例體驗2：鳶尾花分類3.1數(shù)據(jù)讀取花萼長度（spepal

length）花萼寬度（spepal

width）花瓣長度（petal

length）花瓣寬度（petal

width）03 案例體驗2：鳶尾花分類3.2

數(shù)據(jù)預(yù)處理標簽映射03 案例體驗2：鳶尾花分類3.3

數(shù)據(jù)可視化四個特征值相關(guān)性03 案例體驗2：鳶尾花分類性3.3

數(shù)據(jù)可視化四個特征值相關(guān)03 案例體驗2：鳶尾花分類3.4

模型建立與訓(xùn)練03 案例體驗2：鳶尾花分類3.5

模型評估03 案例體驗2：鳶尾花分類第三章

機器學(xué)習(xí)3.4

無監(jiān)督學(xué)習(xí)及案例體驗?zāi)?/p>

錄CONTENTS無監(jiān)督學(xué)習(xí)簡介01案例體驗：使用K-Means對觀影用戶進行聚類02無監(jiān)督學(xué)習(xí)就是在樣本數(shù)據(jù)中只有數(shù)據(jù)，而沒有對數(shù)據(jù)進行標記。無監(jiān)督學(xué)習(xí)的目的就是讓計算機對這些原始數(shù)據(jù)進行分析，讓計算機自己去學(xué)習(xí)、找到數(shù)據(jù)之間的某種關(guān)系。視頻來源：/v?vid=11285795004709214679&pd=bjh&fr=bjhauthor&type=video視頻：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)是什么？01 無監(jiān)督學(xué)習(xí)簡介無監(jiān)督學(xué)習(xí)主要包括：聚類聚類是對于未標記的數(shù)據(jù)，在訓(xùn)練時根據(jù)數(shù)據(jù)本身的數(shù)據(jù)特征進行訓(xùn)練，呈現(xiàn)出數(shù)據(jù)集聚的形式，每一個集聚群中的數(shù)據(jù)，彼此都有相似的性質(zhì)，從而形成分組。降維降維是緩解維數(shù)災(zāi)難的一種重要方法，就是通過某種數(shù)學(xué)變換將原始高維屬性空間轉(zhuǎn)變成一個低維子空間。主成分分析（PCA）線性判別分析（LDA）降維K-MeansDBSACN系統(tǒng)聚類聚類01 無監(jiān)督學(xué)習(xí)簡介聚類主要方法：① 基于劃分的聚類方法（partitioning

methods）：K-MEANS算法、K-MEDOIDS算法、CLARANS算法② 基于層次的聚類方法（

hierarchicalmethods）：BIRCH算法、CURE算法、CHAMELEON算法③ 基于密度的聚類方法（

density-based

methods）：DBSCAN算法、OPTICS算法、DENCLUE算法④ 基于網(wǎng)格的聚類方法（

grid-based

methods）：STING算法、CLIQUE算法、WAVE-CLUSTER算法⑤基于模型的聚類方法（

model-based

methods）：統(tǒng)計的方案和神經(jīng)網(wǎng)絡(luò)的方案聚類方法的優(yōu)點：對數(shù)據(jù)輸入順序不敏感。聚類方法的缺點：在數(shù)據(jù)分布稀疏時，分類不準確；當(dāng)高維數(shù)據(jù)集中存在大量無關(guān)的屬性時，使得在所有維中存在簇的可能性幾乎為零；缺乏處理“噪聲”數(shù)據(jù)的能力。01 無監(jiān)督學(xué)習(xí)簡介K-Means算法原理：K-Means是典型的聚類方法。其中，K表示類別數(shù)，Means表示均值。顧名思義，

K-Means是一種通過均值對數(shù)據(jù)點進行聚類的方法。K-Means算法的思想很簡單，對于給定的樣本集，按照樣本之間的距離大小，將樣本集劃分為K個簇。讓簇內(nèi)的點盡量緊密的連在一起，而讓簇間的距離盡量的大。02 案例體驗：使用K-Means對觀影用戶進行聚類案例體驗：使用K-Means對觀影用戶進行聚類K-Means算法步驟：① （隨機）選擇K個聚類的初始中心；②對任意一個樣本點，求其到K個聚類中心的距離，將樣本點歸類到距離最小的中心的聚類，如此迭代

n次；③每次迭代過程中，利用均值等方法更新各個聚類的中心點(質(zhì)心)；④對K個聚類中心，利用2,3步迭代更新后，如果位置點變化很小(可以設(shè)置閾值)，則認為達到穩(wěn)定狀態(tài)，迭代結(jié)束，對不同的聚類塊和聚類中心可選擇不同的顏色標注。02案例體驗：使用K-Means對觀影用戶進行聚類K-Means算法的優(yōu)缺點及應(yīng)用領(lǐng)域：優(yōu)點：算法簡單、快速。特別是在處理大數(shù)據(jù)集時，算法可伸縮性高，并且相對高效。當(dāng)分類（簇）是密集的球狀或團狀，且簇與簇之間區(qū)別明顯時，聚類效果較好。缺點

：1.只有在簇的平均值被定義的情況下才能使用，且對有些分類屬性的數(shù)據(jù)不適合；2.要求用戶必須事先給出要生成的簇的數(shù)目K；3.對初始值敏感：使用不同的初始值可能會形成不同的聚類結(jié)果；4.不適合于非凸面形狀的簇類分析，或者大小差別很大的簇；5.對于“噪聲”和孤立點數(shù)據(jù)敏感，少量的該類數(shù)據(jù)可能對平均值產(chǎn)生極大影響。應(yīng)用：廣泛應(yīng)用于統(tǒng)計學(xué)、生物學(xué)、數(shù)據(jù)庫技術(shù)和市場營銷等領(lǐng)域。02案例體驗：使用K-Means對觀影用戶進行聚類使用K-Means對觀影用戶進行聚類，并將相應(yīng)的K值（質(zhì)心個數(shù)）設(shè)置為3。02案例體驗：使用K-Means對觀影用戶進行聚類步驟一：讀取數(shù)據(jù)、展現(xiàn)并分析原始數(shù)據(jù)的分布特征02案例體驗：使用K-Means對觀影用戶進行聚類步驟二：確定K-Means的質(zhì)心個數(shù)，并進行模型訓(xùn)練模型訓(xùn)練過程：① 初始化分類器② 擬合fit③ 預(yù)測predict④ 準確性評估02案例體驗：使用K-Means對觀影用戶進行聚類KMeans(self,n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=1e-4,precompute_distances='auto',verbose=0,random_state=None,copy_x=True,n_jobs=1)KMeans類的初始化函數(shù)的主要參數(shù)說明：n_clusters：表示要分成的簇的數(shù)量或要生成的質(zhì)心個數(shù)，即K值。可選參數(shù)，類型為整數(shù)型（int），默認值為8。init：表示初始化質(zhì)心個數(shù)。參數(shù)值可以為完全隨機random或優(yōu)化過的k-means++等。n_init：用來設(shè)置選擇質(zhì)心種子的次數(shù)，返回質(zhì)心最好的一次結(jié)果，默認值為10次。max_iter:表示每次迭代的最大次數(shù)，默認值為300次。02案例體驗：使用K-Means對觀影用戶進行聚類步驟三：可視化展現(xiàn)分類結(jié)果02案例體驗：使用K-Means對觀影用戶進行聚類步驟三：可視化展現(xiàn)分類結(jié)果02第三章

機器學(xué)習(xí)3.5

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)目

錄CONTENTS應(yīng)用場景01語音識別自2006

年Hinton等提出深度學(xué)習(xí)的概念，神經(jīng)網(wǎng)絡(luò)再次回到人們的視野中，語音識別是第1個取得突破的領(lǐng)域。傳統(tǒng)語音識別的方法主要利用聲學(xué)研究中的低層特征，利用高斯混合模型進行特征提取，并用隱馬爾可夫模型進行序列轉(zhuǎn)移狀態(tài)建模，并據(jù)此識別語音所對應(yīng)的文字。歷經(jīng)數(shù)十年的發(fā)展，傳統(tǒng)語音識別任務(wù)的錯誤率改進卻停滯不前，停留在25%

左右，難以達到實用水平。2013

年，Hinton

與微軟公司合作，利用神經(jīng)網(wǎng)絡(luò)改進語音識別中的特征提取方法，將錯誤率降低至17.7%，并在大會現(xiàn)場展示了同聲傳譯產(chǎn)品，效果驚人。此后，研究者們又陸續(xù)采用回復(fù)式神經(jīng)網(wǎng)絡(luò)改進語音識別的預(yù)測和識別，將錯誤率降至7．

9%。這一系列的成功使得語音識別實用化成為可能，激發(fā)了大量的商業(yè)應(yīng)用。至2016

年，同聲速記產(chǎn)品準確率已經(jīng)突破95%，超過人類速記員的水平。計算機視覺計算機視覺一直以來都是一個熱門的研究領(lǐng)域。傳統(tǒng)的研究內(nèi)容主要集中在根據(jù)圖像特點人工設(shè)計不同的特征，如邊緣特征、顏色特征、尺度不變特征等。利用這些特征完成特定的計算機視覺任務(wù)，如圖像分類、圖像聚類、圖像分割、目標檢測、目標追蹤等。傳統(tǒng)的圖像特征依賴于人工設(shè)計，一般為比較直觀的初級特征，抽象程度較低，表達能力較弱。神經(jīng)網(wǎng)絡(luò)方法利用大量的圖像數(shù)據(jù)，完全自動地學(xué)習(xí)特征。在深度神經(jīng)網(wǎng)絡(luò)中，各層特征形成了邊緣、線條、輪廓、形狀、對象等的層次劃分，抽象程度逐漸提高。2012

年，在大規(guī)模圖像數(shù)據(jù)集ImageNet

上，神經(jīng)網(wǎng)絡(luò)方法取得了重大突破，準確率達到84.7%。在LFW

人臉識別評測權(quán)威數(shù)據(jù)庫上，基于深度神經(jīng)網(wǎng)絡(luò)的人臉識別方法DeepID在2014、2015

年分別達到準確率99.15%

和99.53%，遠超人類識別的準確率97.53%。醫(yī)學(xué)醫(yī)療醫(yī)學(xué)醫(yī)療因為其應(yīng)用的特殊性一直是科學(xué)研究的前沿，既要快速的推進，又要求格外嚴謹。如何利用好大數(shù)據(jù)解決醫(yī)學(xué)和醫(yī)療中的問題，進一步改善醫(yī)療條件，提高診治水平，是值得人們關(guān)注和研究的。隨著神經(jīng)網(wǎng)絡(luò)各類應(yīng)用的成功和成熟，在醫(yī)學(xué)和醫(yī)療領(lǐng)域也出現(xiàn)了新的突破。2016

年1

月，美國Enlitic

公司開發(fā)的基于深度神經(jīng)網(wǎng)絡(luò)的癌癥檢測系統(tǒng)，適用于從X

光、CT

掃描、超聲波檢查、MＲI

等的圖像中發(fā)現(xiàn)惡性腫瘤，其中，肺癌檢出率超過放射技師水平。同年，Google

利用醫(yī)院信息數(shù)據(jù)倉庫的醫(yī)療電子信息存檔中的臨床記錄、診斷信息、用藥信息、生化檢測、病案統(tǒng)計等數(shù)據(jù)，構(gòu)建病人原始信息數(shù)據(jù)庫，包括病人的用藥信息、診斷信息、診療過程、生化檢測等信息，采用基于神經(jīng)網(wǎng)絡(luò)的無監(jiān)督深度特征學(xué)習(xí)方法學(xué)習(xí)病人的深度特征表達，并借助這一表達進行自動臨床決策，其準確率超過92%。這些成果為實現(xiàn)基于醫(yī)療大數(shù)據(jù)的精準醫(yī)療打下了扎實基礎(chǔ)。智能博弈圍棋被譽為“最復(fù)雜也是最美的游戲”，自從國際象棋世界冠軍被深藍電腦擊敗后，圍棋也成為了“人類智慧最后堡壘”。2016

年，Google

旗下Deep-Mind

團隊的AlphaGo對戰(zhàn)人類圍棋世界冠軍李世乭九段，不但引起圍棋界和人工智能界的熱切注視，還吸引了眾多群眾的關(guān)注。最終AlphaGo

以4:1戰(zhàn)勝李世乭九段，其背后成功的秘訣正是采用了神經(jīng)網(wǎng)絡(luò)與增強學(xué)習(xí)相結(jié)合，借助神經(jīng)網(wǎng)絡(luò)強大的特征提取能力捕捉人類難以分析的高層特征;

再利用增強學(xué)習(xí)，采用自我對弈的方法產(chǎn)生大量的數(shù)據(jù)，從自己的嘗試中學(xué)習(xí)到超越有限棋譜的技巧，成功掌握了致勝技巧。這一結(jié)果在人工智能界非常振奮人心，因為它提出了一種自發(fā)學(xué)習(xí)到超越現(xiàn)有數(shù)據(jù)的學(xué)習(xí)方法，標志了增強學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的成功結(jié)合，也是“大數(shù)據(jù)+

神經(jīng)網(wǎng)絡(luò)”的成功的應(yīng)用。圖1為人臉識別，圖2和圖3為物體識別。圖1：人臉識別圖2：飛機識別圖3：自行車識別圖像識別神經(jīng)網(wǎng)絡(luò)同時也能完成圖像的超分辨率采樣等任務(wù)。圖中，左側(cè)是采用二次樣條插值得到的圖像，右側(cè)是使用神經(jīng)網(wǎng)絡(luò)得到的圖像。不難看出：深度神經(jīng)網(wǎng)絡(luò)在進行超分辨采樣的過程中可以保留更多細節(jié)。圖4：圖像增強圖像增強目標檢測也是深度學(xué)習(xí)的重要應(yīng)用場景，圖像目標檢測可以識別一張圖片的多個物體，并可以定位出不同物體（給出邊界框）。目標檢測在很多場景有用，如圖5所示為在球場上實時進行目標檢測的場景。圖5：目標檢測實際應(yīng)用目標檢測AI換臉技術(shù)：（視頻來源：https:///6760996398079951367/?wid_try=1）AI換臉有一項研究是使用深度學(xué)習(xí)來“繪制”帶有藝術(shù)氣息的畫。如下圖所示，輸入兩個圖像后，會生成一個新的圖像。兩個輸入圖像中，左下的圖像稱為“內(nèi)容圖像”，左上的圖像稱為“風(fēng)格圖像”。圖6：風(fēng)格遷移風(fēng)格遷移風(fēng)格遷移技術(shù)：（視頻來源：https:///video/av35604813）風(fēng)格遷移圖7和圖8為深度神經(jīng)網(wǎng)絡(luò)在自然語音上的一個具體應(yīng)用-智能翻譯機。第二屆“一帶一路”國際合作高峰論壇上，科大訊飛的智能翻譯機亮相會議現(xiàn)場。圖7：科大訊飛智能翻譯機圖8：外國嘉賓使用翻譯機交流自然語言第三章

機器學(xué)習(xí)3.6

基本原理及技術(shù)發(fā)展現(xiàn)狀目

錄CONTENTS深度學(xué)習(xí)概述01深度學(xué)習(xí)相關(guān)概念02人類視覺原理與神經(jīng)網(wǎng)絡(luò)原理03感知器基本結(jié)構(gòu)及訓(xùn)練04為什么要學(xué)習(xí)深度學(xué)習(xí)？深度學(xué)習(xí)是用于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，并模仿人腦的機制來解釋數(shù)據(jù)的一種機器學(xué)習(xí)技術(shù)?；咎攸c是試圖模仿大腦神經(jīng)元之間傳遞，

處理信息的模式。最顯著的應(yīng)用是計算機視覺和自然語言處理(

NLP)

領(lǐng)域。圖1：人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)關(guān)系深度學(xué)習(xí)概述01深度學(xué)習(xí)概述01深度學(xué)習(xí)相關(guān)概念02人類視覺原理1981年的諾貝爾醫(yī)學(xué)獎，分別頒發(fā)給了DavidHubel、TorstenWiesel和

Roger

Sperry。前兩位的主要貢獻，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處理”即：視皮層是分級的。圖2：人類視覺原理03人類視覺原理圖3：人類訓(xùn)練識別不同物體過程當(dāng)瞳孔發(fā)現(xiàn)了眼前物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細胞就會變得活躍。結(jié)論：人的視覺系統(tǒng)的信息處理是分級的，

高層的特征是低層特征的組合，

從低層到高層的特征表示越來越抽象，

越來越能表現(xiàn)語義或者意圖，

抽象層面越高，

存在的可能猜測就越少，

就越利于分類。03圖4：單個神經(jīng)元生理結(jié)構(gòu)圖5：數(shù)學(xué)公式仿真神經(jīng)元03 神經(jīng)網(wǎng)絡(luò)原理圖6：神經(jīng)網(wǎng)絡(luò)原理a1a2a3z1z203 神經(jīng)網(wǎng)絡(luò)原理圖7：神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計一個神經(jīng)網(wǎng)絡(luò)時，輸入層與輸出層的節(jié)點數(shù)往往是固定的，中間層則可以自由指定；神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖中的拓撲與箭頭代表著預(yù)測過程時數(shù)據(jù)的流向，跟訓(xùn)練時的數(shù)據(jù)流有一定的區(qū)別；.

結(jié)構(gòu)圖里的關(guān)鍵不是圓圈（

代表“

神經(jīng)元”），而是連接線（代表“神經(jīng)元”之間的連接）。每個連接線對應(yīng)一個不同的權(quán)重（其值稱為權(quán)值），這是需要訓(xùn)練得到的。03 神經(jīng)網(wǎng)絡(luò)原理圖8：感知器基本結(jié)構(gòu)04 感知器基本結(jié)構(gòu)及訓(xùn)練感知器基本結(jié)構(gòu)及訓(xùn)練舉例說明：以上為and函數(shù)的實現(xiàn)。W=[w1,w2]X=[x1,x2]y=f(X*WT+b)，尋找合適的W。其中：給出W=[0.5,0.5]，b=-0.8進行驗證：y1=f(0.5*0+0.5*0-0.8)=0y2=f(0.5*0+0.5*1-0.8)=0y3=f(0.5*1+0.5*0-0.8）=0y4=f(0.5*1+0.5*1-0.8)=104現(xiàn)在，你可能困惑前面的權(quán)重項和偏置項的值是如何獲得的呢？感知器訓(xùn)練算法：將權(quán)重項和偏置項初始化為0，然后，利用下面的感知器規(guī)則迭代的修改w和b，直到訓(xùn)練完成。w

w

wib

b

bi其中：

wi

(t

y)xi

b

(t

y)w是與輸入xi對應(yīng)的權(quán)重項。b是偏置項。事實上，可以把b看作是值永遠為1的輸入所對應(yīng)的權(quán)重。t是訓(xùn)練樣本的實際值，一般稱之為label。y是感知器的輸出值，它是根據(jù)公式計算得出。η是一個稱為學(xué)習(xí)速率的常數(shù)，其作用是控制每一步調(diào)整權(quán)值的幅度。每次從訓(xùn)練數(shù)據(jù)中取出一個樣本的輸入向量x，使用感知器計算其輸出y，再根據(jù)上面的規(guī)則來調(diào)整權(quán)重。每處理一個樣本就調(diào)整一次權(quán)重。經(jīng)過多輪迭代后（即全部的訓(xùn)練數(shù)據(jù)被反復(fù)處理多輪），就可以訓(xùn)練出感知器的權(quán)重，使之實現(xiàn)目標函數(shù)。04 感知器基本結(jié)構(gòu)及訓(xùn)練第三章

機器學(xué)習(xí)3.7

案例體驗?zāi)?/p>

錄CONTENTS0102MNIST手寫數(shù)字識別簡單汽車識別體驗簡單汽車識別體驗1.華為云Modelarts汽車圖片訓(xùn)練識別體驗：https:///ei/experiencespace/modelarts/index.html01MNIST手寫數(shù)字識別Keras

深度學(xué)習(xí)框架Keras層模型卷積與池化CIFAR-10數(shù)據(jù)集圖片識別體驗02Keras深度學(xué)習(xí)框架Keras是一個開放源碼的高級深度學(xué)習(xí)程序庫，使用python編寫，能夠運行在TensorFlow或Theano之上。Keras使用最少的程序代碼、花費最少的時間就可以建立深度學(xué)習(xí)模型，進行訓(xùn)練、評估準確率，進行預(yù)測。Keras是一個模型級的深度學(xué)習(xí)鏈接庫，Keras只處理模型的建立、訓(xùn)練、預(yù)測等功能。深度學(xué)習(xí)底層的運行，例如張量（矩陣）運算，Keras必須配合“后端引擎”進行運算。目前Keras提供了兩種后端引擎：Theano與TensorFlow。如圖所示，Keras程序員只需要專注于建立模型，至于底層操作細節(jié)，例如張量（矩陣）運算，Keras會幫你轉(zhuǎn)換為Theano或TensorFlow。KerasTheanoTensorflowMNIST手寫數(shù)字識別02Keras深度學(xué)習(xí)框架使用Keras深度學(xué)習(xí)框架訓(xùn)練，預(yù)測數(shù)據(jù)集步驟如下：MNIST手寫數(shù)字識別02Keras層模型卷積層：每個卷積層由若干個卷積單元組成，每個卷積單元的參數(shù)都是通過反向傳播算法優(yōu)化得到的。卷積運算的目的是提取輸入的不同特征。第一層卷積層可能只能提取一些低級的特征，如邊緣、線條和角，更多層的網(wǎng)絡(luò)能從低級特征中迭代提取更復(fù)雜的特征。池化層：通常在卷積層之后得到的特征維度很大。池化就是一個特征數(shù)據(jù)壓縮的過程，它將特征切成幾個區(qū)域，取其最大值或平均值，得到新的、維度較小的特征數(shù)據(jù)。全連接層：把所有局部特征結(jié)合成全局特征，用來計算每一類的得分。MNIST手寫數(shù)字識別02MNIST手寫數(shù)字識別Keras層模型輸入的數(shù)字圖像大小為：32*32*3。卷積層1：卷積產(chǎn)生32個圖像，卷積后圖像大小：32*32。(3)池化層1：將32個32*32的圖像，縮小為32個16*16的圖像。(4)卷積層2：將64個16*16的圖像卷積產(chǎn)生64個16*16的圖像。(5)池化層2：第二次縮減，將64個16*16圖像縮小為8*8的圖像。(6)平坦層：將64個8*8的圖像以reshape轉(zhuǎn)換為一維向量，長度為64*8*8，也就是4096個神經(jīng)元。(7)隱藏層：隱藏層共有1024個神經(jīng)元。(8)輸出層：共有10個神經(jīng)元，對應(yīng)10個圖像。02在計算機視覺領(lǐng)域，卷積核、濾波器通常為較小尺寸的矩陣，比如3×3、5×5等；數(shù)字圖像是相對較大尺寸的2維（多維）矩陣（張量）。圖像卷積運算過程就是使用濾波器在圖像上滑動，將對應(yīng)位置相乘求和，如圖所示。MNIST手寫數(shù)字識別02卷積與池化池化（Pooling），也稱為欠采樣或下采樣，主要用于特征降維，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減小過擬合，同時提高模型的容錯性。池化主要有兩種：最大池化（Max

Pooling）和平均池化（AveragePooling）

。最大池化：選取最大的值作為輸出值。它定義一個空間鄰域（比如，2*2的窗口），并從窗口內(nèi)的修正特征圖中取出最大的元素。最大池化被證明效果較好。如圖5.2.5所示的就是最大值池化過程。平均池化：選取平均值作為輸出值。它定義一個空間鄰域（比如，2*2的窗口），并從窗口內(nèi)的修正特征圖中算出平均值。MNIST手寫數(shù)字識別02卷積與池化CIFAR-10數(shù)據(jù)集圖片識別體驗CIFAR-10數(shù)據(jù)集簡介我

們

可

以

在

下

列

網(wǎng)址查看CIFAR-10數(shù)據(jù)集

：MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟一：下載并查看數(shù)據(jù)集#導(dǎo)入相應(yīng)庫importnumpyas

npfromkeras.datasetsimportcifar10importmatplotlib.pyplotaspltfromkeras.utilsimportnp_utils#下載并加載CIFAR-10數(shù)據(jù)集(train_image,train_label),(test_image,test_label)=cifar10.load_data()#查看shapeprint('train_image的shape:',train_image.shape)print('test_image的shape:',test_image.shape)print('train_label的shape:',train_label.shape)print('test_label的shape:',test_label.shape)MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟一結(jié)果輸出：train_image的shape:(50000,

32,

32,

3)test_image的shape:(10000,

32,

32,

3)train_label的shape:

(50000,

1)test_label的shape:

(10000,

1))由結(jié)果可知：CIFAR-10數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，其中訓(xùn)練數(shù)據(jù)集由50000張像素點32*32的RGB(3基礎(chǔ)色）圖像，測試數(shù)據(jù)集由10000張像素點32*32的RGB（3基礎(chǔ)色）圖像。MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟二：查看多項圖片的feature與labelimportmatplotlib.pyplotaspltimportnumpyas

npdefplot_images_labels_prediction(image,labels,idx,num,prediction,label_dict):foriinrange(0,num):#繪制多子圖ax=plt.subplot(5,5,1+i)ax.imshow(image[idx])print(labels[idx])if(len(prediction)>0):ax.set_title(label_dict[labels[idx,0]]+label_dict[int(prediction[idx])])else:ax.set_title(label_dict[labels[idx,0]])idx+=1plt.show()MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟二：查看多項圖片的feature與labelimport

image_show#新建一個字典類型，定義每一個數(shù)字所代表的圖像類別名稱label_dict={0:'airplane',1:'automobile',2:'bird',3:'cat',4:'deer',5:'dog',6:'frog',7:'horse',8:'ship',9:'truck'}#繪制前10張圖像image_show.plot_images_labels_prediction(image=train_image,labels=train_label,idx=0,num=10,prediction=[],label_dict=label_dict)步驟二結(jié)果輸出：MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟三：數(shù)據(jù)預(yù)處理#數(shù)據(jù)預(yù)處理Train_image_nor=train_image.astype('float32')/255Test_image_nor=test_image.astype('float32')/255Train_label_nor=np_utils.to_categorical(train_label)Test_label_nor=np_utils.to_categorical(test_label)#查看處理后結(jié)果print(Train_label_nor[0])步驟三結(jié)果輸出：[0.0.0.0.0.0.1.0.0.

0.]MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟四：模型建立#建立模型fromkeras.modelsimport

Sequentialfromkeras.layersimport

Dense,Dropout,Activation,Flattenfromkeras.layersimport

Conv2D,MaxPooling2D,ZeroPadding2D#建立序貫?zāi)Ｐ蚼odel=Sequential()#添加卷積層1，產(chǎn)生32張圖像，卷積核為3*3，卷積后的圖像與卷積前尺寸大小相等model.add(Conv2D(filters=32,kernel_size=(3,3),input_shape=(32,32,3),padding='same',activation='relu',))#添加dropout層1model.add(Dropout(0.25))#添加池化層1model.add(MaxPooling2D(pool_size=(2,2)))MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟四：模型建立#添加卷積層2model.add(Conv2D(filters=64,kernel_size=(3,3),

padding='same',activation='relu',))#添加dropout，避免過擬合model.add(Dropout(0.25))#添加池化層2model.add(MaxPooling2D(pool_size=(2,2)))#添加平坦層model.add(Flatten())#添加dropoutmodel.add(Dropout(0.25))#添加隱藏層model.add(Dense(1024,activation='relu'))#添加dropoutmodel.add(Dropout(0.25))

#輸出層model.add(Dense(10,activation='softmax'))#打印模型print(model.summary())MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟四結(jié)果輸出：Layer

(type) OutputShape Param

#============================================================conv2d_1

(Conv2D) (None,32,

32,

32) 896dropout_1(Dropout) (None,32,

32,32) 0max_pooling2d_1(MaxPooling2(None,16,

16,

32) 0conv2d_2

(Conv2D) (None,16,

16,

64) 184960dropout_2(Dropout)

(None,16,16,64)

0max_pooling2d_2(MaxPooling2(None,8,8,

64)flatten_1

(Flatten) (None,4096) 0dropout_3

(Dropout)(None,

4096)0dense_1

(Dense) (None,1024) 4195328dropout_4(Dropout) (None,

1024) 0dense_2

(Dense) (None,10) 10250=================================================Totalparams:

4,224,970Trainableparams:

4,224,970Non-trainableparams:

0MNIST手寫數(shù)字識別02CIFAR-

10

數(shù)據(jù)集圖片識別體驗步驟五：模型的訓(xùn)練與保存#############訓(xùn)練模型#########################編譯模型#loss:選擇交叉熵算法#optimizer:使用adam算法加快收斂#metrics:判斷標準使用精確度pile(loss='categorical_crossentropy',optimizer='adam',

metrics=['accuracy'])#訓(xùn)練模型#epoch：訓(xùn)練5個周期#batch_size:每一批次128項數(shù)據(jù)#verbose=2:顯示訓(xùn)練過程#validation_split=0.2.model.fit(x=Train_image_nor,y=Train_label_nor,batch_size=128,epochs=10,verbose=2,validation_split=