人工智能技術應用導論第3.2章 機器學習與深度學習

案例體驗：使用K-Means對觀影用戶進行聚類02步驟三：可視化展現(xiàn)分類結果

02案例體驗：使用K-Means對觀影用戶進行聚類02步驟三：可視化展現(xiàn)分類結果

02第三章機器學習3.5深度學習神經(jīng)網(wǎng)絡CONTENTS目錄應用場景

01語音識別01自2006年Hinton等提出深度學習的概念，神經(jīng)網(wǎng)絡再次回到人們的視野中，語音識別是第1個取得突破的領域。傳統(tǒng)語音識別的方法主要利用聲學研究中的低層特征，利用高斯混合模型進行特征提取，并用隱馬爾可夫模型進行序列轉移狀態(tài)建模，并據(jù)此識別語音所對應的文字。歷經(jīng)數(shù)十年的發(fā)展，傳統(tǒng)語音識別任務的錯誤率改進卻停滯不前，停留在25%左右，難以達到實用水平。2013年，Hinton與微軟公司合作，利用神經(jīng)網(wǎng)絡改進語音識別中的特征提取方法，將錯誤率降低至17.7%，并在大會現(xiàn)場展示了同聲傳譯產(chǎn)品，效果驚人。此后，研究者們又陸續(xù)采用回復式神經(jīng)網(wǎng)絡改進語音識別的預測和識別，將錯誤率降至7．9%。這一系列的成功使得語音識別實用化成為可能，激發(fā)了大量的商業(yè)應用。至2016年，同聲速記產(chǎn)品準確率已經(jīng)突破95%，超過人類速記員的水平。計算機視覺01計算機視覺一直以來都是一個熱門的研究領域。傳統(tǒng)的研究內容主要集中在根據(jù)圖像特點人工設計不同的特征，如邊緣特征、顏色特征、尺度不變特征等。利用這些特征完成特定的計算機視覺任務，如圖像分類、圖像聚類、圖像分割、目標檢測、目標追蹤等。傳統(tǒng)的圖像特征依賴于人工設計，一般為比較直觀的初級特征，抽象程度較低，表達能力較弱。神經(jīng)網(wǎng)絡方法利用大量的圖像數(shù)據(jù)，完全自動地學習特征。在深度神經(jīng)網(wǎng)絡中，各層特征形成了邊緣、線條、輪廓、形狀、對象等的層次劃分，抽象程度逐漸提高。2012年，在大規(guī)模圖像數(shù)據(jù)集ImageNet上，神經(jīng)網(wǎng)絡方法取得了重大突破，準確率達到84.7%。在LFW人臉識別評測權威數(shù)據(jù)庫上，基于深度神經(jīng)網(wǎng)絡的人臉識別方法DeepID在2014、2015年分別達到準確率99.15%和99.53%，遠超人類識別的準確率97.53%。醫(yī)學醫(yī)療01醫(yī)學醫(yī)療因為其應用的特殊性一直是科學研究的前沿，既要快速的推進，又要求格外嚴謹。如何利用好大數(shù)據(jù)解決醫(yī)學和醫(yī)療中的問題，進一步改善醫(yī)療條件，提高診治水平，是值得人們關注和研究的。隨著神經(jīng)網(wǎng)絡各類應用的成功和成熟，在醫(yī)學和醫(yī)療領域也出現(xiàn)了新的突破。2016年1月，美國Enlitic公司開發(fā)的基于深度神經(jīng)網(wǎng)絡的癌癥檢測系統(tǒng)，適用于從X光、CT掃描、超聲波檢查、MＲI等的圖像中發(fā)現(xiàn)惡性腫瘤，其中，肺癌檢出率超過放射技師水平。同年，Google利用醫(yī)院信息數(shù)據(jù)倉庫的醫(yī)療電子信息存檔中的臨床記錄、診斷信息、用藥信息、生化檢測、病案統(tǒng)計等數(shù)據(jù)，構建病人原始信息數(shù)據(jù)庫，包括病人的用藥信息、診斷信息、診療過程、生化檢測等信息，采用基于神經(jīng)網(wǎng)絡的無監(jiān)督深度特征學習方法學習病人的深度特征表達，并借助這一表達進行自動臨床決策，其準確率超過92%。這些成果為實現(xiàn)基于醫(yī)療大數(shù)據(jù)的精準醫(yī)療打下了扎實基礎。智能博弈01圍棋被譽為“最復雜也是最美的游戲”，自從國際象棋世界冠軍被深藍電腦擊敗后，圍棋也成為了“人類智慧最后堡壘”。2016年，Google旗下Deep-Mind團隊的AlphaGo對戰(zhàn)人類圍棋世界冠軍李世乭九段，不但引起圍棋界和人工智能界的熱切注視，還吸引了眾多群眾的關注。最終AlphaGo以4:1戰(zhàn)勝李世乭九段，其背后成功的秘訣正是采用了神經(jīng)網(wǎng)絡與增強學習相結合，借助神經(jīng)網(wǎng)絡強大的特征提取能力捕捉人類難以分析的高層特征;再利用增強學習，采用自我對弈的方法產(chǎn)生大量的數(shù)據(jù)，從自己的嘗試中學習到超越有限棋譜的技巧，成功掌握了致勝技巧。這一結果在人工智能界非常振奮人心，因為它提出了一種自發(fā)學習到超越現(xiàn)有數(shù)據(jù)的學習方法，標志了增強學習與神經(jīng)網(wǎng)絡的成功結合，也是“大數(shù)據(jù)+神經(jīng)網(wǎng)絡”的成功的應用。

圖1為人臉識別，圖2和圖3為物體識別。01圖1：人臉識別圖2：飛機識別圖3：自行車識別圖像識別

神經(jīng)網(wǎng)絡同時也能完成圖像的超分辨率采樣等任務。圖中，左側是采用二次樣條插值得到的圖像，右側是使用神經(jīng)網(wǎng)絡得到的圖像。不難看出：深度神經(jīng)網(wǎng)絡在進行超分辨采樣的過程中可以保留更多細節(jié)。02圖4：圖像增強圖像增強

目標檢測也是深度學習的重要應用場景，圖像目標檢測可以識別一張圖片的多個物體，并可以定位出不同物體（給出邊界框）。目標檢測在很多場景有用，如圖5所示為在球場上實時進行目標檢測的場景。03圖5：目標檢測實際應用目標檢測

AI換臉技術：（視頻來源：/6760996398079951367/?wid_try=1）04AI換臉

有一項研究是使用深度學習來“繪制”帶有藝術氣息的畫。如下圖所示，輸入兩個圖像后，會生成一個新的圖像。兩個輸入圖像中，左下的圖像稱為“內容圖像”，左上的圖像稱為“風格圖像”。05圖6：風格遷移風格遷移

05

風格遷移技術：（視頻來源：/video/av35604813）風格遷移

圖7和圖8為深度神經(jīng)網(wǎng)絡在自然語音上的一個具體應用-智能翻譯機。第二屆“一帶一路”國際合作高峰論壇上，科大訊飛的智能翻譯機亮相會議現(xiàn)場。06圖7：科大訊飛智能翻譯機圖8：外國嘉賓使用翻譯機交流自然語言第三章機器學習3.6基本原理及技術發(fā)展現(xiàn)狀CONTENTS目錄深度學習概述

01深度學習相關概念

02人類視覺原理與神經(jīng)網(wǎng)絡原理

03感知器基本結構及訓練

04為什么要學習深度學習？01

深度學習是用于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，并模仿人腦的機制來解釋數(shù)據(jù)的一種機器學習技術。

基本特點是試圖模仿大腦神經(jīng)元之間傳遞，處理信息的模式。最顯著的應用是計算機視覺和自然語言處理(NLP)領域。圖1：人工智能、機器學習、深度學習關系深度學習概述

0102深度學習概述

0103深度學習相關概念

02人類視覺原理

1981年的諾貝爾醫(yī)學獎，分別頒發(fā)給了DavidHubel、TorstenWiesel和RogerSperry。前兩位的主要貢獻，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處理”即：視皮層是分級的。04圖2：人類視覺原理

03人類視覺原理

當瞳孔發(fā)現(xiàn)了眼前物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細胞就會變得活躍。04圖3：人類訓練識別不同物體過程

結論：

人的視覺系統(tǒng)的信息處理是分級的，高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖，抽象層面越高，存在的可能猜測就越少，就越利于分類。

03神經(jīng)網(wǎng)絡原理05圖4：單個神經(jīng)元生理結構圖5：數(shù)學公式仿真神經(jīng)元

03神經(jīng)網(wǎng)絡原理05圖6：神經(jīng)網(wǎng)絡原理a1a2a3z1z2

03神經(jīng)網(wǎng)絡原理05圖7：神經(jīng)網(wǎng)絡結構1.設計一個神經(jīng)網(wǎng)絡時，輸入層與輸出層的節(jié)點數(shù)往往是固定的，中間層則可以自由指定；2.神經(jīng)網(wǎng)絡結構圖中的拓撲與箭頭代表著預測過程時數(shù)據(jù)的流向，跟訓練時的數(shù)據(jù)流有一定的區(qū)別；3.結構圖里的關鍵不是圓圈（代表“神經(jīng)元”），而是連接線（代表“神經(jīng)元”之間的連接）。每個連接線對應一個不同的權重（其值稱為權值），這是需要訓練得到的。

03感知器基本結構及訓練06圖8：感知器基本結構

04感知器基本結構及訓練06舉例說明：以上為and函數(shù)的實現(xiàn)。W=[w1,w2]X=[x1,x2]y=f(X*WT+b)，尋找合適的W。其中：給出W=[0.5,0.5]，b=-0.8進行驗證：y1=f(0.5*0+0.5*0-0.8)=0y2=f(0.5*0+0.5*1-0.8)=0y3=f(0.5*1+0.5*0-0.8）=0y4=f(0.5*1+0.5*1-0.8)=1

04感知器基本結構及訓練06現(xiàn)在，你可能困惑前面的權重項和偏置項的值是如何獲得的呢？感知器訓練算法：將權重項和偏置項初始化為0，然后，利用下面的感知器規(guī)則迭代的修改w和b，直到訓練完成。1)w是與輸入xi對應的權重項。2)b是偏置項。事實上，可以把b看作是值永遠為1的輸入所對應的權重。3)t是訓練樣本的實際值，一般稱之為label。4)y是感知器的輸出值，它是根據(jù)公式計算得出。5)η是一個稱為學習速率的常數(shù)，其作用是控制每一步調整權值的幅度。6)每次從訓練數(shù)據(jù)中取出一個樣本的輸入向量x，使用感知器計算其輸出y，再根據(jù)上面的規(guī)則來調整權重。每處理一個樣本就調整一次權重。經(jīng)過多輪迭代后（即全部的訓練數(shù)據(jù)被反復處理多輪），就可以訓練出感知器的權重，使之實現(xiàn)目標函數(shù)。其中：

04第三章機器學習3.7

案例體驗CONTENTS目錄

01

02MNIST手寫數(shù)字識別簡單汽車識別體驗簡單汽車識別體驗011.華為云Modelarts汽車圖片訓練識別體驗：/ei/experiencespace/modelarts/index.html

01MNIST手寫數(shù)字識別01Keras深度學習框架Keras層模型卷積與池化CIFAR-10數(shù)據(jù)集圖片識別體驗

02Keras深度學習框架02Keras是一個開放源碼的高級深度學習程序庫，使用python編寫，能夠運行在TensorFlow或Theano之上。Keras使用最少的程序代碼、花費最少的時間就可以建立深度學習模型，進行訓練、評估準確率，進行預測。Keras是一個模型級的深度學習鏈接庫，Keras只處理模型的建立、訓練、預測等功能。深度學習底層的運行，例如張量（矩陣）運算，Keras必須配合“后端引擎”進行運算。目前Keras提供了兩種后端引擎：Theano與TensorFlow。如圖所示，Keras程序員只需要專注于建立模型，至于底層操作細節(jié)，例如張量（矩陣）運算，Keras會幫你轉換為Theano或TensorFlow。KerasTheanoTensorflowMNIST手寫數(shù)字識別

02Keras深度學習框架02使用Keras深度學習框架訓練，預測數(shù)據(jù)集步驟如下：MNIST手寫數(shù)字識別

02

03(1)卷積層：每個卷積層由若干個卷積單元組成，每個卷積單元的參數(shù)都是通過反向傳播算法優(yōu)化得到的。卷積運算的目的是提取輸入的不同特征。第一層卷積層可能只能提取一些低級的特征，如邊緣、線條和角，更多層的網(wǎng)絡能從低級特征中迭代提取更復雜的特征。(2)池化層：通常在卷積層之后得到的特征維度很大。池化就是一個特征數(shù)據(jù)壓縮的過程，它將特征切成幾個區(qū)域，取其最大值或平均值，得到新的、維度較小的特征數(shù)據(jù)。(3)全連接層：把所有局部特征結合成全局特征，用來計算每一類的得分。MNIST手寫數(shù)字識別

02Keras層模型

03(1)輸入的數(shù)字圖像大小為：32*32*3。(2)卷積層1：卷積產(chǎn)生32個圖像，卷積后圖像大?。?2*32。(3)池化層1：將32個32*32的圖像，縮小為32個16*16的圖像。(4)卷積層2：將64個16*16的圖像卷積產(chǎn)生64個16*16的圖像。(5)池化層2：第二次縮減，將64個16*16圖像縮小為8*8的圖像。(6)平坦層：將64個8*8的圖像以reshape轉換為一維向量，長度為64*8*8，也就是4096個神經(jīng)元。(7)隱藏層：隱藏層共有1024個神經(jīng)元。(8)輸出層：共有10個神經(jīng)元，對應10個圖像。MNIST手寫數(shù)字識別

02Keras層模型

04

在計算機視覺領域，卷積核、濾波器通常為較小尺寸的矩陣，比如3×3、5×5等；數(shù)字圖像是相對較大尺寸的2維（多維）矩陣（張量）。圖像卷積運算過程就是使用濾波器在圖像上滑動，將對應位置相乘求和，如圖所示。1.卷積動態(tài)計算過程：/v?vid=6151717044497705796&pd=bjh&fr=bjhauthor&type=video2.卷積計算參考：/aaa958099161/article/details/90346899MNIST手寫數(shù)字識別

02卷積與池化

04

池化（Pooling），也稱為欠采樣或下采樣，主要用于特征降維，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減小過擬合，同時提高模型的容錯性。池化主要有兩種：最大池化（MaxPooling）和平均池化（AveragePooling）

。(1)最大池化：選取最大的值作為輸出值。它定義一個空間鄰域（比如，2*2的窗口），并從窗口內的修正特征圖中取出最大的元素。最大池化被證明效果較好。如圖5.2.5所示的就是最大值池化過程。(2)平均池化：選取平均值作為輸出值。它定義一個空間鄰域（比如，2*2的窗口），并從窗口內的修正特征圖中算出平均值。MNIST手寫數(shù)字識別

02卷積與池化05CIFAR-10數(shù)據(jù)集簡介我們可以在下列網(wǎng)址查看CIFAR-10數(shù)據(jù)集：/~kriz/cifar.htmlCIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟一：下載并查看數(shù)據(jù)集#導入相應庫importnumpyasnpfromkeras.datasetsimportcifar10importmatplotlib.pyplotaspltfromkeras.utilsimportnp_utils#下載并加載CIFAR-10數(shù)據(jù)集(train_image,train_label),(test_image,test_label)=cifar10.load_data()#查看shapeprint('train_image的shape:',train_image.shape)print('test_image的shape:',test_image.shape)print('train_label的shape:',train_label.shape)print('test_label的shape:',test_label.shape)CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟一結果輸出：train_image的shape:(50000,32,32,3)test_image的shape:(10000,32,32,3)train_label的shape:(50000,1)test_label的shape:(10000,1))

由結果可知：CIFAR-10數(shù)據(jù)集分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集，其中訓練數(shù)據(jù)集由50000張像素點32*32的RGB(3基礎色）圖像，測試數(shù)據(jù)集由10000張像素點32*32的RGB（3基礎色）圖像。CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟二：查看多項圖片的feature與labelimportmatplotlib.pyplotaspltimportnumpyasnpdefplot_images_labels_prediction(image,labels,idx,num,prediction,label_dict):foriinrange(0,num):

#繪制多子圖ax=plt.subplot(5,5,1+i)ax.imshow(image[idx])print(labels[idx])if(len(prediction)>0):ax.set_title(label_dict[labels[idx,0]]+label_dict[int(prediction[idx])])else:ax.set_title(label_dict[labels[idx,0]])idx+=1plt.show()CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟二：查看多項圖片的feature與labelimportimage_show#新建一個字典類型，定義每一個數(shù)字所代表的圖像類別名稱label_dict={0:'airplane',1:'automobile',2:'bird',3:'cat',4:'deer',5:'dog',6:'frog',7:'horse',8:'ship',9:'truck'}#繪制前10張圖像image_show.plot_images_labels_prediction(image=train_image,labels=train_label,idx=0,num=10,prediction=[],label_dict=label_dict)步驟二結果輸出：CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟三：數(shù)據(jù)預處理#數(shù)據(jù)預處理Train_image_nor=train_image.astype('float32')/255Test_image_nor=test_image.astype('float32')/255Train_label_nor=np_utils.to_categorical(train_label)Test_label_nor=np_utils.to_categorical(test_label)#查看處理后結果print(Train_label_nor[0])[0.0.0.0.0.0.1.0.0.0.]步驟三結果輸出：CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟四：模型建立#建立模型fromkeras.modelsimportSequentialfromkeras.layersimportDense,Dropout,Activation,Flattenfromkeras.layersimportConv2D,MaxPooling2D,ZeroPadding2D#建立序貫模型model=Sequential()#添加卷積層1，產(chǎn)生32張圖像，卷積核為3*3，卷積后的圖像與卷積前尺寸大小相等model.add(Conv2D(filters=32,kernel_size=(3,3),input_shape=(32,32,3),padding='same',activation='relu',))#添加dropout層1model.add(Dropout(0.25))#添加池化層1model.add(MaxPooling2D(pool_size=(2,2)))CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟四：模型建立#添加卷積層2model.add(Conv2D(filters=64,kernel_size=(3,3),padding='same',activation='relu',))#添加dropout，避免過擬合model.add(Dropout(0.25))#添加池化層2model.add(MaxPooling2D(pool_size=(2,2)))#添加平坦層model.add(Flatten())#添加dropoutmodel.add(Dropout(0.25))#添加隱藏層model.add(Dense(1024,activation='relu'))#添加dropoutmodel.add(Dropout(0.25))#輸出層model.add(Dense(10,activation='softmax'))#打印模型print(model.summary())CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟四結果輸出：_________________________________________________________________Layer(type)OutputShapeParam#============================================================conv2d_1(Conv2D)(None,32,32,32)896____________________________________________________________dropout_1(Dropout)(None,32,32,32)0____________________________________________________________max_pooling2d_1(MaxPooling2(None,16,16,32)0____________________________________________________________conv2d_2(Conv2D)(None,16,16,64)18496____________________________________________________________dropout_2(Dropout)(None,16,16,64)0____________________________________________________________max_pooling2d_2(MaxPooling2(None,8,8,64)0____________________________________________________________flatten_1(Flatten)(None,4096)0____________________________________________________________

_________________________________________________________dropout_3(Dropout)(None,4096)0_________________________________________________________dense_1(Dense)(None,1024)4195328_________________________________________________________dropout_4(Dropout)(None,1024)0_________________________________________________________dense_2(Dense)(None,10)10250=================================================Totalparams:4,224,970Trainableparams:4,224,970Non-trainableparams:0_________________________________________________________CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟五：模型的訓練與保存#############訓練模型#########################編譯模型#loss:選擇交叉熵算法#optimizer:使用adam算法加快收斂#metrics:判斷標準使用精確度pile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])#訓練模型#epoch：訓練5個周期#batch_size:每一批次128項數(shù)據(jù)#verbose=2:顯示訓練過程#validation_split=0.2.model.fit(x=Train_image_nor,y=Train_label_nor,batch_size=128,epochs=10,verbose=2,validation_split=0.2)#保存模型model.save('cnn_cifar10.h5')CIFAR-10數(shù)據(jù)集圖片識別體驗MNIST手寫數(shù)字識別

0205步驟五結果輸出：Trainon40000samples,validateon10000samplesEpoch1/102020-11-0614:35:10.954569:Itensorflow/core/platform/cpu_feature_guard.cc:142]YourCPUsupportsinstructionsthatthisTensorFlowbinarywasnotcompiledtouse:AVX2-182s-loss:1.5302-acc:0.4492-val_loss:1.3716-val_acc:0.5396Epoch2/10-153s-loss:1.1750-acc:0.5813-val_loss:1.1595-val_acc:0.6241Epoch3/10-153s-loss:1.0378-acc:0.6330-val_loss:1.0385-val_acc:0.6621Epoch4/10-131s-loss:0.9175-acc:0.6751-val_loss:0.9895-val_acc:0.6753Epoch5/10-139s-loss:0.8386-acc:0.7040-val_loss:0.9521-val_acc: