人工智能深度學(xué)習(xí)綜合實踐 課件3.深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用-循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)、4.計算機(jī)視覺模型數(shù)據(jù)準(zhǔn)備-常見計算機(jī)視覺數(shù)據(jù)集及格式、5.計算機(jī)視覺模型訓(xùn)練與應(yīng)用-計算機(jī)視覺基本任務(wù)

計算機(jī)視覺模型數(shù)據(jù)準(zhǔn)備計算機(jī)視覺模型應(yīng)用項目目標(biāo)（1）了解常見的計算機(jī)視覺數(shù)據(jù)集及格式。（2）掌握圖像分類數(shù)據(jù)集加載的方法。（3）掌握圖像分類數(shù)據(jù)處理的方法。項目描述

本項目將介紹在人工智能交互式在線實訓(xùn)及算法校驗系統(tǒng)上使用垃圾分類數(shù)據(jù)集，查看數(shù)據(jù)集文件結(jié)構(gòu)，并將數(shù)據(jù)集拆分為訓(xùn)練集和測試集。由于PaddleX的API極其適應(yīng)ImageNet格式的數(shù)據(jù)集，因此可以將數(shù)據(jù)集轉(zhuǎn)化為ImageNet格式，然后使用PaddleX定義數(shù)據(jù)預(yù)處理模塊，并使用PaddleX對數(shù)據(jù)集進(jìn)行加載，用于后續(xù)模型的訓(xùn)練。準(zhǔn)備垃圾分類數(shù)據(jù)集的流程常見計算機(jī)視覺數(shù)據(jù)集及格式MNIST是機(jī)器學(xué)習(xí)入門的標(biāo)準(zhǔn)數(shù)據(jù)集，共10個類別，由來自250個不同人的0-9手寫數(shù)字構(gòu)成，測試集也是同樣比例的手寫數(shù)字?jǐn)?shù)據(jù)。包含了60,000張28x28的二值訓(xùn)練圖像，10,000張28x28的二值測試圖像。最早的深度卷積網(wǎng)絡(luò)LeNet便是針對MNIST數(shù)據(jù)集的，而且當(dāng)前主流深度學(xué)習(xí)框架幾乎無一例外將MNIST數(shù)據(jù)集的處理作為介紹及入門第一教程。1MNIST數(shù)據(jù)集▲MNIST數(shù)據(jù)集示例圖片?常見的計算機(jī)視覺數(shù)據(jù)集及格式CIFAR-10數(shù)據(jù)集的圖像具備以下特點。（2）圖像中有且只有一個主體目標(biāo)。（3）圖像中的主體目標(biāo)可能會被遮擋，但仍可被清晰辨識。（1）都是真實拍攝的圖像。常見計算機(jī)視覺數(shù)據(jù)集及格式ImageNet數(shù)據(jù)集有1400多萬幅圖片，涵蓋2萬多個類別；其中有超過百萬的圖片有明確的類別標(biāo)注和圖像中物體位置的標(biāo)注，具體信息及說明如下表：2ImageNet數(shù)據(jù)集信息說明數(shù)量Totalnumberofnon-emptysynsets數(shù)據(jù)集涵蓋類別21841Totalnumberofimages圖片的總數(shù)量14,197,122Numberofimageswithboundingboxannotations帶邊框批注的圖像數(shù)1,034,908NumberofsynsetswithSIFTfeatures具有SIFT(尺度不變性和光照不變性)特征的數(shù)據(jù)集數(shù)量1000NumberofimageswithSIFTfeatures具有SIFT(尺度不變性和光照不變性)特征的圖像數(shù)1,200,000常見計算機(jī)視覺數(shù)據(jù)集及格式ImageNet數(shù)據(jù)集目錄下包含多個文件夾，每個文件夾中的圖像均屬于同一個類別，文件夾的命名即為類別名。2ImageNet數(shù)據(jù)集▲ImageNet數(shù)據(jù)集示例圖片?文件描述train_list.txt訓(xùn)練集列表val_list.txt驗證集列表labels.txt類別標(biāo)簽列表常見計算機(jī)視覺數(shù)據(jù)集及格式COCO是一個大規(guī)模的對象識別、分割以及Captioning數(shù)據(jù)集。具有以下特點：3COCO數(shù)據(jù)集特點說明Objectsegmentation對象分割Recognitionincontext在上下文中可識別Superpixelstuffsegmentation超像素分割330Kimages(>200Klabeled)330K圖像（>200K標(biāo)記）1.5millionobjectinstances150萬個對象實例80objectcategories80個對象類別91stuffcategories91個類別5captionsperimage每張圖片5個字幕250,000peoplewithkeypoints有關(guān)鍵點的250,000人常見計算機(jī)視覺數(shù)據(jù)集及格式MSCOCO數(shù)據(jù)集將原圖片全部放在名為JPEGImages文件夾中，為了區(qū)分訓(xùn)練集和驗證集，使用不同的json表示數(shù)據(jù)的劃分，例如train.json和val.json。3COCO數(shù)據(jù)集▲COCO數(shù)據(jù)集示例圖片PASCAL人類動物鳥貓牛狗馬羊交通工具飛機(jī)自行車船公共汽車小轎車摩托車火車室內(nèi)瓶子椅子餐桌盆栽植物沙發(fā)電視常見計算機(jī)視覺數(shù)據(jù)集及格式PASCAL是一個用于模式分析和統(tǒng)計建模的數(shù)據(jù)集，包括圖像分類，目標(biāo)檢測，分割等任務(wù)，是由PASCALVOC挑戰(zhàn)賽衍生出來的數(shù)據(jù)集。PASCALVOC2007之后的數(shù)據(jù)集包括以下20個類別。4PASCAL數(shù)據(jù)集常見計算機(jī)視覺數(shù)據(jù)集及格式數(shù)據(jù)集包括圖片的三種信息：原始圖片（JPEGImages文件夾），對象像素（SegmentationClass文件夾）和分類像素（SegmentationObject文件夾）。其中還有一個Annotations文件夾是圖片描述的xml文件。例如以下圖片，就會有相應(yīng)的xml文件描述該圖片，包括圖片的寬高、包含的Object的類別、坐標(biāo)等信息，同時還包括訓(xùn)練集列表train_list.txt，驗證集列表val_list.txt和類別標(biāo)簽列表labels.txt三個文件。▲PASCAL數(shù)據(jù)集示例圖片常見計算機(jī)視覺數(shù)據(jù)集及格式

PASCALVOC數(shù)據(jù)集的格式包括以下5個文件夾：注解（Annotation）圖像集（ImageSets）原始圖像（JPEGImages）分類像素（SegmentationObject）對象像素（SegmentationClass）常見計算機(jī)視覺數(shù)據(jù)集及格式（1）注解文件夾，用于存放XML格式的標(biāo)簽文件，每一個XML文件都對應(yīng)原始圖像文件夾中的一個圖像。（2）圖像集文件夾，用于存放分類和檢測的數(shù)據(jù)集分割文件。（3）原始圖像文件夾，用于存放原始圖像，主要用來進(jìn)行訓(xùn)練和測試驗證。（4）分類像素文件夾，用于存放原始圖像實例分割的圖像。（5）對象像素文件夾，用于存放原始圖像語義分割的圖像。常見計算機(jī)視覺數(shù)據(jù)集及格式5CIFAR-10、CIFAR-100數(shù)據(jù)集MNIST數(shù)據(jù)集cifar-10數(shù)據(jù)集只是灰度圖像類別少，只是手寫數(shù)字并非真實數(shù)據(jù)，沒有真實數(shù)據(jù)的局部統(tǒng)計特性都是真實圖片而不是手稿等圖中只有一個主體目標(biāo)可以有部分遮擋，但是必須可辨識常見計算機(jī)視覺數(shù)據(jù)集及格式cifar-100數(shù)據(jù)集包含100小類，每小類包含600個圖像，其中有500個訓(xùn)練圖像和100個測試圖像。與cifar-10不同的是，100類被分組為20個大類，而每一個大類，又可以細(xì)分為子類，所以每個圖像帶有1個小類的“fine”標(biāo)簽和1個大類“coarse”標(biāo)簽?！鳦IFAR-10數(shù)據(jù)集示例圖片?PaddleX介紹

PaddleX是PaddlePaddle深度學(xué)習(xí)全流程開發(fā)工具，集PaddlePaddle核心框架、模型庫、工具及組件等深度學(xué)習(xí)開發(fā)所需全部功能于一體，具備深度學(xué)習(xí)開發(fā)流程全打通、融合產(chǎn)業(yè)實踐、易用易集成三大特點。

PaddleX同時提供簡明易懂的PythonAPI，開發(fā)者可根據(jù)實際生產(chǎn)需求選擇相應(yīng)的開發(fā)方式，以獲得PaddlePaddle全流程開發(fā)的最佳體驗。PaddleX的圖像分類數(shù)據(jù)集的加載方法使用paddlex.datasets.ImageNet()函數(shù)加載數(shù)據(jù)集使用paddlex.datasets.VOCDetection()函數(shù)加載數(shù)據(jù)集使用paddlex.datasets.CocoDetection()函數(shù)加載數(shù)據(jù)集PaddleX的圖像分類數(shù)據(jù)處理函數(shù)RandomCrop()函數(shù)RandomHorizontalFlip()函數(shù)RandomDistort()函數(shù)Normalize()函數(shù)其他數(shù)據(jù)處理函數(shù)拆分和驗證垃圾分類數(shù)據(jù)集實施思路01查看數(shù)據(jù)集02拆分?jǐn)?shù)據(jù)集03驗證數(shù)據(jù)集04加載數(shù)據(jù)集實施步驟步驟1：查看數(shù)據(jù)集本項目采用的垃圾分類數(shù)據(jù)集位于人工智能交互式在線實訓(xùn)及算法校驗系統(tǒng)中的data目錄下，單擊進(jìn)入該目錄下的“garbage”文件夾中即可找到對應(yīng)的數(shù)據(jù)集文件。垃圾分類數(shù)據(jù)集實施步驟查看完數(shù)據(jù)集后，可以通過代碼查看數(shù)據(jù)集圖像。顯示抽取的圖像實施步驟步驟2：拆分?jǐn)?shù)據(jù)集將數(shù)據(jù)集拆分為訓(xùn)練集和測試集，分別對應(yīng)寫入“train.txt”和“val.txt”兩個文檔，并創(chuàng)建“l(fā)abels.txt”文檔用來寫入標(biāo)簽。這個操作實質(zhì)上是將數(shù)據(jù)集轉(zhuǎn)化為ImageNet格式，方便后續(xù)使用PaddleX進(jìn)行數(shù)據(jù)加載。步驟3：驗證數(shù)據(jù)集將數(shù)據(jù)集拆分為訓(xùn)練集和測試集后，需要驗證拆分后的數(shù)據(jù)集和原數(shù)據(jù)集數(shù)量是否一致。根據(jù)前面的計算可得到原數(shù)據(jù)集的數(shù)量，再計算拆分后訓(xùn)練集和測試集的數(shù)量，若數(shù)量一致，則拆分后的數(shù)據(jù)集與原數(shù)據(jù)集數(shù)量無誤。實施步驟步驟4：加載數(shù)據(jù)集在知識準(zhǔn)備部分已經(jīng)了解了如何使用PaddleX加載ImageNet格式的數(shù)據(jù)集，現(xiàn)在需要先定義數(shù)據(jù)預(yù)處理模塊。通過調(diào)用PaddleX中用于加載ImageNet格式的數(shù)據(jù)集的函數(shù)并配置相關(guān)參數(shù)，來將拆分好的數(shù)據(jù)集加載到指定的變量中。知識拓展

PaddleX目前支持常見的計算機(jī)視覺數(shù)據(jù)集格式和EasyData數(shù)據(jù)標(biāo)注平臺的標(biāo)注數(shù)據(jù)格式，并支持LabelMe和EasyData平臺數(shù)據(jù)格式的轉(zhuǎn)換。

LabelMe是一個圖形界面的圖像標(biāo)注軟件，它是用Python語言編寫的，圖形界面使用的是Qt。Qt是用于創(chuàng)建圖形界面應(yīng)用程序的工具包，EasyDL則是百度公司開發(fā)的用于數(shù)據(jù)標(biāo)注的平臺。知識拓展計算機(jī)視覺領(lǐng)域的基本任務(wù)01圖像分割02目標(biāo)檢測03實例分割04語義分割知識拓展計算機(jī)視覺領(lǐng)域的基本任務(wù)與常用數(shù)據(jù)集格式的對應(yīng)關(guān)系深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)實戰(zhàn)深度學(xué)習(xí)模型訓(xùn)練項目目標(biāo)（1）熟悉循環(huán)神經(jīng)網(wǎng)絡(luò)的常見類型。（2）了解循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)。（3）掌握SimpleRNN的搭建方法。（4）掌握循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練方法。（5）能夠基于時序數(shù)據(jù)的預(yù)測案例搭建循環(huán)神經(jīng)網(wǎng)絡(luò)。項目描述循環(huán)神經(jīng)網(wǎng)絡(luò)是一類處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，它可以對任意長度的序列數(shù)據(jù)進(jìn)行建模。而原始的神經(jīng)網(wǎng)絡(luò)如全連接神經(jīng)網(wǎng)絡(luò)，要求輸入數(shù)據(jù)的長度是固定、已知的，因此其無法像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣靈活地處理序列數(shù)據(jù)的模型。循環(huán)神經(jīng)網(wǎng)絡(luò)的常見類型循環(huán)神經(jīng)網(wǎng)絡(luò)具有短期記憶能力。長短期記憶網(wǎng)絡(luò)LSTM門控循環(huán)單元GRU長短期記憶網(wǎng)絡(luò)的長期與短期記憶能力并存，在自然語言處理中使用較廣泛。門控循環(huán)單元是在長短期記憶網(wǎng)絡(luò)LSTM上進(jìn)行簡化得到的。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)RNN是一個非常經(jīng)典的面向序列的模型，可以對自然語言句子或是其它時序信號進(jìn)行建模，其網(wǎng)絡(luò)結(jié)構(gòu)如圖所示：圖中的V,W,U都是網(wǎng)絡(luò)中需要被訓(xùn)練的參數(shù)，對參數(shù)進(jìn)行隨機(jī)初始化后，需要依賴反向傳播算法來不斷更新這些參數(shù)，得到我們最終的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

2循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

2循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

3簡單循環(huán)神經(jīng)網(wǎng)絡(luò)——SimpleRNN

PaddlePaddle中提供一種構(gòu)建簡單循環(huán)神經(jīng)網(wǎng)絡(luò)的方法——SimpleRNN，SimpleRNN可以根據(jù)輸入序列和給定的初始狀態(tài)，計算并返回輸出序列和最終狀態(tài)。在該網(wǎng)絡(luò)中，每一層對應(yīng)時間步輸入的數(shù)據(jù)，每個時間步根據(jù)當(dāng)前時刻輸入Xt和上一時刻的狀態(tài)值ht-1，計算當(dāng)前時刻的輸出（記為yt）并更新狀態(tài)值ht。循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練方法設(shè)定均方誤差函數(shù)，并設(shè)置Adam優(yōu)化器。在訓(xùn)練過程中繪制擬合結(jié)果和預(yù)測結(jié)果。將數(shù)據(jù)修改為時序數(shù)據(jù)。引入SimpleRNN，將模型修改為循環(huán)神經(jīng)網(wǎng)絡(luò)。重復(fù)預(yù)測下一時間步的數(shù)據(jù)，并整合下一時間段的預(yù)測結(jié)果。數(shù)據(jù)準(zhǔn)備模型設(shè)計訓(xùn)練配置模型訓(xùn)練模型應(yīng)用通過循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測時序數(shù)據(jù)實施思路訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)模型應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)模型配置循環(huán)神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)據(jù)準(zhǔn)備導(dǎo)入項目所需庫設(shè)計循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)123456知識拓展

從循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中可以發(fā)現(xiàn)，如果去掉t時刻前的輸出，只保留最終的輸出Ot，那么循環(huán)神經(jīng)網(wǎng)絡(luò)就可以用于分類任務(wù)，示例任務(wù)如下。●圖像分類任務(wù)，將圖像按像素展開成一組序列數(shù)據(jù)，最終輸出的是圖像屬于的類別?！袂楦蟹治鋈蝿?wù)，將一段文字作為序列數(shù)據(jù)輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，最終輸出的是這段文字對應(yīng)的情感信息。計算機(jī)視覺模型訓(xùn)練與應(yīng)用計算機(jī)視覺模型應(yīng)用項目目標(biāo)（1）了解計算機(jī)視覺領(lǐng)域的基本任務(wù)。（2）了解圖像分類任務(wù)的常用網(wǎng)絡(luò)。（3）能夠針對應(yīng)用場景訓(xùn)練圖像分類模型。（4）能夠應(yīng)用圖像分類模型進(jìn)行預(yù)測。課堂導(dǎo)入計算機(jī)視覺機(jī)器視覺項目描述計算機(jī)視覺是一門研究如何使機(jī)器“看”的科學(xué)，更進(jìn)一步的說，就是指用攝影機(jī)和電腦代替人眼對目標(biāo)進(jìn)行識別、跟蹤和測量等。計算機(jī)視覺是人工智能研究的重要領(lǐng)域，它試圖建立一個像人一樣的視覺感知系統(tǒng)。計算機(jī)視覺主要任務(wù)就是用于識別和理解圖像或視頻中的內(nèi)容。深度學(xué)習(xí)語義分割實例分割檢測分類計算機(jī)視覺基本任務(wù)在計算機(jī)視覺領(lǐng)域中，最主要的四大基本任務(wù)包括分類、檢測、語義分割和實例分割，下面是基本解釋及相關(guān)圖示。分類給定一張輸入圖像，圖像分類任務(wù)旨在判斷該圖像所屬類別。計算機(jī)視覺基本任務(wù)在計算機(jī)視覺領(lǐng)域中，最主要的四大基本任務(wù)包括分類、檢測、語義分割和實例分割，下面是基本解釋及相關(guān)圖示。檢測給定一張輸入圖像，目標(biāo)檢測任務(wù)旨在用方框框出圖片內(nèi)的物體和位置。計算機(jī)視覺基本任務(wù)在計算機(jī)視覺領(lǐng)域中，最主要的四大基本任務(wù)包括分類、檢測、語義分割和實例分割，下面是基本解釋及相關(guān)圖示。語義分割給定一張輸入圖像，在框出目標(biāo)的基礎(chǔ)上，區(qū)分圖像中每一點像素點。計算機(jī)視覺基本任務(wù)在計算機(jī)視覺領(lǐng)域中，最主要的四大基本任務(wù)包括分類、檢測、語義分割和實例分割，下面是基本解釋及相關(guān)圖示。實例分割可精確到物體的邊緣，需標(biāo)注出圖上同一物體的不同個體。圖像分類任務(wù)常用網(wǎng)絡(luò)ResNetDenseNetAlexNetMobileNet圖像分類任務(wù)常用網(wǎng)絡(luò)ResNet網(wǎng)絡(luò)結(jié)構(gòu)圖像