深度學(xué)習(xí)技術(shù)與應(yīng)用 課件 第15章 面部情緒識別算法

深度學(xué)習(xí)技術(shù)與應(yīng)用DeepLearningTechnologyandApplicationcontents目錄第十五章面部情緒識別算法01.人臉表情數(shù)處理Facialexpressiondataprocessing02.情緒分類器訓(xùn)練EmotionclassifiertrainingPART1人臉表情數(shù)處理01.人臉表情數(shù)處理FacialexpressionprocessingFer2013人臉表情數(shù)據(jù)集處理表情數(shù)據(jù)集由35886張人臉表情圖片組成，其中，訓(xùn)練集28708張，測試集和私有驗(yàn)證集各3589張圖片，每張圖片是由大小固定為48×48的灰度圖像組成，共有7種表情，分別對應(yīng)于數(shù)字標(biāo)簽0～6。01.人臉表情數(shù)處理FacialexpressionprocessingFer2013人臉表情數(shù)據(jù)集處理在根目錄下創(chuàng)建build目錄，將fer2013.csv文件放入build中、test_set文件夾放入項(xiàng)目根目錄下，并在根目錄創(chuàng)建datasets文件夾。01.人臉表情數(shù)處理FacialexpressionprocessingFer2013人臉表情數(shù)據(jù)集處理

首先讀取并構(gòu)建各個數(shù)據(jù)集存放的目錄，并將數(shù)據(jù)集文件劃分成訓(xùn)練集、測試集和驗(yàn)證集三個集合。01.人臉表情數(shù)處理FacialexpressionprocessingFer2013人臉表情數(shù)據(jù)集處理將數(shù)據(jù)轉(zhuǎn)換為圖?和標(biāo)簽形式01.人臉表情數(shù)處理FacialexpressionprocessingFer2013人臉表情數(shù)據(jù)集處理編寫可視化函數(shù)，將轉(zhuǎn)換后的數(shù)據(jù)繪制出來，?便查看PART2情緒分類器訓(xùn)練02.情緒分類器訓(xùn)練Emotionclassifiertraining情緒分類器訓(xùn)練搭建模型:設(shè)置訓(xùn)練參數(shù)，并采?VGG16?絡(luò)進(jìn)?改進(jìn)，組成?個更加深度的卷積神經(jīng)?絡(luò)。02.情緒分類器訓(xùn)練Emotionclassifiertraining情緒分類器訓(xùn)練搭建模型:設(shè)置訓(xùn)練所用到的參數(shù)：每次輸入訓(xùn)練數(shù)據(jù)量為128，分類數(shù)量為7種表情，訓(xùn)練批次70,圖像尺寸48，并設(shè)置好數(shù)據(jù)集根目錄與模型存儲目錄。在classModel模型類中分別創(chuàng)建三個模型02.情緒分類器訓(xùn)練Emotionclassifiertraining情緒分類器訓(xùn)練構(gòu)建網(wǎng)絡(luò)模型，它是一個線性堆疊模型，各神經(jīng)網(wǎng)絡(luò)層會被順序添加，CNN采用VGG16網(wǎng)絡(luò)進(jìn)行改進(jìn)，組成一個更加深度的卷積神經(jīng)網(wǎng)絡(luò)。defbuild_model(self):self.model=Sequential()#以下代碼將順序添加CNN網(wǎng)絡(luò)需要的各層，一個add就是一個網(wǎng)絡(luò)層#卷積層

self.model.add(Conv2D(32,(1,1),strides=1,padding='same',input_shape=(img_size,img_size,1)))#激活函數(shù)層

self.model.add(Activation('relu'))#卷積層

self.model.add(Conv2D(32,(5,5),padding='same'))self.model.add(Activation('relu'))#池化層

self.model.add(MaxPooling2D(pool_size=(2,2)))self.model.add(Conv2D(32,(3,3),padding='same'))self.model.add(Activation('relu'))self.model.add(MaxPooling2D(pool_size=(2,2)))self.model.add(Conv2D(64,(5,5),padding='same'))self.model.add(Activation('relu'))self.model.add(MaxPooling2D(pool_size=(2,2)))#Flatten層self.model.add(Flatten())#Dense全連接層self.model.add(Dense(2048))self.model.add(Activation('relu'))#Dropout層

防止過擬合提高效果self.model.add(Dropout(0.5))#Dense全連接層self.model.add(Dense(1024))self.model.add(Activation('relu'))self.model.add(Dropout(0.5))#Dense全連接層self.model.add(Dense(num_classes))#分類層，輸出最終結(jié)果self.model.add(Activation('softmax'))self.model.summary()02.情緒分類器訓(xùn)練Emotionclassifiertraining情緒分類器訓(xùn)練構(gòu)建train_model訓(xùn)練模型函數(shù)，采用SGD優(yōu)化器進(jìn)行訓(xùn)練。02.情緒分類器訓(xùn)練Emotionclassifiertraining情緒分類器訓(xùn)練構(gòu)建模型存儲函數(shù)，保存模型網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練權(quán)重。02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊構(gòu)建MTCNN的各個組建路徑構(gòu)建mtcnn人臉檢測器對象02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊構(gòu)建facesdetectionmtcnn和單圖顯示函數(shù)imshow02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

隨機(jī)測試?個圖像02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

將訓(xùn)練結(jié)果進(jìn)?預(yù)測，查看效果02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

獲取emoji表情圖??件并構(gòu)建EmotionDetector表情檢測器02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

獲取emoji表情圖??件并構(gòu)建EmotionDetector表情檢測器02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

獲取emoji表情圖??件并構(gòu)建EmotionDetector表情檢測器02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

獲取emoji表情圖??件并構(gòu)建EmotionDetector表情檢測器建立繪制函數(shù)：02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

獲取emoji表情圖??件并構(gòu)建EmotionDetector表情檢測器繪制出檢測結(jié)果，在檢測到的人臉上繪制矩形框，并將檢查后的表情檢測結(jié)果用中文顯示02.情緒分類器訓(xùn)練Emotionclassifiertraining使用MTCNN人臉檢測模塊

獲取emoji表情圖??件并構(gòu)建EmotionDetector表情檢測器繪制出檢測結(jié)果，在檢測到的人臉上繪制矩形框，并將檢查后的