深度學(xué)習(xí)技術(shù)與應(yīng)用 課件 第13章 自然語(yǔ)言處理

深度學(xué)習(xí)技術(shù)與應(yīng)用DeepLearningTechnologyandApplicationcontents目錄第十三章自然語(yǔ)言處理01.

Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing02.

LSTM方法進(jìn)行模型建立和預(yù)測(cè)ModelestablishmentandpredictionbyLSTMmethodPART1Keras自然語(yǔ)言處理01.Keras自然語(yǔ)言處理KerasnaturallanguageprocessingKeras自然語(yǔ)言處理什么是自然語(yǔ)言處理？自然語(yǔ)言處理是人工智能，語(yǔ)言學(xué)關(guān)注計(jì)算機(jī)和人類（自然）語(yǔ)言之間的相互作用的領(lǐng)域，是處理計(jì)算機(jī)與人類之間的自然語(yǔ)言交互。Keras在自然語(yǔ)言處理的主要過(guò)程是：讀取數(shù)據(jù)集建立Token使用Token將影評(píng)文字轉(zhuǎn)成數(shù)字列表截長(zhǎng)補(bǔ)短讓所有數(shù)字列表長(zhǎng)度都為380Embedding層將數(shù)字列表?yè)Q成向量列表將向量列表送入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練01.Keras自然語(yǔ)言處理KerasnaturallanguageprocessingKeras自然語(yǔ)言處理建立Token:因?yàn)樯疃葘W(xué)習(xí)模型只能接受數(shù)字，在使用前必須將文字轉(zhuǎn)成數(shù)字列表。如何實(shí)現(xiàn)轉(zhuǎn)換數(shù)字列表呢？就像要將一種語(yǔ)言翻譯成另外一種語(yǔ)言時(shí)，必須要有字典。轉(zhuǎn)換

建立token后，會(huì)出現(xiàn)一個(gè)單詞對(duì)應(yīng)一個(gè)數(shù)字（單詞和索引）:{('the',1),('and',2),('a',3),('of'),4...}

如：THEISA1,6,3截長(zhǎng)補(bǔ)短

由于文字的數(shù)字都不固定，有些可能是200字，有些可能是490字。這樣一來(lái)轉(zhuǎn)換成數(shù)字列表的數(shù)字也不固定，所以要做處理。這里將數(shù)字列表的長(zhǎng)度都設(shè)置為380，長(zhǎng)的去掉，短的補(bǔ)上0。數(shù)字列表轉(zhuǎn)成向量列表除了知道文字的數(shù)字列表以為，還需要理解文字的語(yǔ)義。所以需要將數(shù)字列表轉(zhuǎn)成空間向量，向量夾角和方向越接近，就表示詞的意思越接近。Word2vec是一組用來(lái)產(chǎn)生詞向量的相關(guān)模型，模型為淺而雙層的神經(jīng)網(wǎng)絡(luò)，用來(lái)訓(xùn)練以重新建構(gòu)語(yǔ)言學(xué)之詞文本。網(wǎng)絡(luò)以詞表現(xiàn)，并且需猜測(cè)相鄰位置的輸入詞，在word2vec中詞袋模型假設(shè)下，詞的順序是不重要的。訓(xùn)練完成之后，word2vec模型可用來(lái)映射每個(gè)詞到一個(gè)向量，可用來(lái)表示詞對(duì)詞之間的關(guān)系，該向量為神經(jīng)網(wǎng)絡(luò)之隱藏層。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析1.創(chuàng)建項(xiàng)??件(dlwork)jingyudeMacBook-Pro:~jingyuyan$mkdirproject09#進(jìn)入項(xiàng)目文件夾后，創(chuàng)建dataset文件夾(dlwork)jingyudeMacBook-Pro:~jingyuyan$cdproject09(dlwork)jingyudeMacBook-Pro:project09jingyuyan$mkdirdataset2.下載IMDb數(shù)據(jù)集將數(shù)據(jù)集從/~amaas/data/sentiment/aclImdb_v1.tar.gz下載到dataset中。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析3.解壓IMDb數(shù)據(jù)集IMDb數(shù)據(jù)集共有50000項(xiàng)“?字影評(píng)”，分別有25000項(xiàng)訓(xùn)練集和25000項(xiàng)測(cè)試集，其中每?項(xiàng)數(shù)據(jù)都標(biāo)有“正?評(píng)價(jià)”和“負(fù)?評(píng)價(jià)”。4.讀取數(shù)據(jù)01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析4.讀取數(shù)據(jù)數(shù)據(jù)集是從互聯(lián)?上收集的信息，需要對(duì)HTML的標(biāo)簽做?定的處理，讀取imdbsimpleutil模塊，使?read_files?件讀取?件夾?錄并對(duì)數(shù)據(jù)進(jìn)?格式化的讀取。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析4.讀取數(shù)據(jù)讀取數(shù)據(jù)后，隨意查看?項(xiàng)數(shù)據(jù)，為了?便查看結(jié)果，我們定義好格式化字典。隨機(jī)查看?項(xiàng)數(shù)據(jù)和數(shù)據(jù)的結(jié)果。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析5.建?Token使?Tokenizer建?Token，輸?num_words為單詞數(shù)量，我們這邊選擇使?2000個(gè)單詞，建?擁有2000個(gè)單詞的字典。并且讀取所有訓(xùn)練集中的影評(píng)，并將token字典?的單詞按照出現(xiàn)次數(shù)進(jìn)?排序，排在前2000的單詞會(huì)被列?字典當(dāng)中。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析5.建?Token

可以看到the、and、a等這些單詞是影評(píng)當(dāng)中出現(xiàn)次數(shù)最?的。查看轉(zhuǎn)換后的隨機(jī)?項(xiàng)影評(píng)?字與數(shù)字序列01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析6.格式化數(shù)據(jù)操作使?截?補(bǔ)短的操作，數(shù)字列表總?度設(shè)置為100，隨機(jī)選擇?條影評(píng)，字?jǐn)?shù)?度為78，經(jīng)過(guò)處理后?度為100，若達(dá)不到100的，會(huì)在前?補(bǔ)全0。再次隨機(jī)選擇?條影評(píng)，字?jǐn)?shù)?度為385，經(jīng)過(guò)處理后?度為100，超出的部分會(huì)被截取掉。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)需要搭建多層感知器加?嵌?層的形式訓(xùn)練模型，這?和以往不同的是加?了嵌?層，可以將數(shù)字列表轉(zhuǎn)換成向量列表。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)需要搭建多層感知器加?嵌?層的形式訓(xùn)練模型，這?和以往不同的是加?了嵌?層，可以將數(shù)字列表轉(zhuǎn)換成向量列表。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)開(kāi)始訓(xùn)練，驗(yàn)證集劃分比例設(shè)置為0.2，訓(xùn)練周期設(shè)置為10次，單批次數(shù)據(jù)量為100。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)評(píng)估模型準(zhǔn)確度。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)評(píng)估模型準(zhǔn)確度。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)開(kāi)始預(yù)測(cè),把訓(xùn)練好的模型傳?剛剛劃分好的測(cè)試集數(shù)據(jù)進(jìn)?預(yù)測(cè)。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)開(kāi)始預(yù)測(cè),把訓(xùn)練好的模型傳?剛剛劃分好的測(cè)試集數(shù)據(jù)進(jìn)?預(yù)測(cè)。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)嘗試加??字處理的規(guī)模，修改預(yù)處理數(shù)據(jù)集參數(shù)?成新的數(shù)據(jù)集。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)嘗試加??字處理的規(guī)模，修改預(yù)處理數(shù)據(jù)集參數(shù)?成新的數(shù)據(jù)集。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析7.建?多層感知器進(jìn)?預(yù)測(cè)查看評(píng)估模型準(zhǔn)確度進(jìn)行預(yù)測(cè)并顯示預(yù)測(cè)結(jié)果01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析8.使?RNN模型進(jìn)?模型建?和預(yù)測(cè)將修改上一節(jié)定義的模型，使用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrentneuralnetwork,RNN）。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種非常流行的模型，它在自然語(yǔ)言處理領(lǐng)域中最先被使用，已經(jīng)被廣泛用于語(yǔ)音識(shí)別、語(yǔ)義分析、情感分析、語(yǔ)言翻譯、語(yǔ)言建模等領(lǐng)域。循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的模型已用于計(jì)算機(jī)視覺(jué)問(wèn)題中圖像內(nèi)容識(shí)別。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析8.使?RNN模型進(jìn)?模型建?和預(yù)測(cè)01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析8.使?RNN模型進(jìn)?模型建?和預(yù)測(cè)01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析8.使?RNN模型進(jìn)?模型建?和預(yù)測(cè)加入嵌入層，輸出維數(shù)為32，輸入維數(shù)為4000，代表之前的那4000個(gè)單詞字典，數(shù)字列表為400，加入Dropout避免過(guò)度擬合，每次迭代訓(xùn)練隨機(jī)丟棄35%神經(jīng)元。01.Keras自然語(yǔ)言處理Kerasnaturallanguageprocessing構(gòu)建項(xiàng)目——IMDb網(wǎng)絡(luò)電影數(shù)據(jù)集分析8.使?RNN模型進(jìn)?模型建?和預(yù)測(cè)開(kāi)始訓(xùn)練使?RNN模型準(zhǔn)確率?約為0.84，誤差?之前兩次實(shí)驗(yàn)更低了。PART2LSTM方法進(jìn)行模型建立和預(yù)測(cè)02.LSTM方法進(jìn)行模型建立和預(yù)測(cè)ModelestablishmentandpredictionbyLSTMmethod使?LSTM模型進(jìn)?模型建?和預(yù)測(cè)長(zhǎng)短期記憶(LongShortTermMemory,LSTM)即我們所稱呼的LSTM，是為了解決長(zhǎng)期以來(lái)問(wèn)題而專門設(shè)計(jì)出來(lái)的，所有的RNN都具有一種重復(fù)神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)叫问?。在?biāo)準(zhǔn)RNN中，這個(gè)重復(fù)的結(jié)構(gòu)模塊只有一個(gè)非常簡(jiǎn)單的結(jié)構(gòu)。嘗試搭建LSTM模型，使用上一節(jié)的數(shù)據(jù)繼續(xù)作為本次的實(shí)驗(yàn)數(shù)據(jù)集：fromkeras.preprocessingimportsequencefromkeras.preprocessing.textimportTokenizerfromimdb_simple_utilimportread_filesimportosimportnumpyasnpifnotos.path.exists('./dataset/aclImdb'):

tfile=tarfile.open('./dataset/aclImdb_v1.tar.gz','r:gz')

result=tfile.extractall('./dataset/')NUM_WORDS=4000MAXLEN=400aclImdbpath='./dataset/aclImdb/'y_train,train_text=read_files('train',aclImdbpath)y_test,test_text=read_files('test',aclImdbpath)token=Tokenizer(num_words=NUM_WORDS)token.fit_on_texts(train_text)x_train_seq=token.t