NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)建立研究獲獎(jiǎng)科研報(bào)告

NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)建立研究獲獎(jiǎng)科研報(bào)告摘

要：人工智能技術(shù)的推動(dòng)下，深度學(xué)習(xí)與NLP的聯(lián)系更為緊密，并推動(dòng)了NLP的進(jìn)一步發(fā)展。本文就如何打造NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)進(jìn)行了回顧性的分析，對(duì)其建模原理及模型細(xì)分進(jìn)行了總結(jié)，將為這一研究的深入提供一定的參考。

關(guān)鍵詞：深度學(xué)習(xí);NLP;方法庫(kù)

隨著NLP（神經(jīng)語(yǔ)言程序?qū)W）研究的不斷深入，其重要的應(yīng)用價(jià)值開(kāi)始在機(jī)器翻譯、情感分析、智能問(wèn)答、文摘生成、文本分類(lèi)、輿論分析、知識(shí)圖譜等領(lǐng)域有所體現(xiàn)[1]。與此同時(shí)，以深度學(xué)習(xí)技術(shù)為核心的人工智能得到了廣泛的關(guān)注，成為一個(gè)新的研究熱點(diǎn)。這一技術(shù)與PLB的耦合，推動(dòng)了NLP的新發(fā)展。打造神經(jīng)語(yǔ)言程序?qū)W文本分類(lèi)深度學(xué)習(xí)數(shù)據(jù)庫(kù)即NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)作為其中的基礎(chǔ)環(huán)節(jié)成為研究中的一個(gè)重點(diǎn)。NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)建立的目的可為探索以深度學(xué)習(xí)為主要技術(shù)的NLP分類(lèi)方法提供海量的研究資源，這一學(xué)習(xí)方法庫(kù)還具有文本分類(lèi)的各種基準(zhǔn)模型。同時(shí)NLP文本分類(lèi)深度學(xué)習(xí)庫(kù)也支持多標(biāo)簽的分類(lèi)，且這些標(biāo)簽與句子或文檔可以形成一定的關(guān)聯(lián)。這些模型的建立將使得后續(xù)的研究有了重要的支點(diǎn)。在實(shí)踐中發(fā)現(xiàn)，打造NLP文本庫(kù)的過(guò)程中，有一些較為經(jīng)典的模型是比較適合作為學(xué)習(xí)庫(kù)的基準(zhǔn)模型。

在此次研究的過(guò)程中，采用兩個(gè)seq2seq模型進(jìn)行文本分類(lèi)，每個(gè)模型之下都設(shè)置有一個(gè)函數(shù)予以測(cè)試。兩個(gè)seq2seq模型也可以在文本分類(lèi)的過(guò)程中生成序列或其它任務(wù)。在文本分類(lèi)的過(guò)程中，若需完成的分類(lèi)任務(wù)是多標(biāo)簽的分類(lèi)工作，這時(shí)候就可以將工作以序列生成的方式來(lái)進(jìn)行。在這一研究中基本達(dá)成了一個(gè)記憶網(wǎng)絡(luò)的建設(shè)[2]。其中以recurrententitynetwork（循環(huán)實(shí)體網(wǎng)絡(luò)）來(lái)追蹤狀態(tài)，以blocksofkey-valuepairs（它用鍵值對(duì)塊）為記憶并進(jìn)行運(yùn)行，并在這一功能的支持下實(shí)現(xiàn)對(duì)新?tīng)顟B(tài)的獲取。構(gòu)建后的NLP文本分類(lèi)深度學(xué)習(xí)模型可以實(shí)現(xiàn)使用歷史或上下文來(lái)回答建模的問(wèn)題。例如，在測(cè)試中可以讓NLP文本分類(lèi)深度學(xué)習(xí)模型來(lái)讀取句子作為文本，并提出一個(gè)問(wèn)題來(lái)查詢，而后可實(shí)現(xiàn)NLP文本分類(lèi)深度學(xué)習(xí)模式的答案預(yù)測(cè)。若這一過(guò)程轉(zhuǎn)化為向NLP文本分類(lèi)深度學(xué)習(xí)模型提供一些素材資源，這時(shí)NLP文本分類(lèi)深度學(xué)習(xí)模型便能夠完成研究意義上的分類(lèi)工作[3]。

1NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)模型

1.1模型

fastText（快速文本模型）：這一模型主要用于高效文本分類(lèi)技巧上的研究，在運(yùn)行中使用bi-gram，具有較高的速度優(yōu)勢(shì)。

TextCNN（文本卷積神經(jīng)網(wǎng)絡(luò)）：這一模型主要用于句子分類(lèi)的卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)，在結(jié)構(gòu)上利用從降維到conv再到最大池化，最終到softmax。

TextRNN（文本循環(huán)神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上與文本卷積神經(jīng)網(wǎng)絡(luò)有一定的不同，是從降維到雙向的lstm到concta輸出，最終到softmax。

RCNN（循環(huán)卷積神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡(luò)基本相同，在輸入項(xiàng)上進(jìn)行了特殊的設(shè)計(jì)，采用EOS將兩個(gè)問(wèn)題隔開(kāi)。

HierarchicalAttentionNetwork（分層注意網(wǎng)絡(luò)）：這一墨香在結(jié)構(gòu)上采用降維→詞編輯器→詞注意→句子編輯器→句子注意→FC+Softmax。

seq2seqwithattention（具有注意的Seq2seq模型）：這一模型在結(jié)構(gòu)上主要有三層，降維→bi-GRU→具有注意的解碼器。

Transformer：這一模型主要有編碼器和解碼器兩大部分組成，具有在多向自我注意等方面的突出優(yōu)勢(shì)。

RecurrentEntityNetwork（循環(huán)實(shí)體網(wǎng)絡(luò)）：這一模型在型號(hào)結(jié)構(gòu)上也是分為三個(gè)層次，即輸入編碼，動(dòng)態(tài)記憶，輸出。

BiLstmTextRelation（雙向長(zhǎng)短期記憶網(wǎng)絡(luò)文本關(guān)系）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡(luò)基本相同，在輸入項(xiàng)上進(jìn)行了特殊的設(shè)計(jì)，采用EOS將兩個(gè)問(wèn)題隔開(kāi)。

TwoCNNTextRelation（兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)文本關(guān)系）：這一模型采用不同的卷積來(lái)實(shí)現(xiàn)對(duì)句子特征的提取，然后在通過(guò)函數(shù)使目標(biāo)標(biāo)簽完成飲食，然后使用softmax。

BiLstmTextRelationTwoRNN（雙長(zhǎng)短期記憶文本關(guān)系雙循環(huán)神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上采取不同句子的雙向lstm獲取，最終由softmax輸出。

1.2性能

2NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)的用途

2.1用途

此次研究中的NLP文本分類(lèi)深度學(xué)習(xí)方法庫(kù)建立在xxx_model.py之上。在訓(xùn)練階段采用pythonxxx_train.py來(lái)進(jìn)行，進(jìn)入測(cè)試階段之后，可使用pythonxxx_predict.py來(lái)進(jìn)行?？焖傥谋灸Ｐ?、文本卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)、分層注意網(wǎng)絡(luò)等模型下都有測(cè)試方法，可通過(guò)此來(lái)實(shí)現(xiàn)對(duì)模型的檢驗(yàn)[4]。

2.3環(huán)境

該項(xiàng)學(xué)習(xí)庫(kù)建立之后的運(yùn)行環(huán)境為python2.7+tensorflow1.1或tensorflow1.2。

3結(jié)束語(yǔ)

作為人工智能研究的一個(gè)重要分支