NLP文本分類深度學習方法庫建立研究獲獎科研報告

NLP文本分類深度學習方法庫建立研究獲獎科研報告摘

要：人工智能技術的推動下，深度學習與NLP的聯(lián)系更為緊密，并推動了NLP的進一步發(fā)展。本文就如何打造NLP文本分類深度學習方法庫進行了回顧性的分析，對其建模原理及模型細分進行了總結(jié)，將為這一研究的深入提供一定的參考。

關鍵詞：深度學習;NLP;方法庫

隨著NLP（神經(jīng)語言程序?qū)W）研究的不斷深入，其重要的應用價值開始在機器翻譯、情感分析、智能問答、文摘生成、文本分類、輿論分析、知識圖譜等領域有所體現(xiàn)[1]。與此同時，以深度學習技術為核心的人工智能得到了廣泛的關注，成為一個新的研究熱點。這一技術與PLB的耦合，推動了NLP的新發(fā)展。打造神經(jīng)語言程序?qū)W文本分類深度學習數(shù)據(jù)庫即NLP文本分類深度學習方法庫作為其中的基礎環(huán)節(jié)成為研究中的一個重點。NLP文本分類深度學習方法庫建立的目的可為探索以深度學習為主要技術的NLP分類方法提供海量的研究資源，這一學習方法庫還具有文本分類的各種基準模型。同時NLP文本分類深度學習庫也支持多標簽的分類，且這些標簽與句子或文檔可以形成一定的關聯(lián)。這些模型的建立將使得后續(xù)的研究有了重要的支點。在實踐中發(fā)現(xiàn)，打造NLP文本庫的過程中，有一些較為經(jīng)典的模型是比較適合作為學習庫的基準模型。

在此次研究的過程中，采用兩個seq2seq模型進行文本分類，每個模型之下都設置有一個函數(shù)予以測試。兩個seq2seq模型也可以在文本分類的過程中生成序列或其它任務。在文本分類的過程中，若需完成的分類任務是多標簽的分類工作，這時候就可以將工作以序列生成的方式來進行。在這一研究中基本達成了一個記憶網(wǎng)絡的建設[2]。其中以recurrententitynetwork（循環(huán)實體網(wǎng)絡）來追蹤狀態(tài)，以blocksofkey-valuepairs（它用鍵值對塊）為記憶并進行運行，并在這一功能的支持下實現(xiàn)對新狀態(tài)的獲取。構(gòu)建后的NLP文本分類深度學習模型可以實現(xiàn)使用歷史或上下文來回答建模的問題。例如，在測試中可以讓NLP文本分類深度學習模型來讀取句子作為文本，并提出一個問題來查詢，而后可實現(xiàn)NLP文本分類深度學習模式的答案預測。若這一過程轉(zhuǎn)化為向NLP文本分類深度學習模型提供一些素材資源，這時NLP文本分類深度學習模型便能夠完成研究意義上的分類工作[3]。

1NLP文本分類深度學習方法庫模型

1.1模型

fastText（快速文本模型）：這一模型主要用于高效文本分類技巧上的研究，在運行中使用bi-gram，具有較高的速度優(yōu)勢。

TextCNN（文本卷積神經(jīng)網(wǎng)絡）：這一模型主要用于句子分類的卷積神經(jīng)網(wǎng)絡的實現(xiàn)，在結(jié)構(gòu)上利用從降維到conv再到最大池化，最終到softmax。

TextRNN（文本循環(huán)神經(jīng)網(wǎng)絡）：這一模型在結(jié)構(gòu)上與文本卷積神經(jīng)網(wǎng)絡有一定的不同，是從降維到雙向的lstm到concta輸出，最終到softmax。

RCNN（循環(huán)卷積神經(jīng)網(wǎng)絡）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡基本相同，在輸入項上進行了特殊的設計，采用EOS將兩個問題隔開。

HierarchicalAttentionNetwork（分層注意網(wǎng)絡）：這一墨香在結(jié)構(gòu)上采用降維→詞編輯器→詞注意→句子編輯器→句子注意→FC+Softmax。

seq2seqwithattention（具有注意的Seq2seq模型）：這一模型在結(jié)構(gòu)上主要有三層，降維→bi-GRU→具有注意的解碼器。

Transformer：這一模型主要有編碼器和解碼器兩大部分組成，具有在多向自我注意等方面的突出優(yōu)勢。

RecurrentEntityNetwork（循環(huán)實體網(wǎng)絡）：這一模型在型號結(jié)構(gòu)上也是分為三個層次，即輸入編碼，動態(tài)記憶，輸出。

BiLstmTextRelation（雙向長短期記憶網(wǎng)絡文本關系）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡基本相同，在輸入項上進行了特殊的設計，采用EOS將兩個問題隔開。

TwoCNNTextRelation（兩個卷積神經(jīng)網(wǎng)絡文本關系）：這一模型采用不同的卷積來實現(xiàn)對句子特征的提取，然后在通過函數(shù)使目標標簽完成飲食，然后使用softmax。

BiLstmTextRelationTwoRNN（雙長短期記憶文本關系雙循環(huán)神經(jīng)網(wǎng)絡）：這一模型在結(jié)構(gòu)上采取不同句子的雙向lstm獲取，最終由softmax輸出。

1.2性能

2NLP文本分類深度學習方法庫的用途

2.1用途

此次研究中的NLP文本分類深度學習方法庫建立在xxx_model.py之上。在訓練階段采用pythonxxx_train.py來進行，進入測試階段之后，可使用pythonxxx_predict.py來進行?？焖傥谋灸Ｐ?、文本卷積神經(jīng)網(wǎng)絡、循環(huán)卷積神經(jīng)網(wǎng)絡、分層注意網(wǎng)絡等模型下都有測試方法，可通過此來實現(xiàn)對模型的檢驗[4]。

2.3環(huán)境

該項學習庫建立之后的運行環(huán)境為python2.7+tensorflow1.1或tensorflow1.2。

3結(jié)束語

作為人工智能研究的一個重要分支