用深度學習解決自然語言處理中的7大問題 - 光環(huán)大數據培訓-

1、http:/hadoop.aura-用深度學習解決自然語言處理中的7大問題_光環(huán)大數據培訓本文講的是用深度學習解決自然語言處理中的7大問題,文本分類、語言建模、機器翻譯等,自然語言處理領域正在從統(tǒng)計學方法轉向神經網絡方法。在自然語言中,仍然存在許多具有挑戰(zhàn)性的問題。但是,深度學習方法在某些特定的語言問題上取得了state-of-the-art的結果。不僅僅是在一些benchmark 問題上深度學習模型取得的表現,這是最有趣的;事實上,單個模型可以學習單詞的含義和執(zhí)行語言任務,從而避免需要一套專門的、人工的方法。這篇文章將介紹深度學習方法正在取得進展的7類有趣的自然語言處理任務。文本分類語言建模

2、語音識別字幕生成機器翻譯文檔摘要問題回答每個任務都提供了對問題的描述,一個例子,以及有關演示方法和結果的論文的引用。大多數參考資料來自Goldberg的A Primer on Neural Network Models for Natural Language Processing(/abs/1510.00726。1. 文本分類給定一個文本的例子,預測一個預定義的類標簽。http:/hadoop.aura-文本分類的目的是對文檔的話題或主題進行分類。統(tǒng)計自然語言處理基礎(Foundations of Statistical Natural Language Pr

3、ocessing,1999流行的分類示例是情緒分析,其中類標簽表示源文本的情緒基調,例如“積極”或“消極”。以下是另外3個例子:垃圾郵件過濾,將電子郵件文本分類為垃圾郵件。語言識別,對源文本的語言進行分類。流派分類,對虛構故事的流派進行分類。此外,這個問題也可能是一個文本被分為多個類的方式,即所謂的多標簽分類。例如,預測源推文的多個標簽。更多閱讀:文本分類-學術百科/article/Text_categorization文檔分類-維基百科/wiki/Document_classification下面是有關文本

4、分類的一些深度學習論文:對爛番茄影評的情感分析http:/hadoop.aura-Deep Unordered Composition Rivals Syntactic Methods for Text Classification, 2015. /miyyer/pubs/2015_acl_dan.pdf對amazon產品評論、IMDB電影評論和分類主題新聞文章情緒分析Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, 2015. htt

5、ps://abs/1412.1058對電影評論的情緒分析,將句子歸類為主觀或客觀,對問題類型進行分類,對產品評論的情感進行分類,等等。Convolutional Neural Networks for Sentence Classification, 2014. /abs/1408.58822. 語言建模語言建模實際上是一個更有趣的自然語言問題的子任務,特別是那些在其他輸入條件下調節(jié)語言模型的問題。這個問題是根據前面的單詞預測下一個單詞。該任務是語音識別或光學字符識別(OCR的基礎,也用于拼寫校正、手寫識別和統(tǒng)計機器翻譯。Foundations

6、 of Statistical Natural Language Processing (page 191, by Christopher D. Manning & Hinrich Schtze除了語言建模的學術興趣,它是許多深度學習自然語言處理架構的關鍵組成部分。語言模型學習詞匯之間的概率關系,生成在統(tǒng)計上與源文本一致的新的詞匯序列。http:/hadoop.aura-單獨來說,語言模型可以用于文本或語音生成;例如:生成新的文章標題生成新的句子、段落或文檔生成一個句子的后續(xù)句子有關語言建模的更多內容,參閱:語言建模-維基百科/wiki/Langu

7、age_model循環(huán)神經網絡的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks2015基于生成模型的文本到語音合成 e 10 Text to Speech.pdf下面是一個關于語言建模深度學習例子:英語文本、書籍和新聞文章的語言模型一種神經概率語言模型(A Neural Probabilistic Language Model /papers/v3/bengio03a.html3.語音識別語音識別是指理解所說的問題。語音識別的任務是將一個包含自然語言話語的聲音信號映射到說話者預期的相應

8、序列。深度學習(page 458http:/hadoop.aura-給定話語的音頻數據,語音識別模型需要生成人類可讀的文本。考慮到這個過程的自動性質,這個問題也可以被稱為自動語音識別(ASR。使用語言模型來創(chuàng)建文本輸出,該輸出基于音頻數據。一些例子包括:轉錄講話為電影或電視節(jié)目制作文字說明開車時用語音發(fā)出指令有關語音識別的更多信息,請參閱:語音識別-維基百科/wiki/Speech_recognition下面是三個用于語音識別的深度學習方法的例子:英語語音轉文本Connectionist Temporal Classification: Label

9、ling Unsegmented Sequence Data with Recurrent Neural Networks,2006/graves/icml_2006.pdfSpeech Recognition with Deep Recurrent Neural Networks, 2013./abs/1303.5778Exploring convolutional neural network structures and optimization techniques for speech recognition, 20

10、14. nvolutional-neural-network-structures-and-optimization-techniques-for -speech-recognition/http:/hadoop.aura-4. 字幕生成字幕生成是有關描述圖像內容的問題。給定例如照片等數字圖像,生成圖像內容的文本描述。語言模型用于創(chuàng)建以圖像為條件的描述。一些例子包括:描述場景內容創(chuàng)建照片標題描述視頻這不僅僅是為聽力障礙者的應用,而且還可以生成可用于搜索圖像和視頻的具有可讀性的文本,例如在網絡上。以下是3個字幕生成深入學習方法的例子:生成照片標題Show, Attend and Tell: Ne

11、ural Image Caption Generation with Visual Attention, 2016./abs/1502.03044Show and tell: A neural image caption generator, 2015./abs/1411.4555生成視頻字幕Sequence to Sequence Video to Text, 2015./abs/1505.004875. 機器翻譯http:/hadoop.aura-機器翻譯是將一種語言的源文本轉換為另一種語言的問

12、題。機器翻譯,將文本或語音從一種語言自動翻譯成另一種語言,是NLP最重要的應用之一。統(tǒng)計自然語言處理基礎,463頁,1999。考慮到神經網絡的使用,這一領域也被稱為神經機器翻譯。在機器翻譯任務中,輸入已經由某種語言的符號序列組成,并且計算機程序必須將其轉換成其他語言的符號序列。這通常適用于自然語言,例如從英語翻譯成法語。深度學習最近開始在這類任務上有重要影響。深度學習,98頁,2016語言模型用于以另一種語言輸出目標文本,以源文本為條件。一些例子包括:將文本文件從法語翻譯成英語將西班牙語音頻轉換為德語文本將英語文本翻譯成意大利語音頻有關神經機器翻譯的更多信息,參閱:神經機器翻譯-維基百科htt

13、ps://wiki/Neural_machine_translation以下是機器翻譯深度學習方法的3個例子:將英語翻譯成法語http:/hadoop.aura-Sequence to Sequence Learning with Neural Networks, 2014./abs/1409.3215Neural Machine Translation by Jointly Learning to Align and Translate, 2014./abs/1409.0473Joint Lang

14、uage and Translation Modeling with Recurrent Neural Networks, 2013. ge-and-translation-modeling-with-recurrent-neural-networks/6. 文檔摘要文檔摘要是創(chuàng)建文本文檔的簡短描述的任務。即,使用語言模型來輸出基于完整文檔的總結性摘要。文件摘要的一些例子包括:創(chuàng)建文檔的標題創(chuàng)建文檔的概要有關該主題的更多信息,請參閱:Automatic summarization-維基百科/wiki/深度學習是否(成功地被應用于自動文本摘要? t-

15、summarization-successfullyhttp:/hadoop.aura-以下是關于文檔摘要深度學習方法的3個例子:新聞文章中的句子概要:A Neural Attention Model for Abstractive Summarization, 2015./abs/1509.00685Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, 2016./abs/1602.06023Neural Summarization

16、by Extracting Sentences and Word, 2016./abs/1603.072527. 問題回答問題回答是給出一個主題(例如文本文檔回答有關該主題的具體問題的任務。一些例子:回答有關維基百科頁面的問題回答有關新聞文章的問題回答有關病例的問題參閱:Question answering 維基百科/wiki/Question_answering回答有關新聞文章的問題Teaching Machines to Read and Comprehend, 2015.papers.nips.cc/paper

17、/5945-teaching-machines-to-read-and-comprehenhttp:/hadoop.aura-d回答一般知識問題Question Answering over Freebase with Multi-Column Convolutional Neural Networks, 2015./anthology/P15-1026回答基于特定文件的實質性問題Deep Learning for Answer Sentence Selection, 2015.為什么大家選擇光環(huán)大數據!大數據培訓、人工智能培訓、Python培訓、大數據培訓機構、大數據培訓班、數據分析培訓、大數據可視化培訓,就選光環(huán)大數據!光環(huán)大數據,聘請大數據領域具有多年經驗的講師,提高教學的整體質量與教學水準。講師團及時掌握時代的技術,將時新的技能融入教學中,讓學生所學知識順應時代所需。通過深入淺出、通俗易懂的教學方式,指導學生較快的掌握技能知識,幫助莘莘學子實現就業(yè)夢想。光環(huán)大數據啟動了推進人工智能人才發(fā)