大數(shù)據(jù)和人工智能-35自然語言處理50min

自然語言處理介紹產(chǎn)品概述產(chǎn)品功能語言處理基礎(chǔ)技術(shù)理解與交互技術(shù)UNIT百度翻譯開放平臺客戶案例產(chǎn)品概述百度一下產(chǎn)品概述評論觀點抽取對給定的評論文本，自動分析評論關(guān)注點和觀點，輸出評論觀點標(biāo)簽及評論觀點極性。中文詞向量表示通過訓(xùn)練的方法，將語言詞表中的詞映射成一個長度固定的向量，實現(xiàn)文本的可計算。中文DNN語言模型通過計算給定詞組成的句子的概率，從而判斷所組成的句子是否符合客觀語言表達習(xí)慣。短文本相似度提供不同短文本之間相似度的計算。詞法分析識別出文本串中的基本詞匯（分詞），對這些詞匯進行重組、標(biāo)注組合后詞匯的詞性，并進一步識別出命名實體依存句法分析輸入中文句子，即可獲得該句的依存句法結(jié)構(gòu)信息詞義相似度依托全網(wǎng)海量優(yōu)質(zhì)數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)，通過詞語向量化來計算兩個詞之間的相似度情感傾向分析對含主觀信息的文本進行情感極性判斷，為口碑分析、話題監(jiān)控、輿情分析等應(yīng)用提供基礎(chǔ)技術(shù)支持語言處理基礎(chǔ)技術(shù)提供國際領(lǐng)先的自然語言處理技術(shù)，幫助你的產(chǎn)品更好的理解這個世界產(chǎn)品概述語言處理基礎(chǔ)技術(shù)提供國際領(lǐng)先的自然語言處理技術(shù)，幫助你的產(chǎn)品更好的理解這個世界理解與交互技術(shù)UNITUNIT搭載業(yè)界領(lǐng)先的需求理解、對話控制及底層的機器學(xué)習(xí)、自然語言處理、知識挖掘等核心技術(shù)，讓您的產(chǎn)品快速擁有對話交互能力百度翻譯開放平臺最專業(yè)的開放平臺，為您提供優(yōu)質(zhì)服務(wù)入門簡單僅需要調(diào)用API，即可進行語言處理安全可靠豐富的設(shè)備認證與權(quán)限管理功能，調(diào)用穩(wěn)定可靠接口多樣支持多種語言開發(fā)強大的API提供開放標(biāo)準(zhǔn)的API，可通過調(diào)用API實現(xiàn)控制臺操作配置簡單只需配置好SDK即可算法豐富匯聚全網(wǎng)海量知識，領(lǐng)域技術(shù)方向全面覆蓋產(chǎn)品優(yōu)勢產(chǎn)品功能百度一下產(chǎn)品功能詞法分析中文詞向量表示中文DNN語言模型短文本相似度123445評論觀點抽取語言處理基礎(chǔ)技術(shù)46依存句法分析47詞義相似度48情感傾向分析詞法分析

詞法分析分詞詞性標(biāo)注命名實體識別識別基本詞匯標(biāo)注詞匯詞性識別命名實體將連續(xù)的自然語言文本，切分成具有語義合理性和完整性的詞匯序列百度詞法分析的算法效果大幅領(lǐng)先已公開的主流中文詞法分析模型。為自然語言文本中的每個詞匯賦予一個詞性的過程識別自然語言文本中具有特定意義的實體詞法分析流程詞法分析功能介紹粒度更靈活模型既保證了基本詞匯的原子性，又保證了大粒度詞匯，對領(lǐng)域新詞、專有名詞的識別尤其有效海量數(shù)據(jù)建模海量訓(xùn)練樣本，百億級的點擊反饋，提高了算法在復(fù)雜多變的應(yīng)用場景下的效果穩(wěn)定性和適配性自由定制可根據(jù)需求自主干預(yù)和定制分詞效果，自由定制專名實體類目，打造個性化的分詞和專名識別系統(tǒng)詞法分析技術(shù)特色詞法分析功能演示

實例：2003年10月15日，楊利偉乘由長征二號F火箭運載的神舟五號飛船首次進入太空，象征著中國太空事業(yè)向前邁進一大步，起到了里程碑的作用。詞性識別2003年10月15日楊利偉乘，由長征二號F火箭運載的神舟五號邁進飛船首次進入太空，著象征中國太空事業(yè)向前一大步，起到了里程碑的作用。時間詞標(biāo)點符號人名動詞介詞其他專名助詞數(shù)詞處所詞地名副動詞動詞其他專名動詞名詞名詞標(biāo)點符號動詞介詞名詞名詞動詞動詞標(biāo)點符號動詞動詞介詞助詞名詞標(biāo)點符號詞法分析功能演示

實例：2003年10月15日，楊利偉乘由長征二號F火箭運載的神舟五號飛船首次進入太空，象征著中國太空事業(yè)向前邁進一大步，起到了里程碑的作用。命名實體時間TIME地名LOC人名PER2003年10月15日中國楊利偉詞法分析功能演示

首先通過APP_ID，API_KEY，SECRET_KEY新建一個AipNlp對象，然后調(diào)用接口lexer，主要介紹python語言的代碼。詞法分析請求參數(shù)參數(shù)類型描述是否必須textString待解析文本,長度不超過16KB是詞法分析功能演示

運行結(jié)果：{'log_id':898648672,

'items':[{‘uri’:‘’,‘formal’:‘’,‘loc_details’:[],‘pos’:‘’,‘item’:‘百度','ne':'ORG','byte_length':4,'byte_offset':0,'basic_words':['百度']},{'uri':'','formal':'','loc_details':[],'pos':'v','item':'是','ne':'','byte_length':2,'byte_offset':4,'basic_words':['是']},{'uri':'','formal':'','loc_details':[],'pos':'q','item':'個','ne':'','byte_length':2,'byte_offset':6,'basic_words':['個']},{'uri':'','formal':'','loc_details':[],'pos':'vn','item':'搜索','ne':'','byte_length':4,'byte_offset':8,'basic_words':['搜索']},{'uri':'','formal':'','loc_details':[],'pos':'n','item':'公司','ne':'','byte_length':4,'byte_offset':12,'basic_words':['公司']}],‘text’:‘百度是個搜索公司‘}‘log_id’：請求唯一標(biāo)識‘items’：詞匯數(shù)組“uri”：鏈指到知識庫的uri，只對命

名實體有效?！癴ormal”：詞匯的標(biāo)準(zhǔn)化表達，主要針對時

間，數(shù)字放單位，沒有歸一化表達。“l(fā)oc_details”：地址成分，只對地址型命名

實體有效?！皃os”：詞性?！癷tem”：詞匯的字符串，“ne”：命名實體類型，“byte_length”：字節(jié)級length，“byte_offset”：在text中的字節(jié)級offset，“basic_words”：基本詞成分詞法分析應(yīng)用場景

中文詞向量表示功能介紹

中文詞向量表示技術(shù)特色

大數(shù)據(jù)使用百度大規(guī)模網(wǎng)頁數(shù)據(jù)進行模型訓(xùn)練，樣本數(shù)據(jù)豐富深度學(xué)習(xí)基于深度學(xué)習(xí)技術(shù)建立詞向量表示模型精度高詞向量精度高，能夠準(zhǔn)確描述詞和詞之間的相似度中文詞向量表示功能演示首先創(chuàng)建一個AipNlp對象，然后調(diào)用wordEmbedding接口，以python代碼為例參數(shù)類型描述是否必須queryString輸入的詞;是中文詞向量表示請求參數(shù)中文詞向量表示功能演示‘log_id’：請求唯一標(biāo)識‘vec’：詞向量結(jié)果‘word’：詞匯的字面運行結(jié)果：

{ 'log_id':399945535, ‘vec’:[ -0.955515,0.974328, 1.22261,2.23655,0.129852, 0.540176,……0.446111 ], 'word':'百度‘}

中文詞向量表示應(yīng)用場景

中文DNN語言模型

中文DNN語言模型

DNN是指深度神經(jīng)網(wǎng)算法，DNN算法成功的將以往的識別率提高了一個顯著的檔次。語言模型是用來計算一個句子的概率的模型。利用語言模型，可以確定哪個詞序列的可能性更大，或者給定若干個詞，可以預(yù)測下一個最可能出現(xiàn)的詞語。中文DNN語言模型功能介紹

語言模型是通過計算給定詞組成的句子的概率，從而判斷所組成的句子是否符合客觀語言表達習(xí)慣。通常用于機器翻譯、拼寫糾錯、語音識別、問答系統(tǒng)、詞性標(biāo)注、句法分析和信息檢索等。中文DNN語言模型技術(shù)特色

中文DNN語言模型功能演示

實例：2016全國卷答題模板高考大考低考254.68485.321410.37說明：該分值表明選項內(nèi)容與文字的契合度，數(shù)值越接近于0，則契合度越好。中文DNN語言模型功能演示

首先新建一個AipNlp對象，然后調(diào)用dnnlm接口，以python為例參數(shù)類型描述是否必須sequenceString輸入的句子，不需要切詞是中文DNN語言模型請求參數(shù)中文DNN語言模型功能演示

‘log_id’：請求唯一標(biāo)識‘text’：詞匯的字面‘items’：詞匯數(shù)組‘prob’：切詞后每個詞在句

子中的概率值‘word’：切出的詞運行結(jié)果：{ 'log_id':917501666, 'text':'百度是個搜索公司', 'items':[ {'prob':0.00059052,'word':'百度'}, {'prob':0.00373688,'word':'是'}, {'prob':0.0372463,'word':'個'}, {'prob':0.00137015,'word':'搜索'}, {'prob':0.000118814,'word':'公司'} ]}

中文DNN語言模型應(yīng)用場景

短文本相似度

短文本相似度

短文本相似度

首先新建一個AipNlp對象，然后調(diào)用simnet接口，以python為例參數(shù)類型描述是否必須text1String第一個短文本是text2String第二個短文本是短文本相似度請求參數(shù)短文本相似度‘log_id’：請求唯一標(biāo)識‘score’：兩個文本相似度得分‘texts’：輸入文本‘text_1’：第一個短文本‘text_2’：第二個短文本運行結(jié)果：{ 'score':0.842617, 'log_id':938061041, 'texts':{ 'text_2':'谷歌是個搜索公司', 'text_1':'百度是個搜索公司‘ }}短文本相似度

評論觀點抽取功能介紹

自動分析評論關(guān)注點和評論觀點，并輸出評論觀點標(biāo)簽及評論觀點極性。目前支持13類產(chǎn)品用戶評論的觀點抽取，包括美食、酒店、汽車、景點等，可幫助商家進行產(chǎn)品分析，輔助用戶進行消費決策。評論觀點抽取

評論觀點抽取

評論觀點抽取特色

評論觀點抽取功能演示

首先新建一個AipNlp對象，然后調(diào)用commentTag接口，以python為例參數(shù)類型描述是否必須commentString評論字符串;是typeInt1:酒店，2:KTV，3:麗人，4:美食（默認值），5:旅游，6:健康7:教育，8:商業(yè)，9:房產(chǎn)，10:汽車，11:生活，12:購物否評論觀點抽取請求參數(shù)評論觀點抽取

‘log_id’：請求唯一標(biāo)識‘a(chǎn)dj’：評論詞‘begin_pos’：詞向量結(jié)果‘prop’：屬性詞（歸一化）‘end_pos’：詞向量結(jié)果‘sentiment’：類型，2：正面，0：負面，1：中立‘a(chǎn)bstruct’：抽取摘要運行結(jié)果1：{'log_id':967661186,'items':[{'prop':'店面','begin_pos':4,'adj':'不錯','abstract':'汽車<span>空間大</span>','sentiment':2,'end_pos':10}]}運行結(jié)果2：{'items':[{'sentiment':2,'abstract':'汽車<span>空間大</span>','adj':'大','begin_pos':4,'prop':'空間','end_pos':10}],'log_id':