2023年搜索引警中的智能問答報告

復(fù)旦大學(xué)關(guān)鍵字、語音信息、知識、常識任何可聯(lián)網(wǎng)的設(shè)備自然語言(語音)、環(huán)境信息、知識、常識任何可聯(lián)網(wǎng)的設(shè)備(眼鏡、車載、音箱、服務(wù)機器人)關(guān)鍵詞10條鏈接關(guān)鍵詞10條鏈接搜索(用戶閱讀)答案答案問答(機器閱讀)Q:汽車沒電了打不著火怎么辦?A:首先需要—根跨接電線,然后將兩車的車頭面對面…Q:大紅袍是什么茶?A:烏龍茶。Q:學(xué)生證買火車票—年能用幾次?A:4次。獼猴桃和奇異果有什么區(qū)別腰肌勞損掛什么科用戶需求強,難度大問題類型多用戶需求強,難度大問題類型多①約1/4用戶查詢是問答需求②更長尾,更偏向自然語言描述眼鏡蛇和眼鏡王蛇的區(qū)別蜂蛹泡酒的功效人有多少顆牙齒什么是幽門螺旋桿菌事實類,非事實類,觀點類沒有房產(chǎn)證的酒店拆遷如何補償事實類,非事實類,觀點類沒有房產(chǎn)證的酒店拆遷如何補償?shù)蜔梢赃M藏嗎手機怎么注冊淘寶賬號落地簽證是什么意思查詢類別蘋果蘋果燙手機信號不好充電器可以托運手機信號不好充電器可以托運嗎嗎搜索請求占比怎么辦問答24%傷的水泡會自然非事實類傷的水泡會自然消嗎消嗎小說神經(jīng)繃緊怎么回事9%神經(jīng)繃緊怎么回事教育7%人物頂頂絡(luò)意思知識4.5%家原家原能減肥嗎肥嗎2%購物大米生大米生了還能吃網(wǎng)很卡是什么原因交首付款注意事項折耳兔怎么養(yǎng)故鄉(xiāng)魯迅發(fā)生的變化的原因石家莊市銀監(jiān)局投訴電話是多少疝氣會影響生育嗎Apple官方支持:如果您的、或開不了機或死機怎么辦用戶:iPhone死機了怎么辦蘋果8突然卡死,主界面不能動,在線急等我的腎7突然無法操作,這種情況怎么解決?用戶輸入與標(biāo)準問法差別很大腦袋測得出的東西叫智商,小孩子發(fā)燒38腦袋測不出的東西叫智慧;發(fā)燒41度怎么辦耳朵聽得到的動靜是聲音,定金訂金耳朵聽不到的動靜是聲譽;嘴里說得出來的話叫內(nèi)容,嘴里說不出來的話叫內(nèi)涵;QueryQueryMatchingscore基于句子表示的方法RepresentationQueryMatchingscore基于句子表示的方法NeuralNetworkNeuralNetworkNeuralNetworkDocumentDocumentQueryMatchingsignalsMatchingscore基于交互關(guān)系的方法DocumentRepresentationQueryMatchingsignalsMatchingscore基于交互關(guān)系的方法DocumentAggregationDSSM:LearningDeepStructuredSemanticModelsforWebSearchusingClick-throughData(Huangetal.,CIKM’13)Convolutionalneuraltensornetworkarchitecturefor短文本蘊含信息不足，通過自適應(yīng)注意力機制從外部qrnn1qrnn2q att1Qhidden1att2Qhidden2Qhidden3QueryEmbeddings:BilinearsigmoidsigmoidDocEmbeddings:Dhidden1Dhidden2Dhidden3Query和Doc的多層交互,三層QRNN提供了由淺到深的語義編碼能力Attention機制建模Query和Doc的語義—致性,利用Query重構(gòu)Doc上下文表示的能力,語義信息層層遞進BilinearSimMatrixQueryEmbeddings:QhiddenDAtt基于QRNN和注意力機制的表示學(xué)習(xí)序列表示，3倍加速于LSTMBilinearSimMatrixQueryEmbeddings:QhiddenDAttDhiddenBilinear注意力機制加強Query-Doc的交互BilinearmaxmaxDembdDocEmbeddings:DocEmbeddings:Query-問題匹配精度損失Chrome瀏覽器歷史怎么刪除Query-問題匹配召回損失答案質(zhì)量問題答案非所問答案權(quán)威性問題答案時效性問題語料庫怎么構(gòu)建弱監(jiān)督數(shù)據(jù)如何使用周杰倫蠟像什么時間亮相上海杜莎夫人蠟像館?答案答案2015年之前的模型:單詞匹配、邏輯回歸、分類等2015年之后的模型:神經(jīng)網(wǎng)絡(luò)答案結(jié)束位置答案結(jié)束位置答案開始位置答案開始位置搜索問答文檔類型Wiki的段落網(wǎng)頁文本文檔質(zhì)量高質(zhì)量頁面種類多，質(zhì)量差異大UGC內(nèi)容低質(zhì)文檔長度平均長度138個詞，300詞以下占比98%平均長度約460字（視頻等非文本頁內(nèi)容少600字以上占比約1/3文檔是否有答案1.0一定存在答案2.0不一定存在答案不一定存在答案單個搜索結(jié)果答案可能錯誤搜索中的答案可能客觀錯誤R-NET:MACHINEREADINGCOMPREHENSIONWITHSELF-MATCHINGNETWORKS,ACL2017模型假設(shè)文本中存在正確答案，而真實場景模型容易出現(xiàn)常識性錯誤，對于涉及推理的問題效果不好；推理問題，也有助于提高答案抽取的精度和置信度；--加入答案存在性判斷在字、詞表示基礎(chǔ)上加入外部知識表示（全局/局部詞頻、LexicalAnswerType、Entity類型、POS、網(wǎng)頁質(zhì)量特征等）思路：以詞為單位的表示和注意力機制基礎(chǔ)上，融入以句子為單位的0.90.80.70.60.50.40.30.20.100.50.60.70.80.91詞級別和句子級別的分層交互，解決文聯(lián)合學(xué)習(xí)答案存在概率和起止位置概率增強上下文相關(guān)的表示能力詞級別和句子級別的分層交互，解決文聯(lián)合學(xué)習(xí)答案存在概率和起止位置概率增強上下文相關(guān)的表示能力問題：采用DistantlySupervised方法標(biāo)注的