知識(shí)圖譜 概念與技術(shù) 第14章：知識(shí)圖譜落地與實(shí)踐

《知識(shí)圖譜:概念與技術(shù)》第1章：知識(shí)圖譜概述2第1章：知識(shí)圖譜概述3業(yè)化覽譜產(chǎn)業(yè)概覽識(shí)圖譜數(shù)據(jù)與服務(wù)譜和領(lǐng)域圖譜，為機(jī)器認(rèn)知提供背景知識(shí)百科圖譜商情圖譜垂直圖譜統(tǒng)與產(chǎn)品1)支撐知識(shí)圖譜運(yùn)作的混合型系1)支撐知識(shí)圖譜運(yùn)作的混合型系2)領(lǐng)域知識(shí)圖譜構(gòu)建的工具集成智能數(shù)據(jù)獲取系統(tǒng)圖數(shù)據(jù)庫(kù)系統(tǒng)知識(shí)庫(kù)構(gòu)建工具集提供領(lǐng)域知識(shí)圖譜構(gòu)建與應(yīng)用咨詢給華為、電信、移動(dòng)、阿里巴巴、滴滴等數(shù)十家應(yīng)用單位提供了知識(shí)圖譜解決方案。影視、音樂(lè)影視、音樂(lè)法律、食物工商、產(chǎn)品、投融資、訴訟、專利軟著、商標(biāo)人物、字詞、地理、經(jīng)濟(jì)、軍事、科學(xué)、社會(huì)知識(shí)圖譜能力體系意圖理解 同義實(shí)體識(shí)別補(bǔ)全補(bǔ)全推理識(shí)別抽取概念識(shí)別概念識(shí)別抽取多語(yǔ)言支持基于關(guān)系數(shù)據(jù)庫(kù)的管理分布式爬蟲(chóng)優(yōu)先級(jí)調(diào)度智能爬蟲(chóng)圖緩存移動(dòng)端支持多網(wǎng)段支持查詢分發(fā)百科互動(dòng)百科工商法律金融開(kāi)放領(lǐng)域驗(yàn)證碼破解音樂(lè)影視維基第1章：知識(shí)圖譜概述6本章大綱第1章：知識(shí)圖譜概述7領(lǐng)域知識(shí)圖譜 8 庫(kù)9傳統(tǒng)知識(shí)工程，專家構(gòu)建，代價(jià)高昂，規(guī)模有限；知識(shí)邊?；枨笾R(shí)圖譜引領(lǐng)知識(shí)工程復(fù)興窄寬深淺細(xì)粗高低高長(zhǎng)短領(lǐng)域行業(yè)應(yīng)用對(duì)于知識(shí)需求難以閉合識(shí)的領(lǐng)域知識(shí)邊界內(nèi)的知識(shí)表示方式可解釋(易理解)難解釋(難理解)分布式表示大數(shù)據(jù)時(shí)代需要知識(shí)引擎人工智能時(shí)代需要機(jī)器智腦領(lǐng)域知識(shí)統(tǒng)信息化以政府領(lǐng)域知識(shí)圖譜為例 供豐識(shí)架譜期 ?文本、圖片、視頻詞，方文山>，周杰倫>?時(shí)空語(yǔ)義擴(kuò)展時(shí)間維度/空間維度通過(guò)文字、圖片和視頻來(lái)表示實(shí)體“TeslaModelS” 流程?把認(rèn)知領(lǐng)域的基本框架賦予機(jī)器?步驟?概念層設(shè)計(jì)?指定領(lǐng)域的基本概念，以及概念之間subclassof關(guān)系?E.g.,足球領(lǐng)域，足球運(yùn)動(dòng)員是運(yùn)動(dòng)員的子類?屬性定義?明確領(lǐng)域的基本屬性，明確屬性的適用概念，屬性值的?約束規(guī)則定義?E.g.,多值屬性約束：出生日期(單值約束)，獲得獎(jiǎng)項(xiàng) (多值約束)屬性?來(lái)源分類?互聯(lián)網(wǎng)上的領(lǐng)域百科爬取?通用百科圖譜的導(dǎo)出?外部業(yè)務(wù)系統(tǒng)的導(dǎo)入規(guī)則抽取器不同數(shù)據(jù)來(lái)源通過(guò)不同的知識(shí)獲取方式構(gòu)建知識(shí)圖譜?選擇建議?選擇結(jié)構(gòu)化程度相對(duì)較高、質(zhì)量較好盡可能降低知識(shí)獲取代價(jià)?識(shí)別出領(lǐng)域中的重要短語(yǔ)和詞匯?典型示例：敘詞表?涵蓋的大都是領(lǐng)域的主題詞，及?步驟?識(shí)別領(lǐng)域的高質(zhì)量詞匯?識(shí)別同義詞?識(shí)別縮寫(xiě)詞?識(shí)別領(lǐng)域的常見(jiàn)情感詞?目標(biāo)?識(shí)別出領(lǐng)域中的常見(jiàn)實(shí)體?理解領(lǐng)域文本和數(shù)據(jù)的關(guān)鍵一步?實(shí)體識(shí)別?實(shí)體歸類?實(shí)體鏈接?目標(biāo)?填充知識(shí)庫(kù)中的關(guān)系實(shí)例分類?關(guān)系分類?將給定的實(shí)體對(duì)(entitypairs)分類到某個(gè)已知關(guān)系?關(guān)系抽取?從文本中抽取某個(gè)實(shí)體對(duì)的具體關(guān)系?開(kāi)放關(guān)系抽取?從文本中抽取出實(shí)體對(duì)之間的關(guān)系描述?目標(biāo)?融合來(lái)自不同數(shù)據(jù)源的知識(shí)?實(shí)體對(duì)齊?識(shí)別不同來(lái)源的統(tǒng)一實(shí)體?屬性融合?識(shí)別同一屬性的不同描述?值規(guī)范化?規(guī)范化到統(tǒng)一格式?提升知識(shí)圖譜的質(zhì)量?步驟?知識(shí)補(bǔ)全?從外部互聯(lián)網(wǎng)文本數(shù)據(jù)進(jìn)行補(bǔ)充：E.g.,魯迅身高，需要從互聯(lián)網(wǎng)文本尋找答案進(jìn)行補(bǔ)充”?知識(shí)糾錯(cuò)?基于規(guī)則?圖結(jié)構(gòu)糾錯(cuò)：概念和實(shí)例構(gòu)成的?知識(shí)更新系基于Taxonomy中傳遞性推斷的缺失關(guān)系推斷?目標(biāo)?提升知識(shí)圖譜的質(zhì)量?人工編輯?知識(shí)編輯工具支持用戶添加、編輯和修改?眾包構(gòu)建?利用眾包手段將很多知識(shí)獲取任務(wù)分發(fā)下去答形式的驗(yàn)證碼來(lái)做知識(shí)獲取超級(jí)驗(yàn)證碼可 ?操作復(fù)雜度?全局計(jì)算?多步遍歷?復(fù)雜子圖?知識(shí)庫(kù)規(guī)模?節(jié)點(diǎn)?關(guān)系?密度?關(guān)聯(lián)事實(shí)?優(yōu)點(diǎn)：表達(dá)能力強(qiáng)、可?優(yōu)點(diǎn)：簡(jiǎn)單，普及?缺點(diǎn)：表達(dá)能力相對(duì)較弱e.g.,找到所有朋克搖滾(PunkRock)風(fēng)格的領(lǐng)域狀態(tài)效果應(yīng)用政務(wù)知識(shí)圖譜構(gòu)建政務(wù)知識(shí)圖譜，實(shí)現(xiàn)市民服務(wù)的精準(zhǔn)推薦服務(wù)600萬(wàn)上海市民推薦“一帶一路”地緣環(huán)境知識(shí)圖譜展示“一帶一路”沿線國(guó)家的地緣環(huán)境，支撐專家決策為某部門的信息決策起到了重要的支撐作用策多媒體素材知識(shí)圖譜針對(duì)多媒體素材，實(shí)現(xiàn)精準(zhǔn)推薦和智能索引開(kāi)發(fā)中對(duì)多媒體素材的管理、推薦和檢索，強(qiáng)化了平臺(tái)的實(shí)用性搜索、推薦代碼知識(shí)圖譜針對(duì)公司內(nèi)部數(shù)千代碼庫(kù)，上百萬(wàn)條代碼難以復(fù)用的現(xiàn)狀，加以規(guī)整，便于檢索為幾萬(wàn)名公司軟件工程師提供了代碼檢索功能，代碼平均搜索時(shí)間從10分鐘降低到1分鐘搜索運(yùn)營(yíng)商業(yè)務(wù)知識(shí)圖譜豐富的搜索召回和個(gè)性化推薦，運(yùn)營(yíng)商的知識(shí)管理和分析支撐平臺(tái)在與運(yùn)營(yíng)商的服務(wù)層面，顯著提升了業(yè)務(wù)的復(fù)用率。決策、分析商業(yè)情報(bào)知識(shí)圖譜降低企業(yè)獲取商業(yè)的門檻，幫助發(fā)現(xiàn)并對(duì)接客戶、友商、供應(yīng)商開(kāi)發(fā)中讓商業(yè)信息的管理流程化，對(duì)接成功率提升明顯決策、分析電信知識(shí)圖譜為電信營(yíng)銷、運(yùn)營(yíng)提供支撐有力支撐了上海電信的互聯(lián)網(wǎng)營(yíng)銷平臺(tái)(每年數(shù)千萬(wàn)產(chǎn)值)，技術(shù)轉(zhuǎn)移給移動(dòng)的方案中推薦電子商務(wù)知識(shí)圖譜構(gòu)建電商圖譜，實(shí)現(xiàn)商品智能推薦部分品類下的商品銷售率提高了2.8個(gè)百分點(diǎn)搜索、推薦技術(shù)法律軍事文娛工商技術(shù)法律軍事文娛工商?結(jié)構(gòu)化->半結(jié)構(gòu)化->非結(jié)構(gòu)化?以通用圖譜中的領(lǐng)域圖譜作為種子?從鄰近領(lǐng)域遷移行業(yè)的深入應(yīng)是象嚴(yán)重，手工段達(dá)簡(jiǎn)單關(guān)聯(lián)事如何增強(qiáng)知識(shí)圖譜如何實(shí)現(xiàn)稀疏樣本如何深化基于領(lǐng)域37 ?貼合全球最大規(guī)模軟件項(xiàng)目實(shí)際情?實(shí)現(xiàn)某代碼平臺(tái)的精準(zhǔn)、高效搜索類型39運(yùn)營(yíng)商業(yè)務(wù)分析智能化解決方案?通過(guò)知識(shí)圖譜實(shí)現(xiàn)更豐富的?搜索、推薦技術(shù)?已作為基礎(chǔ)組建集成進(jìn)入某40?該系統(tǒng)實(shí)現(xiàn)面向企業(yè)商業(yè)情報(bào)分析，旨在降低企業(yè)獲取商機(jī)的門檻，幫助企業(yè)發(fā)現(xiàn)并對(duì)接客戶、友商、供應(yīng)商。?該系統(tǒng)實(shí)現(xiàn)面向企業(yè)商業(yè)情報(bào)分析，旨在降低企業(yè)獲取商機(jī)的門檻，幫助企業(yè)發(fā)現(xiàn)并對(duì)接客戶、友商、供應(yīng)商。?智能信息獲取?關(guān)聯(lián)分析、知識(shí)推理?用戶畫(huà)像與個(gè)性化推薦?與河南省某孵化器公司深度對(duì)助其旗下數(shù)百家中小型、融合支撐組抽更新譜41?為提高簡(jiǎn)單案件的審判效率，減少寶一套智能判案輔助機(jī)器人系統(tǒng)，為當(dāng)事人提供專業(yè)的案件咨詢，案件風(fēng)險(xiǎn)評(píng)估，法院服務(wù)和法律援助等。?結(jié)構(gòu)化信息抽取?與上海市長(zhǎng)寧區(qū)人民法院對(duì)接，已在42可視化展示垂直搜索通用搜索應(yīng)用通用問(wèn)答知識(shí)圖譜管理系統(tǒng)知識(shí)概念分類體系構(gòu)建源異構(gòu)數(shù)據(jù)自動(dòng)抽取知識(shí)更新可視化展示垂直搜索通用搜索應(yīng)用通用問(wèn)答知識(shí)圖譜管理系統(tǒng)知識(shí)概念分類體系構(gòu)建源異構(gòu)數(shù)據(jù)自動(dòng)抽取知識(shí)更新一帶一路地緣環(huán)境知識(shí)圖譜構(gòu)建構(gòu)數(shù)據(jù)自動(dòng)融合線下數(shù)據(jù)數(shù)據(jù)庫(kù)互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)?領(lǐng)域?qū)嶓w發(fā)現(xiàn)?多源數(shù)據(jù)融合?已作為基礎(chǔ)組件集成進(jìn)入某軍事部線線上數(shù)據(jù)垂直領(lǐng)域開(kāi)放領(lǐng)域43基于政務(wù)大數(shù)據(jù)的市民服務(wù)云應(yīng)用?項(xiàng)目背景?通過(guò)信息惠民綜合試點(diǎn)，以創(chuàng)新社、社保、民政等多部門信息資引入優(yōu)質(zhì)社會(huì)服務(wù)資源，提供道、多形式的信息服務(wù)，滿足民多樣化需求，逐步實(shí)現(xiàn)公共事項(xiàng)和社會(huì)信息服務(wù)的的全人理?關(guān)鍵技術(shù)?領(lǐng)域知識(shí)圖譜構(gòu)建技術(shù)針對(duì)領(lǐng)域數(shù)據(jù)的實(shí)時(shí)爬蟲(chóng)系統(tǒng)、多源?用戶畫(huà)像技術(shù)用戶關(guān)聯(lián)技術(shù)、用戶畫(huà)像技術(shù)44基于知識(shí)圖譜的網(wǎng)站多媒體推薦?北京長(zhǎng)城網(wǎng)作為北京市黨員干部現(xiàn)代遠(yuǎn)程教育的網(wǎng)絡(luò)中心，需要把合適?基于標(biāo)簽的領(lǐng)域知識(shí)圖譜構(gòu)建?多媒體的語(yǔ)義搜索和個(gè)性化推薦?可視化展示?作為網(wǎng)站模塊開(kāi)發(fā)客戶標(biāo)簽知識(shí)庫(kù)用戶應(yīng)用標(biāo)簽結(jié)果客戶標(biāo)簽知識(shí)庫(kù)用戶應(yīng)用標(biāo)簽結(jié)果業(yè)務(wù)感知分析引擎標(biāo)簽分類體系庫(kù)URL標(biāo)簽體系A(chǔ)pp標(biāo)簽體系語(yǔ)義分詞庫(kù)中文知識(shí)圖譜算法庫(kù)網(wǎng)頁(yè)內(nèi)容解析算法復(fù)雜網(wǎng)絡(luò)分析算法自然語(yǔ)言處理算法數(shù)據(jù)挖掘算法機(jī)器學(xué)習(xí)算法用戶興趣標(biāo)簽結(jié)果用戶上網(wǎng)標(biāo)簽結(jié)果用戶標(biāo)簽化App標(biāo)簽化URL標(biāo)簽化業(yè)務(wù)分類審核語(yǔ)義分析網(wǎng)絡(luò)爬蟲(chóng)URL去噪用用戶行為分析業(yè)務(wù)統(tǒng)計(jì)分析專題分析挖掘數(shù)據(jù)應(yīng)用互互聯(lián)網(wǎng)頁(yè)面快照數(shù)據(jù)互聯(lián)網(wǎng)訪問(wèn)(DPI)數(shù)據(jù)46知識(shí)圖譜平臺(tái) 復(fù)旦知識(shí)工場(chǎng)平臺(tái)數(shù)百家近8億次?ProbasePlus復(fù)旦知識(shí)工場(chǎng)平臺(tái)數(shù)百家近8億次?Proba