《人工智能技術(shù)基礎(chǔ)》課件 王科俊 第7、8章 知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)

人工智能技術(shù)基礎(chǔ)知識(shí)圖譜第七章

知識(shí)圖譜（KnowledgeGraph）的概念最早由谷歌公司于2012年5月17日正式提出，旨在提高搜索引擎的能力，改善用戶的搜索質(zhì)量。2013年以后知識(shí)圖譜開始在學(xué)術(shù)界和產(chǎn)業(yè)界普及，已被廣泛應(yīng)用于智能搜索、智能問答、個(gè)性化推薦、情報(bào)分析、反欺詐等領(lǐng)域。

知識(shí)圖譜是一種用圖模型來描述知識(shí)和世界萬物之間關(guān)聯(lián)關(guān)系的技術(shù)方法，可以對(duì)現(xiàn)實(shí)世界的事物及其相互關(guān)系進(jìn)行形式化地描述，能夠挖掘、分析、構(gòu)建、繪制和顯示知識(shí)及它們之間的相互聯(lián)系。

知識(shí)圖譜分為通用知識(shí)圖譜和領(lǐng)域知識(shí)圖譜。通用知識(shí)圖譜強(qiáng)調(diào)的是廣度，數(shù)據(jù)多來自互聯(lián)網(wǎng)，而領(lǐng)域知識(shí)圖譜應(yīng)用于垂直領(lǐng)域，為基礎(chǔ)數(shù)據(jù)服務(wù)。7知識(shí)圖譜簡介目錄Contents知識(shí)圖譜的起源知識(shí)圖譜的架構(gòu)知識(shí)抽取7.17.27.37.47.57.6知識(shí)融合知識(shí)加工本章小結(jié)1.理解知識(shí)圖譜的起源和定義，了解知識(shí)圖譜的歷史背景和發(fā)展歷程，掌握知識(shí)圖譜的基本定義和概念，掌握知識(shí)圖譜的邏輯架構(gòu)和技術(shù)架構(gòu)；2.掌握知識(shí)抽取的基本原理和常見技術(shù)，了解數(shù)據(jù)源分類，學(xué)習(xí)使用不同的方法從數(shù)據(jù)源中提取知識(shí)，了解知識(shí)抽取中的難點(diǎn)和挑戰(zhàn)；3.學(xué)習(xí)知識(shí)融合基本技術(shù)流程、典型的知識(shí)融合工具以及實(shí)體連接的基本方法。理解知識(shí)加工的過程，掌握實(shí)體構(gòu)建的方法，學(xué)會(huì)如何進(jìn)行知識(shí)推理，了解質(zhì)量評(píng)估和知識(shí)更新的方式；4.能夠應(yīng)用知識(shí)圖譜的基本架構(gòu)和設(shè)計(jì)原則，使用常見的技術(shù)和方法進(jìn)行知識(shí)抽取、融合和加工；5.通過學(xué)習(xí)能夠設(shè)計(jì)和實(shí)現(xiàn)一個(gè)簡單的知識(shí)圖譜應(yīng)用。7知識(shí)圖譜學(xué)習(xí)目標(biāo)01知識(shí)圖譜的起源7.1知識(shí)圖譜的起源7.1.1知識(shí)工程和專家系統(tǒng)知識(shí)工程（KnowledgeEngineering）是研究人類智能和高級(jí)知識(shí)的發(fā)生機(jī)制和規(guī)律，用于構(gòu)造專家系統(tǒng)的理論。專家系統(tǒng)是指利用某種方法將專業(yè)領(lǐng)域的專家知識(shí)收集下來，并存儲(chǔ)在程序中，然后利用程序模擬人類的思維（推理+搜索）過程，去解決某些專業(yè)領(lǐng)域的問題。2012年谷歌提出知識(shí)圖譜1977年，在第五屆國際人工智能會(huì)議上美國計(jì)算機(jī)科學(xué)家費(fèi)根鮑姆首次提出知識(shí)工程20世紀(jì)80年代許多專家系統(tǒng)得到應(yīng)用7.1知識(shí)圖譜的起源7.1.2語義網(wǎng)絡(luò)、語義網(wǎng)、鏈接數(shù)據(jù)和知識(shí)圖譜語義網(wǎng)絡(luò)（SemanticNetwork）是由Quillian于20世紀(jì)60年代提出的知識(shí)表達(dá)方法，用相互連接的節(jié)點(diǎn)和邊來表示知識(shí)。優(yōu)點(diǎn)：語義網(wǎng)絡(luò)表達(dá)形式簡單直白，容易理解和展示，相關(guān)概念容易聚類。缺點(diǎn)：語義網(wǎng)絡(luò)的節(jié)點(diǎn)和邊值完全由用戶定義，沒有統(tǒng)一標(biāo)準(zhǔn)，導(dǎo)致難以進(jìn)行多源數(shù)據(jù)融合，無法區(qū)分概念節(jié)點(diǎn)和對(duì)象節(jié)點(diǎn)，無法對(duì)節(jié)點(diǎn)和邊的標(biāo)簽進(jìn)行定義。is-a關(guān)系，比如：貓是一種哺乳動(dòng)物；part-of關(guān)系，比如：脊椎是哺乳動(dòng)物的一部分。7.1知識(shí)圖譜的起源7.1.2語義網(wǎng)絡(luò)、語義網(wǎng)、鏈接數(shù)據(jù)和知識(shí)圖譜語義網(wǎng)（SemanticWeb）和鏈接數(shù)據(jù)是萬維網(wǎng)之父TimBernersLee分別在1998年和2006提出的。鏈接數(shù)據(jù)起初是用于定義如何利用語義網(wǎng)技術(shù)在網(wǎng)上發(fā)布數(shù)據(jù)，強(qiáng)調(diào)在不同的數(shù)據(jù)集間創(chuàng)建鏈接。語義網(wǎng)和鏈接數(shù)據(jù)傾向描述萬維網(wǎng)中資源、數(shù)據(jù)之間的關(guān)系。語義網(wǎng)是為了使得網(wǎng)絡(luò)上的數(shù)據(jù)變得機(jī)器可讀而提出的一個(gè)通用框架。知識(shí)圖譜的早期理念源于TimBerners-Lee關(guān)于語義網(wǎng)的設(shè)想，旨在采用圖結(jié)構(gòu)（GraphStructure）來建模和記錄世界萬物之間的關(guān)聯(lián)關(guān)系和知識(shí)，以便有效地實(shí)現(xiàn)更加精準(zhǔn)的對(duì)象級(jí)搜索。7.1知識(shí)圖譜的起源7.1.3知識(shí)圖譜的定義知識(shí)圖譜是把所有不同種類的信息連接在一起，而得到的一個(gè)關(guān)系網(wǎng)絡(luò)。知識(shí)圖譜的作用是對(duì)于大量無序雜亂的信息，識(shí)別出其中的實(shí)體及實(shí)體屬性等，形成一個(gè)關(guān)系圖。知識(shí)圖譜是結(jié)構(gòu)化的語義知識(shí)庫，用于迅速描述物理世界中的概念及其相互關(guān)系。知識(shí)圖譜通過對(duì)錯(cuò)綜復(fù)雜的文檔的數(shù)據(jù)進(jìn)行有效地加工、處理、整合，使其轉(zhuǎn)化為簡單、清晰的“實(shí)體、關(guān)系、屬性”的三元組，最后聚合大量知識(shí)，實(shí)現(xiàn)知識(shí)的快速響應(yīng)和推理。圖譜應(yīng)用包括原圖應(yīng)用、知識(shí)檢索、算法支撐、知識(shí)自動(dòng)化等。圖7-2對(duì)知識(shí)圖譜的初步理解7.1知識(shí)圖譜的起源7.1.3知識(shí)圖譜的定義知識(shí)圖譜通過三元組“實(shí)體、關(guān)系、屬性”集合的形式來描述事物之間的關(guān)系。實(shí)體：又稱本體，指客觀存在并可以相互區(qū)別的事物，可以是具體的人、事、物，也可以是抽象的概念或聯(lián)系，實(shí)體是知識(shí)圖譜中最基本的元素。關(guān)系：在知識(shí)圖譜中，邊表示知識(shí)圖譜中的關(guān)系，用來表示不同實(shí)體間的某種聯(lián)系。屬性：知識(shí)圖譜中的實(shí)體和關(guān)系都可以有各自的屬性。圖7-3知識(shí)圖譜的概念02知識(shí)圖譜的架構(gòu)7.2

知識(shí)圖譜的架構(gòu)7.2.1邏輯架構(gòu)知識(shí)圖譜的架構(gòu)包括自身的邏輯結(jié)構(gòu)以及構(gòu)建知識(shí)圖譜所采用的技術(shù)（體系）架構(gòu)。知識(shí)圖譜在邏輯結(jié)構(gòu)上可分為數(shù)據(jù)與模式兩個(gè)層次；數(shù)據(jù)層：底層存儲(chǔ)數(shù)據(jù)三元組的邏輯層次，通常通過本體庫來管理數(shù)據(jù)層，模式層：知識(shí)圖譜的核心，通常采用本體庫來管理知識(shí)圖譜的模式層。本體庫：相當(dāng)于對(duì)象中“類”的概念。7.2

知識(shí)圖譜的架構(gòu)7.2.1邏輯架構(gòu)數(shù)據(jù)層：主要是由一系列的事實(shí)組成，而知識(shí)將以事實(shí)為單位進(jìn)?存儲(chǔ)；模式層：存儲(chǔ)經(jīng)過提煉的知識(shí)，通常通過本體庫來管理這一層；本體庫：儲(chǔ)存著知識(shí)圖譜的類，數(shù)據(jù)層則存儲(chǔ)真實(shí)的數(shù)據(jù)。模式層：實(shí)體#關(guān)系#實(shí)體，實(shí)體#屬性#性值。數(shù)據(jù)層：吳京#妻子#謝楠，吳京#導(dǎo)演#戰(zhàn)狼Ⅱ。實(shí)例7.2

知識(shí)圖譜的架構(gòu)7.2.2技術(shù)架構(gòu)知識(shí)圖譜的技術(shù)架構(gòu)是指其構(gòu)建模式的結(jié)構(gòu)，同時(shí)也是知識(shí)圖譜更新的過程。圖7-5知識(shí)圖譜的技術(shù)架構(gòu)7.2

知識(shí)圖譜的架構(gòu)7.2.2技術(shù)架構(gòu)知識(shí)圖譜構(gòu)建從最原始的數(shù)據(jù)，采用一系列自動(dòng)或半自動(dòng)的技術(shù)手段，從原始數(shù)據(jù)庫和第三方數(shù)據(jù)庫中提取知識(shí)事實(shí)，并將其存入知識(shí)庫的數(shù)據(jù)層和模式層，具體過程可以分為下面4個(gè)階段。01020304知識(shí)加工知識(shí)融合知識(shí)抽取數(shù)據(jù)源（數(shù)據(jù)獲?。?3知識(shí)抽取7.3

知識(shí)抽取

知識(shí)抽?。↘nowledgeExtraction）是指自動(dòng)地從文本中發(fā)現(xiàn)和抽取相關(guān)信息，并將多個(gè)文本碎片中的信息進(jìn)行合并，將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。知識(shí)抽取任務(wù)主要包括以下3個(gè)關(guān)鍵子任務(wù)。

實(shí)體抽?。簭奈谋局袡z測(cè)出命名實(shí)體，再將它分類到預(yù)定義的類別中，比如這個(gè)實(shí)體是屬于人物類、組織類、地點(diǎn)類等等。關(guān)系抽?。簭奈谋局凶R(shí)別抽取到實(shí)體與實(shí)體之間的關(guān)系。事件抽取：從文本中識(shí)別關(guān)于事件的信息，并以結(jié)構(gòu)化的形式呈現(xiàn)，比如可以從一條新聞報(bào)道中識(shí)別到這件事情發(fā)生的時(shí)間、地點(diǎn)、人物等信息。7.3

知識(shí)抽取知識(shí)抽取面向不同類型的數(shù)據(jù)源，涉及的關(guān)鍵技術(shù)和需要解決的技術(shù)難點(diǎn)有所不同。知識(shí)抽取主要包含序列標(biāo)注任務(wù)和結(jié)構(gòu)化知識(shí)生成任務(wù)兩種。表7-1知識(shí)抽取的數(shù)據(jù)源數(shù)據(jù)源定義舉例結(jié)構(gòu)化數(shù)據(jù)是指由二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)。嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系型數(shù)據(jù)庫進(jìn)行存儲(chǔ)和管理。半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種形式，雖不符合關(guān)系型數(shù)據(jù)庫或其他數(shù)據(jù)表的形式關(guān)聯(lián)起來的數(shù)據(jù)模型結(jié)構(gòu)，但包含相關(guān)標(biāo)記，用來分隔語義元素以及對(duì)記錄和字段進(jìn)行分層。常見的有百科類數(shù)據(jù)、網(wǎng)頁數(shù)據(jù)、JSON、XML等。非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方便使用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括所有格式的辦公文檔、文本、圖片、HTML、各類報(bào)表、圖像和音頻/視頻信息等。IDNamePhoneAddress1張一3337899湖北省武漢市2王二3337499廣東省深圳市福田區(qū)3李三3339003廣東省深圳市南山區(qū)7.3

知識(shí)抽取7.3.1非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取1.實(shí)體抽取1）定義實(shí)體抽取：又名實(shí)體識(shí)別，從文本中檢測(cè)出命名實(shí)體，并將其分類到預(yù)定義的類別中，實(shí)體抽取實(shí)例：一段新聞報(bào)道中的句子“北京時(shí)間9月22日，中超聯(lián)賽第26輪，上海申花主場(chǎng)2:0力克滄州雄獅”。圖7-7實(shí)體抽取舉例7.3

知識(shí)抽取7.3.1非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取1.實(shí)體抽取2）方法從文本中進(jìn)行實(shí)體抽取，首先需要從文本中識(shí)別和定位實(shí)體，再將識(shí)別的實(shí)體分類到預(yù)定義的類別中。圖7-8實(shí)體抽取方法7.3

知識(shí)抽取7.3.1非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取2.關(guān)系抽取1）定義關(guān)系抽?。≧elationExtraction，RE）面向非結(jié)構(gòu)化文本數(shù)據(jù)。關(guān)系抽取是自動(dòng)識(shí)別實(shí)體之間具有的某種語義關(guān)系，從文本中抽取實(shí)體及實(shí)體之間的關(guān)系。2）方法關(guān)系抽取一般是在識(shí)別出文本的實(shí)體后，再抽取實(shí)體之間可能存在的關(guān)系。圖7-12關(guān)系抽取方法7.3

知識(shí)抽取7.3.1非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取3.事件抽取1）定義事件是指發(fā)生的事情，通常具有時(shí)間、地點(diǎn)、參與者等屬性。事件的發(fā)生可能是因?yàn)橐粋€(gè)動(dòng)作的產(chǎn)生或者系統(tǒng)狀態(tài)的改變。事件抽取是指從文本中抽取用戶感興趣的事件信息，并以結(jié)構(gòu)化的形式呈現(xiàn)。圖7-15“出生”事件的基本組成要素7.3

知識(shí)抽取7.3.1非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取3.事件抽取2）方法抽取的方法主要有基于規(guī)則的方法、基于監(jiān)督學(xué)習(xí)的方法和基于弱監(jiān)督學(xué)習(xí)的方法，任務(wù)包含的子任務(wù)有5類，分別為識(shí)別觸發(fā)詞以及事件類型、抽取事件元素及判斷其角色、事件描述（詞組或句子）、事件屬性標(biāo)注以及事件共指消歧。圖7-16事件抽取方法7.3

知識(shí)抽取7.3.1非結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取3.事件抽取事件觸發(fā)詞識(shí)別是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，因?yàn)橐粋€(gè)詞在不同的上下文可以觸發(fā)不同的事件，例如觸發(fā)詞release。圖7-17事件觸發(fā)詞識(shí)別7.3

知識(shí)抽取7.3.2結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取結(jié)構(gòu)化數(shù)據(jù)指類似關(guān)系庫中表格形式的數(shù)據(jù)，它們各項(xiàng)之間往往存在明確的關(guān)系名稱和對(duì)應(yīng)關(guān)系。因此可以簡單的將其轉(zhuǎn)化為RDF或其他形式的知識(shí)庫內(nèi)容。2012年發(fā)布了兩個(gè)RDB2RDF映射方法：直接映射（DirectMapping，DM）和R2RML。序號(hào)映射前的關(guān)系數(shù)據(jù)庫參數(shù)映射后的知識(shí)庫參數(shù)1表（Table）類（Class）2列（Column）RDF屬性（Property）3行（Row）資源/實(shí)體（Resource/Instance），創(chuàng)建IRI4單元（Cell）屬性值（PropertyValue）表7-5關(guān)系數(shù)據(jù)映射為知識(shí)庫規(guī)則7.3

知識(shí)抽取7.3.3半結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取半結(jié)構(gòu)化數(shù)據(jù)是指類似百科、商品列表等本身存在一定結(jié)構(gòu)但需要進(jìn)一步提取整理的數(shù)據(jù)。1.百科類數(shù)據(jù)知識(shí)抽取以百度百科為代表的百科類數(shù)據(jù)是典型的半結(jié)構(gòu)化數(shù)據(jù)。已經(jīng)構(gòu)建的知識(shí)圖譜有DBpedia、Yago、Zhishi.me、XLore和CN-DBpedia等。DBpedia是較早發(fā)布、具有代表性的知識(shí)圖譜，以此為例介紹構(gòu)建方法。圖7-20百度百科詞條頁面結(jié)構(gòu)7.3

知識(shí)抽取7.3.3半結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取2.Web網(wǎng)頁數(shù)據(jù)抽取網(wǎng)頁數(shù)據(jù)進(jìn)行抽取可以使用包裝器實(shí)現(xiàn)。包裝器是一個(gè)能夠?qū)?shù)據(jù)從HTML網(wǎng)頁中抽取出來，并且將它們還原為結(jié)構(gòu)化數(shù)據(jù)的軟件程序?；诎b器抽取網(wǎng)頁信息的流程，輸入為網(wǎng)頁數(shù)據(jù)，通過包裝器進(jìn)行抽取，輸出結(jié)構(gòu)化數(shù)據(jù)。包裝器的生成方法有3大類：手工方法、包裝器歸納方法和自動(dòng)抽取方法。7.3

知識(shí)抽取7.3.3半結(jié)構(gòu)化數(shù)據(jù)的知識(shí)抽取3.自動(dòng)抽取方法在自動(dòng)抽取方法中，相似的網(wǎng)頁首先通過聚類被分成若干組，通過挖掘同一組中相似網(wǎng)頁的重復(fù)模式可以生成適用于該組網(wǎng)頁的包裝器。應(yīng)用包裝器進(jìn)行數(shù)據(jù)抽取時(shí)，首先將需要抽取的頁面劃分到先前生成的網(wǎng)頁組，然后應(yīng)用該組對(duì)應(yīng)的包裝器進(jìn)行數(shù)據(jù)抽取。圖7-25自動(dòng)抽取流程04知識(shí)融合7.4

知識(shí)融合圖7-26實(shí)例層異構(gòu)舉例7.4

知識(shí)融合知識(shí)融合包含兩部分內(nèi)容，分別為實(shí)體鏈接和知識(shí)合并。知識(shí)融合通過這兩個(gè)過程可以清除知識(shí)抽取得到的結(jié)構(gòu)化數(shù)據(jù)中可能存在的大量冗余和錯(cuò)誤信息，整合相關(guān)數(shù)據(jù)，解決數(shù)據(jù)之間扁平化的關(guān)系，缺乏層次性和邏輯性的問題，從而提高知識(shí)的質(zhì)量。圖7-27知識(shí)融合舉例7.4

知識(shí)融合7.4.1知識(shí)融合的基本技術(shù)流程知識(shí)融合一般分為兩步：本體對(duì)齊和實(shí)體匹配。圖7-28知識(shí)融合的基本技術(shù)流程7.4

知識(shí)融合7.4.2典型知識(shí)融合工具1.本體匹配（本體對(duì)齊）工具-Falcon-AOFalcon-AO：是一個(gè)基于Java的自動(dòng)本體匹配系統(tǒng)，已經(jīng)成為RDF(S)和OWL所表達(dá)的Web本體相匹配的一種實(shí)用和流行的選擇。7.4

知識(shí)融合7.4.2典型知識(shí)融合工具2.實(shí)體匹配工具-DedupeDedupe用于模糊匹配，記錄去重和實(shí)體鏈接的Python庫。①指定謂詞集合&相似度函數(shù)②訓(xùn)練Blocking③訓(xùn)練邏輯回歸（LR）模型7.4

知識(shí)融合7.4.2典型知識(shí)融合工具（3）實(shí)體匹配工具-LimesLimes是一個(gè)基于度量空間的實(shí)體匹配發(fā)現(xiàn)框架，適合大規(guī)模數(shù)據(jù)鏈接，編程語言是Java。圖7-33Limes整體框架7.4

知識(shí)融合7.4.2典型知識(shí)融合工具（4）實(shí)體匹配工具-SilkSilk用于集成異構(gòu)數(shù)據(jù)源的開源框架。圖7-34

Silk整體框架7.4

知識(shí)融合7.4.3實(shí)體鏈接實(shí)體鏈接（EntityLinking）是指對(duì)于從文本中抽取得到的實(shí)體對(duì)象，將其鏈接到知識(shí)庫中對(duì)應(yīng)的正確實(shí)體對(duì)象的操作。

實(shí)體指稱項(xiàng)：在具體上下文中出現(xiàn)的待消歧實(shí)體名，是實(shí)體消歧任務(wù)的基本單位。實(shí)體消歧：判斷知識(shí)庫中的同名實(shí)體是否代表不同的含義，可以理解為解決實(shí)體概念的一詞多義現(xiàn)象。屬性對(duì)齊：把同一個(gè)屬性的不同描述方式進(jìn)行融合。共指消解：知識(shí)庫中是否存在其它命名實(shí)體和當(dāng)前實(shí)體表示相同的含義。7.4

知識(shí)融合7.4.3實(shí)體鏈接實(shí)體鏈接（EntityLinking）基本思想是首先根據(jù)給定的實(shí)體指稱項(xiàng)，從知識(shí)庫中選出一組候選實(shí)體對(duì)象，然后通過相似度計(jì)算將指稱項(xiàng)鏈接到正確的實(shí)體對(duì)象?；玖鞒贪▽?shí)體指稱識(shí)別、候選實(shí)體生成和候選實(shí)體消歧3個(gè)步驟。7.4

知識(shí)融合7.4.3實(shí)體鏈接中國證券網(wǎng)訊（記者王雪青）中國證券記者今日獲悉，萬達(dá)集團(tuán)的文明產(chǎn)業(yè)版圖將再添世界級(jí)新軍——傳奇影業(yè)，具體收購情況或于下周二正式發(fā)布。實(shí)體鏈接實(shí)例7.4

知識(shí)融合7.4.3實(shí)體鏈接無鏈接提及預(yù)測(cè)候選實(shí)體消歧候選實(shí)體生成實(shí)體指稱識(shí)別7.4

知識(shí)融合7.4.3實(shí)體鏈接詞語消歧：指代、重名等現(xiàn)象，不利于機(jī)器準(zhǔn)確理解文本的語義。知識(shí)圖譜融合：知識(shí)圖譜的融合，可以粗暴地理解為批量地向已有知識(shí)庫添加三元組信息，使用實(shí)體鏈接技術(shù)可以實(shí)現(xiàn)添加操作的自動(dòng)化。知識(shí)圖譜構(gòu)建：知識(shí)圖譜的構(gòu)建過程，就是將一個(gè)個(gè)三元組添加到已有知識(shí)庫的。實(shí)體鏈接應(yīng)用7.4

知識(shí)融合7.4.4知識(shí)合并常見的知識(shí)合并需求有兩個(gè)方面：一是合并外部知識(shí)庫，二是合并關(guān)系數(shù)據(jù)庫。合并外部知識(shí)庫將外部知識(shí)庫融合到本地知識(shí)庫需要處理兩個(gè)層面的問題：數(shù)據(jù)層的融合和模式層的融合。數(shù)據(jù)層的融合：包括實(shí)體的指稱、屬性、關(guān)系以及所屬類別等，主要問題是如何避免實(shí)例以及關(guān)系的沖突問題，造成不必要的冗余。模式層的融合：主要是將得到的本體融入已有的本體庫中。合并關(guān)系數(shù)據(jù)庫在知識(shí)圖譜構(gòu)建過程中，一個(gè)重要的高質(zhì)量知識(shí)來源是企業(yè)或機(jī)構(gòu)自己的關(guān)系數(shù)據(jù)庫。為了將這些結(jié)構(gòu)化的歷史數(shù)據(jù)融入到知識(shí)圖譜中，可以采用資源描述框架（RDF）作為數(shù)據(jù)模型。業(yè)界和學(xué)術(shù)界將這一數(shù)據(jù)轉(zhuǎn)換過程形象地稱為RDB2RDF，其實(shí)質(zhì)就是將關(guān)系數(shù)據(jù)庫的數(shù)據(jù)換成RDF的三元組數(shù)據(jù)。05知識(shí)加工7.5知識(shí)加工7.5.1

實(shí)體構(gòu)建通過信息抽取，可以從原始語料中提取出實(shí)體、關(guān)系與屬性等知識(shí)要素，再經(jīng)過知識(shí)融合，可以消除實(shí)體指稱項(xiàng)與實(shí)體對(duì)象之間的歧義，得到一系列基本的事實(shí)表達(dá)。事實(shí)本身并不等于知識(shí)，要想最終獲得結(jié)構(gòu)化、網(wǎng)絡(luò)化的知識(shí)體系，還需要經(jīng)歷知識(shí)加工的過程。知識(shí)加工主要包括3方面內(nèi)容：實(shí)體構(gòu)建、知識(shí)推理和質(zhì)量評(píng)估。7.5知識(shí)加工7.5.1

實(shí)體構(gòu)建構(gòu)建實(shí)體可以采用人工編輯的方式手動(dòng)構(gòu)建，如借助實(shí)體編輯軟件。人工方式的工作量巨大，一般以數(shù)據(jù)驅(qū)動(dòng)的方式構(gòu)建本體，包含3個(gè)階段：實(shí)體并列關(guān)系相似度計(jì)算、實(shí)體上下位關(guān)系抽取和實(shí)體的生成。圖7-40本體構(gòu)建實(shí)例7.5知識(shí)加工7.5.2知識(shí)推理知識(shí)推理是指從知識(shí)庫中已有的實(shí)體關(guān)系數(shù)據(jù)出發(fā)進(jìn)行計(jì)算機(jī)推理，建立實(shí)體間的新關(guān)聯(lián)，從而拓展和豐富知識(shí)網(wǎng)絡(luò)。假設(shè)，A的孩子是Z，B的孩子是Z，那么A、B的關(guān)系很有可能是配偶關(guān)系。例如康熙是雍正的父親，雍正是乾隆的父親，對(duì)于康熙和乾隆這兩個(gè)實(shí)體，通過知識(shí)推理可以獲得他們之間是祖孫關(guān)系。知識(shí)推理的對(duì)象也并不局限于實(shí)體間的關(guān)系，也可以是實(shí)體的屬性值、本體的概念層次關(guān)系等。

推理屬性值：已知某實(shí)體的生日屬性，可以通過推理得到該實(shí)體的年齡屬性。

推理概念：已知(老虎，科，貓科)和（貓科，目，食肉目）可以推出（老虎#目：食肉目）7.5知識(shí)加工7.5.2知識(shí)推理（1）基于邏輯的推理方法基于邏輯的推理主要包括一階邏輯謂詞、描述邏輯以及基于規(guī)則的推理。一階謂詞邏輯建立在命題的基礎(chǔ)上，在一階謂詞邏輯中，命題被分解為個(gè)體（Individuals）和謂詞（Predication）兩部分。個(gè)體是指可以獨(dú)立存在的客體，可以是一個(gè)具體的事物，也可以是一個(gè)抽象的概念。謂詞是用來刻畫個(gè)體性質(zhì)及事物關(guān)系的詞。比如（A，friend，B）就是表達(dá)個(gè)體A和B關(guān)系的謂詞。描述邏輯（DescriptionLogic）是一種基于對(duì)象知識(shí)表示的形式化工具，是一階謂詞邏輯的子集，它是實(shí)體語言推理的重要設(shè)計(jì)基礎(chǔ)?；谝?guī)則的推理可以利用專門的規(guī)則語言，如SWRL（SemanticWebRuleLanguage）。7.5知識(shí)加工7.5.2知識(shí)推理（2）基于圖的推理方法主要基于神經(jīng)網(wǎng)絡(luò)模型或PathRanking算法。PathRanking算法的基本思想是將知識(shí)圖譜視為圖（以實(shí)體為節(jié)點(diǎn)，以關(guān)系或?qū)傩詾檫叄瑥脑垂?jié)點(diǎn)開始，在圖上執(zhí)行隨機(jī)游走。如果能夠通過一個(gè)路徑到達(dá)目標(biāo)節(jié)點(diǎn)，則推測(cè)源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)可能存在關(guān)系。7.5知識(shí)加工7.5.2知識(shí)推理7.5知識(shí)加工7.5.3質(zhì)量評(píng)估質(zhì)量評(píng)估也是知識(shí)圖譜構(gòu)建技術(shù)的重要組成部分。質(zhì)量評(píng)估意義在于可以對(duì)知識(shí)的可信度進(jìn)行量化，通過舍棄置信度較低的知識(shí)保障知識(shí)庫的質(zhì)量。7.5知識(shí)加工7.5.4知識(shí)更新知識(shí)圖譜的內(nèi)容更新有兩種方式，一種是全面更新，另一種是增量更新。全面更新是指以更新后的全部數(shù)據(jù)為輸入，從零開始構(gòu)建知識(shí)圖譜。這種方法比較簡單，但資源消耗大，而且需要耗費(fèi)大量人力資源進(jìn)行系統(tǒng)維護(hù)。增量更新是指以當(dāng)前新增數(shù)據(jù)為輸入，向現(xiàn)有知識(shí)圖譜中添加新增知識(shí)。這種方式資源消耗小，但目前仍需要大量人工干預(yù)（定義規(guī)則等），因此實(shí)施起來十分困難。知識(shí)的更新主要包括概念層的更新和數(shù)據(jù)層的更新兩個(gè)方面。概念層的更新是指新增數(shù)據(jù)后獲得了新的概念，需要自動(dòng)將新的概念添加到知識(shí)庫的概念層中。數(shù)據(jù)層的更新主要是新增或更新實(shí)體、關(guān)系、屬性值，對(duì)數(shù)據(jù)層進(jìn)行更新需要考慮數(shù)據(jù)源的可靠性和數(shù)據(jù)的一致性（是否存在矛盾或冗雜等問題），選取可靠數(shù)據(jù)源，并選擇在各數(shù)據(jù)源中出現(xiàn)頻率高的事實(shí)和屬性加入知識(shí)庫。06小結(jié)7.6小結(jié)

本章簡述了知識(shí)圖譜的起源，介紹了知識(shí)圖譜的架構(gòu)，并詳細(xì)介紹了知識(shí)圖譜的構(gòu)建過程，包括知識(shí)的抽取、知識(shí)的融合和知識(shí)的加工。首先確定知識(shí)表示模型，然后根據(jù)數(shù)據(jù)來源選擇不同的知識(shí)獲取手段把知識(shí)導(dǎo)入模型中，構(gòu)建知識(shí)圖譜；接著綜合利用知識(shí)推理、知識(shí)融合、知識(shí)挖掘等技術(shù)對(duì)構(gòu)建的知識(shí)圖譜進(jìn)行質(zhì)量提升，最后根據(jù)場(chǎng)景需求設(shè)計(jì)不同的知識(shí)訪問方法，如語義搜索、問答交互等。幫助讀者了解知識(shí)建模、關(guān)系抽取、圖存儲(chǔ)、關(guān)系推理、實(shí)體融合相關(guān)內(nèi)容。感謝您的觀看！人工智能技術(shù)基礎(chǔ)圖神經(jīng)網(wǎng)絡(luò)第8章圖結(jié)構(gòu)普遍存在于人類社會(huì)生活中，如人與人之間的社交網(wǎng)絡(luò)、地鐵線路及高鐵線路、互聯(lián)網(wǎng)中網(wǎng)頁間的互相鏈接、論文的引用等等，都可以用圖結(jié)構(gòu)來描述。圖神經(jīng)網(wǎng)絡(luò)（GraphNeuralNetwork，GNN）自提出以來，除了在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域應(yīng)用之外，還在物理、生物、化學(xué)、社會(huì)科學(xué)等跨學(xué)科的網(wǎng)絡(luò)分析、推薦系統(tǒng)、生物化學(xué)、交通預(yù)測(cè)等諸多領(lǐng)域應(yīng)用。8圖神經(jīng)網(wǎng)絡(luò)簡介社交網(wǎng)絡(luò)化學(xué)分子網(wǎng)絡(luò)本章在介紹圖論基礎(chǔ)與圖譜理論的基礎(chǔ)上，給出圖神經(jīng)網(wǎng)絡(luò)的基本原理和圖神經(jīng)網(wǎng)絡(luò)的分類。進(jìn)而給出幾種典型的圖卷積神經(jīng)網(wǎng)絡(luò)、圖循環(huán)神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖生成網(wǎng)絡(luò)以及圖時(shí)空網(wǎng)絡(luò)等模型。8圖神經(jīng)網(wǎng)絡(luò)簡介論文引用網(wǎng)絡(luò)1.學(xué)習(xí)圖論基礎(chǔ)與圖譜理論的基本原理，理解掌握分析、構(gòu)建圖神經(jīng)網(wǎng)絡(luò)得到基本工具；2.學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)的基本原理，掌握?qǐng)D神經(jīng)網(wǎng)絡(luò)的消息傳遞、更新與聚合等基本操作，了解圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用場(chǎng)景，包括圖分類、節(jié)點(diǎn)分類、關(guān)系預(yù)測(cè)以及去噪重建；3.學(xué)習(xí)圖神經(jīng)網(wǎng)絡(luò)的分類，了解圖卷積神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖生成網(wǎng)絡(luò)以及時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的基本概念；4.深入學(xué)習(xí)圖卷積神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖生成網(wǎng)絡(luò)以及時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)，掌握相關(guān)圖神經(jīng)網(wǎng)絡(luò)的原理以及應(yīng)用。8圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)目錄Contents8.1圖論基礎(chǔ)與圖譜理論圖神經(jīng)網(wǎng)絡(luò)基本原理圖神經(jīng)網(wǎng)絡(luò)分類卷積圖神經(jīng)網(wǎng)絡(luò)8.28.38.48.5圖注意力網(wǎng)絡(luò)圖生成網(wǎng)絡(luò)圖時(shí)空網(wǎng)絡(luò)本章小結(jié)8.68.78.801圖論與圖譜理論8.1圖論基礎(chǔ)與圖譜理論8.1.1圖論基礎(chǔ)——圖的定義與表示

8.1圖論基礎(chǔ)與圖譜理論8.1.1圖論基礎(chǔ)——無向圖與有向圖圖最基本的性質(zhì)之一是它是有向的還是無向的，如圖8-1所示。在一個(gè)有向圖中，每條邊都有一個(gè)方向或兩個(gè)方向。這意味著該邊沿著一個(gè)特定的方向連接兩個(gè)節(jié)點(diǎn)，其中一個(gè)節(jié)點(diǎn)是源節(jié)點(diǎn)，另一個(gè)節(jié)點(diǎn)是目的地節(jié)點(diǎn)。相比之下，無向圖有無向邊，其中的邊沒有方向。圖8-1無向圖與有向圖(a)無向圖(b)有向圖8.1圖論基礎(chǔ)與圖譜理論8.1.1圖論基礎(chǔ)——權(quán)值圖圖的另一個(gè)重要性質(zhì)是這些邊是有權(quán)重還是無權(quán)重的。在一個(gè)權(quán)值圖中，如圖8-2所示，每條邊都有一個(gè)與之相關(guān)聯(lián)的權(quán)重或代價(jià)。這些權(quán)重可以代表各種因素，如距離、旅行時(shí)間或成本。例如，在一個(gè)交通網(wǎng)絡(luò)中，邊的權(quán)重可能代表不同城市之間的距離或在它們之間旅行所花費(fèi)的時(shí)間。相比之下，無權(quán)圖沒有與其邊相關(guān)聯(lián)的權(quán)重。這些類型的圖通常用于節(jié)點(diǎn)之間的關(guān)系是二進(jìn)制的情況，而邊只是表示它們之間是否存在連接。圖8-2權(quán)值圖8.1圖論基礎(chǔ)與圖譜理論8.1.1圖論基礎(chǔ)——鄰接矩陣與關(guān)聯(lián)矩陣鄰接矩陣在n個(gè)頂點(diǎn)的圖需要有一個(gè)n×n大小的矩陣A。在一個(gè)無權(quán)圖中，矩陣坐標(biāo)中每個(gè)位置的值為1，代表兩個(gè)點(diǎn)是相連的，0表示兩點(diǎn)是不相連的；在一個(gè)有權(quán)圖中，矩陣坐標(biāo)中每個(gè)位置值代表該兩點(diǎn)之間的權(quán)重，0表示該兩點(diǎn)不相連。對(duì)于無向圖，鄰接矩陣是對(duì)稱的，而對(duì)于有向圖，矩陣不一定是對(duì)稱的。圖8-3顯示了與該無向圖關(guān)聯(lián)的鄰接矩陣。圖8-3鄰接矩陣8.1圖論基礎(chǔ)與圖譜理論8.1.1圖論基礎(chǔ)——鄰域與度矩陣

8.1圖論基礎(chǔ)與圖譜理論8.1.2譜圖理論——拉普拉斯矩陣及性質(zhì)

8.1圖論基礎(chǔ)與圖譜理論8.1.2譜圖理論——拉普拉斯矩陣及性質(zhì)

8.1圖論基礎(chǔ)與圖譜理論8.1.2譜圖理論——譜分解

8.1圖論基礎(chǔ)與圖譜理論8.1.2譜圖理論——譜分解

8.1圖論基礎(chǔ)與圖譜理論8.1.2譜圖理論——譜分解

8.1圖論基礎(chǔ)與圖譜理論8.1.2譜圖理論——譜分解

02圖神經(jīng)網(wǎng)絡(luò)基本原理8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——消息傳遞

圖8-4各個(gè)節(jié)點(diǎn)的鄰域(a)(b)(c)(d)(e)8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——消息傳遞

圖8-4各個(gè)節(jié)點(diǎn)的鄰域(a)(b)(c)(d)(e)8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——聚合

圖8-5節(jié)點(diǎn)2的聚合操作8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——更新

8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——更新

8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——更新

8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——更新

8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——更新

8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.1圖神經(jīng)網(wǎng)絡(luò)基本操作——更新(a)(b)8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.2多層GNN

圖8-7多層GNN(a)(b)(c)8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.3GNN應(yīng)用場(chǎng)景

圖8-8GNN分類8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.3GNN應(yīng)用場(chǎng)景

圖8-9GNN自編碼器8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.3GNN應(yīng)用場(chǎng)景

圖8-10GNN節(jié)點(diǎn)分類8.2圖神經(jīng)網(wǎng)絡(luò)基本原理8.2.3GNN應(yīng)用場(chǎng)景

8-11GNN鏈接預(yù)測(cè)03圖神經(jīng)網(wǎng)絡(luò)分類8.3圖神經(jīng)網(wǎng)絡(luò)分類卷積圖神經(jīng)網(wǎng)絡(luò)

8.3圖神經(jīng)網(wǎng)絡(luò)分類圖注意力網(wǎng)絡(luò)圖注意力網(wǎng)絡(luò)可以簡單理解為借助注意力模塊取代一般卷積圖神經(jīng)網(wǎng)絡(luò)中的卷積激活器。在不同的方法中，可以結(jié)合門控信息來提升注意力機(jī)制感受域的權(quán)重參數(shù)，達(dá)到更好的推理和應(yīng)用性能。圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點(diǎn)分類，而注意力機(jī)制目前在NLP領(lǐng)域有非常好的效果和表現(xiàn)。對(duì)于圖注意力機(jī)制（GraphAttention，GAT）而言，鄰域節(jié)點(diǎn)的特征做累加求和的過程與卷積圖神經(jīng)網(wǎng)絡(luò)完全不同，通過全局注意力機(jī)制替代卷積分層傳遞的固化操作，可以有效地選擇在圖結(jié)構(gòu)中更為重要的節(jié)點(diǎn)或子圖、模型、路徑分配更大的注意力權(quán)重。8.3圖神經(jīng)網(wǎng)絡(luò)分類圖生成網(wǎng)絡(luò)圖生成網(wǎng)絡(luò)的目標(biāo)是基于一組可觀察圖來生成圖。其中的很多方法都是特定領(lǐng)域的。例如，在分子圖生成方面，一些研究將分子圖的表征建模為字符串。在NLP中，生成語義圖或知識(shí)圖通常需要一個(gè)給定的句子。近年來，研究人員又提出了一些通用方法，主要有兩個(gè)方向：一是將生成過程看成節(jié)點(diǎn)或邊的形成，另一些則使用生成對(duì)抗訓(xùn)練。該領(lǐng)域的方法主要使用卷積圖神經(jīng)網(wǎng)絡(luò)作為構(gòu)造塊。8.3圖神經(jīng)網(wǎng)絡(luò)分類時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)

04卷積圖神經(jīng)網(wǎng)絡(luò)8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.1基于圖譜理論的ConvGNN

8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.1基于圖譜理論的ConvGNN

8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.1基于圖譜理論的ConvGNN

8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.1基于圖譜理論的ConvGNN8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.2基于空間的ConvGNN圖像可以被認(rèn)為是一種特殊形式的圖，每個(gè)像素代表一個(gè)節(jié)點(diǎn)。每個(gè)像素都直接連接到其附近的像素，如圖8-14(a)圖所示。類似地，基于空間的圖卷積將中心節(jié)點(diǎn)的表示與其鄰域的表示進(jìn)行卷積，得到中心節(jié)點(diǎn)的更新表示，如圖8-14(b)圖所示。圖8-142D卷積與圖卷積(a)(b)8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.2基于空間的ConvGNN

8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.2基于空間的ConvGNNHamilton等人于2017年引入了GraphSAGE，作為用于在大型圖（具有超過100000個(gè)節(jié)點(diǎn)）上進(jìn)行歸納表示學(xué)習(xí)的框架。其目標(biāo)是為下游任務(wù)生成節(jié)點(diǎn)編碼，例如節(jié)點(diǎn)分類。此外，它還解決了GCN和GAT面臨的兩個(gè)問題——在大型圖上進(jìn)行擴(kuò)展和高效地推廣到未見數(shù)據(jù)。在GraphSAGE方法中，每個(gè)GNN層都根據(jù)它們的鄰居計(jì)算節(jié)點(diǎn)編碼。這意味著計(jì)算一個(gè)只需要這個(gè)節(jié)點(diǎn)的直接鄰居（1跳）。如果GNN有兩個(gè)GNN層，需要這些鄰居和它們自己的鄰居（2個(gè)跳），以此類推（如圖8-15所示）。網(wǎng)絡(luò)的其余部分與計(jì)算這些單個(gè)節(jié)點(diǎn)編碼無關(guān)。圖8-15以節(jié)點(diǎn)0為目標(biāo)節(jié)點(diǎn)和1跳和2跳鄰居的圖8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.2基于空間的ConvGNN從圖8-16可以看出，需要聚合2跳鄰居，以計(jì)算1跳鄰居的。然后對(duì)這些編碼進(jìn)行聚合，以獲得節(jié)點(diǎn)0的編碼。上述方法存在兩個(gè)問題，一是計(jì)算圖相對(duì)跳數(shù)呈指數(shù)級(jí)增長，二是具有高度連接性的節(jié)點(diǎn)會(huì)創(chuàng)建出巨大的計(jì)算圖。因此在GraphSAGE中，作者提出了一種稱為鄰居采樣的技術(shù)。鄰居采樣沒有在計(jì)算圖中添加每個(gè)鄰居，而是采樣一個(gè)預(yù)定義的數(shù)量。圖8-16節(jié)點(diǎn)0的計(jì)算圖圖8-17一個(gè)具有鄰居采樣的計(jì)算圖來保持兩個(gè)1跳鄰居和兩個(gè)2跳鄰居8.4卷積圖神經(jīng)網(wǎng)絡(luò)8.4.2基于空間的ConvGNN

05圖注意力網(wǎng)絡(luò)8.5圖注意力網(wǎng)絡(luò)與GCN平等對(duì)待節(jié)點(diǎn)的所有鄰居相比，注意力機(jī)制可以為每個(gè)鄰居分配不同的注意力得分，從而識(shí)別出更重要的鄰居。將注意力機(jī)制納入圖譜神經(jīng)網(wǎng)絡(luò)的傳播步驟是很直觀的。圖注意力網(wǎng)絡(luò)也可以看作是圖卷積網(wǎng)絡(luò)家族中的一種方法。GAT背后的主要思想是，一些節(jié)點(diǎn)比其它節(jié)點(diǎn)更重要。但是圖卷積層已經(jīng)做過歸一化操作，鄰居很少的節(jié)點(diǎn)比其他節(jié)點(diǎn)更重要。這種方法是有局限的，因?yàn)樗豢紤]了節(jié)點(diǎn)的度。另一方面，圖注意力層的目標(biāo)是產(chǎn)生考慮節(jié)點(diǎn)特征重要性的加權(quán)因子，如圖8-18所示。圖8-18注意力系數(shù)計(jì)算8.5圖注意力網(wǎng)絡(luò)

8.5圖注意力網(wǎng)絡(luò)

8.5圖注意力網(wǎng)絡(luò)

8.5