現(xiàn)代機器學習 課件 第15章 圖卷積神經(jīng)網(wǎng)絡

第15章圖卷積神經(jīng)網(wǎng)絡15.1符號的定義15.2圖卷積和圖池化的構建15.3圖卷積神經(jīng)網(wǎng)絡的訓練15.4圖卷積神經(jīng)網(wǎng)絡的典型算法15.5圖卷積神經(jīng)網(wǎng)絡的應用15.6圖卷積神經(jīng)網(wǎng)絡的未來發(fā)展方向本章小結

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡只能處理具有平移不變性的歐氏空間數(shù)據(jù)(如圖像、文本、語音等)。一種非歐氏空間數(shù)據(jù)——圖數(shù)據(jù),受到了越來越多的關注。圖數(shù)據(jù)可以自然地表達現(xiàn)

實生活中的數(shù)據(jù)結構,如交通網(wǎng)絡、萬維網(wǎng)、社交網(wǎng)絡等。如圖15.1所示,與圖像和文本這種歐氏空間數(shù)據(jù)不同,非歐氏空間數(shù)據(jù)的圖數(shù)據(jù)中每個節(jié)點的局部結構不同,使得其不再滿足平移不變性。因此,缺乏平移不變性對基于歐氏空間數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡提出了挑戰(zhàn)。圖15.1歐氏空間數(shù)據(jù)與非歐氏空間數(shù)據(jù)

構建圖卷積神經(jīng)網(wǎng)絡的挑戰(zhàn)主要有如下幾個:

(1)圖數(shù)據(jù)中每個節(jié)點的局部結構不同,不滿足平移不變性。傳統(tǒng)卷積神經(jīng)網(wǎng)絡的基本卷積操作和池化依賴于數(shù)據(jù)的平移不變性。因此,如何在圖數(shù)據(jù)上定義卷積和池化成為

一個具有挑戰(zhàn)性的任務。

(2)圖數(shù)據(jù)的特性多樣?，F(xiàn)實生活中的許多應用都可以用圖數(shù)據(jù)來表示,如社交網(wǎng)絡中用戶的定向連接、引文網(wǎng)絡中作者與引文之間的異質(zhì)連接、政治網(wǎng)絡中正負趨勢符號的連接等,這使得圖數(shù)據(jù)的特性多樣。圖的特性給圖卷積神經(jīng)網(wǎng)絡的構建帶來了更多的信息,但多特性的建模也要求圖卷積神經(jīng)網(wǎng)絡的設計更加復雜和精確。

(3)圖數(shù)據(jù)具有大規(guī)模性質(zhì)。在大數(shù)據(jù)時代,實際應用中的圖可能包含數(shù)百萬甚至上千萬個節(jié)點,如推薦系統(tǒng)中的用戶商品網(wǎng)絡和社交網(wǎng)絡中的用戶網(wǎng)絡。在可接受的時間和

空間范圍內(nèi),如何在大規(guī)模圖上構造圖卷積神經(jīng)網(wǎng)絡也是一個巨大的挑戰(zhàn)。

15.1符號的定義

本節(jié)首先給出圖卷積神經(jīng)網(wǎng)絡中常見符號的定義,如表15.1所示。

15.2圖卷積和圖池化的構建

15.2.1圖卷積的構建現(xiàn)有的圖卷積神經(jīng)網(wǎng)絡可分為譜方法和空間方法。譜方法利用圖卷積定理在譜域定義圖的卷積,而空間方法則在節(jié)點域通過定義聚合函數(shù)來聚合每個中心節(jié)點及其相鄰節(jié)點。

1.譜方法構建圖卷積

譜卷積神經(jīng)網(wǎng)絡(spectrumCNN)是第一種在圖上構造卷積神經(jīng)網(wǎng)絡的方法。該方法利用卷積定理在每一層定義圖卷積。在損失函數(shù)的指導下,通過梯度反向傳播學習卷積核參

數(shù),構成多層神經(jīng)網(wǎng)絡。譜卷積神經(jīng)網(wǎng)絡的m層結構如下:

2.空間方法構建圖卷積

以上方法都是基于卷積定理定義譜域中的圖卷積,而空間方法是在節(jié)點域定義聚合函數(shù),對每個中心節(jié)點及其相鄰節(jié)點進行聚合。目前,已有一些方法通過注意機制或遞歸神

經(jīng)網(wǎng)絡直接從節(jié)點域學習聚合函數(shù),另有一些方法從空間角度定義了圖卷積神經(jīng)網(wǎng)絡的一般框架,并解釋了圖卷積神經(jīng)網(wǎng)絡的內(nèi)在機制。

平移不變性的缺失給圖神經(jīng)網(wǎng)絡的定義帶來了困難,混合卷積網(wǎng)絡在圖上定義坐標系,并將節(jié)點之間的關系表示為新坐標系下的一個低維向量,同時,混合卷積網(wǎng)絡定義一簇權重函數(shù),權重函數(shù)作用在以一個節(jié)點為中心的所有鄰近節(jié)點上,其輸入為節(jié)點間的關系表示(一個低維向量),輸出為一個標量值。通過這簇權重函數(shù),混合卷積網(wǎng)絡對每個節(jié)點給出了相同尺寸的向量表示:

其中,N(x)是x的相鄰節(jié)點集;f(y)是信號f下節(jié)點y的值;u(x,y)是坐標系u下的節(jié)點,表示關系的低維向量;wj表示第j個權重函數(shù);J是權重函數(shù)的個數(shù)。該操作使每個節(jié)點得到一個J維的表示,該表示綜合了節(jié)點的局部結構信息?；旌暇矸e模型在這個J維表示上定義了共享卷積核:

式中,{g(j)}Jj=1表示卷積核。

與混合卷積網(wǎng)絡不同,消息傳播網(wǎng)絡指出圖卷積的核心是定義節(jié)點間的聚合函數(shù)。基于聚合函數(shù),每個節(jié)點可以表示為周圍節(jié)點和自身信息的疊加。因此,該模型通過定義一

個通用的聚合函數(shù),提出了圖卷積網(wǎng)絡的一般框架。消息傳播網(wǎng)絡進行兩個步驟。首先將聚合函數(shù)應用于每個節(jié)點及其相鄰節(jié)點,得到節(jié)點的局部結構表達式;其次,將更新函數(shù)應用于自身和局部結構表達式,得到當前節(jié)點的新的表達式:

在上述空間框架下,研究人員采用一些現(xiàn)有的方法設計神經(jīng)網(wǎng)絡來學習聚合函數(shù),而不再依賴拉普拉斯矩陣。這些方法學習的聚合函數(shù)使其能夠適應任務和特定的圖結構,具

有較大的靈活性。例如,圖神經(jīng)網(wǎng)絡是第一個在圖上建立神經(jīng)網(wǎng)絡的模型。在圖神經(jīng)網(wǎng)絡中,聚集函數(shù)被定義為循環(huán)遞歸函數(shù)。每個節(jié)點以周圍的節(jié)點和連接的邊作為源信息,更

新自己的表達式。

圖注意力網(wǎng)絡(GAT)通過注意機制定義聚合函數(shù)。然而,與以往的關注邊信息的模型不同的是,在圖注意力網(wǎng)絡中,鄰接矩陣僅用于定義相關節(jié)點,而關聯(lián)權重的計算依賴于

節(jié)點的特征表達式。圖15.2所示為圖注意力網(wǎng)絡的結構。圖15.2(a)以節(jié)點i和節(jié)點j的特征表達式為輸入,計算i和j之間的注意力權重并將其歸一化;圖15.2(b)使用注意力權重,以加權和的形式將周圍節(jié)點的表達式聚合為自身。關于圖注意力網(wǎng)絡的詳細內(nèi)容將在第15.4.3節(jié)中介紹。圖15.2圖注意力網(wǎng)絡的結構

從圖注意力網(wǎng)絡出發(fā),節(jié)點間的權值計算開始從依賴于網(wǎng)絡的結構信息轉向依賴于節(jié)點的特征表達。然而,上述模型在處理時需要加載整個網(wǎng)絡的節(jié)點特性,給模型在大規(guī)模

網(wǎng)絡中的應用帶來了困難?；诖?GraphSAGE提出了圖采樣聚合網(wǎng)絡。與以往模型考慮所有鄰近節(jié)點不同,圖采樣聚合網(wǎng)絡對相鄰節(jié)點進行隨機抽樣,使得每個節(jié)點的相鄰節(jié)點數(shù)小于給定的樣本數(shù)。圖15.3展示了圖采樣聚合網(wǎng)絡的結構。圖15.3圖采樣聚合網(wǎng)絡的結構

以上基于聚集函數(shù)的空間方法主要研究了空間方法的根本問題,即聚合函數(shù)的構建。隨著圖卷積神經(jīng)網(wǎng)絡的發(fā)展,研究人員開始考慮更復雜的場景,提出了一類具有更豐富的建模信息的空間方法,包括如何在具有邊緣信息的網(wǎng)絡上建立圖卷積神經(jīng)網(wǎng)絡以及如何對高階信息建模。

15.2.2圖池化的構建

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡中,卷積和池化通常結合在一起。池化可以減少學習參數(shù),反映輸入數(shù)據(jù)的層次結構。然而,在圖卷積神經(jīng)網(wǎng)絡中,池化算子在求解節(jié)點級任務(如節(jié)點分類和鏈路預測)時是不必要的。因此,在圖卷積神經(jīng)網(wǎng)絡領域,池化受到的關注較少。近年來,為了更好地描述網(wǎng)絡的層次結構,一些研究者開始投身于池化的研究。

圖上的池化通常對應于圖分類任務。假設A是鄰接矩陣,X是節(jié)點的特征矩陣,對于圖G=(A,X),給定一些標記的圖數(shù)據(jù)集D={(G1,y1),(G2,y2),…}和與圖相對應的標簽集Y={y1,y2,…},用映射函數(shù)f:G→Y將圖結構映射到相應的標簽上。

切比雪夫網(wǎng)絡(Chebynet)使用完全二叉樹來實現(xiàn)池化運算,提出基于Graclus貪心準則計算每個節(jié)點的最匹配節(jié)點,并將此節(jié)點對池化成一個節(jié)點。同時,切比雪夫網(wǎng)絡通過添加虛假節(jié)點來保證整個池化過程是一個完整的二叉樹。圖15.4顯示了切比雪夫網(wǎng)絡將八個節(jié)點的圖池化為三個節(jié)點的過程。圖15.4切比雪夫網(wǎng)絡利用完全二叉樹進行池化操作

在池化過程中,為了充分利用節(jié)點的特性和局部結構,譜池化(EigenPooling)采用譜聚類的方法將整個圖分成若干不重疊的子圖,每個子圖合并后作為一個新節(jié)點,根據(jù)原子

圖的邊連接生成新節(jié)點之間的邊。譜池化可以控制每次劃分后子圖的數(shù)目,進而控制每層的池比例。圖15.5顯示了將譜池化與一階圖卷積神經(jīng)網(wǎng)絡相結合的圖分類框架。圖15.5中,每種顏色表示一個子圖,在池化后成為一個新的節(jié)點。圖15.5將譜池化和一階圖卷積神經(jīng)網(wǎng)絡相結合的圖分類框架

池化算子的目的是學習圖的層次結構,從而完成圖級的任務。首先,基于圖的拓撲結構,啟發(fā)式地定義了一些節(jié)點的舍棄方式和融合方式。隨著技術的發(fā)展,池化算子不僅依

賴于節(jié)點的拓撲結構,而且依賴于節(jié)點的屬性信息。同時,注意機制和數(shù)學研究也開始為該模型的參數(shù)學習做指導。

15.3圖卷積神經(jīng)網(wǎng)絡的訓練

15.3.1深層圖卷積神經(jīng)網(wǎng)絡殘差網(wǎng)絡解決了傳統(tǒng)神經(jīng)網(wǎng)絡在增加層數(shù)時擬合能力下降的問題,而多層圖卷積層疊加后,節(jié)點之間的特性變得過于平滑,缺乏區(qū)分性,從而導致網(wǎng)絡性能較差。簡單地應用殘差連接并不能解決這一問題,因為在圖卷積神經(jīng)網(wǎng)絡中,每個節(jié)點只向其直接相鄰節(jié)點發(fā)送特征,而不同的節(jié)點具有不同的傳播速度,即中心節(jié)點可能可以通過一層或兩層圖卷積將特征傳輸?shù)秸麄€網(wǎng)絡中的大多數(shù)節(jié)點,而網(wǎng)絡中的邊緣節(jié)點需要多次傳播才能影響到網(wǎng)絡中的一些節(jié)點。

跳躍知識網(wǎng)絡利用跳躍連接和注意機制為每個節(jié)點選擇合適的傳播范圍。跳躍知識網(wǎng)絡的模型結構如圖15.6所示。圖15.64層跳躍知識網(wǎng)絡的示意圖(N.A.表示從鄰居節(jié)點聚合特征的操作)

15.3.2大規(guī)模網(wǎng)絡圖卷積技術

傳統(tǒng)的機器學習方法(如多層感知器)認為樣本是獨立的,因此可以采用批量處理的方法來處理大規(guī)模的訓練數(shù)據(jù)。由于圖卷積神經(jīng)網(wǎng)絡中,卷積運算依賴于相鄰節(jié)點,因此需要引入大量相關節(jié)點來使用批訓練方法。也就是說,對于中心節(jié)點,更新其表達式所需的鄰居節(jié)點數(shù)隨著網(wǎng)絡層的增加呈指數(shù)級增加。同時在大規(guī)模網(wǎng)絡中,某些度數(shù)過大的節(jié)點即使只考慮二階鄰居其計算量也過于龐大。這兩個結果導致直接批量訓練方法不適用于解決圖卷積神經(jīng)網(wǎng)絡中難以在大規(guī)模網(wǎng)絡中應用的問題。

GraphSAGE隨機抽樣相鄰節(jié)點,以減少每次卷積中要計算的節(jié)點數(shù),但是這種估計法是有偏方的,不能保證收斂。在采樣鄰居節(jié)點的基礎上,基于方差控制的算法利用未采樣節(jié)點的歷史表達來控制方差。該方法認為,當參數(shù)變化不大時,節(jié)點的表達式與其歷史表達式很接近。因此,未采樣的節(jié)點通過其歷史表示進行近似擬合。

15.3.3半監(jiān)督節(jié)點分類問題的訓練技術

圖卷積神經(jīng)網(wǎng)絡在半監(jiān)督節(jié)點分類問題中取得了有效的結果,但是由于卷積算子認為所有一階鄰居節(jié)點都同等重要,因此導致圖卷積神經(jīng)網(wǎng)絡對網(wǎng)絡數(shù)據(jù)中心節(jié)點的分類效果

較差。DGCN指出,去除這類節(jié)點中的一些邊后,圖卷積神經(jīng)網(wǎng)絡的效果可以得到改善,這說明僅利用一階鄰居節(jié)點的鄰近性有一定的局限性,需要引入額外的信息來區(qū)分一階鄰居

節(jié)點。DGCN通過引入PPMI矩陣降低了一階鄰居關系對節(jié)點的影響,并引入了比一階鄰居節(jié)點更豐富的關系。

使用PPMI進行卷積可以糾正圖卷積神經(jīng)網(wǎng)絡中的一些錯分點,但也會引入新的錯誤。因此,DGCN采用集成學習的方法,結合兩種不同卷積的優(yōu)點來提高分類效果。

15.4圖卷積神經(jīng)網(wǎng)絡的典型算法

15.4.1半監(jiān)督圖卷積網(wǎng)絡曾經(jīng)有研究人員通過帶有圖拉普拉斯正則化項的損失函數(shù)進行優(yōu)化:

此模型使用神經(jīng)網(wǎng)絡模型f(X,A)對圖結構進行編碼,并對所有有標簽節(jié)點用監(jiān)督損失L0進行訓練,從而避免了損失函數(shù)中基于圖的正則化。在圖的鄰接矩陣上調(diào)節(jié)f(·)將使模型從有監(jiān)督損失L0中分散梯度信息,并使帶標簽和不帶標簽節(jié)點的表示形式均能被模型學習。

1.加速版本的GCN

2.線性模型

可以通過堆疊多個式(158)形式的卷積層來建立基于圖卷積的神經(jīng)網(wǎng)絡模型,每層之后是逐點非線性函數(shù)?，F(xiàn)在假設將分層卷積運算限制為K=1(參見式(158)),此時模型

是線性的,因此在拉普拉斯譜圖上具有線性函數(shù)。

通過使用這種形式的GCN,可以緩解模型在圖的局部結構上的過擬合,且在很大程度上減小了計算開銷,使得我們可以堆疊多個GCN來獲得一個更深的模型并提取特征。

進一步近似地認為λmax≈2,式(158)可以簡化為

3.半監(jiān)督節(jié)點分類

前面介紹了優(yōu)化后的圖卷積結構。在現(xiàn)在的半監(jiān)督任務中,研究人員希望通過已知的數(shù)據(jù)X和鄰接矩陣A來訓練圖卷積網(wǎng)絡f(X,A)。有專家認為,在鄰接矩陣中包含了一些X中沒有的隱含的圖的結構信息,我們可以利用這些信息進行推理。

圖15.7(a)所示是一個多層GCN網(wǎng)絡示意圖,輸入有C維特征,輸出有F維特征,中間有若干隱藏層,X是訓練數(shù)據(jù),Y是標簽。圖15.7(b)是使用一個兩層GCN在Cora數(shù)據(jù)集(只用了5%的標簽)上得到的可視化結果。圖15.7多層GCN及可視化

15.4.2HA-GCN

1.k階卷積算子

假設A是圖G的鄰接矩陣,則其第k個乘積Ak

的(i,j)項是從i到j的k跳路徑的數(shù)量。有了這個命題,我們可以定義一個k階卷積算子如下:

其中:

2.自適應濾波模塊

自適應濾波的思想來源于注意力機制,該機制自適應地選擇關注的像素。從技術上講,我們的自適應濾波器是權重矩陣Wk上的非線性算子g,即

15.4.3GAT

15.5圖卷積神經(jīng)網(wǎng)絡的應用

15.5.1網(wǎng)絡分析引文網(wǎng)絡是社會網(wǎng)絡分析領域最常見的數(shù)據(jù),論文作為節(jié)點,引用關系作為邊。分類的一個典型任務是通過給出文章之間的內(nèi)容信息和引用關系,將每一篇文章劃分到相應的領域。

15.5.2社區(qū)發(fā)現(xiàn)

在社區(qū)發(fā)現(xiàn)問題中,以往的算法主要是對其進行明確的定義,并對圖的劃分最小割問題進行優(yōu)化。線性圖神經(jīng)網(wǎng)絡(LineGraphNeuralNetworks,LGNN)提出了一種新的用于社區(qū)發(fā)現(xiàn)的圖神經(jīng)網(wǎng)絡模型。該方法采用純數(shù)據(jù)驅動,無須基本的生成模型,在社區(qū)發(fā)現(xiàn)任務中取得了良好的效果。在其他網(wǎng)絡分析(如信息傳播、社會網(wǎng)絡地理信息預測)中,研究人員均引入了圖卷積神經(jīng)網(wǎng)絡來有效地建模網(wǎng)絡結構信息和節(jié)點屬性信息。

15.5.3推薦系統(tǒng)

如圖15.8所示,將產(chǎn)品與用戶之間的關系看作矩陣補全或鏈接預測,可以有效地對產(chǎn)品與用戶之間的關系進行建模。MGCNN(Multi-GraphCNN)結合多圖卷積神經(jīng)網(wǎng)絡與循環(huán)神經(jīng)網(wǎng)絡,分別利用多圖卷積神經(jīng)網(wǎng)絡和循環(huán)神經(jīng)網(wǎng)絡來提取局部靜止的特征和補全矩陣。GC-C(GraphConvolutionalMatrixCompletion)將推薦系統(tǒng)建模為一個基于圖的鏈接預測問題,提出了一種基于不同消息傳播的圖自編碼框架來對推薦系統(tǒng)的二部圖(又稱二分圖,是圖論中的一種特殊模型)建模,在包含社交網(wǎng)絡的數(shù)據(jù)上取得了最佳效果。圖15.8推薦系統(tǒng)中的矩陣補全和鏈接預測建模示意圖

15.5.4交通預測

交通預測也是圖卷積神經(jīng)網(wǎng)絡的廣泛應用之一。它的目的是在給定歷史交通速度和路線圖的情況下預測未來的交通速度。在交通預測問題中,節(jié)點表示放置在道路上的傳感器,

而邊緣表示節(jié)點對的物理距離,每個節(jié)點都包含一個時序特征。

15.5.5生物化學

除了傳統(tǒng)的圖形數(shù)據(jù)建模外,圖卷積神經(jīng)網(wǎng)絡在生物化學領域也引起了研究人員的廣泛關注。與傳統(tǒng)的圖形數(shù)據(jù)研究相比,在生物化學領域,人們通常把一個化學結構或一個蛋白質(zhì)看作一個圖形。圖中的節(jié)點是較小的分子,邊表示鍵或相互作用。圖15.9是布洛芬的分子圖,節(jié)點是碳、氫和氧原子,邊是化學鍵。圖15.10是FAA4蛋白質(zhì)交互網(wǎng)絡,節(jié)點代表蛋白質(zhì),邊緣代表相互作用。研究人員關注的是圖的化學功能,即研究對象不再是圖中的節(jié)點,而是整個圖本身。圖15.9布洛芬分子示意圖圖15.10FAA4蛋白交互網(wǎng)絡

15.5.6計算機視覺

在計算機視覺中,圖卷積神經(jīng)網(wǎng)絡的應用主要集中在小樣本學習、點云、零樣本學習、場景圖等方面。

小樣本學習的目的是用較少的樣本來訓練和識別新樣本。它通常包括兩個階段:元訓練和元測試。在這個任務中,數(shù)據(jù)集包括訓練集、支持集和測試集。支持集和測試集共享相

同的標簽空間,但是訓練集有一個單獨的標簽空間,并且不與支持集或測試集相交。如果支持集在每個類中包含k個標簽樣本和C個類別,則稱該問題為C-wayk-shot問題。

點云圖像是由三維掃描儀在一定的坐標系中生成的一組點,它比二維圖像包含更多的三維坐標信息、顏色等幾何信息。3DGNN利用圖神經(jīng)網(wǎng)絡實現(xiàn)了RGBD圖像的語義分割

任務。DGCNN在點云上使用圖卷積神經(jīng)網(wǎng)絡,提出用邊卷積來采集邊的特征,它不僅包含局部域信息,而且通過疊加或循環(huán)學習全局幾何屬性。該模型在形狀分類和局部分割任務

中取得了良好的效果。SuperPoint_Graph使用消息傳播機制對點云圖像進行建模。

場景圖是計算機視覺領域比較常見的另一種圖形結構數(shù)據(jù)。它的節(jié)點是對象,邊特征表示它們的空間關系。與傳統(tǒng)的線性結構相比,圖結構包含了更多有價值的語義信息。如

何利用圖卷積神經(jīng)網(wǎng)絡對場景圖進行建模,引起了人們的廣泛關注。GraphVQA通過對場景圖和句法依賴圖的建模,有效地應用于可視問答。Iterative-Visual-Reasoning提出了知識

圖譜、圖像區(qū)域空間關聯(lián)圖和區(qū)域類別分布圖三個圖形模塊,有效地模擬了可視化回答。

15.5.7自然語言處理

圖卷積神經(jīng)網(wǎng)絡在自然語言處理中有著廣泛的應用。在這一領域,常用的圖形數(shù)據(jù)有知識圖譜、依存句法圖、抽象意義表示圖、詞共現(xiàn)圖等。其抽象意義是一種將句子的意義編碼為有根有向圖的方法。Syntax-awared-NMT將圖卷積神經(jīng)網(wǎng)絡應用于依存句法樹,并將其應用于英語、捷克語、英語和德語的機器翻譯任務。Graph2seq利用閾值圖神經(jīng)網(wǎng)絡對抽象意義圖進行基于語法的機器翻譯任務。

除上述圖譜外,詞共現(xiàn)網(wǎng)絡還應用于文本分類任務。節(jié)點是非停用詞,邊是給定窗口中單詞的共現(xiàn)關系。CNN_Graph提出了一種用圖譜理論定義的卷積神經(jīng)網(wǎng)絡,為快速設計圖的局部卷積濾波器提供了必要的數(shù)學背景和有效的數(shù)值方案。

大量的研究表明,使用圖卷積神經(jīng)網(wǎng)絡模型可以提高各種自然語言處理任務的效果。圖結構的使用使得對象之間復雜的語義關系得到有效挖掘。與傳統(tǒng)的用于自然語言處理的

串行化建模相比,圖卷積神經(jīng)網(wǎng)絡可以用來挖掘復雜的非線性語義關系。

15.6圖卷積神經(jīng)網(wǎng)絡的未來發(fā)展方向

15.6.1深層的網(wǎng)絡結構傳統(tǒng)的深度學習模型在堆疊了大量網(wǎng)絡層后,由于其強大的表示能力,在很多問題上了取得了顯著的效果。但是圖卷積神經(jīng)網(wǎng)絡模型在堆疊了較少層數(shù)后,網(wǎng)絡就達到了最好的效果,再增加圖卷積層反而會使得結果變差。這是因為圖卷積包含了聚合鄰居節(jié)點特征的操作,當網(wǎng)絡堆疊多層后會使得節(jié)點之間的特征過于平滑,缺乏區(qū)分性。

15.6.2大規(guī)模數(shù)據(jù)

在實際場景中,網(wǎng)絡的規(guī)模往往非常大。比如新浪微博、Twitter等社交關系網(wǎng)絡往往包含了數(shù)億計的節(jié)點和邊。而目前絕大部分圖卷積神經(jīng)網(wǎng)絡模型不適用于這種大規(guī)模的網(wǎng)絡。

比如,基于譜方法的圖卷積神經(jīng)網(wǎng)絡需要計算圖拉普拉斯矩陣的特征向量矩陣,而這個操作的計算復雜度和空間復雜度都很高,難以用于大規(guī)模網(wǎng)絡?？臻g方法在更新節(jié)點表達時依賴于大量的鄰居節(jié)點,使得計算代價過大,不適用于大規(guī)模網(wǎng)絡。雖然近些年已經(jīng)有一些基于采樣的方法來處理大規(guī)模網(wǎng)絡數(shù)據(jù)的問題,但是這一問題仍然沒有得到有效解決。

15.6.3多尺度的圖上任務

圖挖掘任務根據(jù)主體對象的不同可以分成節(jié)點級任務、圖以及子圖級任務和信號級任務。節(jié)點級任務的關鍵點在于為每個節(jié)點學習有效的表達,而為圖學習表達是圖級任務的

關鍵。信號級任務的關鍵點在于在網(wǎng)絡結構不變的情況下