《元路徑引導(dǎo)的異質(zhì)圖模型探析》3900字

元路徑引導(dǎo)的異質(zhì)圖模型分析綜述目錄TOC\o"1-2"\h\u6203元路徑引導(dǎo)的異質(zhì)圖模型分析綜述 1234681.1異質(zhì)圖構(gòu)建 2111011.2邊權(quán)重賦予 4262861.3元路徑引導(dǎo)的異質(zhì)圖網(wǎng)絡(luò) 531301.3.1加權(quán)圖的GCN表示（WGCN） 5207491.3.2語義級(jí)注意力 6282601.4深度輸出網(wǎng)絡(luò) 8282551.4.1深度輸出網(wǎng)絡(luò)結(jié)構(gòu) 8215341.4.2目標(biāo)函數(shù)及優(yōu)化方法 9本文提出的基于GCN網(wǎng)絡(luò)的異質(zhì)圖菜肴推薦系統(tǒng)如下圖3.1所示。本文著眼于將用戶-菜肴的交互信息放到圖神經(jīng)網(wǎng)絡(luò)中去學(xué)習(xí)，利用異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征建模菜肴數(shù)據(jù)，同時(shí)將元路徑融合到異質(zhì)圖中，學(xué)習(xí)用戶和菜肴各個(gè)方面的高階表示形式進(jìn)行飲食推薦。主要介紹了針對(duì)用戶-菜肴的交互數(shù)據(jù)，我們?nèi)绾螛?gòu)建和定義異質(zhì)圖，3.2節(jié)主要介紹了利用逆文檔詞頻的概念，為用戶-主料-用戶（UMU）、以及用戶-輔料-用戶（UCU）兩條元路徑添加權(quán)重的方法，以此解決大量的主輔料信息帶來的信息冗余問題。3.3節(jié)將介紹了利用帶權(quán)圖如何學(xué)習(xí)多分辨率的節(jié)點(diǎn)表示，以及利用注意力機(jī)制學(xué)習(xí)不同元路徑下的多種語義融合，形成用戶和菜肴的最終嵌入。3.4節(jié)介紹了深度輸出網(wǎng)絡(luò)如何進(jìn)行設(shè)計(jì)，并介紹了模型的損失函數(shù)以及參數(shù)優(yōu)化的方法。圖3.1ADDINCNKISM.UserStyle基于元路徑引導(dǎo)的異質(zhì)圖菜肴推薦模型圖異質(zhì)圖構(gòu)建傳統(tǒng)的推薦系統(tǒng)無法很好地利用菜肴本身的風(fēng)味以及食材這些輔助信息，導(dǎo)致最終推薦效果性能較差，并且由于用戶-菜肴的交互信息本身帶有相對(duì)稀疏的特性，導(dǎo)致了基于協(xié)同過濾的推薦系統(tǒng)在針對(duì)相對(duì)稀疏的數(shù)據(jù)效果并不是很理想。針對(duì)這些問題，本文提出了利用異質(zhì)圖來建模菜肴數(shù)據(jù)，將菜肴的主輔料數(shù)據(jù)以節(jié)點(diǎn)的形式構(gòu)建進(jìn)異質(zhì)圖中，利用異質(zhì)信息網(wǎng)絡(luò)進(jìn)行用戶菜肴的節(jié)點(diǎn)表示學(xué)習(xí)，既利用了主輔料的風(fēng)味和食材信息捕獲到了用戶-菜肴的高階結(jié)構(gòu)信息，同時(shí)也減少了用戶飲食記錄的稀缺性，提升了推薦性能。菜肴異質(zhì)圖信息網(wǎng)絡(luò)表示如下圖3.2所示。圖3.2菜肴異質(zhì)圖信息網(wǎng)絡(luò)本文將菜肴的主輔料信息當(dāng)作額外的節(jié)點(diǎn)的實(shí)體，構(gòu)建了一個(gè)異質(zhì)圖網(wǎng)絡(luò)，HING=(V,E)，其中包括用戶U={u1,u2}，菜肴D={d1,d2},主料M={m1,m2}，輔料C={表3.1菜肴異質(zhì)圖信息網(wǎng)絡(luò)元路徑數(shù)據(jù)集元路徑Foodrecipe用戶-菜肴-用戶UDU用戶-主料-用戶UMU用戶-輔料-用戶UCU菜肴-用戶-菜肴DUD菜肴-主料-菜肴DMD菜肴-輔料-菜肴DCD邊權(quán)重賦予用戶對(duì)于菜肴的選擇的原因大體上可以分為兩類，一種是對(duì)于食材的偏好，如北方地區(qū)喜歡吃面食，沿海地區(qū)更喜歡吃魚類，這部分信息包含在菜肴的主料里。另一種是菜肴的做法，如喜歡紅燒，清蒸，油炸等類型的菜品，這部分信息包含在菜肴的輔料中。由于食材本身的主輔料信息巨大，一方面減緩了用戶飲食記錄的稀疏性，另一方面又帶來了一些問題：主輔料信息的冗余，與用戶不是強(qiáng)相關(guān)聯(lián)。例如一些家常的調(diào)味品如鹽、醬油、糖（少量），這些調(diào)味品并不能很好地體現(xiàn)某道菜肴的風(fēng)味或者食材特征，因此在元路徑UMU和元路徑UCU中，本文借助于逆文檔詞頻[63]的概念為這兩條元路徑上用戶的鄰居邊賦予了權(quán)重，最后進(jìn)行歸一化操作，經(jīng)過實(shí)驗(yàn)表明，針對(duì)食品數(shù)據(jù)集可以有比較明顯的效果。(3-1)(3-2)(3-3)(3-4)逆文檔詞頻（TF-IDF）[63]是一種用于資訊檢索與資訊探勘的常用加權(quán)術(shù)，用以評(píng)估一個(gè)字詞對(duì)于一個(gè)文件集或一個(gè)語料庫中的其中一份文件的重要程度。這里我們將公式中的參數(shù)意義進(jìn)行了調(diào)整，使得調(diào)整后的公式能夠表示主輔料i對(duì)于用戶節(jié)點(diǎn)j的重要性，即用戶對(duì)于某種主輔料的喜愛程度。公式中ni,j表示用戶j吃過的菜肴中包含主輔料i的個(gè)數(shù)，knk,j表示用戶j吃過的所有菜肴。Dcount表示菜肴總數(shù)，j:t經(jīng)過邊權(quán)重的賦予，我們得到兩個(gè)完整的新元路徑UMU、UCU，通過這兩條元路徑可以直觀并且較為清晰展現(xiàn)出用戶對(duì)某些食材或是風(fēng)味的偏好，通過后續(xù)的訓(xùn)練結(jié)果以及構(gòu)造的元路徑可以增強(qiáng)本文模型的可解性。元路徑引導(dǎo)的異質(zhì)圖網(wǎng)絡(luò)基于根據(jù)本地鄰居[46]生成對(duì)象嵌入的GCN的基本思想的啟發(fā)，本文提出了元路徑引導(dǎo)的異質(zhì)圖GNN網(wǎng)絡(luò)。我們利用元路徑來獲得與用戶選擇菜肴相關(guān)的各個(gè)方面的鄰居，例如食材、風(fēng)味等因素，得到的用戶和菜肴的嵌入是它們的鄰居在不同元路徑下的聚合。在節(jié)點(diǎn)級(jí)別的聚合方面，為了充分利用3.2節(jié)賦予的用戶-主料-用戶、以及用戶-輔料-用戶兩個(gè)元路徑上邊的權(quán)重，本文采用帶權(quán)重的GCN網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)的聚合，充分學(xué)習(xí)節(jié)點(diǎn)多分辨率的表示。加權(quán)圖的GCN表示（WGCN）GCN[46]是一個(gè)多層神經(jīng)網(wǎng)絡(luò)，直接在同質(zhì)圖上工作，并根據(jù)節(jié)點(diǎn)的鄰居性質(zhì)構(gòu)成節(jié)點(diǎn)的嵌入向量。形式上，考慮一個(gè)圖G=(V，E)，其中V和E分別表示節(jié)點(diǎn)和邊的集合。設(shè)X∈Rv×q是一個(gè)矩陣，包含具有特征xv∈Rq的節(jié)點(diǎn)（每行x是節(jié)點(diǎn)v的特征向量）。對(duì)于圖G，我們引入它的鄰接矩陣AH(3-5)在這里，A=D?12AD?1然而GCN并不能直接使用于異質(zhì)加權(quán)圖中。因此本文參照[64]中的無向加權(quán)圖GCN模型，設(shè)計(jì)了元路徑引導(dǎo)的異質(zhì)圖模型。這種GCN模型（后文稱為WGCN）可以更好地處理加權(quán)圖，并通過多層圖卷積學(xué)習(xí)多分辨率的頂點(diǎn)表示，提高了相關(guān)推薦的性能。設(shè)Hl=?1,Hl+1(3-6)這里度矩陣Dii=λ+由于圖卷積層可以看作是圖上的一維Weisfeler-Lehman算法，對(duì)于我們的用戶飲食數(shù)據(jù)，卷積過程可以解釋為基于相鄰頂點(diǎn)的迭代修正頂點(diǎn)的表示。這樣，就合并了每個(gè)頂點(diǎn)的上下文信息。隨著圖卷積層的增加，每個(gè)頂點(diǎn)將包含更廣泛的上下文的信息（與它有更大距離的鄰居將在頂點(diǎn)編碼中考慮），從而產(chǎn)生頂點(diǎn)的更高級(jí)別表示。因此，多層圖卷積給出了每個(gè)頂點(diǎn)的多分辨率表示，經(jīng)[64]實(shí)驗(yàn)表明，權(quán)重在0-1之間的加權(quán)圖，λ取值在1附近效果最好，由于本文的主輔料-用戶圖將權(quán)重進(jìn)行了歸一化處理，因此在實(shí)驗(yàn)中λ取0.95。語義級(jí)注意力通常，異質(zhì)圖中的每個(gè)節(jié)點(diǎn)都包含多種類型的語義信息，特定語義的節(jié)點(diǎn)嵌入只能從一個(gè)方面反映節(jié)點(diǎn)。為了學(xué)習(xí)更全面的節(jié)點(diǎn)嵌入，我們需要融合多個(gè)語義，這些語義可以通過元路徑來表示。為了解決異質(zhì)圖中元路徑選擇和語義融合的挑戰(zhàn)，采用一種語義級(jí)注意，以自動(dòng)學(xué)習(xí)不同元路徑的重要性。以從GCN\WGCN中學(xué)習(xí)到的語義特定節(jié)點(diǎn)嵌入的z作為輸入，首先通過非線性變換來轉(zhuǎn)換語義特定的嵌入。然后，將路徑級(jí)注意值度量為所有語義特定節(jié)點(diǎn)級(jí)嵌入重要性的平均值。語義級(jí)別的元路徑聚合方式如下圖3.3所示：圖3.3元路徑引導(dǎo)的信息聚合對(duì)于每個(gè)元徑P=的重要性可以表示為：(3-7)W是一個(gè)路徑級(jí)注意向量。然后，我們通過Softmax函數(shù)規(guī)范所有元路徑的重要性。(3-8)表示元路徑對(duì)特定任務(wù)的貢獻(xiàn)。顯然，越高，元路徑越重要。以學(xué)習(xí)到的權(quán)重作為系數(shù)，我們可以融合這些語義特定的嵌入，以獲得最終的嵌入Z如下公式8所示：(3-9)我們通過基于用戶或者菜肴的不同元徑P=的聚合嵌入來獲得融合的用戶嵌入或者菜肴嵌入如下公式(3-10)(3-11)所示：(3-10)(3-11)深度輸出網(wǎng)絡(luò)深度輸出網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)我們獲取了用戶以及菜肴數(shù)據(jù)的結(jié)構(gòu)特征表示以后，需要對(duì)特征進(jìn)行下一步的處理并輸出最終結(jié)果，由于本文的模型任務(wù)為點(diǎn)擊率預(yù)估任務(wù)，因此本質(zhì)上推薦的結(jié)果是一個(gè)二分類任務(wù)，輸出的是用戶選擇候選菜肴的概率。在我們的模型中，我們預(yù)測用戶可能選擇某道菜肴的概率為，以確保輸出值是概率。通過對(duì)用戶和菜肴的鄰居進(jìn)行聚合，得到用戶的最終嵌入和菜肴的的最終嵌入。此外，傳統(tǒng)方法中還使用了原始靜態(tài)特征，包括用戶的屬性和來自交互信息的靜態(tài)特征(如菜肴的營養(yǎng)價(jià)值，成分含量等)。我們將這些靜態(tài)特征反饋給FM進(jìn)行特征交叉，以獲得靜態(tài)特征的表示。然后，我們將用戶、菜肴和靜態(tài)特性的嵌入拼接起來。最后，我們將融合嵌入到MLP層中，MLP層作為深度輸出網(wǎng)絡(luò)，其包含兩層全連接層結(jié)構(gòu)。設(shè)得到的最終融合嵌入表示Z0，全連接層的輸出向量為Z1Z2，則為可以表示為：Z(3-12)其中FCi?表示第i個(gè)全連接層，Z0可以表示為Z0=UPReLU(3-13)其中α是可訓(xùn)練的參數(shù)，初始化成0.25。MLP層的輸出只有一個(gè)并且是(0,1)區(qū)間的值，表達(dá)的含義是用戶選擇候選菜肴的概率，這里我們使用的是一個(gè)sigm