愛奇藝推薦中臺探索與實踐-張時駿

1、愛奇藝推薦中臺探索與實踐自我介紹自我介紹畢業(yè)于上海交通大學(xué)計算機(jī)系，現(xiàn)任愛奇藝高級技術(shù)經(jīng)理一職，愛奇藝推薦中臺的總架 構(gòu)師。在愛奇藝從事推薦引擎架構(gòu)和開發(fā)工作，近幾年專注于分布式高并發(fā)線上引擎的 架構(gòu)，搭建了熱點信息流、小視頻信息流等推薦引擎。目前正在致力于愛奇藝推薦中臺 的建設(shè)，旨在幫助公司內(nèi)各業(yè)務(wù)團(tuán)隊能夠以低成本、高效率、高產(chǎn)出的方式獲取一套完 整的推薦服務(wù)及其周邊配套設(shè)施，快速實現(xiàn)業(yè)務(wù)目標(biāo)。目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同問題三：推薦需求不同業(yè)務(wù)對接效果推薦中臺背景需求排期，堆積如山業(yè)務(wù)方重復(fù)造輪子推薦業(yè)務(wù)小視頻熱點動漫看點推薦實體豎屏小視

2、頻橫屏視頻漫畫圖文直播推薦形式個性化推薦信息流推薦相關(guān)推薦主題推薦推薦需求入場規(guī)則時效性多樣性AB實驗?zāi)夸浲扑]中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同問題三：推薦需求不同業(yè)務(wù)對接效果推薦閉環(huán)用戶引擎行為數(shù)據(jù)算法實體數(shù)倉推薦池愛奇藝 TO C 個性化用戶觸達(dá)系統(tǒng)姜餅無際好多納豆泡泡PPS愛奇藝APP PCVRTV APP愛奇藝 TO C 短視頻推薦觸達(dá)系統(tǒng)推薦中臺整體架構(gòu)多端適配（APP/PC/H5/PAD/VR/TV） 多路召回（粗排，精排、Rerank）通用推薦池平臺通用特征服務(wù)基礎(chǔ)內(nèi)容理解組件基礎(chǔ)用戶畫像內(nèi)容生產(chǎn)系統(tǒng)優(yōu)質(zhì)卡段（人工，AI）PGC優(yōu)質(zhì)內(nèi)容愛奇藝

3、號 審核平臺 標(biāo)注平臺基礎(chǔ)服務(wù)平臺 用戶興趣試探新內(nèi)容試探保量系統(tǒng)愛奇藝推薦中臺 特殊策略干預(yù) 融合控制排序大數(shù)據(jù)存儲和服務(wù)平臺分布式在線機(jī)器學(xué)習(xí)平臺通用AB TEST平臺用戶數(shù)據(jù)分析平臺報表AB實驗報表效果總表排序模型 FM DNNGBDTLR召回模型 相關(guān)召回 向量召回協(xié)同召回?zé)衢T召回特征工程 統(tǒng)計特征 環(huán)境特征向量特征Meta特征用戶畫像 短期畫像 長期畫像中期畫像靜態(tài)畫像 漫畫輕小說 直播 圖文 視頻推薦池 質(zhì)量評估 深度特征 內(nèi)容標(biāo)簽 分類體系內(nèi)容理解Workflow 配置平臺 基本配置 模塊配置推薦中臺內(nèi)部架構(gòu)線上引擎 用戶興趣 召回 過濾 粗排 精排 多樣性控制推薦中臺內(nèi)部架構(gòu)：

4、推薦池推薦池數(shù)據(jù)服務(wù)去重mapping實時更新消息snapshot文件近實時Hbase表推薦池運維服務(wù)自動化部署toolkit一站式workflow 配置平臺推薦池通用邏輯層數(shù)據(jù)補(bǔ)償/ 糾錯通用元數(shù)據(jù)轉(zhuǎn)換統(tǒng)一數(shù)據(jù)拓?fù)?字典通用去重通用緩存實體關(guān)聯(lián)業(yè)務(wù)推薦池孵化器干預(yù)后臺業(yè)務(wù)去重準(zhǔn)入/過濾/ 退場規(guī)則引擎輔助功能實時監(jiān)控HA漏斗分析數(shù)據(jù)校驗適配數(shù)據(jù)生產(chǎn)源自定義數(shù)據(jù)源非視頻數(shù)據(jù)用戶行為數(shù)據(jù)智能特征庫愛奇藝號數(shù)據(jù)長，短，小視頻推薦中臺內(nèi)部架構(gòu)：內(nèi)容理解 在線服務(wù)消息推送智能特征庫內(nèi)容理解服務(wù)產(chǎn)品標(biāo)簽體系定制產(chǎn)品用戶群行為適配 業(yè)務(wù)線標(biāo)準(zhǔn)適配 分類體系 內(nèi)容標(biāo)簽 內(nèi)容深度表示 質(zhì)量評估內(nèi)容風(fēng)險評估業(yè)務(wù)

5、定制化組件通用內(nèi)容理解組件音頻理解視頻理解圖像理解文本理解多模態(tài)特征融合內(nèi)容理解基礎(chǔ)技術(shù)推薦中臺內(nèi)部架構(gòu)：特征工程特征倉庫特征運維 特征文件實時特征消息 特征查詢一站式workflow配置平臺 特征運維部署平臺特征數(shù)據(jù)深度特征統(tǒng)計特征meta特征附加服務(wù)HA服務(wù)降級特征校驗任務(wù)監(jiān)控離線特征計算平臺用戶行為實時ETL實時特征計算平臺數(shù)據(jù)轉(zhuǎn)化特征歸一化統(tǒng)計特征計算框架 特征ID服務(wù)化外部特征接入框架 數(shù)據(jù)源解析 正排服務(wù)化meta特征計算框架實時/離線規(guī)范統(tǒng)一特征數(shù)據(jù)源接入平臺解析配置數(shù)據(jù)規(guī)范業(yè)務(wù)隔離細(xì)粒度延遲監(jiān)控告警流式ETL 處理框架多機(jī)房互備（HA）實時meta 特征框架實時特征歸一化實時統(tǒng)

6、計特征框架session特征框架召回全局熱門區(qū)分用戶群的熱門熱門召回Item協(xié)同過濾行為Embedding模型協(xié)同召回實體詞&主題詞召回分類召回語義Embedding模型相關(guān)召回多模型融合新用戶模版召回興趣不足時的召回拓展冷啟試探 質(zhì)量控制策略 厭倦懲罰召回配比多目標(biāo)模型融合深度學(xué)習(xí)模型 產(chǎn)出校驗 樹模型排序模型監(jiān)控 線性模型離線評估推薦中臺內(nèi)部架構(gòu)：算法數(shù)據(jù)接入 數(shù)據(jù)格式規(guī)約 數(shù)據(jù)同步流程 配置文件 樣本處理流程標(biāo)簽 標(biāo)準(zhǔn)化標(biāo)簽計算 數(shù)據(jù)抽取數(shù)據(jù)清洗 興趣計算 興趣衰減 興趣合并畫像業(yè)務(wù)畫像 靜態(tài)興趣 短期興趣 中期興趣 長期興趣 標(biāo) 簽擴(kuò)展基礎(chǔ)畫像全站基礎(chǔ)畫像數(shù)據(jù)監(jiān)控 超時監(jiān)控 覆蓋監(jiān)控模

7、型服務(wù)DNNFMGBDTLR推薦中臺內(nèi)部架構(gòu)：引擎UI 一站式workflow配置平臺 上線部署配置平臺 AB實驗配置平臺精排服務(wù) 多樣性控制 模型Rerank多目標(biāo)精排召回服務(wù)平臺向量召回服務(wù) 向量召回倒排召回服務(wù)協(xié)同召回標(biāo)簽召回粗排服務(wù) 多路粗排 多樣性控制單路粗排用戶興趣服務(wù) 興趣衰減 興趣試探 負(fù)反饋過濾興趣冷凍興趣獲取附加服務(wù)調(diào)用鏈服務(wù)發(fā)現(xiàn)回滾機(jī)制HA智能降級實時監(jiān)控多語言保量系統(tǒng)AB分流定向運營融合控制人工干預(yù)Root服務(wù) 離線特征 實時特征特征服務(wù) 特征填充 特征轉(zhuǎn)換 引擎現(xiàn)場目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同問題三：推薦需求不同業(yè)務(wù)

8、對接效果問題一：推薦形式不同個性化推薦信息流推薦相關(guān)推薦主題推薦解決方案一：統(tǒng)一接口參數(shù)含義area推薦區(qū)域，綁定策略配置passport_id登錄IDdevice_id設(shè)備IDcontext_id上下文ID，相關(guān)推薦session_id會話ID，翻頁去重theme_id主題ID，主題推薦解決方案一：統(tǒng)一流程Y是否個性化用戶畫像一級排序一級召回N請求Y是否信息流NRerank是否主題模式響應(yīng)Y推薦歷史N二級召回二級排序解決方案一：召回倉庫 熱門召回 標(biāo)簽召回 協(xié)同召回協(xié)同過濾 主題召回 地域召回 向量召回Word2VecDSSM解決方案一：模型倉庫Logistic RegressionWide

9、 & DeepGBDTFactorization MachinesDeepFM目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同問題三：推薦需求不同業(yè)務(wù)對接效果問題二：推薦實體不同橫屏視頻漫畫豎屏小視頻圖文直播解決方案二：統(tǒng)一實體字段原始字段名映射字段名通用字段定義idIdname/titlenamepicture_url/cover_urlpicture_urlfirst_publish_timefirst_online_timefirst_publish_timeis_valid/is_onlineis_valid業(yè)務(wù)獨有字段定義live_statusliveroom_live_status解決方案二：推薦池合并游戲直播奇秀直播影訊劇頭條VLOG片段好多小視頻愛奇藝小視頻中臺業(yè)務(wù)直播公共池圖文公共池橫屏視頻公共池豎屏視頻公共池同類推薦池直播公共數(shù)據(jù)圖文公共數(shù)據(jù)視頻公共數(shù)據(jù)公共層數(shù)據(jù)解決方案二：通用特征通用特征展示量點擊量點擊率長點擊率平均觀看時長消費金額新鮮度熱度解決方案二：自定義特征業(yè)務(wù)方提供特征目錄推薦中臺背景推薦中臺架構(gòu)推薦中臺實踐問題一：推薦形式不同問題二：推薦實體不同問題三：推薦需求不同業(yè)務(wù)對接效果問題三：需求不同入場規(guī)則時效性多樣性AB實驗解決方案三：入場規(guī)則腳本業(yè)務(wù)方提供入場規(guī)則腳本解決方案三：引擎在