微博短視頻推薦系統(tǒng)架構(gòu)

1、微博短視頻推薦系統(tǒng)架構(gòu)技術(shù)創(chuàng)新 變革未來微博短視頻推薦微博短視頻推薦的場(chǎng)景及任務(wù)微博短視頻推薦原理：漏斗模型微博短視頻推薦系統(tǒng)架構(gòu)數(shù)據(jù)效果及進(jìn)一步工作截止2016年4月，微博短視頻的業(yè)務(wù)數(shù)據(jù)狀況68.5%21.7%9.8%擴(kuò)展消費(fèi)：推薦深層消費(fèi)：播放頁淺層消費(fèi)：信息流含上下文的推薦場(chǎng)景導(dǎo)流視頻（上下文）推薦視頻觸發(fā)場(chǎng)景信息流播放（淺層消費(fèi)）播放頁播放（深層消費(fèi)）推薦位播放（擴(kuò)展消費(fèi)）點(diǎn)擊下拉推薦不含上下文的推薦場(chǎng)景發(fā)現(xiàn)頁視頻流（興趣流）榜單微博短視頻推薦的任務(wù)促進(jìn)視頻消費(fèi)的深度促進(jìn)視頻生產(chǎn)促進(jìn)視頻消費(fèi)的廣度特定場(chǎng)景下提升推薦轉(zhuǎn)換提升推薦對(duì)物料的覆蓋增加對(duì)用戶的覆蓋推薦場(chǎng)景擴(kuò)充建立標(biāo)準(zhǔn)，構(gòu)建視頻

2、庫(kù)促進(jìn)生產(chǎn)者向優(yōu)質(zhì)方向提供視頻基礎(chǔ)數(shù)據(jù)用戶畫像用戶關(guān)系微博Topic短視頻數(shù)據(jù)及用戶行為日志微博短視頻推薦原理推薦場(chǎng)景推薦計(jì)算召回運(yùn)營(yíng)/廣告投放預(yù)測(cè)模型訓(xùn)練候選集挖掘視頻對(duì)象挖掘候選池召回計(jì)算上下文相關(guān)與上下文內(nèi)容相關(guān)與上下文發(fā)布者相關(guān)行為相關(guān)協(xié)同過濾實(shí)時(shí)反饋有上下文場(chǎng)景興趣流榜單上下文相關(guān)興趣相關(guān)行為相關(guān)熱門不同場(chǎng)景選擇不同的候選組合召回象限相關(guān)多樣流行新鮮1243興趣相關(guān)基于關(guān)系的興趣基于消費(fèi)行為的興趣長(zhǎng)期興趣 & 短期興趣人群興趣熱門召回對(duì)比：推薦視頻流（含上下文的場(chǎng)景）策略候選組合召回象限Base上下文topic相關(guān)熱門象限2多樣 & 新鮮C_01上下文topic相關(guān)熱門象限3相關(guān) &

3、 新鮮C_02上下文topic相關(guān)短期性趣熱門象限3多樣 & 新鮮C_03上下文topic相關(guān)長(zhǎng)期興趣熱門象限4多樣 & 流行C_04上下文topic相關(guān)長(zhǎng)期性趣熱門象限3多樣 & 新鮮C_05上下文topic相關(guān)長(zhǎng)期興趣熱門象限4多樣 & 流行注：以Base策略（線上候選策略）為基準(zhǔn)，對(duì)比其它候選策略相對(duì)Base的效果提升（或下降）召回對(duì)比：“發(fā)現(xiàn)頁”視頻流（不含上下文的場(chǎng)景）策略候選組合召回象限Base短期興趣相關(guān)熱門象限4多樣 & 流行C_01熱門短期興趣相關(guān)長(zhǎng)期興趣相關(guān)象限1相關(guān) & 流行C_02熱門短期興趣相關(guān)長(zhǎng)期興趣相關(guān)象限2相關(guān) & 新鮮C_03熱門短期興趣相關(guān)長(zhǎng)期興趣相關(guān)象限3

4、多樣 & 新鮮C_04熱門短期興趣相關(guān)長(zhǎng)期興趣相關(guān)象限4多樣 & 流行注：以Base策略（線上候選策略）為基準(zhǔn)，對(duì)比其它候選策略相對(duì)Base的效果提升（或下降）推薦計(jì)算反饋收集隱式反饋過采樣 & 欠采樣優(yōu)化目標(biāo)有效播放率持續(xù)消費(fèi)率計(jì)算模型Logistic RegressionFactorization MachineRestricted Boltzmann MachinesDeep Brief NetworksDeep Neural Networks基于DNN的推薦計(jì)算用戶特征性別、年齡、地域、受教育程度、用戶類型、用戶級(jí)別、活躍度視頻特征博文分類、時(shí)長(zhǎng)、文本信息量、短時(shí)播放時(shí)長(zhǎng)、流量利用率、

5、熱度場(chǎng)景特征時(shí)間、網(wǎng)絡(luò)類型微博短視頻推薦系統(tǒng)架構(gòu)Data LayerRetrievalVideo IndexCandidate Index 1Candidate Index 3Candidate MiningModel TrainingData ChannelManagerAll in One APIsFilterPlat APIsRS1Recom ServRS2RS3P1PredictorP2P3Candidate Index 1ApplicationLayerComputationLayerStrategy Rules數(shù)據(jù)生產(chǎn)加工：數(shù)據(jù)流水線數(shù)據(jù)通道對(duì)象流RinRin基于關(guān)系的興趣挖掘基于

6、行為的興趣挖掘Rin內(nèi)容分析Rin特征提取Rin協(xié)同過濾Rin離線存儲(chǔ)在線索引日志流流式接入對(duì)象流 & 數(shù)據(jù)流統(tǒng)一數(shù)據(jù)通道數(shù)據(jù)清洗面向挖掘業(yè)務(wù)的數(shù)據(jù)分發(fā)Rin管理數(shù)據(jù)流Batch & Online靜態(tài)數(shù)據(jù)離線挖掘動(dòng)態(tài)數(shù)據(jù)實(shí)時(shí)挖掘AB測(cè)試機(jī)制：可配置的流量切分推薦流場(chǎng)景發(fā)現(xiàn)頁視頻流場(chǎng)景候選策略1+預(yù)測(cè)模型1候選策略2+預(yù)測(cè)模型1候選策略2+預(yù)測(cè)模型3視頻推薦流量切分架構(gòu)中考慮流量切分，Manager 統(tǒng)一管理AB測(cè)試僅需要通過規(guī)則配置候選策略+預(yù)測(cè)模型成為最小的考察單元流量切分候選策略預(yù)測(cè)模型數(shù)據(jù)效果視頻推薦流ROI80%推薦有效播放量 / 導(dǎo)流有效播放量人均播放次數(shù)59%推薦有效播放量 / 導(dǎo)流有效播放用戶數(shù)發(fā)現(xiàn)頁視頻流有效vv95%視頻流中的有效播放量有效uv61%在視頻流中產(chǎn)生了有效播放的用戶數(shù)被推薦視頻量208%每日被推薦的視頻數(shù)量推薦播放占比72%推薦有效播放量 / 視