移動搜索個性化演示文稿

移動搜索個性化演示文稿11/24/2022第一頁，共二十九頁。11/24/2022（優(yōu)選）移動搜索個性化第二頁，共二十九頁。移動搜索產品形態(tài)3第三頁，共二十九頁。個性化搜索–挑戰(zhàn)大數據，稀疏，長尾，噪音淘寶上海量的商品，針對個體而言，發(fā)生行為的商品有限，稀疏度在百萬分之一，甚至更低用戶行為模式的挖掘和利用網購行為的復雜性如何準確的描述用戶的興趣和特色，包括長短期興趣等？Peoplechangeovertime冷啟動

新用戶

新商品多樣性與精確性的兩難困境Interestingnessv.relevanceNeedSerendipity用戶界面與用戶體驗個性化體驗的可解釋性系統(tǒng)的挑戰(zhàn)性評估的挑戰(zhàn)性4第四頁，共二十九頁。個性化搜索誤區(qū)千人千面并非意味著去追求單純個體的個性化體驗個性化搜索是立足于提升整體用戶的個性化體驗Personalization

!=customization勿忘行為建模的基本假設

hypothesis：

接受商品接受他得所有屬性過度個性化搜索場景的個性化：“topersonalizeornottopersonalize“Explore&Exploitation主觀性vs.客觀性“datadriven”購物行為所表現(xiàn)的個性化特點！=用戶的物理個性化特征5第五頁，共二十九頁。個性化技術的魅力6個性化技術機器學習計算經濟學系統(tǒng)架構大數據分析第六頁，共二十九頁。目錄目錄1234個性化體系架構Query/user意圖識別

個性化數據個性化模型6E&E5實時個性化7第七頁，共二十九頁。鳥瞰個性化體系用戶query商品個性化數據+模型用戶關系數據商品關系數據用戶-商品關系數據海選層精排層（長期個性化+實時個性化）Re-rank層Query/user意圖識別GraphSearch引擎?zhèn)€性化搜索結果展示8第八頁，共二十九頁。個性化體系offline長期個性化模型建模實時個性化模型建?；趕ession的用戶點擊行為序列建立的實時userprofile建模實時人群-商品轉化率預估建模分布式數據處理

&并行機器學習（ODPS）Pv日志成交日志點擊日志SyncProcessor基于hbase的HqueueAucProcessorUserProcessorHbase(歷史表)iStreamonyarnredis實時<人群-商品>反饋特征抽取、計算，ID化用戶實時profile預測器Nearline實時增量數據TT推送的實時日志RealtimeLearner在線學習模塊User-profile實時模型（性別，購買力，品牌，店鋪，風格。。）UPS商品引擎實時特征更新長期個性化模型海選層Re-rank層精排層長期個性化實時個性化onlineXW

YQuery意圖預測用戶引擎實時模型Nearline環(huán)節(jié)實時更新的模型更新商品端用戶行為累積特征模型更新實現(xiàn)用戶profile的實時更新輸出模型給

online輸出模型給nearline通過nearline實現(xiàn)Online計算模塊特征表現(xiàn)X

的變化9第九頁，共二十九頁。個性化體系Offline離線模型訓練數據收集，過濾,聚合，特征ID化利用batch-learning產出nearline環(huán)節(jié)，online環(huán)節(jié)所需要的模型Near-line構建于流式計算體系的實時日志解析，行為特征抽取，聚合實時用戶profile預測，實時人群-商品累積行為特征計算，離散化處理更新在線排序計算依賴的實時字段，UPS中實時userprofile字段，引擎中的商品正排字段構建基于mini-batch的在線學習模型，增強系統(tǒng)的適應新數據的能力和explore能力實時反作弊Online各個排序維度模型的在線預測多個排序因素的在線融合EE策略10第十頁，共二十九頁。移動元素@個性化體系查詢意圖

時間，地點，逛/搜

PullorPush用戶肖像移動端特色數據

跨屏行為建模，實時肖像特征P(滿意|query,用戶,商品)實時個性化E&EPULLPUSH11第十一頁，共二十九頁。目錄目錄1234個性化體系架構Query/user意圖識別

個性化數據個性化模型6E&E5實時個性化12第十二頁，共二十九頁。Query/User意圖識別User-context地點+時間13第十三頁，共二十九頁。Query/User意圖識別訓練數據轉化型query瀏覽型queryQuery的個性化需求Query進行個性化標注地域性別購買力年齡段。。。顯式：query包含個性化tag隱示：query不包含個性化tag連衣裙，大褲衩

電影票骷髏頭T恤情侶裝蕾絲正版海外購官網高檔samsung三星galaxynotei92203g(gsm/wcdma)手機黑色彈力修身高腰小腳褲薄款eg.建立以query轉化率為目標；用戶session內行為為特征的LR模型解決16%搜索意圖明確的

輪胎鐘點工移動端的場景時間+地點+狀態(tài)14第十四頁，共二十九頁。Query的隱含個性化需求15第十五頁，共二十九頁。目錄目錄1234個性化體系架構Query/user意圖識別

個性化數據個性化模型6E&E5實時個性化16第十六頁，共二十九頁。私有化/移動化/社交化跨屏行為、實時用戶肖像手機類型網絡類型GPS(經緯度)天氣場景（移動，家，辦公）17第十七頁，共二十九頁。用戶DNA@個性化體系人口統(tǒng)計學性別，年齡段，職業(yè)，人生階段等行為偏好價格，店鋪，品牌等用戶DNA社會關系微博好友，手機通訊錄，轉賬等其他手機設備，網絡類型等場景(時間，地點，狀態(tài)等）興趣偏好風格，款式，愛吃，愛美，愛旅游等數據數億月活躍用戶數十億日均用戶行為次數數千億+用戶-商品關系鏈數百億+用戶-店鋪關系鏈數百億+用戶-用戶關系鏈千萬

達人買家?guī)?8第十八頁，共二十九頁。實時用戶DNA@個性化體系行為4…………..N個采用滑窗方式抽取訓練樣本，窗口內的行為中前面n-1個提取特征，最后一個當作目標用戶48小時內的行為序列N-1個行為序列個性化偏好先驗概率行為類型最后一個針對每個個性化偏好提取是否點擊或成交該個性化偏好+LR模型行為5行為6行為7行為N行為1行為2行為3Pc端行為移動端行為移動首次pvNophysicalsessionboundary19第十九頁，共二十九頁。目錄目錄1234個性化體系架構Query/user意圖識別

個性化數據個性化模型6E&E5實時個性化20第二十頁，共二十九頁。瀏覽和交互模式：自上而下的串行模型21第二十一頁，共二十九頁。問題定義@個性化模型個性化模型目標是：如何考慮移動場景下瀏覽和交互模式下產生的bias串行瀏覽模式下：有效點擊量化模型（UCM）有效pv量化模型（UBM）22第二十二頁，共二十九頁。UBM&UCM有效曝光量化模型（UBM）參考：AUserBrowsingModeltoPredictSearchEngineClickDatafromPastObservations，GeorgesE.Dupret，BenjaminPiwowarski，SIGIR’08有效點擊量化模型（UCM）參考：Modelingdwelltimetopredictclick-levelsatisfaction，YounghoKim,AhmedHassan,RyenW.White,andImedZitouni，WSDM201423第二十三頁，共二十九頁。結果分析@UBM&UCMDwellTime點擊轉化率UBM訓練結果UCM訓練結果24第二十四頁，共二十九頁。個性化模型UBMUCM修正修正【0】：q下商品u的滿意度Usermodelqueryuser人口統(tǒng)計學標簽購物偏好用戶簇標簽移動設備相關場景相關商品類目標簽商品標簽賣家/店鋪商品ID匹配類歷史反饋類線性模型：L1-LR

非線性：GBM，DNN25第二十五頁，共二十九頁。目錄目錄1234個性化體系架構Query/user意圖識別

個性化數據個性化模型6E&E5實時個性化26第二十六頁，共二十九頁。流量大，屏幕小行為特點：碎片化，隨時隨地Pc點擊分布@day移動點擊分布@day27第二十七頁，共二十九頁?；ヂ?lián)網機器學習需要“上線”28引用：Tieyan

Liu阿里技術沙龍08/2013vs第二十八頁，共二十九頁。實時計算@移動搜索TT日志實時日志解析實時user-profile預測實時商品po