iDataForum__周濤張韶峰-下一代推薦引擎的關(guān)鍵技術(shù)及應(yīng)用案例

1、下一代推薦引擎的關(guān)鍵技術(shù)和應(yīng)用案例周濤，張韶峰北京百分點(diǎn)信息科技電子科技大學(xué)互聯(lián)網(wǎng)科學(xué)中心致謝：劉震，張亮，柏林森主要內(nèi)容n什么是推薦引擎? 推薦 vs. 搜索n當(dāng)前推薦引擎的問題和挑戰(zhàn)n下一代推薦引擎開展方向n百分點(diǎn)科技的推薦技術(shù)和應(yīng)用案例China: A Century of Revolution 推薦引擎 vs. 搜索引擎搜索引擎推薦引擎用戶價(jià)值找到想要的東西找到喜歡的東西服務(wù)方式被動服務(wù)，需要用戶輸入關(guān)鍵詞主動服務(wù)算法理念排序，強(qiáng)調(diào)內(nèi)容關(guān)聯(lián)排序，強(qiáng)調(diào)個(gè)性化產(chǎn)品目標(biāo)眾里尋她千百度 燈火闌珊處見或是不見，她就在那里 緣起緣散主要內(nèi)容n什么是推薦引擎? 推薦 vs. 搜索n當(dāng)前推薦引擎的問題

2、和挑戰(zhàn)n下一代推薦引擎開展方向n百分點(diǎn)科技的推薦技術(shù)和應(yīng)用案例當(dāng)前推薦引擎的問題和挑戰(zhàn)n稀疏性n冷啟動n可擴(kuò)展性n可移植性n魯棒性n可解釋性n多樣性主要內(nèi)容n什么是推薦引擎? 推薦 vs. 搜索n當(dāng)前推薦引擎的問題和挑戰(zhàn)n下一代推薦引擎開展方向n百分點(diǎn)科技的推薦技術(shù)和應(yīng)用案例下一代推薦引擎開展方向n從系統(tǒng)推薦到社會推薦 n從以精確性為中心到綜合考慮精確性、多樣性和新穎性的評估體系 n從單一數(shù)據(jù)源到交叉融合數(shù)據(jù)平臺n從高速效勞器到并行處理到云計(jì)算n從靜態(tài)算法到動態(tài)增量算法到自適應(yīng)算法 n從脆弱算法到健壯算法社會推薦-實(shí)驗(yàn)數(shù)據(jù)分析J. Huang, X. Cheng, H.-W. Shen, T.

3、 Zhou, (unpublished)M. Medo, Y.-C. Zhang, T. Zhou, EPL 88 (2021) 38005;G. Cimini, M. Medo, T. Zhou, D. Wei, Y.-C. Zhang, Eur. Phys. J. B 80 (2021) 201;D. Wei, T. Zhou, G. Cimini, P. Wu, W. Liu, Y.-C. Zhang, Physica A 390 (2021) 2117;T. Zhou, M. Medo, G. Cimini, Z.-K. Zhang, Y.-C. Zhang, PLoS ONE (in

4、 press).社會推薦-理論模型研究社會推薦-開放性問題n社會關(guān)系帶給推薦的附加價(jià)值有多少？n推薦帶給社會關(guān)系的附加價(jià)值有多少？n如何設(shè)計(jì)一個(gè)系統(tǒng)能夠更好引導(dǎo)社會推薦告訴你現(xiàn)在你看的東西哪些朋友可能會喜歡？綜合評價(jià)指標(biāo)-用戶偏好變化M.-S. Shang, L. Lu, Y.-C. Zhang, T. Zhou, EPL 90 (2021) 48006.綜合評價(jià)指標(biāo)-信息價(jià)值VS.Top 1%Top 3%Accuracy * Overall Ranking: AUC, Ranking Score * Top Recommended Objects: Precision, Recall, F-

5、MeasureDiversity * Intra-Similarity: Recommendations to a user are diverse * Inter-Similarity Recommendations to different users are diverseNovelty * Popularity * Self-informationJ. L. Herlocker et al., ACM Trans. Inf. Syst. 22 (2004) 5T. Zhou et al., EPL 81 (2021) 58004T. Zhou et al., NJP 11 (2021)

6、 123008T. Zhou et al., PNAS 107 (2021) 4511 綜合評價(jià)指標(biāo)-三個(gè)維度綜合評價(jià)指標(biāo)-可能的解決方案T. Zhou et al., PNAS 107 (2021) 4511 綜合評價(jià)指標(biāo)-實(shí)驗(yàn)結(jié)果交叉融合推薦 打通垂直電商數(shù)據(jù) 更精準(zhǔn)的個(gè)性化推薦 建立推薦效勞平臺交叉融合推薦-應(yīng)用 依據(jù)用戶的跨網(wǎng)站行為數(shù)據(jù)，解決某一網(wǎng)站上的冷啟動推薦 根據(jù)合作網(wǎng)站數(shù)據(jù)做出更精準(zhǔn)的推薦 站內(nèi)推送用戶可能感興趣的、屬于其他合作網(wǎng)站的商品交叉融合推薦-結(jié)果交叉融合推薦優(yōu)勢數(shù)據(jù)源：單一數(shù)據(jù)集交叉數(shù)據(jù)平臺合作網(wǎng)站數(shù)據(jù)：無用協(xié)助推薦推薦方式：站內(nèi)站間云計(jì)算-理念 在多核時(shí)代生存，必須

7、考慮并發(fā)問題 不存在解決多核編程問題的銀彈 不存在可以簡單地將并發(fā)編程問題化解掉的工具，開發(fā)高性能的并行程序必須要求開發(fā)者從根本上改變其編程方法 從某種意義上來說，這不僅僅是要改變50年來順序程序設(shè)計(jì)的工藝傳統(tǒng)， 而且是要改變數(shù)百萬年來人類序化思考問題的習(xí)慣Herb Sutter云計(jì)算-數(shù)據(jù)挖掘系統(tǒng)自適應(yīng)算法一個(gè)例子T. Zhou, H.A.-T. Kiet, B.-H. Wang, B.-J. Kim, P. Holme, EPL 82 (2021) 28002健壯算法甄別惡意用戶Z.-D. Zhao, T. Zhou, Physica A (submitted)健壯算法甄別惡意用戶健壯算法

8、基于迭代尋優(yōu)的信譽(yù)系統(tǒng)Y.-B. Zhou, T. Lei, T. Zhou, EPL 94 (2021) 48002. 主要內(nèi)容n什么是推薦引擎? 推薦 vs. 搜索n當(dāng)前推薦引擎的問題和挑戰(zhàn)n下一代推薦引擎開展方向n百分點(diǎn)科技的推薦技術(shù)和應(yīng)用案例電子商務(wù)個(gè)性化精準(zhǔn)營銷平臺：站內(nèi)個(gè)性化推薦：流量轉(zhuǎn)化站內(nèi)瀏覽者- 購置者個(gè)性化商品推薦引擎?zhèn)€性化首頁與著陸頁個(gè)性化郵件：客戶保存購置者-重復(fù)購置者個(gè)性化郵件、短彩信客戶效勞個(gè)性化客服系統(tǒng)、客戶挽留系統(tǒng)百分點(diǎn)科技基于推薦技術(shù)的產(chǎn)品百分點(diǎn)已經(jīng)與近50家電商合作百分點(diǎn)推薦算法簡介n基于內(nèi)容的推薦n內(nèi)容的“基因和用戶的偏好相匹配，需要分析商品的各種內(nèi)容信息

9、并提取標(biāo)簽如文字、圖片、音頻、視頻等n和其他用戶無關(guān)n基于用戶行為的推薦n群體智慧，綜合利用群體用戶的行為偏好。如協(xié)同過濾、興趣擴(kuò)散等算法n用戶之間會相互影響，更加符合現(xiàn)實(shí)世界中的用戶行為多種推薦技術(shù)的算法庫。包括在推薦領(lǐng)域的最新研究進(jìn)展實(shí)時(shí)在線推薦。用戶行為在數(shù)秒到分鐘內(nèi)即可影響推薦結(jié)果快速響應(yīng)時(shí)間。對推薦請求的響應(yīng)在2毫秒級高并發(fā)。單效勞器每秒處理2,000次并發(fā)請求分布式架構(gòu)?？芍С执笮唾徫锞W(wǎng)站隱性獲取用戶偏好在線獲取產(chǎn)品信息，無需手工更新產(chǎn)品庫百分點(diǎn)推薦引擎的實(shí)現(xiàn)百分點(diǎn)推薦欄展示麥包包推薦欄紅孩子推薦欄李寧推薦欄易迅網(wǎng)推薦欄某服裝B2C的效果統(tǒng)計(jì)報(bào)表截屏推薦引擎的效果一覽2021年3月

10、效果比較：平均客單價(jià)增長率平均客單價(jià)增長率平均購買商品種類數(shù)平均購買商品種類數(shù)(Unique SKU)增長率增長率平均購買件數(shù)平均購買件數(shù)(Item Number)增長率增長率電商A27.85%59.45%61.27%電商B26.72%25.13%20.53%A：某知名母嬰與化裝品電商B：某知箱包品牌電商電商B詳細(xì)增長數(shù)字時(shí)間時(shí)間平均客單價(jià)增長率平均客單價(jià)增長率平均購買商品種類數(shù)增長率平均購買商品種類數(shù)增長率平均購買件數(shù)增長率平均購買件數(shù)增長率12.15-12.3112.31%12.27%13.04%01.01-01.3118.55%11.26%12.34%02.01-02.2323.81%1

11、7.35%17.09%02.17-02.2341.50%19.39%18.50%電商B自身增長趨勢：0.00%5.00%10.00%15.00%20.00%25.00%30.00%35.00%40.00%45.00%1234平均客單價(jià)增長率平均購買商品種類數(shù)(Unique SKU)增長率平均購買件數(shù)(Item Number)增長率電商B數(shù)字解讀電商B在2021-02-17這一周開始推出高端包在2月17日這一周，相對于非推薦產(chǎn)生的客單價(jià)，為何推薦產(chǎn)生的客單價(jià)如此之高？電商B數(shù)字解讀出于對個(gè)性化推薦的信任，瀏覽中低端包的顧客更傾向于從個(gè)性化推薦欄中購置高端包電商B數(shù)字解讀出于對個(gè)性化推薦的信任，購置中低端包顧客更傾向于從個(gè)性化推薦欄中購置高端包電商B數(shù)字解讀n電商B以前的商品平均價(jià)格在150元左右，2月份運(yùn)營團(tuán)隊(duì)決定小規(guī)模嘗試銷售價(jià)格接近1000元的高端包。如何才能更有效、更自然地讓用戶接受高端包？n解讀：n使用推薦欄的用戶中購置高端包的比例相對全站用戶中購置高端包的比例更大n瀏覽或者購置低端包的用戶，更加傾向于從推薦欄中購置高端，說明推薦欄更加讓用戶信賴n猜測：傾向于使用推薦欄的用戶，更加容易成為高端客戶？如果這個(gè)結(jié)論正確，那么這個(gè)結(jié)論可以指導(dǎo)我們?nèi)蘸髮﹄娚藼客戶進(jìn)行差異化營銷電商B數(shù)字解讀