eBay智能營銷中的AI一體化大數(shù)據(jù)平臺(tái)實(shí)踐 2024

eBay智能營銷中的Al一體化大數(shù)據(jù)平臺(tái)實(shí)踐劉思中熱門專題行業(yè)專家把關(guān)內(nèi)容籌備，助你快速掌握最新技術(shù)發(fā)展趨勢200個(gè)實(shí)戰(zhàn)案例了解大廠前沿實(shí)戰(zhàn)案例，為200個(gè)真問題找到最優(yōu)解40場直播答疑40位技術(shù)大咖，每周分享最新持續(xù)學(xué)習(xí)視頻結(jié)合配套PPT●eBay的智能營銷●eBay智能營銷的特征平臺(tái)●eBay智能營銷的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)·eBay智能營銷的模型A/B測試平臺(tái)●消息營銷廣告聯(lián)盟FacebookBingGoogleEmail短信APP付費(fèi)渠道消息渠道營銷漏斗全覆蓋●營銷轉(zhuǎn)換廣告推送管理平臺(tái)(PMP)消息推送管理平臺(tái)廣告推送管理平臺(tái)(PMP)賣家聚類商品廣告聚類買家聚類相關(guān)性模型推送策略賣家聚類商品廣告聚類算法模型基礎(chǔ)架構(gòu)基礎(chǔ)架構(gòu)eBay大數(shù)據(jù)生態(tài)與算法應(yīng)用數(shù)據(jù)豐富且體量巨大●每天消費(fèi)數(shù)據(jù)>1PB·計(jì)算資源豐富vs.性價(jià)比●最后一公里的解決方案 廣廣告質(zhì)量賣家聚類算法模型算法團(tuán)隊(duì)智能營銷算法平臺(tái)離線計(jì)算(Hadoop/Spark)實(shí)時(shí)計(jì)算(BES/Pulsar/Kafka/Flink)離線推理(SparksMLib)CPU集群(K8s/Rheos)GPU訓(xùn)練集群(Krylov)Pipeline開發(fā)工具在線推理(Darwin)商品廣告聚類數(shù)據(jù)開發(fā)工具相關(guān)性模型模型評估廣告投標(biāo)模型推理模型訓(xùn)練推送策略數(shù)據(jù)挖掘探索模型數(shù)據(jù)挖掘探索模型訓(xùn)練部署模型上線測試評估·數(shù)據(jù)質(zhì)量·特征打造·開發(fā)部署一致性·指標(biāo)質(zhì)量●eBay的智能營銷●eBay智能營銷的特征平臺(tái)●eBay智能營銷的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)·eBay智能營銷的模型A/B測試平臺(tái)eBay智能營銷特征平臺(tái)(FeatureLake)·特征計(jì)算的挑戰(zhàn)●開發(fā)周期長，占用模型開發(fā)生命周期60%以上的時(shí)間●特征開發(fā)與生產(chǎn)上線不一致●離線特征與在線特征不一致●復(fù)用率低、難于搜索已有特征·特征平臺(tái)的機(jī)會(huì) ·有限數(shù)據(jù)源(<100)●有限數(shù)據(jù)聚合轉(zhuǎn)換(80%重復(fù)).特征領(lǐng)域+鍵(key)·.特征領(lǐng)域+鍵(key)·歷史回溯時(shí)間特征定義算法團(tuán)隊(duì)定制化特征加載特征動(dòng)態(tài)定義特征建造前臺(tái)特征元數(shù)據(jù)特征訪問特征元數(shù)據(jù)特征訪問r場景1數(shù)據(jù)源一致聚合時(shí)間粒度相同(離線數(shù)據(jù)無聚合) ·回溯歷史較短(<14場景1數(shù)據(jù)源一致聚合時(shí)間粒度相同(離線數(shù)據(jù)無聚合) ·回溯歷史較短(<14d)離線數(shù)據(jù)在線特征處理離線數(shù)據(jù)特征獲取模型推理實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)靜態(tài)特征處理 場景2算法團(tuán)隊(duì)離線特征處理算法團(tuán)隊(duì)定制化特征加載.聚合時(shí)間粒度不同(特征<定制化特征加載特征動(dòng)態(tài)定義特征動(dòng)態(tài)定義特征建造前臺(tái).回溯歷史<14dvs.>14d特征元數(shù)據(jù)特征訪問.特征元數(shù)據(jù)特征訪問.數(shù)據(jù)源不一致離線數(shù)據(jù)在線特征處理離線數(shù)據(jù)特征獲取模型推理實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)靜態(tài)特征處理·數(shù)據(jù)計(jì)算架構(gòu)Lamdavs.Kappa ·不可能三角：數(shù)據(jù)實(shí)時(shí)性vs.窗口歷史回溯長度vs.窗口時(shí)間精度·特征工程的其他重要功能●eBay的智能營銷●eBay智能營銷的特征平臺(tái)●eBay智能營銷的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)·eBay智能營銷的模型A/B測試平臺(tái)GitRepository算法團(tuán)隊(duì)心中的理想環(huán)境GitRepositoryRUNUPLOAD●支持多異構(gòu)環(huán)境(Python/Spark,RUNUPLOADMODULEDataScientistCOMPOSMONSTEP2MODULEDataScientistCOMPOSMONSTEP2DataScientist●無縫地完成從訓(xùn)練到上線●模型管理+代碼質(zhì)量管理+版本管理模型協(xié)同開發(fā)模型特征模型模塊開發(fā)模型CI/CD模型模塊編排模型性能洞察系統(tǒng)集成調(diào)用●基于Github的模型源代碼+模型服務(wù)版本管理模型服務(wù)PyTorchPyTorch●模型模塊化+協(xié)作開發(fā)Xpark●統(tǒng)一集成部署Xpark離線數(shù)據(jù)庫spok離線數(shù)據(jù)庫spok工具集●多租戶空間隔離工具集高性能集群定制集群默認(rèn)集群高性能集群定制集群在線數(shù)據(jù)庫私有集群存儲(chǔ)集群存儲(chǔ)集群模型編排模型服務(wù)模型服務(wù)PyTorchPyTorchGitHub運(yùn)行報(bào)警開發(fā)工具(SparkSubmit運(yùn)行報(bào)警Xpark等)Xparkspak離線數(shù)據(jù)庫Xparkspak離線數(shù)據(jù)庫工具集默認(rèn)集群高性能集群定制集群默認(rèn)集群高性能集群定制集群在線數(shù)據(jù)庫私有集群存儲(chǔ)集群存儲(chǔ)集群計(jì)算集群多樣性模型特征模型模塊開發(fā)系統(tǒng)集成調(diào)用模型模塊編排模型CI模型特征模型模塊開發(fā)系統(tǒng)集成調(diào)用模型模塊編排模型CI/CD●離線統(tǒng)計(jì)模型一Spark/Hadoop/Python●神經(jīng)網(wǎng)絡(luò)模型-GPU集群●特殊需求-獨(dú)享集群·獨(dú)占資源模型服務(wù)PyTorchGitHubPyTorch模型發(fā)布模型分析模型發(fā)布運(yùn)行報(bào)警運(yùn)行報(bào)警Xpark離線數(shù)據(jù)庫工具集默認(rèn)集群高性能集群離線數(shù)據(jù)庫工具集默認(rèn)集群高性能集群定制集群在線數(shù)據(jù)庫私有集群計(jì)算集群存儲(chǔ)集群模型運(yùn)行監(jiān)測●運(yùn)行狀況、時(shí)長、失敗率模型服務(wù)PyTorch模型服務(wù)PyTorch模型發(fā)布模型發(fā)布Airflow運(yùn)行報(bào)警運(yùn)行報(bào)警XparkspakXparkspak離線數(shù)據(jù)庫工具集●容器化部署離線數(shù)據(jù)庫工具集高性能集群定制集群默認(rèn)集群高性能集群定制集群在線數(shù)據(jù)庫私有集群存儲(chǔ)集群存儲(chǔ)集群●eBay的智能營銷●eBay智能營銷的特征平臺(tái)●eBay智能營銷的機(jī)器學(xué)習(xí)訓(xùn)練平臺(tái)測試平臺(tái) ●真實(shí)數(shù)據(jù)的模擬與收集 ●快速集成●測試指標(biāo)的自動(dòng)化計(jì)算eBay智能營銷模型A/B外部營銷系統(tǒng) 外部營銷系統(tǒng)●數(shù)據(jù)源統(tǒng)一客戶信息管理客戶信息管理實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)分析實(shí)驗(yàn)管理實(shí)驗(yàn)執(zhí)行實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)分析實(shí)驗(yàn)創(chuàng)建生命周期管理變量組分配變量組配置概要報(bào)告實(shí)驗(yàn)方法配置實(shí)驗(yàn)對象管理分組采樣實(shí)驗(yàn)監(jiān)控置性度分析維度分析相關(guān)性與因果分析商業(yè)智能可視化指標(biāo)管理發(fā)布回滾實(shí)驗(yàn)引擎實(shí)驗(yàn)策略引擎采樣算法統(tǒng)計(jì)學(xué)分析指標(biāo)計(jì)算引擎實(shí)驗(yàn)策略引擎采樣算法實(shí)驗(yàn)存儲(chǔ)實(shí)驗(yàn)存儲(chǔ)