超越成本：游戲數(shù)據(jù)平臺效能提升之道白皮書

超越成本游戲數(shù)據(jù)平臺效能提升之道目錄行業(yè)背景產業(yè)愈發(fā)紅布局難度加劇 1游戲數(shù)據(jù)平臺發(fā)展現(xiàn)狀 5一游戲數(shù)據(jù)平臺建設發(fā)展歷程?業(yè)務牽技術支撐 6二游戲公司數(shù)據(jù)平臺建設現(xiàn)狀 8業(yè)務建設 8技術建設 9團隊建設 9三當前游戲數(shù)據(jù)平臺建設痛點&挑戰(zhàn) 10數(shù)據(jù)質量提升 10打破數(shù)據(jù)孤島 11高效響應業(yè)務 12隱私合規(guī)要求 14游戲數(shù)據(jù)平臺建設如何破局 15一游戲公司數(shù)據(jù)平臺價值定位 16數(shù)據(jù)平臺第一階段建設 16數(shù)據(jù)平臺第二階段建設 17數(shù)據(jù)平臺第三階段建設 17數(shù)據(jù)平臺第四階段建設 185.總結 18二降本 19人力資源成本?成為懂業(yè)務的數(shù)據(jù)中臺團隊 19硬件資源成本?最大化資源利用率 21數(shù)據(jù)存儲成本優(yōu)化 21數(shù)據(jù)計算成本優(yōu)化 23三提效數(shù)據(jù)民主化?讓更多業(yè)務用戶參與平臺建設 24系統(tǒng)融合提效?業(yè)內先進技術綜合降低成本 24實時迭代提效?節(jié)省開發(fā)資源 26數(shù)據(jù)分析效率提升 26精細化運營效率提升 30AIGC賦能游戲行業(yè)效率最大化 31海藝AI 32Mage.space 33StockImgAI 33游戲數(shù)據(jù)平臺建設經典案例 34一中手游 351.客戶背景352.TE系統(tǒng)解決方案353.落地效果354.方案價值36二、Habby1.客戶背景36362.TE系統(tǒng)解決方案363.方案價值38三、青瓷1.客戶背景38382.TE系統(tǒng)解決方案383.落地效果384.方案價值39四、某游戲頭部企業(yè)客戶案例1.客戶背景39392.TE系統(tǒng)解決方案403.落地效果404.方案價值41游戲數(shù)據(jù)平臺發(fā)展現(xiàn)狀 42行業(yè)背景產業(yè)愈發(fā)紅海，布局難度加劇2023年中國游戲市場實際銷售收入達3029.64億元，同比增長13.95%，市場呈現(xiàn)回暖趨勢，但市場仍將面臨增速不足的困境。1432023年中國自助研發(fā)游戲海外市場實際行業(yè)背景：產業(yè)愈發(fā)紅海，布局難度加劇銷售收入為163.666在游戲產業(yè)的嚴峻形勢下，企業(yè)經營難度較大，主要上市游戲企業(yè)中連續(xù)多年僅6成左右企業(yè)能夠盈利，其中2022年更是不足6成，企業(yè)效益被嚴重壓縮。影響收益的投入。降低成本的行為中最具代表性的便是人力資源成本的減少，統(tǒng)計結果顯示，越來越多的企業(yè)選擇精簡員工人數(shù)或維持原狀，2023年僅23.1%的上市游戲企業(yè)增加員工數(shù)量。5202310009業(yè)者所在企業(yè)或項目用于技術研究與應用的投入增加。銷售費用方面企業(yè)也在加碼投入，2023年中國游戲產業(yè)主要上市企業(yè)銷售費用同比增長15%。游戲數(shù)據(jù)平臺發(fā)展現(xiàn)狀一、游戲數(shù)據(jù)平臺建設發(fā)展歷程?業(yè)務牽引，技術支撐回顧數(shù)據(jù)平臺的發(fā)展歷史，本身也是一部「降本增效」的演進史。（2010年以前有游戲公司基于oraclerac買了TeradataGreenplum2010Google（GFSMapReduceBigTableHadoopHadoop平臺通過其分布式計析應用的階段。到了2016（Snow?akeDatabricksDoris二、游戲公司數(shù)據(jù)平臺建設現(xiàn)狀業(yè)務建設塊。建議：技術建設的數(shù)據(jù)系統(tǒng)。團隊建設目前數(shù)據(jù)中臺在團隊構建層面，基于企業(yè)規(guī)模和現(xiàn)狀的不同，主要分為以下3種形態(tài)：減少在數(shù)據(jù)平臺工具和基礎數(shù)據(jù)架構的搭建工作投入，更多依賴于現(xiàn)成的三方平臺和工具完成。減少增加增加AIDATA+AI代變化的游戲行業(yè)中搶占先機。三、當前游戲數(shù)據(jù)平臺建設痛點&挑戰(zhàn)數(shù)據(jù)質量提升對于游戲企業(yè)而言，數(shù)據(jù)質量可以從以下4個維度進行衡量：準確性情況相符。完整性業(yè)務語義。時效性維度。一致性間去驗證哪個數(shù)據(jù)才是正確的。求的價值。打破數(shù)據(jù)孤島數(shù)據(jù)孤島指企業(yè)內部不同部門或系統(tǒng)之間的數(shù)據(jù)相互獨立、無法共享和整合的現(xiàn)象，痛點：系統(tǒng)差異大打通數(shù)據(jù)的成本很高。數(shù)據(jù)格式雜標準統(tǒng)一難：不同系統(tǒng)的數(shù)據(jù)橫跨了多個部門，難以制定統(tǒng)一的數(shù)據(jù)接入集成標準。業(yè)務迭代快價值落地慢則仍難以落地。高效響應業(yè)務在游戲數(shù)據(jù)分析的業(yè)務場景中，往往數(shù)據(jù)需求方與提供方會頻繁產生交集。大型游戲企業(yè)的中臺團隊往往需要同時應對多個項目組的需求。大多數(shù)老項目較為穩(wěn)卻占據(jù)較多中臺資源，而新項目也需要獲得中臺團隊支持，使得中臺團隊在面對數(shù)據(jù)上述協(xié)作流程存在以下痛點：數(shù)據(jù)需求層出不窮人力。共性需求重復造輪子“重復造輪子的事始終存在。協(xié)作流程復雜耗時長大的浪費。數(shù)據(jù)口徑難以對齊“指導業(yè)務。隱私合規(guī)要求（GeneralDataProtectionRegulation2018525202011“《加利福利亞消費者隱私法案（CaliforniaConsumerPriacyActCA2021111日生效。3個方面考量：數(shù)據(jù)安全性采集合規(guī)性及全面的數(shù)據(jù)收集能力。游戲出海合規(guī)游戲數(shù)據(jù)平臺建設如何破局一、游戲公司數(shù)據(jù)平臺價值定位數(shù)據(jù)平臺第一階段建設平臺工具搭建BI工具等。架構設計數(shù)據(jù)的分層和分域架構設計，確保企業(yè)「統(tǒng)一清晰」的數(shù)據(jù)標準，保障數(shù)據(jù)質量。流動。平臺工具。數(shù)據(jù)平臺第二階段建設數(shù)據(jù)開發(fā)能力建設數(shù)據(jù)加工處理，滿足游戲業(yè)務方用數(shù)需求。casebycase數(shù)據(jù)管理能力建設制定數(shù)據(jù)標準和數(shù)據(jù)質量規(guī)則。制定數(shù)據(jù)治理流程。數(shù)據(jù)平臺第三階段建設數(shù)據(jù)服務能力建設數(shù)據(jù)服務是數(shù)據(jù)中臺團隊面向游戲業(yè)務方的統(tǒng)一窗口。構建游戲公司統(tǒng)一的一體化數(shù)據(jù)服務門戶。構建游戲公司統(tǒng)一的一體化數(shù)據(jù)服務門戶。數(shù)據(jù)資產運營能力建設促進游戲總體數(shù)據(jù)資產的使用。建立數(shù)據(jù)資產在成本和價值層面的衡量體系。數(shù)據(jù)本身不產生價值，中臺團隊需要聚焦在如何讓數(shù)據(jù)發(fā)揮更大價值上。數(shù)據(jù)本身不產生價值，中臺團隊需要聚焦在如何讓數(shù)據(jù)發(fā)揮更大價值上。數(shù)據(jù)平臺第四階段建設游戲全鏈路的數(shù)據(jù)深度服務能力建設進入游戲業(yè)務的深水區(qū)，通過數(shù)據(jù)驅動業(yè)務增長。DATA+AI能力建設DATA+AI預判和決策?？偨YROI的方式完成前期兩階段的工作。二、降本人力資源成本?成為懂業(yè)務的數(shù)據(jù)中臺團隊目前游戲數(shù)據(jù)中臺的人力資源大致按照上面的比例進行分配，日常的數(shù)據(jù)開發(fā)治理和常規(guī)的數(shù)據(jù)報表和分析需求的滿足會占據(jù)團隊的人力資源大頭，只有少部分的精力可以投入到離業(yè)務更近的深度分析和應用場景以及「DATA+AI」在業(yè)務側的探索和應用。這樣的資源劃分已不太能適應當下行業(yè)「降本增效」的大環(huán)境，數(shù)據(jù)平臺面臨著以下核心挑戰(zhàn)：數(shù)據(jù)開發(fā)治理以及常規(guī)數(shù)據(jù)業(yè)務需求的滿足很難體現(xiàn)到真正的業(yè)務價值上，這部分的價值很難衡量。較多的人力投入在被動地滿足業(yè)務方數(shù)據(jù)需求，伴隨著業(yè)務方數(shù)據(jù)需求的持續(xù)增人力資源與常態(tài)化業(yè)務數(shù)據(jù)需求的滿足之間的投入產出比不高，進一步加劇了公司對于數(shù)據(jù)平臺業(yè)務價值產出的挑戰(zhàn)。以及垂直的業(yè)務深度中。AI數(shù)數(shù)科技提供一站式的從用戶行為分析→用戶畫像→精細化運營觸達的業(yè)務閉環(huán)工具，以及數(shù)據(jù)采集->數(shù)據(jù)清洗->數(shù)據(jù)建?！鷶?shù)據(jù)計算→數(shù)據(jù)可視化為一體的數(shù)據(jù)底層：用戶行為分析用戶畫像&進行深度的挖掘。精細化運營觸達系統(tǒng)能夠基于分析結果和特征群體，通過AppPush（Email完成實時的效果回收和分析。API真正懂業(yè)務的數(shù)據(jù)中臺團隊。硬件資源成本?最大化資源利用率成本優(yōu)化。數(shù)據(jù)存儲成本優(yōu)化化地利用不同存儲載體的性能。由于越接近實時的熱數(shù)據(jù)對于存取的性能開銷越大，而歷史數(shù)據(jù)因被讀取使用的場景SSD磁盤的性能最強，成本最高，因此可僅存取最近N小時的數(shù)據(jù)。1AlluxioLocalCacheLocalCache能。TEROI1個月內的熱數(shù)據(jù)。同時在本地集群中為了支持數(shù)據(jù)秒級別的實時寫入，會基于kudu組件構建實時存儲層，該部分數(shù)據(jù)只會維護最近3小時的數(shù)據(jù)，超過3小時的數(shù)據(jù)會自動沉降到本地HDFS中，這樣可以充分利用SSD存儲性能的同時控制好成本。低海量數(shù)據(jù)的存儲成本。數(shù)據(jù)計算成本優(yōu)化數(shù)據(jù)查詢的一個比較大的特點是隨時間的波動非常大，例如某出海游戲公司的數(shù)據(jù)平臺在UTC-0T+1898的策略實k8sAWS的EKSASKTKETE系統(tǒng)目前已經適配了所有主流云廠商上的原生化框架以及自建k8s生態(tài)，能夠實現(xiàn)以下核心能力：將支持在30秒內完成計算節(jié)點的動態(tài)擴縮本。4支持云上無狀態(tài)spot（1/10～1/5三、提效：數(shù)據(jù)民主化?讓更多業(yè)務用戶參與平臺建設系統(tǒng)融合提效?業(yè)內先進技術綜合降低成本業(yè)務發(fā)展導致平臺適配性不足數(shù)據(jù)平臺成本難以持續(xù)優(yōu)化于最新的技術和組件也能夠可插拔式地快速引入，這樣對于不可預見的業(yè)務場景也能夠TETETETETETE系統(tǒng)的核心引擎?TrinoTE實時迭代提效?節(jié)省開發(fā)資源數(shù)據(jù)分析效率提升數(shù)據(jù)中臺團隊一般會采用以下的業(yè)務模式來滿足需求：發(fā)完成后寫入到BITableauBIMPP席查詢能力通過SQLIDE工具直接暴露SQL來獲得想要的數(shù)據(jù)結果。SQL的ad-hocSQLSQL也需要花費較長的時間，如果寫出來的SQL例如有嚴重的笛卡爾積問題，也會對數(shù)據(jù)平臺本身的查詢資源產生極大的浪費。SQ的數(shù)據(jù)需求。SQL功能來解決非常復雜的業(yè)務場景需求。開發(fā)工作。數(shù)數(shù)科技的TESQLTE“注冊首日不同等級玩家的次日留存SQL要100...約100行SQL代碼 標簽+留存模型...在熟練使用TE系統(tǒng)后，原來的業(yè)務需求只需要現(xiàn)有1/3的人力來支撐即可，剩余人員可以投入到AI應用研發(fā)等其他高價值工作中。精細化運營效率提升需要長時間的開發(fā)周期和高成本的持續(xù)投入。在傳統(tǒng)的營銷方式中，營銷工具之間功能割裂，業(yè)務流程及數(shù)據(jù)互不打通，無法實現(xiàn)一站式的全渠道自動化游戲運營。通過TER。30%。TE50AIGC賦能游戲行業(yè)效率最大化AIGCTop50AIGCAI%的受訪者所在公司/部門所使用的AIAIAIAI技海藝AIAIAIGCAIAIAI角色生成：可以根據(jù)預設的風格和特征，快速生成多樣化的游戲角色，滿足不同游戲類型的需求。沉浸式的體驗。道具制作：自動生成各種游戲道具，增加游戲的豐富性和趣味性。Mage.spaceMage.space以其強大的可視化界面和用戶友好的操作流程，使得非技術背景的用戶也能輕松地創(chuàng)建和編輯游戲內容。3D環(huán)境構建：能夠自動生成復雜的3D環(huán)境適應性：Mage.space生成的環(huán)境能夠根據(jù)游戲劇情和玩家行為進行動態(tài)調整，提供更加真實的游戲體驗。StockImgAIStockImgAI專注于提供高質量的圖像生成服務，其AIGC技術能夠根據(jù)用戶輸入的描述或關鍵詞，快速生成具有商業(yè)價值的圖像。角色立繪生成：StockImgAI能夠根據(jù)角色設定，生成具有獨特風格的角色立繪，豐富游戲的視覺表現(xiàn)。場景插畫制作：它自動生成與游戲場景相匹配的插畫，提升游戲的藝術性和敘事性。圖形資源庫構建：StockImgAI構建了一個龐大的圖形資源庫，為游戲開發(fā)者提供了豐富的視覺素材選擇，加速了游戲開發(fā)流程。游戲數(shù)據(jù)平臺建設經典案例客戶背景客戶內部產品具有大DAUTE系統(tǒng)解決方案TEIDC存儲資源做集中規(guī)劃，落地效果使用過保低配集群存儲冷數(shù)據(jù)，該部分數(shù)據(jù)存儲成本一半以上。方案價值Alluxio集群或LocalCache的方式做加速。降低數(shù)據(jù)存儲成本。客戶背景HabbyTE系統(tǒng)解決方案TE系統(tǒng)的三方集成模塊提供了一系列第三方廣告平臺的集成能力，可以將這些平臺的廣告投放與廣告變現(xiàn)數(shù)據(jù)同步到TE系統(tǒng)中來。目前支持一鍵集成的第三方平臺：方案價值TEAPI接口將游戲上下游的數(shù)據(jù)匯聚到同一個系統(tǒng)中并完成數(shù)據(jù)的mappingROI分析?？蛻舯尘扒啻蓛炔康臄?shù)據(jù)應用場景存在客服系統(tǒng)通過API的方式調用查詢引擎來獲取玩家的API請求的業(yè)務波動性特征以及APIAPIAP