互聯(lián)網(wǎng)數(shù)據(jù)分析@騰訊

互聯(lián)網(wǎng)數(shù)據(jù)分析@騰訊提綱數(shù)據(jù)架構互聯(lián)網(wǎng)特點構建高性能數(shù)據(jù)分析架構數(shù)據(jù)倉庫（養(yǎng)數(shù)據(jù)）數(shù)據(jù)應用（用數(shù)據(jù)）指標搭建業(yè)務分析模型用戶挖掘模型輔助決策特點：增長快、體量大、業(yè)務多、敏捷業(yè)務形態(tài)增長快體量大業(yè)務多敏捷分析能力TB級增量數(shù)據(jù)PB級計算實時計算需求小時級報表實施天級挖掘應用數(shù)據(jù)分析–工作內(nèi)容業(yè)務分析指標體系計算模型提取業(yè)務數(shù)據(jù)解讀、分析報表輸出數(shù)據(jù)提取流程建設數(shù)據(jù)應用橫向數(shù)據(jù)報表分析報告外掛、安全打擊推薦考核指標數(shù)據(jù)倉庫身份體系Profile用戶行為機能庫工具平臺計算平臺展示平臺數(shù)據(jù)提取工具高性能數(shù)據(jù)分析架構細節(jié)一：SDK部分技術架構SDK策略server上報接收server策略配置探測資源池LB中間層展示庫終端移動網(wǎng)絡APN管道實時入庫基礎服務移動IP庫身份庫機能庫數(shù)據(jù)存儲計算云展示平臺TDW集群HQL計算聚類模型應用展現(xiàn)kafka消息serverstorm流式計算實時計算數(shù)據(jù)共享分發(fā)Hive集群細節(jié)二：零代碼開發(fā)，自動化運維可視化拖拽+邏輯SQL=零代碼細節(jié)三，以數(shù)據(jù)流為中心數(shù)據(jù)任務=規(guī)范+配置項數(shù)據(jù)倉庫—養(yǎng)數(shù)據(jù)MIG身份庫機能庫數(shù)平QQ畫像IP庫LBS庫QQ畫像內(nèi)容豐富；公司內(nèi)都可用；業(yè)務群也會有自己的一些數(shù)據(jù)；數(shù)據(jù)質(zhì)量非常重要，用和養(yǎng)互相推動；……今天的綱要數(shù)據(jù)架構互聯(lián)網(wǎng)特點分析構建高性能數(shù)據(jù)分析架構數(shù)據(jù)倉庫（養(yǎng)數(shù)據(jù)）數(shù)據(jù)應用（用數(shù)據(jù)）指標體系業(yè)務分析模型用戶挖掘模型輔助決策從干系人角度來看指標體系產(chǎn)品經(jīng)理的疑惑哪些是我們的潛在用戶？用戶流失原因是功能問題嗎？如何挽留？廣告需要精細化，避免用戶騷擾用戶只能按arpu分類？用戶對分類推薦不感興趣，點擊率低用戶產(chǎn)品分析目標業(yè)務分析模型和用戶挖掘模型在線模型流動模型漏斗模型路徑模型拉新模型流失模型關聯(lián)模型病毒模型業(yè)務分析模型概覽模型分析目標在線模型業(yè)務活躍曲線及用戶形態(tài)流動模型業(yè)務健康度漏斗模型營銷類路徑模型用戶行為分析在線模型，平臺類業(yè)務的關鍵流動模型，體現(xiàn)業(yè)務整體健康度歷史用戶（1年內(nèi)開通過，上月末非開通）回流率5.12%A業(yè)務用戶（上月末用戶數(shù)）留存率76.34%版本流失率23.66%流失用戶本月B業(yè)務新注冊用戶A業(yè)務用戶（本月）新注冊拉新占0.47%本月B業(yè)務活躍用戶拉新占17.31%非B業(yè)務用戶非B業(yè)務新開占1.15%漏斗模型，渠道分析的利器曝光點擊下載激活路徑模型，功能行為分析數(shù)據(jù)挖掘的例子年齡在20~23之間、最近一個月通過PC側(cè)A平臺大于5次并且最近一個月關閉了B業(yè)務C功能的白領用戶，屬于高流失概率用戶，流失概率27%年齡在14~17之間、最近一個月在A平臺B頻道訪問超過3次的男性用戶，喜歡C類游戲的概率較高，對其推薦成功概率為33%年齡在17~20之間、流失前未使用任何F功能、存活周期小于30天并且最近一個月使用B業(yè)務超過3天的女性用戶，通過C功能提醒關懷，回流概率較高，回流概率25%用戶挖掘模型概覽模型分析目標常用算法拉新模型尋找對產(chǎn)品有興趣的潛在用戶進行推廣拉新分類：決策樹、Logistic回歸、神經(jīng)網(wǎng)絡流失模型提前預測用戶流失概率，做好挽留關聯(lián)模型內(nèi)容推送（音樂、商品、書籍等）關聯(lián)規(guī)則、協(xié)同過濾病毒模型關系鏈推薦傳播關聯(lián)規(guī)則、協(xié)同過濾拉新模型，用于潛在渠道挖掘流失模型，目的在于挽留數(shù)據(jù)模型策略基礎屬性興趣屬性行為屬性渠道屬性預測：流失概率預測：挽留成功概率挽留價值=客戶價值×流失概率×挽留成功概率優(yōu)先對挽留價值大的客戶實施挽留挽留分析-算法建模1智能標簽特征識別3用戶分群細化運營2關懷營銷減少騷擾挽留分析-模型命中優(yōu)化四倍提升挽留實施效果2011.2月1、關懷通知2、老用戶分級特權挽留關聯(lián)模型在推薦上的廣泛應用算法復雜度音樂推薦Lift值越高，相關性越強，推薦效果高基于關系鏈的病毒模型又稱雪崩模型，口碑模型來源于社交網(wǎng)絡關系鏈幾何級蔓延