神策數(shù)據(jù)-大數(shù)據(jù)分析驅(qū)動產(chǎn)品與運營

2018.10.14大數(shù)據(jù)分析驅(qū)動產(chǎn)品與運營曹犟

神策數(shù)據(jù)聯(lián)合創(chuàng)始人

&

CTO大數(shù)據(jù)的本質(zhì)“信息是用來消除不確定性的東西” ——香農(nóng)

《信息論》“大數(shù)據(jù)的本質(zhì)，就是通過信息消除不確定性”

——吳軍

《硅谷之謎》大數(shù)據(jù)驅(qū)動的價值驅(qū)動業(yè)務(wù)決策驅(qū)動產(chǎn)品智能運營監(jiān)控產(chǎn)品迭代營銷分析商業(yè)決策產(chǎn)品改造體驗升級指標(biāo)提升其他場景大數(shù)據(jù)數(shù)據(jù)驅(qū)動閉環(huán)建模分析反饋采集分析類型統(tǒng)計分析挖掘涉及內(nèi)容反饋類型決策反饋產(chǎn)品反饋數(shù)據(jù)流采集目標(biāo)客戶端數(shù)據(jù)業(yè)務(wù)端數(shù)據(jù)第三方數(shù)據(jù)線下數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)建模數(shù)據(jù)處理經(jīng)典的數(shù)據(jù)分析平臺架構(gòu)應(yīng)用反饋數(shù)據(jù)建模數(shù)據(jù)分析數(shù)據(jù)采集營銷渠道優(yōu)化網(wǎng)站優(yōu)化驅(qū)動業(yè)務(wù)決策注冊轉(zhuǎn)化分析

產(chǎn)品流程分析跳出率分析 A／B測試精準(zhǔn)用戶運營流失客戶挽回用戶畫像反作弊驅(qū)動產(chǎn)品智能個性化推薦 精準(zhǔn)廣告搜索優(yōu)化用戶標(biāo)簽挖掘可視化自助分析指標(biāo)體系 多維分析監(jiān)控報警 用戶分群標(biāo)簽管理自動化標(biāo)簽標(biāo)簽輸出數(shù)據(jù)模型平臺客戶價值模型 流失預(yù)測模型個性化推薦模型 ……數(shù)據(jù)模型文本處理元數(shù)據(jù) 數(shù)據(jù)質(zhì)管理 量管理任務(wù)調(diào)度格式轉(zhuǎn)換數(shù)據(jù)清洗數(shù)據(jù)存儲聚合連接ID-Mapping客戶端APPH5服務(wù)器歷史數(shù)據(jù)導(dǎo)入小程序WEB第三方數(shù)據(jù)CRMERP POSWi-Fi

探針傳感器DW業(yè)務(wù)端數(shù)據(jù)庫線下數(shù)據(jù)攝像頭建模分析反饋采集分析類型統(tǒng)計分析挖掘涉及內(nèi)容反饋類型決策反饋產(chǎn)品反饋數(shù)據(jù)流采集目標(biāo)客戶端數(shù)據(jù)業(yè)務(wù)端數(shù)據(jù)第三方數(shù)據(jù)線下數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)建模數(shù)據(jù)處理大數(shù)據(jù)數(shù)據(jù)驅(qū)動閉環(huán)宏觀的“大”多種數(shù)據(jù)源時效性任意維度、任意指標(biāo)大全細(xì)時秒級數(shù)據(jù)導(dǎo)入秒級數(shù)據(jù)查詢用戶屬性行為屬性單一指標(biāo)符合指標(biāo)數(shù)據(jù)量大范圍廣客戶端服務(wù)器業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)數(shù)據(jù)采集的原則數(shù)據(jù)采集是應(yīng)用的根基數(shù)據(jù)采集的內(nèi)容用戶行為數(shù)據(jù)用戶數(shù)據(jù)業(yè)務(wù)運行數(shù)據(jù)內(nèi)容數(shù)據(jù)數(shù)據(jù)類型第一方第三方數(shù)據(jù)所有者線上數(shù)據(jù)線下數(shù)據(jù)數(shù)據(jù)來源一個典型銀行的用戶行為相關(guān)數(shù)據(jù)采集客戶端服務(wù)器日志業(yè)務(wù)操作線下行為JavaScript、iOS、Android按鈕點擊、下拉框選擇Nginx、UI、Server瀏覽、檢索、理財產(chǎn)品CRM、客服、中臺等暫無實際案例，探索中1234中國銀聯(lián)用戶行為數(shù)據(jù)應(yīng)用案例產(chǎn)品線神策數(shù)據(jù)PaaSBI

系統(tǒng)日活、月活…其他全局指標(biāo)銀聯(lián)大數(shù)據(jù)交易數(shù)據(jù)…行為數(shù)據(jù)構(gòu)建反黃牛風(fēng)控體系全局指標(biāo)明細(xì)數(shù)據(jù)管理層技術(shù)團隊產(chǎn)品團隊運營團隊營銷團隊分析團隊日活、月活其他數(shù)據(jù)iOSH5安卓運營分析新用戶占比渠道來源占比注冊轉(zhuǎn)化轉(zhuǎn)化分析開戶轉(zhuǎn)化付費轉(zhuǎn)化…………全局視角監(jiān)控業(yè)務(wù)表現(xiàn)日程數(shù)據(jù)驅(qū)動數(shù)據(jù)獲取數(shù)據(jù)應(yīng)用全角色銀聯(lián)云閃付Apple

Pay設(shè)備指紋加密傳輸SDK開源改造：建模分析反饋采集分析類型統(tǒng)計分析挖掘反饋類型決策反饋產(chǎn)品反饋數(shù)據(jù)流采集目標(biāo)客戶端數(shù)據(jù)業(yè)務(wù)端數(shù)據(jù)第三方數(shù)據(jù)線下數(shù)據(jù)涉及內(nèi)容數(shù)據(jù)存儲數(shù)據(jù)建模數(shù)據(jù)處理大數(shù)據(jù)數(shù)據(jù)驅(qū)動閉環(huán)Event

事件When：事件發(fā)生的實際時間User

用戶通過

User

ID

與相關(guān)的

Event

關(guān)聯(lián)記錄和收集用戶的長期屬性（User

Profile）User

IDItem

實體和用戶行為相關(guān)的實體（商品、視頻、小說等）Item

IDWhere：事件發(fā)生的地點Who：參與此事件的用戶是誰What：描述用戶所做的這個事件的具體內(nèi)容How：用戶從事這個事件的方式通過

Item

ID

與相關(guān)的

Event

關(guān)聯(lián)一種常見的數(shù)據(jù)基礎(chǔ)模型數(shù)據(jù)處理數(shù)據(jù)的清洗字段的擴充非格式化數(shù)據(jù)的格式化必要的

Join

與

UnionID-Mapping統(tǒng)一歸檔：數(shù)據(jù)處理將從不同來源采集到的數(shù)據(jù)統(tǒng)一歸檔到數(shù)據(jù)基礎(chǔ)模型上ETL

產(chǎn)品：在多數(shù)據(jù)源采集的情況下，很難找到直接可用的ETL

產(chǎn)品搭建好調(diào)度、計算框架、質(zhì)量管理和元數(shù)據(jù)管理等通用工作結(jié)合業(yè)務(wù)完成現(xiàn)成的工作為不同的數(shù)據(jù)模型選擇不同的存儲方案Event

數(shù)據(jù)追加為主數(shù)據(jù)量極大列極多分析型應(yīng)用每次涉及的列較少有批量計算和處理的需要列存儲是一種較好的存儲選型：ORCFile、Parquet為了保證時效性，則可以擴展為行列混合的方案User

數(shù)據(jù)/Item

數(shù)據(jù)有更新、刪除的需要數(shù)據(jù)量相對較小有單獨的分析需求，也需要與

Event數(shù)據(jù)關(guān)聯(lián)分析可以選擇具有一定

OLTP

能力的OLAP

數(shù)據(jù)庫：Kudu、Vertica

等不同存儲下的關(guān)聯(lián)分析可能需要改造查詢引擎大數(shù)據(jù)數(shù)據(jù)驅(qū)動閉環(huán)建模分析反饋采集分析類型統(tǒng)計分析挖掘涉及內(nèi)容反饋類型決策反饋產(chǎn)品反饋數(shù)據(jù)流采集目標(biāo)客戶端數(shù)據(jù)業(yè)務(wù)端數(shù)據(jù)第三方數(shù)據(jù)線下數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)建模數(shù)據(jù)處理數(shù)據(jù)統(tǒng)計與分析的兩種方法論分析需求計算規(guī)則定制開發(fā)模型抽象需求抽象自助分析通過例行的報表滿足基本的指標(biāo)獲取需求臨時性的需求通過新的開發(fā)解決抽象的模型覆蓋指標(biāo)體系以及大部分分析需求通過友好的交互讓需要數(shù)據(jù)的人自主獲取數(shù)據(jù)理想中的數(shù)據(jù)驅(qū)動現(xiàn)實中的數(shù)據(jù)驅(qū)動時間都等沒了！時機都錯過了！理想中的數(shù)據(jù)驅(qū)動業(yè)務(wù)人員自助滿足需求，把時機握在手中！自助式的數(shù)據(jù)分析產(chǎn)品、運營、市場管理者日常數(shù)據(jù)監(jiān)測產(chǎn)品改進(jìn)分析廣告投放分析精細(xì)化運營銀行用戶轉(zhuǎn)賬匯款理財／貸款瀏覽 注冊 開戶時間

|地域|

渠道|機型|理財產(chǎn)品

|任意自定義字段用戶行為序列神策分析可視化分析界面

|SQL查詢

|

專業(yè)API|搜索用戶事件分析漏斗分析留存分析用戶分群線索質(zhì)量評估分析建模采集分布分析用戶路徑網(wǎng)頁熱力分析App

點擊分析用戶屬性間隔分析……標(biāo)簽體系用戶畫像推薦引擎反作弊營銷自動化技術(shù)方案的選型MOLAP

ROLAP適用場景：以指標(biāo)與報表類型的分析為主維度與指標(biāo)相對固定沒有復(fù)雜的分析需求，如：漏斗分析、路徑分析等對數(shù)據(jù)刷新的時效性沒有特殊要求對查詢響應(yīng)時間有較高要求一些技術(shù)選型：Druid、Kylin

等適用場景：維度與指標(biāo)需要靈活組合有復(fù)雜的分析需求期望分析結(jié)果不僅僅是數(shù)據(jù)，更能看到數(shù)據(jù)后的細(xì)節(jié)有很強的數(shù)據(jù)刷新時效性需求局限性：查詢

QPS

有限，查詢響應(yīng)時間有限數(shù)據(jù)建?！y行業(yè)關(guān)鍵數(shù)據(jù)指標(biāo)示例開戶用戶數(shù)開戶成功率OCR識別通過率OCR識別耗時活體識別通過率活體識別耗時開戶綁卡監(jiān)控用戶總?cè)藬?shù)新增新客人數(shù)活躍用戶人數(shù)不同風(fēng)險等級用戶數(shù)用戶申購留存率用戶分布情況（申購次數(shù)、申購金額）用戶質(zhì)量監(jiān)控新客申購人數(shù)申購次數(shù)平均申購金額轉(zhuǎn)入/轉(zhuǎn)出平均金額不同轉(zhuǎn)出方式人數(shù)（快速轉(zhuǎn)出、普通轉(zhuǎn)出）余額自動轉(zhuǎn)入設(shè)置人數(shù)理財申購監(jiān)控頁面瀏覽時長頁面觸達(dá)位置交易密碼輸入耗時驗證碼輸入耗時行為偏好監(jiān)控大數(shù)據(jù)數(shù)據(jù)驅(qū)動閉環(huán)建模分析反饋采集分析類型統(tǒng)計分析挖掘涉及內(nèi)容數(shù)據(jù)流采集目標(biāo)客戶端數(shù)據(jù)業(yè)務(wù)端數(shù)據(jù)第三方數(shù)據(jù)線下數(shù)據(jù)數(shù)據(jù)存儲數(shù)據(jù)建模數(shù)據(jù)處理反饋類型決策反饋產(chǎn)品反饋數(shù)據(jù)反饋決策建立基于數(shù)據(jù)的驅(qū)動閉環(huán)，驅(qū)動業(yè)務(wù)決策發(fā)現(xiàn)問題分析原因用戶分群精準(zhǔn)營銷效果驗證數(shù)據(jù)驅(qū)動產(chǎn)品迭代：需求分析、產(chǎn)品迭代和效果驗證行業(yè)學(xué)習(xí)撰寫詳細(xì)需求文檔研發(fā)過程跟進(jìn)策略定位用戶故事迭代需求整理用戶調(diào)研場景設(shè)計上線前培訓(xùn)用戶反饋數(shù)值設(shè)計A/B測試驗證內(nèi)部需求邏輯與流程設(shè)計上線后環(huán)比量化追蹤競品分析交互文檔數(shù)據(jù)優(yōu)化用戶行為／屬性數(shù)據(jù)分析驗證方案、數(shù)據(jù)可用性測試業(yè)務(wù)數(shù)據(jù)分析產(chǎn)品/服務(wù)運營策略制定指標(biāo)01

0203需求定義與分析產(chǎn)品決策與設(shè)計效果驗證與迭代注冊開戶充值投資激活用戶提升激活-注冊的轉(zhuǎn)化率提升注冊-開戶的轉(zhuǎn)化率提升開戶-投資的轉(zhuǎn)化率第一關(guān)鍵指標(biāo)：首投轉(zhuǎn)化率數(shù)據(jù)驅(qū)動產(chǎn)品迭代：某專業(yè)理財平臺案例首頁優(yōu)化，提升注冊轉(zhuǎn)化老版本首頁Banner

輪播與新手利益相關(guān)的頁面點擊高

首頁注冊入口注冊的用戶占比

43%

“我”從“我”中注冊的用戶占比

37%

具體優(yōu)化目標(biāo)提升首頁新手福利的聚焦只相差

6%與預(yù)期不符數(shù)據(jù)驅(qū)動產(chǎn)品迭代：某專業(yè)理財平臺案例去掉輪播位，改為安全傳達(dá)頭圖，點擊后跳轉(zhuǎn)安全保障頁新增新手狀態(tài)提示，根據(jù)用戶狀態(tài)變化更突出“立即注冊”視

覺焦點首頁51%（43%）“我”頁30%（37%）其它頁19%（20%）注冊成功觸達(dá)“注冊”頁面數(shù)據(jù)驅(qū)動產(chǎn)品迭代：某專業(yè)理財平臺案例7.2.0版本（5.23-5.25）新用戶激活注冊率對照版本（5.03-5.05）增長幅度為37%全民享加息518理財節(jié)對照7.2.0上線華為渠道新用戶激活注冊轉(zhuǎn)化率走勢（%）數(shù)據(jù)驅(qū)動產(chǎn)品迭代：某專業(yè)理財平臺案例數(shù)據(jù)驅(qū)動用戶運營：構(gòu)建標(biāo)簽體系，實現(xiàn)精準(zhǔn)營銷閉環(huán)反饋訪問注冊開戶入金交易策略1策略2策略3策略4用戶觸達(dá)平臺產(chǎn)品用戶行為數(shù)據(jù)觸達(dá)策略閉環(huán)驗證轉(zhuǎn)化漏斗分析用戶留存分析策略效果評估活動ROI

分析人群特征分析階段1只有產(chǎn)品本身無行為數(shù)據(jù)觸達(dá)方式簡單階段2有用戶行為數(shù)據(jù)漏斗鎖定不同場景下的流失無觸達(dá)策略，或觸達(dá)方式單一階段3基于觸達(dá)方式、內(nèi)容、時間有不同策略策略誕生效率低，時效差無法驗證策略優(yōu)劣階段4完整閉環(huán)，驗證營銷活動效果效果反饋，迭代策略本身人群特征再分析，更新標(biāo)簽體系未注冊注冊未開戶開戶未入金入金未交易數(shù)據(jù)驅(qū)動用戶運營：構(gòu)建標(biāo)簽體系，實現(xiàn)精準(zhǔn)營銷閉環(huán)反饋屬性特征偏好特征品類特征競品特征行為特征種子人群特征提取人群放大，構(gòu)建標(biāo)簽體系基于用戶行為數(shù)據(jù)的標(biāo)簽管理平臺用戶標(biāo)簽體系的技術(shù)實現(xiàn)數(shù)據(jù)流向x調(diào)度器Monitor元數(shù)據(jù)子系統(tǒng)ParquetHDFS存儲子系統(tǒng)Kudu數(shù)據(jù)接入子系統(tǒng)NginxExtractorKafka導(dǎo)入子系統(tǒng)DataLoader批量計算子系統(tǒng)Merger／SegmenterYarn前端展示子系統(tǒng)查詢引擎ImpalaSQueryEngineWebServer標(biāo)簽存儲與管理TagManager標(biāo)簽在線服務(wù)在線

APISDKAPP

SDKWEB／H5／小程序業(yè)務(wù)數(shù)據(jù)導(dǎo)入后端

SDK日志導(dǎo)入傳感器數(shù)據(jù)導(dǎo)入已有標(biāo)簽導(dǎo)入Redis數(shù)據(jù)學(xué)習(xí)反饋——產(chǎn)品智能的應(yīng)用探索在線分析搜索優(yōu)化用戶畫像文本挖掘反作弊精準(zhǔn)廣告?zhèn)€性化推薦智能推薦引擎基于行為數(shù)據(jù)的深度學(xué)習(xí)召回方案：基于 Google

最新深度學(xué)習(xí)論文也是

YouTube

采用的召回模型方案參考閱讀：“DeepNeuralNetworksforYoutubeRecommendation”——PaulCovington,JayAdams,EmreSargin指標(biāo)計算方式目標(biāo)點擊率總點擊量／總展示量提升

20%人均點擊量頻道總點擊量／頻道UV提升

10%人均瀏覽時長頻道瀏覽時長／頻道UV提升

5%評估體系：統(tǒng)計指標(biāo)相關(guān)性指標(biāo)計算方式內(nèi)容分析興趣標(biāo)簽基于客戶提供的關(guān)鍵詞用戶畫像用戶的關(guān)鍵詞偏好符合用戶的歷史行為內(nèi)容相關(guān)性推薦內(nèi)容比例符合用戶畫像中的關(guān)鍵詞偏好行為相關(guān)性推薦用戶根用戶內(nèi)容的共現(xiàn)概覽比隨機內(nèi)容和用戶瀏覽內(nèi)容的共現(xiàn)概覽高

10

倍推薦結(jié)果推薦內(nèi)容比例符合

70%熱門

+

20%最新

+10%興趣某視頻平臺個性化推薦案例關(guān)于神策數(shù)據(jù)核心創(chuàng)始團隊來自百度大數(shù)據(jù)部，從零到一構(gòu)建了百度大數(shù)據(jù)日志平臺，擁有十一年的數(shù)據(jù)分析實操經(jīng)驗。產(chǎn)品團隊成績資本神策分析

（Sensors

Analytics）針對企業(yè)用戶的深度數(shù)據(jù)分析平臺，提供從數(shù)據(jù)采集