數(shù)據(jù)分析 數(shù)據(jù)分析整體框架

數(shù)據(jù)分析數(shù)據(jù)分析整體框架編輯導(dǎo)語(yǔ)：無(wú)論是產(chǎn)品還是運(yùn)營(yíng)，數(shù)據(jù)分析都是其日常工作中不可忽略的一個(gè)板塊，那么數(shù)據(jù)分析的整體框架應(yīng)該如何搭建？本篇文章里，作者以支付業(yè)務(wù)為例，對(duì)數(shù)據(jù)分析的整體框架、數(shù)據(jù)如何處理加工做了相應(yīng)闡述，一起來(lái)看一下吧。我以支付業(yè)務(wù)為例來(lái)講解。用戶來(lái)到支付收銀臺(tái)后，在頁(yè)面上有很多點(diǎn)擊行為，比如選擇各種支付方式，微信支付、ApplePay支付等最后完成支付，也有可能點(diǎn)擊左上角返回鍵或者右上角訂單中心離開(kāi)當(dāng)前頁(yè)面。這個(gè)過(guò)程會(huì)產(chǎn)生很多數(shù)據(jù)，從數(shù)據(jù)大類上分成：用戶數(shù)據(jù)、行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)。誰(shuí)（用戶數(shù)據(jù)）做了什么（行為數(shù)據(jù)）結(jié)果如何（業(yè)務(wù)數(shù)據(jù)）？用戶數(shù)據(jù)指用戶本身的特性，如用戶畫(huà)像，使用你產(chǎn)品的用戶男性多還是女性多，年齡多大等。行為數(shù)據(jù)指用戶使用產(chǎn)品在頁(yè)面上的各種點(diǎn)擊行為，在頁(yè)面上停留時(shí)長(zhǎng)等。業(yè)務(wù)數(shù)據(jù)指用戶行為之后，實(shí)際產(chǎn)生的結(jié)果，業(yè)務(wù)數(shù)據(jù)會(huì)落庫(kù)業(yè)務(wù)數(shù)據(jù)表。分析業(yè)務(wù)數(shù)據(jù)的意義，可以衡量商業(yè)價(jià)值，是業(yè)務(wù)最終呈現(xiàn)結(jié)果，用以推動(dòng)公司業(yè)務(wù)的發(fā)展。用戶數(shù)據(jù)和行為數(shù)據(jù)通?？梢詮牡谌綌?shù)據(jù)工具，如友盟、GoogleAnalytics直接獲取，業(yè)務(wù)數(shù)據(jù)一般要內(nèi)部建設(shè)。今天重點(diǎn)講業(yè)務(wù)數(shù)據(jù)搭建完整過(guò)程，以阿里云的QuickBI為例。在整個(gè)數(shù)據(jù)分析的框架中，分為五大層次，依次是：數(shù)據(jù)生成、獲取數(shù)據(jù)、數(shù)據(jù)建模、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用。一、數(shù)據(jù)生成還是以支付業(yè)務(wù)為例，用戶選擇支付方式完成支付后，落庫(kù)核心的兩張業(yè)務(wù)表：訂單表和交易表。一個(gè)訂單會(huì)對(duì)應(yīng)多筆交易（每選擇一種支付方式生成一筆交易，一筆訂單可以使用多個(gè)支付方式嘗試支付），其實(shí)還會(huì)產(chǎn)生其他表，比如收貨地址表等。二、獲取數(shù)據(jù)通常使用第三方工具如ETL將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽?。‥xtract）、清洗轉(zhuǎn)換（Transform）之后加載（Load）到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，數(shù)據(jù)呈現(xiàn)在BI的數(shù)據(jù)源。三、數(shù)據(jù)建模所有數(shù)據(jù)進(jìn)到數(shù)倉(cāng)以后，需要根據(jù)實(shí)際想要看的業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)建模，建模后的數(shù)據(jù)呈現(xiàn)在數(shù)據(jù)集。數(shù)據(jù)集作為數(shù)據(jù)源和可視化展示的中間環(huán)節(jié)，承接數(shù)據(jù)源的輸入，并為可視化展示輸出數(shù)據(jù)表。1.構(gòu)建數(shù)據(jù)模型數(shù)據(jù)建模是什么含義呢？底層的業(yè)務(wù)數(shù)據(jù)表其實(shí)很多，幾十張上百?gòu)埗加?，但到了業(yè)務(wù)數(shù)據(jù)分析階段，當(dāng)需要分析的數(shù)據(jù)存儲(chǔ)在不同的表，可以通過(guò)數(shù)據(jù)關(guān)聯(lián)，把多個(gè)表連接起來(lái)，形成模型進(jìn)行數(shù)據(jù)分析。比如上述的業(yè)務(wù)底層訂單表到了數(shù)據(jù)分析階段衍生的訂單表字段發(fā)生變化，name和city是從業(yè)務(wù)地址表取來(lái)的數(shù)據(jù)。總的來(lái)說(shuō)，數(shù)據(jù)模型是完全面向數(shù)據(jù)分析的業(yè)務(wù)場(chǎng)景形成的新表。以支付業(yè)務(wù)為例，我構(gòu)建的數(shù)據(jù)模型有：用戶表、訂單表和交易表。2.設(shè)計(jì)維度和度量指標(biāo)對(duì)數(shù)據(jù)字段可以進(jìn)行下一步分類：

維度（Dimensions）

度量（Measures）

在統(tǒng)計(jì)學(xué)中，單一數(shù)據(jù)字段可以被分為離散和連續(xù)。離散通常是維度，比如城市名稱、用戶名字，特征是有限數(shù)量的值；連續(xù)通常是度量，比如銷量、利潤(rùn)或成功率，特征是不可羅列，可能為任一數(shù)值。維度和度量中有許多灰色區(qū)域，比如金額，可以做維度，也可以做度量。在上述訂單表中，device、city等是維度，對(duì)order_id計(jì)數(shù)的總訂單數(shù)、對(duì)status=success計(jì)數(shù)的成功訂單數(shù)是度量。度量可以再分原子度量和派生度量。原子度量指從維度里直接獲取到，上表中的總訂單數(shù)和成功訂單數(shù)。派生度量并不能直接從數(shù)據(jù)表中獲取，而需要基于已有數(shù)據(jù)進(jìn)行加工處理得到，上表中的訂單成功率是成功訂單數(shù)/總訂單數(shù)得到。四、數(shù)據(jù)分析有了維度和度量的概念后，接著引入聚合概念。對(duì)于數(shù)據(jù)分析來(lái)說(shuō)，往往關(guān)心的并不是最底層一行一行的的明細(xì)數(shù)據(jù)，更注重分析數(shù)據(jù)的角度，關(guān)心的是數(shù)據(jù)的總體特征。聚合，簡(jiǎn)單講就是數(shù)據(jù)源里的多行數(shù)據(jù)按照一定的標(biāo)準(zhǔn)計(jì)算成一個(gè)數(shù)據(jù)，不管數(shù)據(jù)集里有1行還是多行，視圖里的數(shù)據(jù)都是聚合后的結(jié)果，一行數(shù)據(jù)也是要聚合的，當(dāng)然一行數(shù)據(jù)聚合的結(jié)果是一樣的。實(shí)際上，維度為數(shù)據(jù)聚合提供依據(jù)，而度量是依據(jù)維度聚合得到的結(jié)果。配置了聚合計(jì)算的計(jì)算字段，將根據(jù)配置的維度自動(dòng)進(jìn)行聚合運(yùn)算。如：

求和：SUM([字段])

計(jì)數(shù)：COUNT([字段])

計(jì)數(shù)去重：COUNT(DISTINCT[字段])

求平均值：AVG([字段])

表述的業(yè)務(wù)含義為時(shí)間周圍為2021.3.1~2021.3.15范圍內(nèi)pc端的訂單成功率為0.5。計(jì)算過(guò)程：根據(jù)created_at=2021.3.1~2021.3.15和device=pc，SUM([總訂單數(shù)])=2，SUM([成功訂單數(shù)])=1，SUM([成功訂單數(shù)])/SUM([總訂單數(shù)])=1/2=0.5。QuickBI提供電子表格和儀表盤兩種可視化工具做以上分析。電子表格：儀表盤：通過(guò)可視化的圖標(biāo)去分析數(shù)據(jù)，找出機(jī)會(huì)點(diǎn)或者異常。五、數(shù)據(jù)應(yīng)用通過(guò)可視化的圖表去分析數(shù)據(jù)，找出機(jī)會(huì)點(diǎn)或者異常。可以說(shuō)，前面1、2、3、4所有的工作都在為了第5部分?jǐn)?shù)據(jù)應(yīng)用上。數(shù)據(jù)從用戶中來(lái)，通過(guò)一系列的數(shù)據(jù)沉淀、處理和分析找出機(jī)會(huì)點(diǎn)做決策再回到用戶中去，提升用戶體驗(yàn)，帶動(dòng)業(yè)務(wù)增長(zhǎng)，此即數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。六、結(jié)語(yǔ)本篇文章介紹了分析數(shù)據(jù)的數(shù)據(jù)框架拆解、數(shù)據(jù)處理加工過(guò)程。但是海量數(shù)據(jù)怎么看，看哪些？度量指標(biāo)應(yīng)該怎么設(shè)計(jì)，度量指標(biāo)中什么是業(yè)務(wù)的北極星指標(biāo)等此文還沒(méi)提到。接下來(lái)文章將會(huì)介紹數(shù)據(jù)指標(biāo)體系搭建和數(shù)據(jù)分析的一些方法，也是整個(gè)數(shù)據(jù)分析體系中最核心的內(nèi)容。#專欄作家#花開(kāi)不敗，微信公眾號(hào)：涵小仙女，人人都是