數(shù)據(jù)處理與分析｜涵蓋七大分析方法

數(shù)據(jù)處理與分析｜涵蓋七大分析方法編輯導(dǎo)語(yǔ)：當(dāng)我們面對(duì)繁雜的業(yè)務(wù)數(shù)據(jù)時(shí)，我們需要對(duì)數(shù)據(jù)進(jìn)行處理、篩選、整理，否則數(shù)據(jù)只能是數(shù)據(jù)，而不能成為輔助我們推進(jìn)下一步業(yè)務(wù)的依據(jù)。那么數(shù)據(jù)分析人員可以采納什么方法進(jìn)行數(shù)據(jù)整理？本文作者就數(shù)據(jù)處理、及數(shù)據(jù)分析的常見(jiàn)方法做了闡述，一起來(lái)看一下吧。本文針對(duì)性地講講數(shù)據(jù)分析整個(gè)流程最關(guān)鍵的階段：數(shù)據(jù)處理與分析階段。該階段我分成了三塊：數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析，都圍繞著“數(shù)據(jù)”進(jìn)行，對(duì)海量或雜亂數(shù)據(jù)進(jìn)行處理分析，從中找出痛點(diǎn)，洞察問(wèn)題。一、數(shù)據(jù)采集該處的數(shù)據(jù)采集指的是獲取分析所需要的數(shù)據(jù)，一般可以從內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)兩個(gè)方向獲取。1.內(nèi)部數(shù)據(jù)1）直接獲取直接獲取的前提是，公司進(jìn)行了數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，已為決策分析提供了所有類型數(shù)據(jù)支持。該部分內(nèi)容在之前的文章中也提到過(guò)，但是在這里更加細(xì)化地做了點(diǎn)補(bǔ)充。直接獲取就是指數(shù)據(jù)庫(kù)中有現(xiàn)成的表可以直接獲取到所需的數(shù)據(jù)，不需要分析師再在sql上做復(fù)雜的處理。公司一般會(huì)將數(shù)據(jù)分為ods、dwd、dwb/dws層數(shù)據(jù)。

ods層：明細(xì)數(shù)據(jù)。數(shù)倉(cāng)不做任何數(shù)據(jù)處理，直接原封不動(dòng)地將數(shù)據(jù)同步到該庫(kù)上。為dw層的數(shù)據(jù)加工作準(zhǔn)備。

dwd層：明細(xì)數(shù)據(jù)。該層數(shù)據(jù)已在ods層上對(duì)數(shù)據(jù)做了清洗操作，比如去除空值、臟數(shù)據(jù)等。

dwb/dws層：聚合數(shù)據(jù)。主要對(duì)ods/dwd層的數(shù)據(jù)做些輕度匯總，會(huì)涉及較多業(yè)務(wù)指標(biāo)數(shù)據(jù)。如根據(jù)ods/dwd層的明細(xì)數(shù)據(jù)計(jì)算出七日復(fù)購(gòu)率、周同期對(duì)比數(shù)據(jù)、毛利率等指標(biāo)供分析師直接查詢使用。

一般情況下，分析可以直接從dwb/dws層調(diào)取現(xiàn)成的指標(biāo)數(shù)據(jù)進(jìn)行分析，特殊情況下也可以從dwd層寫復(fù)雜sql的方式計(jì)算成所需的數(shù)據(jù)。2）重新落表獲取前提是dwb/dws層沒(méi)有現(xiàn)成的數(shù)據(jù)可以直接獲取，哪怕自己寫代碼可以從dwd層獲取，也需要寫很復(fù)雜的代碼。此時(shí)，請(qǐng)數(shù)倉(cāng)協(xié)助落成聚合表再去調(diào)取數(shù)據(jù)。重新落表一般會(huì)涉及人力資源的協(xié)調(diào)，需求的溝通。分析師擔(dān)當(dāng)業(yè)務(wù)方和數(shù)倉(cāng)之間的橋梁，將業(yè)務(wù)方的需求理清楚之后，自身又作為數(shù)倉(cāng)的需求方對(duì)數(shù)倉(cāng)提需求。2.外部數(shù)據(jù)當(dāng)分析的內(nèi)容內(nèi)部數(shù)據(jù)無(wú)法滿足時(shí)，或者不夠全面時(shí)，此時(shí)需要借助于外部數(shù)據(jù)來(lái)輔助分析。1）行業(yè)報(bào)告數(shù)據(jù)比如艾瑞網(wǎng)、極光大數(shù)據(jù)、阿里研究所、199IT互聯(lián)網(wǎng)數(shù)據(jù)中心等都會(huì)時(shí)不時(shí)的發(fā)一些行業(yè)分析報(bào)告。整個(gè)行業(yè)的數(shù)據(jù)公司內(nèi)部是無(wú)法獲取的，所以可以從一些行業(yè)分析報(bào)告入手。2）問(wèn)卷采集比如我們需要獲取用戶的一些：

主觀想法：喜歡我們產(chǎn)品的原因是？我們產(chǎn)品最吸引您的點(diǎn)是？您覺(jué)得我們產(chǎn)品最應(yīng)該改進(jìn)的點(diǎn)是？

對(duì)競(jìng)品的行為：您在xx場(chǎng)景下更愿意使用A產(chǎn)品、B產(chǎn)品還是C產(chǎn)品？

用戶習(xí)慣的場(chǎng)景：您在什么場(chǎng)景下更愿意使用xx產(chǎn)品？等。

通過(guò)問(wèn)卷數(shù)據(jù)獲取一些產(chǎn)品中無(wú)法獲得的數(shù)據(jù)，輔助分析。3）宏觀數(shù)據(jù)有時(shí)候我們分析的某個(gè)指標(biāo)有時(shí)候也會(huì)受到宏觀政策的影響，比如宏觀上某項(xiàng)指標(biāo)上調(diào)了xx，對(duì)我們的業(yè)務(wù)會(huì)產(chǎn)生怎樣的影響。二、數(shù)據(jù)處理對(duì)分析師而言，這步需要分析師將數(shù)據(jù)根據(jù)腦中的分析框架處理成所需要的數(shù)據(jù)。1.處理內(nèi)容會(huì)涉及數(shù)據(jù)異常值處理、缺失值處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)聚合、數(shù)據(jù)分組歸類以及數(shù)據(jù)準(zhǔn)確性的校驗(yàn)，為下一步的數(shù)據(jù)分析奠定好基礎(chǔ)。井井有條的數(shù)據(jù)更有利于分析：

剔除無(wú)效數(shù)據(jù)，比如異常值、缺失值、重復(fù)值等。

考慮清楚數(shù)據(jù)聚合的維度，比如時(shí)間上、地域上、用戶上、商品上等按照什么維度聚合。

做好數(shù)據(jù)聚合的處理，比如需要借助開(kāi)窗函數(shù)，是否需要去重計(jì)數(shù)，是否需要累積計(jì)數(shù)等。

2.數(shù)據(jù)驗(yàn)證數(shù)據(jù)采集到之后，還要做好數(shù)據(jù)驗(yàn)證，目的是確保數(shù)據(jù)準(zhǔn)確性，切忌拿到數(shù)據(jù)立馬動(dòng)手分析。1）從驗(yàn)證人員來(lái)看自身多方驗(yàn)證：初始先自身驗(yàn)證一番，與現(xiàn)有報(bào)表中已有數(shù)據(jù)進(jìn)行對(duì)比，觀察是否一致。與需求方協(xié)同驗(yàn)證：數(shù)據(jù)調(diào)取之后先出一份數(shù)據(jù)表，提供給需求方共同驗(yàn)證。不過(guò)分析師接了需求，保證數(shù)據(jù)準(zhǔn)確性是基本要素，一般情況下需求方并不會(huì)協(xié)同驗(yàn)證。前提是，無(wú)現(xiàn)有數(shù)據(jù)可供對(duì)比查驗(yàn)，可將數(shù)據(jù)先提供給需求方過(guò)一眼，確保數(shù)據(jù)準(zhǔn)確無(wú)誤。2）從驗(yàn)證方式來(lái)看定性驗(yàn)證：通過(guò)經(jīng)驗(yàn)或邏輯推理，主觀判斷該數(shù)據(jù)是否符合經(jīng)驗(yàn)或正常邏輯，比如你取到的某個(gè)商品的gmv比整個(gè)品類的gmv還要大，就不符合正常邏輯，肯定有誤。定量驗(yàn)證：依據(jù)統(tǒng)計(jì)方式，計(jì)算出具體的指標(biāo)，多方交叉驗(yàn)證。三、數(shù)據(jù)分析——七大分析方法數(shù)據(jù)分析方法很多，網(wǎng)上有很多資料，這里就講一下其中比較常用的幾種分析方法。1.關(guān)聯(lián)規(guī)則分析關(guān)聯(lián)規(guī)則分析其實(shí)就是購(gòu)物籃分析，就是通過(guò)挖掘用戶的消費(fèi)行為數(shù)據(jù)，探索用戶的消費(fèi)習(xí)慣，從而合理搭配商品，提升收益。舉個(gè)簡(jiǎn)單的例子，近30天共產(chǎn)生了10筆訂單（方便計(jì)算只虛構(gòu)了10筆），1代表訂單中包含該商品，0代表訂單中未包含商品，比如111112訂單，用戶沒(méi)有買蘋果，但買了香蕉（是否買了其他商品不考慮）。其中購(gòu)買了蘋果的訂單有6筆，購(gòu)買了香蕉的有5筆，同時(shí)購(gòu)買了蘋果和香蕉的有3筆。則：①蘋果和香蕉組合的支持度=同時(shí)購(gòu)買了蘋果和香蕉的訂單數(shù)/總訂單數(shù)*100%=3/10*100%=30%含義：同時(shí)購(gòu)買蘋果和香蕉的概率有多大。②蘋果對(duì)香蕉的置信度=同時(shí)購(gòu)買了蘋果和香蕉的訂單數(shù)/購(gòu)買了蘋果的訂單數(shù)*100%=3/6*100%=50%含義：購(gòu)買了蘋果的用戶有多大概率會(huì)再買香蕉。③蘋果對(duì)香蕉的提升度=蘋果對(duì)香蕉的置信度/購(gòu)買香蕉的概率=50%/(5/10)=1含義：購(gòu)買蘋果對(duì)購(gòu)買香蕉會(huì)產(chǎn)生正向影響還是負(fù)向影響還是無(wú)影響。此案例中計(jì)算的提升度是1，表示購(gòu)買蘋果并不會(huì)對(duì)購(gòu)買香蕉產(chǎn)生任何影響。詳細(xì)解釋下：

若提升度=1：表示購(gòu)買蘋果并不會(huì)對(duì)購(gòu)買香蕉產(chǎn)生任何影響，因?yàn)樵谫?gòu)買了蘋果的條件下去買香蕉的概率和直接買香蕉的概率是一樣的；

若提升度>1：表示購(gòu)買蘋果對(duì)購(gòu)買香蕉產(chǎn)生了正向影響，即購(gòu)買蘋果很大可能也會(huì)買香蕉，因?yàn)樵谫?gòu)買了蘋果的條件下去買香蕉的概率大于直接買香蕉的概率；

若提升度<1：表示購(gòu)買蘋果對(duì)購(gòu)買香蕉產(chǎn)生了負(fù)向影響，即購(gòu)買蘋果很大可能就不會(huì)買香蕉，因?yàn)樵谫?gòu)買了蘋果的條件下去買香蕉的概率小于直接買香蕉的概率。

這就是關(guān)聯(lián)規(guī)則分析，一般用以研究探索商品捆綁銷售，比如蘋果是否需要和香蕉在一起捆綁銷售，捆綁銷售收益是否會(huì)更大。2.RFM模型RFM模型主要用來(lái)衡量用戶價(jià)值，做用戶分群，比如區(qū)分出低價(jià)值用戶、高價(jià)值用戶、忠誠(chéng)用戶等用戶群體。

R：用戶最近一次消費(fèi)距今時(shí)間（Recency）；

F：用戶在最近時(shí)間段內(nèi)的消費(fèi)頻次（Frequency）；

M：用戶在最近時(shí)間段內(nèi)的消費(fèi)金額（Monetary）。

這里用一個(gè)比較簡(jiǎn)單的例子講下：先對(duì)R、F、M三個(gè)值進(jìn)行分層并賦予權(quán)重（以下數(shù)據(jù)純屬虛構(gòu)，分層時(shí)根據(jù)實(shí)際情況）。比如用戶最近一次消費(fèi)距今時(shí)間7天以下的打?yàn)?分，8-14天的打?yàn)?分……以此類推。分?jǐn)?shù)高的表示價(jià)值性比較高，分?jǐn)?shù)低的表示價(jià)值性比較低。然后調(diào)取出每個(gè)用戶R、F、M值，填入“按照均值處理前”列中。比如下圖中，用戶“111113”最近一次消費(fèi)距今時(shí)間在7天以下，則R為5，在最近時(shí)間段內(nèi)的消費(fèi)頻次在6-10之間，則F為2，在最近時(shí)間段內(nèi)的消費(fèi)金額在1001-2000之間，則M為2。再將每個(gè)用戶的R、F、M值與均值對(duì)比，大于均值填充1，小于均值填充0，填充于”按照均值處理后“列中。最后將“按照均值處理后”的數(shù)據(jù)參照下圖模型表（下圖不是計(jì)算出來(lái)的，是比較常用的標(biāo)準(zhǔn)），匹配出用戶類型。給用戶匹配之后的用戶價(jià)值類型如下：3.帕累托分析帕累托分析就是“二八法則”?！岸朔▌t”認(rèn)為80%的財(cái)富掌握在20%的人手里，應(yīng)用到業(yè)務(wù)中就是，80%的營(yíng)收在20%的產(chǎn)品里，同理，我們應(yīng)該花80%的時(shí)間內(nèi)在這20%的產(chǎn)品上。也就是說(shuō)，寶貴的時(shí)間與資源應(yīng)該用在刀刃上。如下圖：展示了每個(gè)品類的銷售額，通過(guò)銷售額計(jì)算出銷售額累積值，進(jìn)而算出累積百分比。再通過(guò)銷售額和累積百分比畫出帕累托圖，如下。共15種品類，其中7個(gè)品類貢獻(xiàn)了80%的銷售額，占比46.67%，也就是說(shuō)46.67%的商品為公司帶來(lái)了80%的銷售額，并不符合二八定律，該公司并沒(méi)有強(qiáng)勢(shì)產(chǎn)品。4.用戶生命周期價(jià)值分析用戶生命周期總價(jià)值，主要用于衡量用戶對(duì)產(chǎn)品產(chǎn)生的價(jià)值。以一個(gè)案例講解如下：下圖是一張留存率圖。以2021.12.01——2021.12.07之間的七天留存率來(lái)預(yù)估14日留存、30日留存等。先將黃色部分的七天的留存率取均值，得到圖上最下方的留存平均值。然后按照留存率的均值做擬合，擬合后的結(jié)果如下圖所示。選擇冪函數(shù)擬合，因?yàn)閮绾瘮?shù)擬合的R方接近于1，擬合效果較好。則LT14=100%+51%+53%+37%+32%+29%+29%+25%+23%+22%+20%+19%+18%+17%=4.75天LT已經(jīng)算出來(lái)了，那么下一步就是計(jì)算ARPU了。ARPU值直接取日均值就可以了，假如ARPU日均值是￥60，則LTV=4.75*12=285。即用戶14天的平均生命周期是4.75天，用戶在該生命周期內(nèi)能帶來(lái)的總價(jià)值為￥285。延伸下，如果想知道花費(fèi)在這批用戶身上的成本需要多久才可以回本，怎么計(jì)算呢？這就涉及到了回本周期預(yù)估。比如在前面已經(jīng)預(yù)估了LTV14為￥285，假如已知該渠道的CAC是￥30。則預(yù)估的回本周期是=285/30=9.5天，即投入在該群用戶身上的成本需要9.5天方可回本。5.漏斗分析漏斗分析是數(shù)據(jù)分析中比較常見(jiàn)的分析模型。采取漏斗的方式直觀地表示業(yè)務(wù)從起點(diǎn)到終點(diǎn)的各個(gè)環(huán)節(jié)的轉(zhuǎn)化情況，以便找出有問(wèn)題的環(huán)節(jié)，針對(duì)性的優(yōu)化。如下圖，展示了用戶支付場(chǎng)景的轉(zhuǎn)化率：用戶從打開(kāi)APP到完成支付的過(guò)程。分為進(jìn)入首頁(yè)→進(jìn)入商詳頁(yè)→加入購(gòu)物車→提交訂單→支付完成，直觀分析每個(gè)重要環(huán)節(jié)的轉(zhuǎn)化率。以最直觀最簡(jiǎn)單的方式反映出每個(gè)關(guān)鍵環(huán)節(jié)的轉(zhuǎn)化率，洞察主要問(wèn)題所在。6.波士頓矩陣波士頓矩陣不少人在大學(xué)期間學(xué)過(guò)，工作中也是比較實(shí)用的?？赏ㄟ^(guò)波士頓矩陣分析公司的產(chǎn)品結(jié)構(gòu)，發(fā)現(xiàn)痛點(diǎn)，為是否需要及時(shí)調(diào)整戰(zhàn)略目標(biāo)，以及判斷產(chǎn)品的資源分配是否合理提供了數(shù)據(jù)支持。波士頓矩陣有以下4種結(jié)構(gòu)類型：

明星產(chǎn)品：成長(zhǎng)期。該產(chǎn)品在市場(chǎng)上占有比較大的份額，且處于高速增長(zhǎng)階段。未來(lái)發(fā)展為金牛產(chǎn)品的可能性比較大。此時(shí)抓住機(jī)會(huì)擴(kuò)大投資，提升競(jìng)爭(zhēng)優(yōu)勢(shì)。如圖中的蜜桔、香蕉、蘋果。

金牛產(chǎn)品：成熟期。產(chǎn)品已較為成熟，增長(zhǎng)前景有限。穩(wěn)定發(fā)展，盡量維持好當(dāng)前市場(chǎng)份額。如圖中的西瓜、櫻桃。

問(wèn)題產(chǎn)品：導(dǎo)入期。高速增長(zhǎng)卻市場(chǎng)份額并不高。說(shuō)明此產(chǎn)品雖然高速增長(zhǎng)，但并未及時(shí)開(kāi)拓市場(chǎng)，營(yíng)銷存在問(wèn)題。如圖中的獼猴桃、荔枝。

瘦狗產(chǎn)品：衰退期。既市場(chǎng)份額不高，又增速緩慢，基本可以淘汰，將此資源轉(zhuǎn)而投資給其他更有利的產(chǎn)品。如圖中的草莓、楊桃、哈密瓜。

7.AARRR模型AARRR模型是探索用戶增長(zhǎng)的模型。分別對(duì)應(yīng)用戶生命周期的5個(gè)環(huán)節(jié)：用戶獲取、用戶激活