產(chǎn)品經(jīng)理數(shù)據(jù)分析六大錦囊使用sensors analytics進(jìn)行test

1、使用 Sensorsytics 進(jìn)行 A/B TestSensors Data 聯(lián)合創(chuàng)始人 & CTOA/B Test 是一種非常常用的產(chǎn)品優(yōu)化，主要用于優(yōu)化產(chǎn)品的界面設(shè)計(jì)、改進(jìn)產(chǎn)品的流程、調(diào)整策略參數(shù)等等，它的原理也非常簡(jiǎn)單，就是觀察用戶在不同場(chǎng)景，如不同界面、不同流程、不同策略參數(shù)下的不同的“反饋”情況，來(lái)判斷這些場(chǎng)景中最符合設(shè)計(jì)意圖的那個(gè)。為了能夠量化比較用戶的“反饋”，是需要定量地對(duì)比分析這些不同場(chǎng)景所相關(guān)的 UV、銷量、轉(zhuǎn)化率等指標(biāo)。這些定量的數(shù)據(jù)分析，往往會(huì)成為 A/B Test 的瓶頸，很多情況下，產(chǎn)品經(jīng)理可能會(huì)有很多嘗試和想法，但是卻會(huì)受限于技術(shù)ytics 這個(gè)產(chǎn)品所擅長(zhǎng)的部分

2、，拉取數(shù)據(jù)、計(jì)算數(shù)據(jù)、分析數(shù)據(jù)的效率。而這正是 Sensors推崇的是，數(shù)據(jù)的“self service”，理想情況下，在完成數(shù)據(jù)接入之后，每一次新的 A/B Test 上線之后，非技術(shù)都可以自助完成數(shù)據(jù)的分析。在這里，會(huì)結(jié)合幾個(gè)典型的案例，來(lái)詳細(xì)介紹如何結(jié)合 Sensorsytics 進(jìn)行 A/B Test。1. 界面的調(diào)整實(shí)驗(yàn)以神策數(shù)據(jù)（Sensors Data）的官網(wǎng)申請(qǐng)表單的窗口為例，來(lái)描述一次界面調(diào)整上的 A/B Test是如何結(jié)合 Sensorsytics 完成的。在的官網(wǎng)右上角有一個(gè)“申請(qǐng)?jiān)囉谩卑粹o，點(diǎn)開后是如下一個(gè)表單：關(guān)于這個(gè)表單的具體樣式，可能會(huì)有很多不同的調(diào)整，例如，這次

3、在考慮調(diào)整這個(gè)頁(yè)面的大小,決定做一個(gè) 5:5 的 A/B Test，看看調(diào)整大小后，用戶提交表單的數(shù)量是否會(huì)增大。那么，結(jié)合 Sensorsytics 產(chǎn)品，這次實(shí)驗(yàn)可以這樣進(jìn)行：前端開發(fā)開發(fā)一個(gè)新的功能，根據(jù)用戶的_id 對(duì) 2 取模；對(duì)模為 0 的那些用戶，給他們展示原有大小的表單，并且調(diào)用 profile_set 接口，把名為“appearance_test”的 profile，設(shè)置成“test1_A”這個(gè)值；對(duì)模為 1 的那些用戶，給他們展示調(diào)整大小后的表單，并且調(diào)用 profile_set 接口，把名為“appearance_test”的 profile，設(shè)置成“test1_B”這個(gè)

4、值；在完成上述修改后，就可以從如下幾個(gè)層面上，迅速地進(jìn)行數(shù)據(jù)分析，拿到實(shí)驗(yàn)的結(jié)果了：可以在事件分析里面，比較“提交表單”這個(gè)事件的觸發(fā)用戶數(shù)，篩選條件中可以添加 “appearance_test”的值為“test1_A”和“test1_B”，然后按照“appearance_test”進(jìn)行分組，就可以比較在這個(gè) A/B Test 中這兩類用戶的提交表單的情況了；如果擔(dān)心用戶“展示表單”的數(shù)量并不完全均衡，從而影響了“提交表單”的量，則可以創(chuàng)建一個(gè)有兩個(gè)步驟的漏斗，第一個(gè)步驟是“展示表單”，第二個(gè)漏斗是“提交表單”，而篩選條件中可以添加 “appearance_test”的值為“test1_A”和

5、“test1_B”，然后按照“appearance_test”進(jìn)行分組，就可以比較在這個(gè)漏斗中這兩類用戶的轉(zhuǎn)化率了。上述的所有這些數(shù)據(jù)分析工作，都是非技術(shù)可以自助完成的，并且在實(shí)驗(yàn)開始后，在很短的時(shí)間內(nèi)就可以實(shí)時(shí)地看到這些數(shù)據(jù)，從而大大地加快實(shí)驗(yàn)的速度，提高界面調(diào)整的效率。順帶說一句，如果有的界面調(diào)整的實(shí)驗(yàn)，可以復(fù)用“appearance_test”這個(gè)字段，然后通過取值來(lái)進(jìn)行區(qū)分，例如，下一個(gè)實(shí)驗(yàn)的這個(gè)取值可以叫“test2_A”和“test2_B”。2. 流程的調(diào)整實(shí)驗(yàn)在這里，以一個(gè)類似于百科的 UGC 類型的產(chǎn)品為例，來(lái)闡述如何結(jié)合 Sensorsytics完成流程調(diào)整的 A/B Tes

6、t。這個(gè)產(chǎn)品的一個(gè)功能，是用戶可以“編輯詞條”，最開始的時(shí)候，對(duì)于一個(gè)非登錄用戶，編輯流程是：瀏覽詞條-點(diǎn)擊編輯按鈕-登錄/-編輯詞條-提交編輯。從漏斗分析的結(jié)果來(lái)看，因?yàn)椤暗卿?”這一步，而導(dǎo)致的流失比較多，因?yàn)椤暗卿?”相對(duì)而言，是一個(gè)代價(jià)很大的操作。后來(lái)，產(chǎn)品經(jīng)理想到一個(gè)主意，也就是將“登錄/”這一步放到“編輯詞條”之后，是否能夠提高轉(zhuǎn)化率？這是出于這么一個(gè)考慮，“編輯詞條”后用戶其實(shí)已經(jīng)是有相當(dāng)?shù)母冻隽?，那么，在有了付出的情況下，是不是用戶相對(duì)而言就不會(huì)放棄？為了驗(yàn)證這個(gè)猜想，決定在 10%的用戶上，做一個(gè) A/B Test，具體步驟如下：在一個(gè)非登錄狀態(tài)的用戶“點(diǎn)擊編輯按鈕”后，以他

7、的_id 對(duì) 10 取模；如果模的結(jié)果為 0，則直接進(jìn)入到“編輯詞條”頁(yè)面，并且在“提交編輯”時(shí)，才觸發(fā)對(duì)登錄狀態(tài)的檢查，同時(shí)也調(diào)用 profile_set 接口，把名為“flow_test”的 profile，設(shè)置成“test1_A”這個(gè)值；如果模的結(jié)果為其他值，則保持原樣，并且也調(diào)用 profile_set 接口，把名為“flow_test”的 profile，設(shè)置成“test1_B”這個(gè)值。后面就是通過創(chuàng)建對(duì)應(yīng)的漏斗，并且添加相應(yīng)的篩選條件，來(lái)分析和比較轉(zhuǎn)化率了。例如，第一個(gè)漏斗是 瀏覽詞條-點(diǎn)擊編輯按鈕-登錄/-編輯詞條-提交編輯，篩選條件是“flow_test”等于“test1_A”，第二個(gè)漏斗是 瀏覽詞條-點(diǎn)擊編輯按鈕-編輯詞條-登錄/是“flow_test”等于“test1_B”。-提交編輯，篩選條件3. 參數(shù)的調(diào)整實(shí)驗(yàn)參數(shù)的調(diào)整，一般是指?jìng)€(gè)性化、等算法參數(shù)的調(diào)整，這些參數(shù)的差異主要是在后端完成的，用戶端并不能明確感知界面或者流程上的差異。對(duì)于這類實(shí)驗(yàn)，可以通過在后端批量進(jìn)行 profile_set 來(lái)完成，的例子來(lái)進(jìn)行說明：舉下面一個(gè)簡(jiǎn)單的調(diào)整模型參數(shù)在進(jìn)行模型訓(xùn)練時(shí)，就已經(jīng)決定了對(duì)一部分，例如 20%用戶使用新的模型參數(shù)，則在訓(xùn)練完成后，可以對(duì)這 20%用戶調(diào)用 profile_set 接口，將“parameter_test”的值設(shè)置為“test1_A”，剩余