A-B-test-平臺(tái)架構(gòu)設(shè)計(jì)

1、A/B test 平臺(tái)架構(gòu)設(shè)計(jì)本文以一次性設(shè)計(jì)好A/B test功能架構(gòu)為目的，對(duì)A/B test的使用場(chǎng)景與功能模塊進(jìn)行了分析。 最近在考慮一個(gè)產(chǎn)品的小功能改進(jìn)，目前我們的產(chǎn)品列表按照產(chǎn)品帶來的收益排序，如果用戶點(diǎn)擊了產(chǎn)品之后，那再點(diǎn)擊這個(gè)產(chǎn)品可能就無法帶來很大的收益，于是我們想到，那把用戶點(diǎn)過的產(chǎn)品放在產(chǎn)品列表底部怎么樣呢？ 當(dāng)然團(tuán)隊(duì)內(nèi)部也有不同的聲音，用戶點(diǎn)擊產(chǎn)品之后，可能由于網(wǎng)速、或者手滑，并沒有實(shí)際上注冊(cè)到第三方產(chǎn)品中去，那么放在產(chǎn)品列表底部可能會(huì)給用戶造成困惑，也失去了用戶第二次點(diǎn)擊的機(jī)會(huì)。 內(nèi)部討論過后，我們認(rèn)為這是個(gè)值得做的嘗試，但應(yīng)該以A/B test的方式去實(shí)現(xiàn)。根據(jù)數(shù)據(jù)，

2、來決定是否要全量覆蓋該功能。 A/B test的概念大家并不陌生，被廣泛應(yīng)用于快速迭代的互聯(lián)網(wǎng)產(chǎn)品中。同時(shí)在以前的迭代過程中，我們也以其他方式進(jìn)行過A/B test。 但是A/B test帶來的問題是，單個(gè)功能的A/B test是很容易做的，但與此帶來的數(shù)據(jù)統(tǒng)計(jì)拆分，每次都會(huì)帶來重復(fù)的工作量。因此比較節(jié)約的方式是，一次性設(shè)計(jì)好A/B test功能架構(gòu)，支持未來的持續(xù)A/B test，降低單次測(cè)試帶來的邊際成本。一、A/B test的使用場(chǎng)景 從技術(shù)上講，AB測(cè)試存在兩種場(chǎng)景：純頁面交互A/B和功能A/B。這兩種場(chǎng)景的區(qū)別僅在于是否需要向后端申請(qǐng)不同的服務(wù)。二、功能模塊 A/B test功能模塊

3、大概有以下三個(gè)：用戶分流服務(wù)、A/B test 配置、數(shù)據(jù)統(tǒng)計(jì)。整個(gè)流程如下： 用戶訪問后，根據(jù)用戶屬性，調(diào)取用戶分流服務(wù)，根據(jù)用戶分流服務(wù)返回結(jié)果調(diào)取相應(yīng) AB/TEST 配置。 前端業(yè)務(wù)側(cè)做數(shù)據(jù)埋點(diǎn)，在用戶訪問時(shí)，前端做數(shù)據(jù)上報(bào)。同時(shí)自動(dòng)生成數(shù)據(jù)報(bào)表，處理原始數(shù)據(jù)后給出是否采信方案的結(jié)論。2.1 用戶分流服務(wù) 用戶分流服務(wù)用于將訪問用戶分流進(jìn)入對(duì)應(yīng)客群。 這里我做設(shè)計(jì)的時(shí)候有一個(gè)部分很后悔，就是我曾經(jīng)做了一個(gè)版本是將用戶分類展示不同產(chǎn)品列表的功能。本質(zhì)上就是一種設(shè)定客群然后分流的服務(wù)，當(dāng)時(shí)沒有考慮到后來這個(gè)功能有這樣的拓展，所以與產(chǎn)品列表與運(yùn)營(yíng)位配置耦合度很高。在做 A/B test 的分

4、流服務(wù)時(shí)，只能獨(dú)立再做一套。 事實(shí)上不僅用戶分流服務(wù)是一個(gè)應(yīng)該與各功能模塊解耦的部分，客群服務(wù)（包括用戶信息、用戶畫像建設(shè)）也應(yīng)該解耦。這兩個(gè)服務(wù)結(jié)合起來可用于：為不同用戶做定制化展示、A/B test、黑白名單等功能應(yīng)用。 2.1.1 分層分流 說回用戶分流服務(wù)來，大型系統(tǒng)會(huì)遇到一個(gè)問題，我們總是希望以小范圍的測(cè)試來驗(yàn)證足夠多的的假設(shè)?？扇绻鄠€(gè)部門多實(shí)驗(yàn)并行，實(shí)驗(yàn)之間又相互互斥的話，流量會(huì)不足。這里我們產(chǎn)生一個(gè)“域”的概念，不同域之間互斥，同一個(gè)域的不同層正交，正如下圖所示（圖片引用，具體見文末參考文章，之后不再贅述）： 不同域之間共享100%流量，例如域1分流了30%，那域2就分流70%

5、；同一個(gè)域的不同層之間，會(huì)重復(fù)使用這個(gè)域中的流量，但不同層之間，每次進(jìn)入流量會(huì)重新打散，保證互相不影響；同一個(gè)層之間配置 A/B test 的實(shí)驗(yàn) A/B/N，共同分享這個(gè)域中的流量，不同實(shí)驗(yàn)組之間相互互斥共享100%該域流量； 2.1.2 如何對(duì)用戶分流 用戶分流方式有三種，一般使用的是以用戶維度分流，這樣可以保證單一用戶每次進(jìn)來看到的是相同實(shí)驗(yàn)，不會(huì)造成體驗(yàn)上的不一致：以用戶維度；以分類維度；完全隨機(jī)； 哈希因子：實(shí)驗(yàn)的 Hash 因子有設(shè)備 ID、策略 ID、流量層 ID，根據(jù)具體需求，可以選擇其中的幾個(gè)因子組合后 Hash，。HashID=Hash(設(shè)備 ID，策略 ID，流量層 ID

6、)%100+1 這樣每個(gè)用戶會(huì)得到唯一的 HashID，同時(shí)會(huì)落在1，100的范圍內(nèi)，讓用戶隨機(jī)均勻散落在這個(gè)范圍內(nèi)。如果需要將流量控制的更精準(zhǔn)，可以對(duì)1000甚至10000取余，這個(gè)根據(jù)實(shí)際情況靈活做選擇就好。 在配置實(shí)驗(yàn)時(shí)，根據(jù)實(shí)際需求，為各個(gè)版本均勻切分流量。譬如A版本劃分10%的流量，則 HashID 從 0-10 的用戶被劃分到 A 版本，以此類推。2.2 A/B test 設(shè)置 AB/TEST 設(shè)置用于配置實(shí)驗(yàn)，做實(shí)驗(yàn)的增刪查改，同時(shí)對(duì)線上的實(shí)驗(yàn)做管理，及時(shí)上下線。 管理員在 AB/TEST 配置系統(tǒng)中，新建實(shí)驗(yàn)，并設(shè)置分流規(guī)則。完成后實(shí)驗(yàn)配置入庫，當(dāng)用戶訪問產(chǎn)品時(shí)，根據(jù)分流規(guī)則調(diào)

7、取 AB/TEST 實(shí)驗(yàn)版本。 2.2.1 新建/編輯實(shí)驗(yàn)step1：新建實(shí)驗(yàn)step2：輸入實(shí)驗(yàn)信息（實(shí)驗(yàn)的基本信息、生效時(shí)間）等step3：選擇分流服務(wù)step4：選擇后端服務(wù)step4：選擇數(shù)據(jù)指標(biāo) 2.2.2 管理實(shí)驗(yàn) 管理實(shí)驗(yàn)?zāi)K主要用于上下架實(shí)驗(yàn)。2.3 數(shù)據(jù)統(tǒng)計(jì) A/B test 最重要的一部分是統(tǒng)計(jì)和分析數(shù)據(jù)。在建立實(shí)驗(yàn)時(shí)，同步選擇需要關(guān)注的數(shù)據(jù)指標(biāo)。以實(shí)時(shí)或T+1的方式，展示數(shù)據(jù)報(bào)表。在新建實(shí)驗(yàn)時(shí)，可以在現(xiàn)有的埋點(diǎn)指標(biāo)中做選擇，選擇出用于分析實(shí)驗(yàn)效果的關(guān)鍵漏斗指標(biāo)，生成報(bào)表。在技術(shù)實(shí)現(xiàn)上，埋點(diǎn)的數(shù)據(jù)上報(bào)，需增加分流服務(wù)ID。2.4 數(shù)據(jù)分析 在數(shù)據(jù)統(tǒng)計(jì)完成后，更重要的部分是我

8、們?nèi)绾胃鶕?jù)數(shù)據(jù)報(bào)表來判斷各個(gè)版本的優(yōu)劣。由于其他因素的擾動(dòng)，譬如流量質(zhì)量、級(jí)別等因素，同一個(gè)實(shí)驗(yàn)的多個(gè)版本會(huì)有微小數(shù)據(jù)差別，在一定程度內(nèi)的數(shù)據(jù)差別是正常波動(dòng)，并不能說明某個(gè)版本更優(yōu)。因此大部分的 A/B test 系統(tǒng)采用了 T 檢驗(yàn)。 為什么要 T 檢驗(yàn)或者其他檢驗(yàn)?zāi)?，是因?yàn)?*樣本參數(shù)=總體參數(shù)+機(jī)會(huì)誤差+偏差*，現(xiàn)在我們手里有樣本，可以計(jì)算樣本參數(shù)，但是我們想知道的是總體參數(shù)，但是這個(gè)樣本參數(shù)能不能代表總體參數(shù)呢？T 檢驗(yàn)在這里就是用來判斷是否是機(jī)會(huì)誤差這個(gè)因素造成，通俗點(diǎn)說就是樣本得到的參數(shù)值可不可能由于是抽取的時(shí)候的隨機(jī)造成的。 2.4.1 P 值（P value） P 值檢驗(yàn)用于驗(yàn)

9、證假設(shè)。在 A/B test 里，原先的版本可以稱它為H0（原假設(shè)），新的版本稱為H1（備擇假設(shè)），假設(shè)就是我們認(rèn)為H1版本是優(yōu)于H0的。若 P 值落在置信區(qū)間里，那我們的假設(shè)成立，若 P 值沒有落在置信區(qū)間，就認(rèn)為 P 值推翻了我們的假設(shè)。 P 值越小，我們認(rèn)為H1這個(gè)備擇假設(shè)越靠譜。P 值越大，H1越不靠譜。置信區(qū)間是我們自行定義的“靠譜區(qū)間”。 以上我們計(jì)算出了 T 值，通過查詢界值表，可以獲取到 P 值。 2.4.2 置信區(qū)間 剛才說置信區(qū)間是人工定義的，值你可以定義為0.05、0.1，這個(gè)根據(jù)實(shí)際情況去做選擇，1-就是置信區(qū)間，除此以外的就是拒絕域。若 p ，那么拒絕原假設(shè)；若 p ，那么不能拒絕原假設(shè)。推薦閱讀（即參考文獻(xiàn)） 1.【ABtest在OpenSearch上的設(shè)計(jì)與實(shí)現(xiàn)】 type=2 2.【推薦系統(tǒng)衡量：ABtest框架】 3.【馬蜂窩