丨選擇實驗樣本量越多越好嗎

要弄明白這個問題，你首先要知道A/B需要做多長時間，我給你一個：A/B測試所需的時間=總樣本量/每天可以得到的樣本量。另外，我們做A/B可能出現(xiàn)某種改變會對產(chǎn)品、業(yè)務造成損害的情況，所以這就有一定的試錯成本。那么，實驗范圍越小，樣本量越小，試錯成本就會越低。你看，實踐和理論上對樣本量的需求，其實是一對。所以，我們就要在統(tǒng)計理論和實際業(yè)務場景這兩者中間做一個平衡：在B。你可能會說，網(wǎng)上有很多計算樣本量的，我用這些來計算出合適的樣本量，難道A/B測試嗎？如果不適用的話，應該怎么計算呢？(Z1?α+Z1?β

(Z1?α+Zpower2δδn 2δδ (σpooled Zα(1αZScoreZPowerPowerZ Z2σ2σ

為實驗組和對照組的綜合方差（PooledVariance） 本量的大小就靠這4個因素了，下面我們就來具體聊聊每個因素怎樣影響樣本量n的。這四個因素里，α、δ和σ2 樣本量n這個問題之前，我先來給你介紹下Power到底是什么。如何理解PowerStatisticalPower。在第二節(jié)講統(tǒng)計基礎時，我講解過第二類錯誤率β（TypeIIError）。在統(tǒng)計理論中，Power=1–β。PowerA/B可能這么說還是有些抽象，不過沒關系，Power接觸時也是一頭霧水。所以，我再舉個例子來幫助你理解Power。某社交App的用戶率偏低，產(chǎn)品經(jīng)理想要通過優(yōu)化用戶流程來提高用戶率。用戶率在這里的定義是：完成的用戶的總數(shù)/開始的用戶的總數(shù)*100%那么，現(xiàn)在我們就可以用A/B測試來驗證這種優(yōu)化是否真的能提高用戶率對照組是正常的用戶流程，輸入個人基本信息——/郵箱驗證——成功 那么，現(xiàn)在如果A/B測試有80%的Power，就意味著這個A/B測試有80%的概率可以準確地檢測到這兩組用戶率的不同，得出統(tǒng)計顯著的結果。換句話說，這個A/B測試有20%的概率會錯誤地認為這兩組用戶的率是相同的?？梢姡琍ower越大，說明A/B（我再給你打個比方。你可以把A/B試看作是探測空中飛行物的。那么專門探測小型無人機的的靈敏度，就要比專門探測大型客機的的靈敏度高。因為探測物越小，就越需要靈敏度更高的。在這里，的靈敏度就相當于A/B的r越大，就越能探測到兩組的不同。Power看成A/Bn認識完Power，那現(xiàn)在就讓我們來看下α、Power、δ和 這四個因素和樣本量n顯著水平（Significance顯著水平和樣本量成反比：顯著水平越小，樣本量就越大。這個也不難理解。因為顯著水平又被稱為第一類錯誤率（eIrrorPower（1–（TypeIIError）β越小。和第一類錯誤類似，想要第二類錯誤率越小，結果越精確，就需實驗組和對照組的綜合方差差值和樣本量成反比：差值越小，樣本量就越大。因為實驗組和對照組評價指標的差值越小，越不容易被A/B測試檢到，所以我們需要提高Pow，量來保證準確度。在實踐中，絕大部分的A/B測試都會遵循統(tǒng)計中的慣例：把顯著水平設置為默認的5%，把Power設置為默認的80%。這樣的話我們就確定了中的Z分數(shù)，而且四個因素也確定照組的綜合方差 n≈ 以上其實是在兩組評價指標的綜合方差為σ2 下，要使A/B達到統(tǒng)計顯著性的最小樣本量。由計算得到的樣本量，實是平衡二者后的最優(yōu)樣本量。如果A/B50%/5080%/20），就能更快地獲得統(tǒng)計上顯著的結果。其實現(xiàn)實正好相反：兩組不均分在非均分的情況下，只有相對較小組的樣本量達到最小樣照組上。相對于率，從而保證A/B測試更快更準確地進行。A/B舉個例子，我們現(xiàn)在想要通過優(yōu)化流程來增加某App的用戶率。假設優(yōu)化流程的成本大約是3萬元（主要是人力和時間成本），優(yōu)化前的率為60%，每天開始的人數(shù)為100人，每個新用戶平均花費10元。如果優(yōu)化后的率提升為70%，這樣一年下來就多了3.65萬元（（70%-60%）*100*10*365）的收入，這樣的話一年之內的凈收益就為正的，這就說明此次優(yōu)化流程不僅回本，而且還帶來了利潤，也就證明10%的差值值為δ收支平衡，我們希望差值δ≥δ收支平衡。在這個例子中，δ收支平衡=8.2%第二種方法是，如果收益和成本不好估算的話，我們可以從歷史數(shù)據(jù)中尋找蛛絲馬跡，根4比如說我們的評價指標是點擊率，通過歷史數(shù)據(jù)算出點擊率的平均值為5%，波動范圍是[3.5%,6.5%]，那么我們對實驗組評價指標的期望值就是至少要大于這個波動范圍，比如7%，那么這時δ就等于2%（7%–5%）。計算實驗組和對照組的綜合方差至于兩組綜合方差σ2 σ2σ

=ptest(1?ptest)+pcontrol(1?pcontrol其中，pcontrol為對照組中發(fā)生的概率，也就是沒有A/B測試變化的情況，一般可

=pcontrol+δ，得出的是期望的實驗組中發(fā)生的σ2σ

=2?∑n(xi?ˉ) n? nxi為所取歷史數(shù)據(jù)樣本中第i個用戶的使用時長/金額等ˉ好了，到這里，這節(jié)課的內容就全部講完了。不過為了幫助你更好地掌握這些原理和計算方式，現(xiàn)在我就用優(yōu)化流程來增加用戶率的這個例子，來給你串下該怎么計算樣本大小。首先，我們來計算實驗組和對照組之間評價指標的差值δ。面某App優(yōu)化用戶率的案例中，可以看到，我們從成本和收益的角度估算出δ收支平衡=8.2%。其次，我們來計算 前面算出的前面算出的

=8.2%，這時就可以把流程改變后的率定為68.2%，然后再根概率類指標的計 求出 =60%*(1-60%)+68.2%*(1-68.2%)=0.46最后，我們在A/B測試中把實驗組和對照組進行50%/50%均分，利用最終求得樣本這樣我們就求得每組樣本量至少要有548，還記得開頭我提到的網(wǎng)上各種各樣的A/B測試的樣本量計算器嗎？比如這款。如果你仔細研究這些計算器，就會發(fā)現(xiàn)這些計算器幾乎全部是讓你輸入以下4個參數(shù)：原始轉化率pcontrol（BaselineConversionRate）最小可檢測提升δ（MinimumDetectableLift）或者優(yōu)化版本轉化率ptest置信水平(1-α）（ConfidentLevel）或者顯著水平α（SignificanceLevel）StatisticalPower（1-β），在這種情況下我建議你通過來為了方便大家日后計算A/B測試中各類指標的樣本量，我會在專欄的最后一節(jié)課，教大家用R做一個既可以計算概率類指標，還可以計算均值類指標的線上樣本量計算器，敬請期A/B這里要再強調一下，這節(jié)課介紹的計算A/B測試樣本量的方法，是測試前對樣本量的估計值，是為了讓A/B達到統(tǒng)計顯著性的最小樣本量，所以，只要最終的實際樣最后說的是，當我們用網(wǎng)上的A/B樣計算，要輸入數(shù)是，因為絕大部分的計算器都是讓用戶輸入轉化率，只能計算概率類的指標，所以當計算概率類指標時我們可以用網(wǎng)上的計算器，但如果是其他類的指標（如均值類）的話不能用網(wǎng)上的計算器，還是得靠你自己利用計算測試所需的最小樣本量，或者跟著我在專欄的最后，一起做一個既包含概率類指標，又包含均值類指標的線上樣本量計算器。A/B 不得售賣。頁面已增加防盜追蹤，將依法其上一 下一 07｜分析：你得到的真的靠譜嗎言言西西作者回復:你好，1