丨選擇實(shí)驗(yàn)樣本量越多越好嗎

要弄明白這個(gè)問(wèn)題，你首先要知道A/B需要做多長(zhǎng)時(shí)間，我給你一個(gè)：A/B測(cè)試所需的時(shí)間=總樣本量/每天可以得到的樣本量。另外，我們做A/B可能出現(xiàn)某種改變會(huì)對(duì)產(chǎn)品、業(yè)務(wù)造成損害的情況，所以這就有一定的試錯(cuò)成本。那么，實(shí)驗(yàn)范圍越小，樣本量越小，試錯(cuò)成本就會(huì)越低。你看，實(shí)踐和理論上對(duì)樣本量的需求，其實(shí)是一對(duì)。所以，我們就要在統(tǒng)計(jì)理論和實(shí)際業(yè)務(wù)場(chǎng)景這兩者中間做一個(gè)平衡：在B。你可能會(huì)說(shuō)，網(wǎng)上有很多計(jì)算樣本量的，我用這些來(lái)計(jì)算出合適的樣本量，難道A/B測(cè)試嗎？如果不適用的話，應(yīng)該怎么計(jì)算呢？(Z1?α+Z1?β

(Z1?α+Zpower2δδn 2δδ (σpooled Zα(1αZScoreZPowerPowerZ Z2σ2σ

為實(shí)驗(yàn)組和對(duì)照組的綜合方差（PooledVariance） 本量的大小就靠這4個(gè)因素了，下面我們就來(lái)具體聊聊每個(gè)因素怎樣影響樣本量n的。這四個(gè)因素里，α、δ和σ2 樣本量n這個(gè)問(wèn)題之前，我先來(lái)給你介紹下Power到底是什么。如何理解PowerStatisticalPower。在第二節(jié)講統(tǒng)計(jì)基礎(chǔ)時(shí)，我講解過(guò)第二類錯(cuò)誤率β（TypeIIError）。在統(tǒng)計(jì)理論中，Power=1–β。PowerA/B可能這么說(shuō)還是有些抽象，不過(guò)沒關(guān)系，Power接觸時(shí)也是一頭霧水。所以，我再舉個(gè)例子來(lái)幫助你理解Power。某社交App的用戶率偏低，產(chǎn)品經(jīng)理想要通過(guò)優(yōu)化用戶流程來(lái)提高用戶率。用戶率在這里的定義是：完成的用戶的總數(shù)/開始的用戶的總數(shù)*100%那么，現(xiàn)在我們就可以用A/B測(cè)試來(lái)驗(yàn)證這種優(yōu)化是否真的能提高用戶率對(duì)照組是正常的用戶流程，輸入個(gè)人基本信息——/郵箱驗(yàn)證——成功 那么，現(xiàn)在如果A/B測(cè)試有80%的Power，就意味著這個(gè)A/B測(cè)試有80%的概率可以準(zhǔn)確地檢測(cè)到這兩組用戶率的不同，得出統(tǒng)計(jì)顯著的結(jié)果。換句話說(shuō)，這個(gè)A/B測(cè)試有20%的概率會(huì)錯(cuò)誤地認(rèn)為這兩組用戶的率是相同的?？梢姡琍ower越大，說(shuō)明A/B（我再給你打個(gè)比方。你可以把A/B試看作是探測(cè)空中飛行物的。那么專門探測(cè)小型無(wú)人機(jī)的的靈敏度，就要比專門探測(cè)大型客機(jī)的的靈敏度高。因?yàn)樘綔y(cè)物越小，就越需要靈敏度更高的。在這里，的靈敏度就相當(dāng)于A/B的r越大，就越能探測(cè)到兩組的不同。Power看成A/Bn認(rèn)識(shí)完P(guān)ower，那現(xiàn)在就讓我們來(lái)看下α、Power、δ和 這四個(gè)因素和樣本量n顯著水平（Significance顯著水平和樣本量成反比：顯著水平越小，樣本量就越大。這個(gè)也不難理解。因?yàn)轱@著水平又被稱為第一類錯(cuò)誤率（eIrrorPower（1–（TypeIIError）β越小。和第一類錯(cuò)誤類似，想要第二類錯(cuò)誤率越小，結(jié)果越精確，就需實(shí)驗(yàn)組和對(duì)照組的綜合方差差值和樣本量成反比：差值越小，樣本量就越大。因?yàn)閷?shí)驗(yàn)組和對(duì)照組評(píng)價(jià)指標(biāo)的差值越小，越不容易被A/B測(cè)試檢到，所以我們需要提高Pow，量來(lái)保證準(zhǔn)確度。在實(shí)踐中，絕大部分的A/B測(cè)試都會(huì)遵循統(tǒng)計(jì)中的慣例：把顯著水平設(shè)置為默認(rèn)的5%，把Power設(shè)置為默認(rèn)的80%。這樣的話我們就確定了中的Z分?jǐn)?shù)，而且四個(gè)因素也確定照組的綜合方差 n≈ 以上其實(shí)是在兩組評(píng)價(jià)指標(biāo)的綜合方差為σ2 下，要使A/B達(dá)到統(tǒng)計(jì)顯著性的最小樣本量。由計(jì)算得到的樣本量，實(shí)是平衡二者后的最優(yōu)樣本量。如果A/B50%/5080%/20），就能更快地獲得統(tǒng)計(jì)上顯著的結(jié)果。其實(shí)現(xiàn)實(shí)正好相反：兩組不均分在非均分的情況下，只有相對(duì)較小組的樣本量達(dá)到最小樣照組上。相對(duì)于率，從而保證A/B測(cè)試更快更準(zhǔn)確地進(jìn)行。A/B舉個(gè)例子，我們現(xiàn)在想要通過(guò)優(yōu)化流程來(lái)增加某App的用戶率。假設(shè)優(yōu)化流程的成本大約是3萬(wàn)元（主要是人力和時(shí)間成本），優(yōu)化前的率為60%，每天開始的人數(shù)為100人，每個(gè)新用戶平均花費(fèi)10元。如果優(yōu)化后的率提升為70%，這樣一年下來(lái)就多了3.65萬(wàn)元（（70%-60%）*100*10*365）的收入，這樣的話一年之內(nèi)的凈收益就為正的，這就說(shuō)明此次優(yōu)化流程不僅回本，而且還帶來(lái)了利潤(rùn)，也就證明10%的差值值為δ收支平衡，我們希望差值δ≥δ收支平衡。在這個(gè)例子中，δ收支平衡=8.2%第二種方法是，如果收益和成本不好估算的話，我們可以從歷史數(shù)據(jù)中尋找蛛絲馬跡，根4比如說(shuō)我們的評(píng)價(jià)指標(biāo)是點(diǎn)擊率，通過(guò)歷史數(shù)據(jù)算出點(diǎn)擊率的平均值為5%，波動(dòng)范圍是[3.5%,6.5%]，那么我們對(duì)實(shí)驗(yàn)組評(píng)價(jià)指標(biāo)的期望值就是至少要大于這個(gè)波動(dòng)范圍，比如7%，那么這時(shí)δ就等于2%（7%–5%）。計(jì)算實(shí)驗(yàn)組和對(duì)照組的綜合方差至于兩組綜合方差σ2 σ2σ

=ptest(1?ptest)+pcontrol(1?pcontrol其中，pcontrol為對(duì)照組中發(fā)生的概率，也就是沒有A/B測(cè)試變化的情況，一般可

=pcontrol+δ，得出的是期望的實(shí)驗(yàn)組中發(fā)生的σ2σ

=2?∑n(xi?ˉ) n? nxi為所取歷史數(shù)據(jù)樣本中第i個(gè)用戶的使用時(shí)長(zhǎng)/金額等ˉ好了，到這里，這節(jié)課的內(nèi)容就全部講完了。不過(guò)為了幫助你更好地掌握這些原理和計(jì)算方式，現(xiàn)在我就用優(yōu)化流程來(lái)增加用戶率的這個(gè)例子，來(lái)給你串下該怎么計(jì)算樣本大小。首先，我們來(lái)計(jì)算實(shí)驗(yàn)組和對(duì)照組之間評(píng)價(jià)指標(biāo)的差值δ。面某App優(yōu)化用戶率的案例中，可以看到，我們從成本和收益的角度估算出δ收支平衡=8.2%。其次，我們來(lái)計(jì)算 前面算出的前面算出的

=8.2%，這時(shí)就可以把流程改變后的率定為68.2%，然后再根概率類指標(biāo)的計(jì) 求出 =60%*(1-60%)+68.2%*(1-68.2%)=0.46最后，我們?cè)贏/B測(cè)試中把實(shí)驗(yàn)組和對(duì)照組進(jìn)行50%/50%均分，利用最終求得樣本這樣我們就求得每組樣本量至少要有548，還記得開頭我提到的網(wǎng)上各種各樣的A/B測(cè)試的樣本量計(jì)算器嗎？比如這款。如果你仔細(xì)研究這些計(jì)算器，就會(huì)發(fā)現(xiàn)這些計(jì)算器幾乎全部是讓你輸入以下4個(gè)參數(shù)：原始轉(zhuǎn)化率pcontrol（BaselineConversionRate）最小可檢測(cè)提升δ（MinimumDetectableLift）或者優(yōu)化版本轉(zhuǎn)化率ptest置信水平(1-α）（ConfidentLevel）或者顯著水平α（SignificanceLevel）StatisticalPower（1-β），在這種情況下我建議你通過(guò)來(lái)為了方便大家日后計(jì)算A/B測(cè)試中各類指標(biāo)的樣本量，我會(huì)在專欄的最后一節(jié)課，教大家用R做一個(gè)既可以計(jì)算概率類指標(biāo)，還可以計(jì)算均值類指標(biāo)的線上樣本量計(jì)算器，敬請(qǐng)期A/B這里要再?gòu)?qiáng)調(diào)一下，這節(jié)課介紹的計(jì)算A/B測(cè)試樣本量的方法，是測(cè)試前對(duì)樣本量的估計(jì)值，是為了讓A/B達(dá)到統(tǒng)計(jì)顯著性的最小樣本量，所以，只要最終的實(shí)際樣最后說(shuō)的是，當(dāng)我們用網(wǎng)上的A/B樣計(jì)算，要輸入數(shù)是，因?yàn)榻^大部分的計(jì)算器都是讓用戶輸入轉(zhuǎn)化率，只能計(jì)算概率類的指標(biāo)，所以當(dāng)計(jì)算概率類指標(biāo)時(shí)我們可以用網(wǎng)上的計(jì)算器，但如果是其他類的指標(biāo)（如均值類）的話不能用網(wǎng)上的計(jì)算器，還是得靠你自己利用計(jì)算測(cè)試所需的最小樣本量，或者跟著我在專欄的最后，一起做一個(gè)既包含概率類指標(biāo)，又包含均值類指標(biāo)的線上樣本量計(jì)算器。A/B 不得售賣。頁(yè)面已增加防盜追蹤，將依法其上一 下一 07｜分析：你得到的真的靠譜嗎言言西西作者回復(fù):你好，1