AB测试结果分析

一、假设检验

根据样本（小流量）的观测结果，拒绝或接受关于总体（全部流量）的某个假设，称为假设检验。

假设检验的基本依据是小概率事件原理（小概率事件几乎不发生），如果小概率事件发生了，则有充分理由推翻原假设，否则接受原假设，检验的具体过程是：

• 首先假定原假设成立，并寻找一个原假设成立条件下的发生概率微小的事件，称为检验事件，对应的统计量称为检验统计量

• 其次是采集样本

• 最后观测步骤 1 所定义的小概率事件是否发生

• • 若小概率事件发生，则拒绝原假设，接受备用假设
  • 若小搞错了时间未发生，则接受原假设，拒绝备用假设

具体到AB实验中，涉及实验组和对照组组两个总体，假设实验的某个目标指标满足正态分布，实验组和对照组分别记为$X\sim \mathcal{N}({\mu }_1,{\sigma }_1^2),Y\sim \mathcal{N}({\mu }_2,{\sigma }_2^2)$，常见检验问题是判断实验组对比对照组是否有效，具体又分为几类情况：

I. 原假设$H_0:{\mu }_1\le {\mu }_2$实验组对比对照组负向或无效；备用假设$H_1:{\mu }_1>{\mu }_2$，实验组对比对照组正向

II. 原假设$H_0:{\mu }_1\ge {\mu }_2$实验对比对照组正向或无效；备用假设$H_1:{\mu }_1<{\mu }_2$，实验组对比对照组负向

III. 原假设$H_0:{\mu }_1={\mu }_2$实验对比对照组无效；备用假设$H_1:{\mu }_1\ne {\mu }_2$，实验有效，但未区分正向还是负向效果

与之等价的三个假设检验问题是：

I. 原假设$H_0:{\mu }_1-{\mu }_2\le 0$；备用假设$H_1:{\mu }_1-{\mu }_2>0$

II. 原假设$H_0:{\mu }_1-{\mu }_2\ge 0$；备用假设$H_1:{\mu }_1-{\mu }_2<0$

III. 原假设$H_0:{\mu }_1-{\mu }_2=0$；备用假设$H_1:{\mu }_1-{\mu }_2\ne 0$

如何寻找一个事件，满足在原假设成立条件下发生的概率微小 ？发生概率多小能满足要求 ？

第二个问题比较好回答，一般取 0.01 或 0.05，记为$\alpha =0.01|0.05$，称为检验的显著性。第一个问题需要费一番推导。

以假设检验问题 I 为例，实验收集的样本记为 { X 1 , X 2 . . . , X n } , { Y 1 , Y 2 , . . . , Y 3 } \{X_1, X_2...,X_n\}, \{Y_1, Y_2, ..., Y_3\} {X1​,X2​...,Xn​},{Y1​,Y2​,...,Y3​}, 样本均值$\overline{X}=\frac{{\sum }_i{X}_i}{n},\overline{Y}=\frac{{\sum }_i{Y}_I}{m}$分别总体均值${\mu }_1,{\mu }_2$的无偏相合估计，样本均值之差$\overline{X}-\overline{Y}$是总体均值差${\mu }_1-{\mu }_2$的无偏相合估计，因此样本均值之差$\overline{X}-\overline{Y}$大概率是分布在${\mu }_1-{\mu }_2$附近，直观思考，原假设成立的条件下，$\overline{X}-\overline{Y}$大概率落在非正数附近，$\overline{X}-\overline{Y}$取值为较大的正数的概率较小，如下图：

因此假设检验问题 I 原假设成立条件下的小概率事件定义为：$ {\overline{X}-\overline{Y} > c}$

下面需要做的是在给定小概率值$\alpha$（也就是检验的显著性）的条件下确定阈值 c ，也就是满足不等式$P(\overline{X}-\overline{Y}>c)\le \alpha$的实数 c.

由中心极限定理得到：

$$\begin{gathered} \overline{X}\sim \mathcal{N}({\mu }_1,{\sigma }_1^2/n) \\ \overline{Y}\sim \mathcal{N}({\mu }_2,{\sigma }_2^2/m) \end{gathered}$$

为了确定阈值 c，需要分几种情况：

1. 总体方差${\sigma }_1^2,{\sigma }_2^2$已知
2. 总体方差${\sigma }_1^2={\sigma }_2^2={\sigma }^2$，且未知
3. 总体方差${\sigma }_1^2\ne {\sigma }_2^2$，且未知
4. 总体方差${\sigma }_1^2\ne {\sigma }_2^2$，且未知，大样本场景

首先考虑最简单的情况1, 由独立正态分布特性得到：

$$\overline{X}-\overline{Y}\sim \mathcal{N}({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m})$$

$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}\sim \mathcal{N}(0,1)$$： 正态分布性质

$$P(\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}>z_{\alpha })=\alpha$$ ： 由正态分布的上分位z_{\alpha}数定义

$$P_{H_0}(\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}-\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}>z_{\alpha })=\alpha$$

$$P_{H_0}(\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}>z_{\alpha }+\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}})=\alpha$$

$$P_{H_0}(\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}>z_{\alpha })\le P_{H_0}(\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}>z_{\alpha }+\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}})=\alpha$$: 由事件和子事件概率关系

$$P_{H_0}(\overline{X}-\overline{Y}>z_{\alpha }\ast \sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}})\le \alpha$$

$$c=z_{\alpha }\ast \sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}$$

概念整理：

• 检验显著性：$\alpha$

• 检验统计量：$Z= \overline{X}-\overline{Y} $

• 拒绝域： W I = { Z > z α ∗ σ 1 2 n + σ 2 2 m } W_I = \{ Z >z_{\alpha} * \sqrt{\frac{\sigma_1^2}{n} + \frac{\sigma_2^2}{m}}\} WI​={Z>zα​∗nσ12​​+mσ22​​ ​}

因为 { X ‾ − Y ‾ > z α ∗ σ 1 2 n + σ 2 2 m } \{\overline{X} - \overline{Y} > z_{\alpha} * \sqrt{\frac{\sigma_1^2}{n} + \frac{\sigma_2^2}{m}}\} {X−Y>zα​∗nσ12​​+mσ22​​ ​}与 { X ‾ − Y ‾ σ 1 2 n + σ 2 2 m > z α } \{ \frac{\overline{X} - \overline{Y}}{\sqrt{\frac{\sigma_1^2}{n} + \frac{\sigma_2^2}{m}}} >z_{\alpha} \} {nσ12​​+mσ22​​ ​X−Y​>zα​}是等价事件，因此检验问题 1 经常采用的

• 检验统计量是 $u=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}$
• 拒绝域为 W I = { u > z α } W_I = \{u > z_{\alpha}\} WI​={u>zα​}

p-value：

以检验问题 I 为例

在一个假设检验问题中，拒绝原假设的最小显著性水平成为 p 值。

$$\overline{X}-\overline{Y}\sim \mathcal{N}({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m})$$

$$p=P(T>\overline{X}-\overline{T})$$

利用p值和给定的显著性水平 $\alpha$:

• 若$\alpha \ge p$，则拒绝原假设
• 若$\alpha <p$，则接受原假设

p 值越小，拒绝原假设的理由越充分。

检验错误：

原假设实际成立但被拒绝的错误，称为 I 类错误，对应AB实验中推全了一个没有效果的实验，错误发生的概率记为$\alpha$

原假设实际不成立但被接受的错误，称为 II 类错误，对应AB实验中一个有效果的实验没被推全，错误发生概率记为$\beta$.

以上的检验过程保证原假设成立但被推翻的概率小于\alpha.

样本量一定的情况下，无法同事降低I类错误和II类错误的概率，一般通过保证 I 类错误不高于一个阈值的情况下，通过增大样本量，控制II错误概率。

最小样本量：

以检验问题 I 为例，考察接受原假设的概率：

$$P(\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}<z_{\alpha })=P(\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}<z_{\alpha }-\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}})$$

$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}\sim \mathcal{N}(0,1)$$

$$P(\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}<z_{\alpha }-\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}})=\Phi (z_{\alpha }-\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}})<\beta$$

$$z_{\alpha }-\frac{{\mu }_1-{\mu }_2}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}<z_{1-\beta }$$

假设 m = n

$$\sqrt{n}>\frac{(z_{\alpha }+z_{\beta })\sqrt{{\sigma }_1^2+{\sigma }_2^2}}{{\mu }_1-{\mu }_2}（1）$$

启发：

• 指标总体的方差越大，需要的最小样本量越大

• 控制错误概率越低，需要的最小样本量越大，一般 $\alpha =0.01、0.05，\beta =0.2$

• 实验组相对对照组提升${\mu }_1-{\mu }_2$越大，需要的样本量越小；提升越小，需要的最小样本量越大

• • 当${\mu }_1$从左侧无限接近${\mu }_2$,所需要的最小样本量接近无限大

• 实验最短观测周期：T =$\frac{(z_{\alpha }+z_{\beta })\sqrt{{\sigma }_1^2+{\sigma }_2^2}}{{\mu }_1-{\mu }_2}$ / 单位时长累积样本数量

第2种情况，样本方差未知但相等：

$$\begin{gathered} s_x^2=\frac{1}{n-1}\sum (x_i-\overline{x}{)}^2 \\ {s}_y^2=\frac{1}{m-1}\sum (y_i-\overline{y}{)}^2 \\ {s}_w^2=\frac{(n-1)s_x^2+(m-1)s_y^2}{n+m-2} \end{gathered}$$

$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{s_w\sqrt{\frac{1}{n}+\frac{1}{m}}}\sim t(n+m-2)$

• 检验统计量：$t=\frac{\overline{X}-\overline{Y}}{s_w\sqrt{\frac{1}{n}+\frac{1}{m}}}$

• 拒绝域： W I = { t > t 1 − α ( n + m − 2 ) } W_I = \{ t > t_{1-\alpha}(n + m- 2) \} WI​={t>t1−α​(n+m−2)}

第3中情况，样本样本方差未知，但不等

• 检验统计量：$t=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{s_x^2}{n}+\frac{s_y^2}{m}}}$

• 拒绝域： W I = { t > t 1 − α ( l ) } l = ( s x 2 n + s y 2 m ) 2 / [ s x 4 n 2 ( n − 1 ) + s y 4 m 2 ( m − 1 ) ] W_I = \{ t > t_{1-\alpha}(l) \} \\ l = (\frac{s_x^2}{n} + \frac{s_y^2}{m})^2/[\frac{s_x^4}{n^2(n-1)} +\frac{s_y^4}{m^2(m-1)} ] WI​={t>t1−α​(l)}l=(nsx2​​+msy2​​)2/[n2(n−1)sx4​​+m2(m−1)sy4​​]

第4种情况，大样本情况

• 检验统计量：$u=\frac{\overline{X}-\overline{Y}}{\sqrt{\frac{s_x^2}{n}+\frac{s_y^2}{m}}}$
• 拒绝域： W I = { u > z α } W_I = \{u > z_{\alpha}\} WI​={u>zα​}

二、区间估计

点估计不能提供估计参数的估计误差大小，所以点估计主要用在定性分析的场景，或在对总体参数要求不精确时使用，而在需要用精确总体参数的数据进行决策时则很少使用，这种场景主要使用区间估计。

第1种情况，总体方差已知：

$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}\sim \mathcal{N}(0,1)$$

$$P(-z_{\alpha /2}\le \frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{\sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}}\le z_{\alpha /2})=1-\alpha$$

$$P(\overline{X}-\overline{Y}-z_{\alpha /2}\ast \sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}\le {\mu }_1-{\mu }_2\le \overline{X}-\overline{Y}+z_{\alpha /2}\ast \sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}})=1-\alpha$$

• ${\mu }_1-{\mu }_2$的$1-\alpha$置信区间$[\overline{X}-\overline{Y}-z_{\alpha /2}\ast \sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}},\overline{X}-\overline{Y}+z_{\alpha /2}\ast \sqrt{\frac{{\sigma }_1^2}{n}+\frac{{\sigma }_2^2}{m}}]$

第2种情况，总体方差未知但相等：

• ${\mu }_1-{\mu }_2$的$1-\alpha$置信区间$[\overline{X}-\overline{Y}-t_{1-\alpha /2}(n+m-2)\ast s_w\ast \sqrt{\frac{1}{n}+\frac{1}{m}},\overline{X}-\overline{Y}+t_{1-\alpha /2}(n+m-2)\ast s_w\ast \sqrt{\frac{1}{n}+\frac{1}{m}}]$

第3种情况：

• ${\mu }_1-{\mu }_2$的$1-\alpha$置信区间$[\overline{X}-\overline{Y}-t_{1-\alpha /2}(1)\ast \sqrt{\frac{s_x^2}{n}+\frac{s_y^2}{m}},\overline{X}-\overline{Y}+t_{1-\alpha /2}(l)\ast \sqrt{\frac{s_x^2}{n}+\frac{s_y^2}{m}}]$

第4种情况：

• ${\mu }_1-{\mu }_2$的$1-\alpha$置信区间$[\overline{X}-\overline{Y}-u_{1-\alpha /2}\ast \sqrt{\frac{s_x^2}{n}+\frac{s_y^2}{m}},\overline{X}-\overline{Y}+u_{1-\alpha /2}\ast \sqrt{\frac{s_x^2}{n}+\frac{s_y^2}{m}}]$

三、区间估计与假设检验的关系

• 若检验显著水平$\alpha$ 拒绝域为W，则对立事件$\overline{W}$就是相应参数的$1-\alpha$置信区间
• $\overline{W}$为相应参数$1-\alpha$置信区间，则对立事件W为检验显著水平$\alpha$的拒绝域

四、更多

两个二项分布指标的分析

。。。