一、背景
现在有一个教育平台的初创网站，到了前期推广阶段，它的主要目的是让大家加入微信学习社群。现在需要给网站投放“广告”，刚开始给用户看到的落地页是访问课程资料，这部分内容是免费的，并且在每一块课程上都会加上微信群的二维码，并介绍网站的付费项目；现在新增了开始免费试学这个落地页，本次试验的主要任务是利用A/B测试思想，用测试24天之后拿到的数据，检测两个落地页的转化效果，分析决定是否应该使用新的页面或保留旧的页面，或者应该将测试时间延长，之后再做出决定。
二、测试实验步骤
2.1 AB测试的基本步骤
三、AB测试检验
3.1 数据处理
1. 导入数据
import numpy as np
import pandas as pd
import random
import matplotlib.pyplot as plt
df = pd.read_csv('ab_data.csv')
df.head()
2. 数据字段含义
user_id： 用户id
timestamp：用户访问页面的时间
group： 新旧落地页的分组；把新的落地页分到treatment组，把旧的落地页分到了control组
landing_page：表示落地页
converted：表示是否转化，1表示转化，0表示未转化
3.查看数据维度
df.shape
(294478, 5)
4.查看数据信息
df.info()
5.查看缺失值
df.isnull().sum()
6.对于treatment和 new_page，或者control和old_page会出现不一致的行，将其剔除
df.loc[(df['group'] == 'treatment') != (df['landing_page'] == 'new_page')].count()
# 去除无效数据，并将其赋值到df2中
df2 = df.loc[~((df['group'] == 'treatment') != (df['landing_page'] == 'new_page'))]
df2.count()
7.删除重复值（user_id）
# 删除重复id,保留重复项中的第一项
df2 = df2.drop_duplicates(subset=['user_id'], keep='first') #
8.查看数据维度判断是否还有重复值
# 查看df2的维度
print(df2.shape)
# 查看df2中是否还有重复值
print(df2.user_id.nunique())
(290584, 5)
290584
3.2 计算用户转化率
# 整体转化率
df2['converted'].mean()
0.11959708724499628
# 新页面转化率
df2[df2['landing_page'] == 'new_page']['converted'].mean()
0.11880806551510564
# 旧页面转化率
df2[df2['landing_page'] == 'old_page']['converted'].mean()
0.1203863045004612
# 用户收到新页面的概率
df2[df2['landing_page'] == 'new_page'].shape[0] / df2.shape[0]
0.5000619442226688
- 整体页面转化率为：11.96%
新页面转化率为：11.88%
旧页面的转化率为：12.04%
用户收到新旧页面的概率参半 - 看似使用旧页面效果更好，是本身就是如此，还是由于一些随机因素导致的呢？ 对此需要进行显著性检验：
3.3 进行假设检验
3.3.1 建立原假设和备择假设
由于目标是新页面转化率高于旧页面转化率，设计原假设和备择假设如下：
H0: P_new - P_old <= 0
H1: P_new - P_old > 0
3.3.2 构建检验统计量
# 新页面转化率
p_new = df2[df2['landing_page'] == 'new_page']['converted'].mean()
# 旧页面转化率
p_old = df2[df2['landing_page'] == 'old_page']['converted'].mean()
# 新页面数量
n_new = df2[df2['landing_page'] == 'new_page'].shape[0]
# 旧页面数量
n_old = df2[df2['landing_page'] == 'old_page'].shape[0]
# 引入SciPy库
from scipy.stats import norm
# 计算显著性检验Z值
z_score = (p_old - p_new) / np.sqrt(p_old * (1 - p_old) / n_old + p_new * (1 - p_new) / n_new)
z_score
1.3109271488301917
# 计算置信区间
norm.ppf(1-0.05)
1.6448536269514722
1- norm.cdf(z_score1)
0.09494118879424318
3.3.3 结论
- 由于z_score=1.31小于norm.ppf(1-0.05)=1.64，落在95%的置信区间中，所以无法拒绝原假设，建议延长测试时间，继续观测情况。
