本章主要介绍对均值、比例的假设检验，来判断两组不同设计之间是否有显著差别。
1. 均值的比较 t检验
均值的比较一般可以用t检验，根据设计方式的不同可分为如下两类
（1）配对样本t检验
配对样本，即相同的用户参与了不同的测试。采用相同的用户分别参加两种不同的测试好处就是排除了用户的个体干扰，面临的问题就是需要对用户先接触哪个后接触哪个做好平衡，不能让两个之间有影响。比如测试两种药品，先服用A药后，已经对用户产生了影响，再去服用B药物的话就无法准确的看出效果了。
美食评判中，美食专家们都是品尝完一道菜之后需要漱嘴然后才开始品尝下一道菜，就是这个原因。
其中D表示两个不同测试之间的差别。
(2) 双总体t检验
即不同的用户参与了不同的测试，一个A组，一个B组。通过两组效果的差异进行比较。
假设两个总体分别为X, Y
假设条件：
- 两组样本不相关
- 两组样本近似服从正态分布
在以上的前提假设下，Z=X-Y 也应该近似服从正态分布。且有
均值的估计可以用样本的均值差， 而方差的估计就需要分情况讨论了。
-
已知，
-
- 已知
这个时候需要根据样本1和样本2的方差去联合估计总体的方差
其中联合估计方差- 已知
其中t分布的自由度是
- 已知
差异的效应(effect size)
除了差异是否显著以外，在实际中我们还需要注意差异的效应，即这个差异究竟有多大
2.比例的比较
双比例检验
双总体的比例检验，比例其实可以看做是均值的一种特殊情况，所以双总体的比例的比较也可以转化为均值的比较。
卡方检验
对于分类型变量，另一个常用的检验方法就是卡方检验。卡方检验首先是一种非参数检验方法，其并不依赖于原始数据的分布假定，卡方检验主要应用于分类变量的关联性分析（关于卡方检验的后续再详细介绍)。
对于2x2的列联表来说
| 通过 | 失败 | 总计 | |
|---|---|---|---|
| 实验A | a | b | m |
| 实验B | c | d | n |
| 总计 | r | s | N |
fisher精确检验
上述说的卡方检验和双比例的检验其实都是一种近似，fisher精确检验依据超几何分布，根据排列组合的概率来进行计算。
