本部分笔记是整理近期我在科研工作中接触到的一些统计检验方法,为了避免篇幅太长,内容分为几篇,每篇讨论一种检验方法。
不得不感叹统计学真是博大精深啊(我这种学渣渣平时以为大概懂了),真正需要使用它们的时候,认真思考起来,才发现有许多的疑惑。部分疑惑我已经通过查阅文献或网络教程得到理解,也有部分仍然疑惑,等到后续理解了再做更新。
本系列主要内容:
- Student t-test
- Wilcox rank-sum test / Mann-Whitney U test
- Fisher's exact test & Chi-square independent test
- Kolmogorov–Smirnov test
- ANOVA test
第一部分Student t-test:
<p>Student's t-test 是由William Sealy Gosset 于1908年发表的统计检验方法。常用于检验样本的均值,比如单样本时,检验样本均值是否等于某一数值;双样本时,检验两个样本的均值是否相等。Student's t-test是我们通常所说的t-test (后续不作特别声明,t-test都是指Student‘s t-test),它不仅假设样本来自正太总体同时需要样本方差相等,后来也有一些变种t-test,比如Welch's t-test. 对于这些后面会简单提到但不作细讲。</p>
-- 使用Student's t-test的假设前提:
Student's t-test的使用前提是,你的两个样本需满足一下条件:
- 两个样本需来自正太总体;
- 两个样本的方差需相等(方差齐性)。
对于第一个条件,我们可以用一些test来检验其正太性,比如Shapiro-Wilk test,Kolmogorov-Smirnov test,或者用Q-Q plot;而方差齐性可通过F-test, Levene's test, Bartlett's test 等来检验。
-- T-test的应用
- paired-sample
检验配对的样本之间的均值差异。比如对于同一组样本的两次测量结果之间的比较;又比如临床试验中两组年龄和性别上matched 样本。 - independent sample
表示随机的两个样本之间的均值检验。比如检验两个班的月考数学成绩。
-- R语言实现t-test检验
函数:t.test(x, y = NULL, alternative = c("two.sided", "less", "greater"),
mu = 0, paired = FALSE, var.equal = FALSE, conf.level = 0.95, ...)
部分参数说明:
x, y: 我们这里主要讲two-sample 检验,所以x和y两个向量都需要提供,表示两个不同的样本。
alternative: 选择时单侧检验还是双侧检验;
mu: 单样本检验的时候用的参数;
paired: 是否为配对样本检验;
var.equal: 这个参数选择是否样本方差一样,默认时方差不一样,这时候底层实现的是welch's t-test;如果方差一样,选择TRUE,则底层实现的是student's t-test。
-- 使用Student's t-test需要注意的地方 (t-test的缺点):
我们再仔细看看上面t-test的两个使用假设,是不是发现还有个问题,(没错)就是两个样本的大小需不需要考虑呢。对于paired-sample,自然是没有这个问题了,所以我们主要讨论independent样本的检验。<a href="http://www.jstor.org/stable/2684360?origin=crossref&seq=1#page_scan_tab_contents">有一篇研究[2]</a>曾经报道,对于equal-size 的两个样本的t-test ,不管是方差齐或不齐,都能得到非常robust的结果;而unequal-size的两个样本就不能确定了。而当两个样本并非来自正太总体时,不管是sample-size相等或是不等,结果也都不太好。 这表明,t-test对于正态性是比较敏感的;另一方面,当样本一样大小时,t-test对于方差并不敏感;反之,当样本大小不等时,我们使用t-test就不够安全了。
ok,看了这么多,总结起来就一句话,t-test不完美,使用须谨慎。
(若有不对的地方,请留言指正。其他方法后续会更新)
参考:
- https://en.wikipedia.org/wiki/Student%27s_t-test#cite_note-11
- Markowski, Carol A.; Markowski, Edward P. (1990). "Conditions for the Effectiveness of a Preliminary Test of Variance". The American Statistician. 44 (4): 322–326.