随着对芯片数据的更多了解，明白了数据预处理的一些难点。
过去很多不同组的实验人员设计了类似的方案，比如某一类型的肿瘤-正常组对照实验，收集了几个样本，然后获得了芯片的profile数据。后续进一步挖数据的人（多快好省）就希望整合这些样本，毕竟大样本会更有说服力（偏差也很大）。但是由于批次效应的原因，导致整合在一起的数据，分析结果除了两组样本之间的生物学差异外，还有实验室差异和芯片平台差异等等混淆因素。因此，如何在海量的数据里面去除掉不相干的差异（误差），最终得到理想的多样本间差异来进一步分析是很多实验人员所关心的事情。
传统的批次效应去除方法，包含用preprocessCore包的quantile normalization，sva包的Combat或者limma包的removebatcheffect函数等。效果好不好，我没有资格批判，还是根据实验结果来思考。最近发表在bioinformatics上的文章MatchMixeR以及CuBlock，用来合并数据集并去除批次效应。这里只对MatchMixeR的使用方法进行介绍，有需要的朋友可以深入了解。
```
#不是cran或者bioconductor上的包，需要从github上面下载，因此还需要同时下载依赖。
# devtools::install_github("dy16b/Cross-Platform-Normalization/MatchMixeR")
#install.packages('fields')
#install.packages('CLSOCP')
library(MatchMixeR)
data(gpl570_gpl96)
#The functions below perform cross-platform normalization of microarray data, and come from the CONOR package. Dwd is distance weighted discrimination. Eb is empirical bayes. Xpn is cross-platform normalization. The dwd function requires the package rdist. The xpn function requires the package conclust.
#下面这些函数都来源于CONOR包
merge_dwd<-dwd(gpl570,gpl96)
merge_eb<-eb(gpl570,gpl96)
merge_xpn<-xpn(gpl570,gpl96)
merge_gq<-gq(gpl570,gpl96)
#MM和flmer函数源自MatchMixeR包
merge_flmer<-flmer(gpl570,gpl96)
merge_MM<-MM(gpl570,gpl96)
```
看到这里，相信不仅是你蒙了，其实我也蒙了。从经验角度来说，既然作者没有解释清楚，只有自己摸索了。在结果merge_MM这个list中，有一个Yhat，和原始数据是一样的dim，因此我们猜测它是转换后的gpl96数据。
```
colnames(gpl570)<-(paste0(colnames(gpl570),'_1'))
merged_data<-as.data.frame(cbind(gpl570,merge_MM$Yhat))
下面用常规PCA来看批次效应前后数据间的差别
orig_data<-cbind(gpl570,gpl96)
orig_data<-as.data.frame(t(orig_data))
merged_data<-as.data.frame(t(merged_data))
library(ggfortify)
#originaldata，看出来完全区分不开
group<-rep(c("gpl570",'gpl96'),each=58)
orig_data$group<-group
autoplot(prcomp(orig_data[,1:(ncol(orig_data)-1)] ),
data=orig_data,colour='group',
frame.type='norm')+
theme_bw()
merged_data$group<-group
autoplot(prcomp(merged_data[,1:(ncol(merged_data)-1)] ),
data=merged_data,colour='group',
frame.type='norm')+
theme_bw()
```
除了gpl96更紧凑了，好像没什么区别？
而且，用了dwd或者其它的函数结果反而还能接受：
merged_data<-cbind(merge_dwd$x,merge_dwd$y)
merged_data<-as.data.frame(t(merged_data))
我整不明白了。。。。。。。。。在风中凌乱，劈个叉博各位看官一笑
我还有一个小问题：PCA降维来看高维数据之间的差异/相似的意义在哪里？tsne降维之后可以将分组数据，比如这里得GPL570和GPL96分得很开，但是这些数据都是都是事先定义好的，如果要找新的分组分类，就像Seurat所用的是SNN方法。那么用PCA将两组分开，用来证明可以找差异基因是否有意义？
