第2篇:原始数据的质控、比对和过滤

这部分内容包括对原始测序数据质控,然后比对过滤,这是所有NGS数据处理的上游分析。

  • ATAC-Seq与其他方法不同的一点是需要过滤去除线粒体(如果是植物,还需要过滤叶绿体),因为线粒体DNA是裸露的,也可以被Tn5酶识别切割。
  • 另外一点需要注意的是课程中给出的是单端比对的示例代码,如果是双端测序做相应更改即可。

学习目标

  • 用FastQC进行质控检测
  • 用Trimmomatic进行质量过滤
  • 用Bowtie2比对,并理解相关参数含义

测序reads 的质控流程示意图

FASTQC

首先对拿到的原始测序数据(fastq或fastq.gz格式)进行质控检测,直接用fastqc软件,再加上multiqc将多个检测结果一起展示。
如:

fastqc -o out_dir raw_data/*gz
multiqc *fastqc.zip --ignore *.html

Trimmomatic

Trimmomatic 可以用于去除接头,过滤低质量数据。相同功能的软件还有很多,如trim_galorecutadapt等,个人比较喜欢trim_galore可以自动识别接头类型。

# 课程中给出的Trimmomatic 的用法(单端测序)
$ java -jar /opt/Trimmomatic-0.33/trimmomatic-0.33.jar SE \
-threads 2 \
-phred33 \
H1hesc_Input_Rep1_chr12.fastq \
../results/trimmed/H1hesc_Input_Rep1_chr12.qualtrim20.minlen36.fq \
LEADING:20 \
TRAILING:20 \
MINLEN:36

Trimmomatic参数含义:可以参考NGS 数据过滤之 Trimmomatic 详细说明
trim_galore使用示例

trim_galore -q 20 --phred33 --stringency 3 --length 20 -e 0.1 --paired fq1 fq2  --gzip -o input_data_dir
# 重新用fastqc检测进行过滤后的reads质量
fastqc -o out_dir *fq.gz
multiqc *fastqc.zip --ignore *.html

比对

Bowtie2是一个快速精确的比对工具,基于Burrows-Wheeler Transform 构建基因组的FM 索引,比对过程所耗内存少。Bowtie2支持局部、双端、缺口比对模式,对大于50bp的reads比对效果更好(小于50bp的reads用Bowtie1)。

创建Bowtie2索引

bowtie2-build <path_to_reference_genome.fa> <prefix_to_name_indexes>
# Can find indexes for the entire genome on Orchestra using following path: /groups/shared_databases/igenome/Homo_sapiens/UCSC/hg19/Sequence/Bowtie2Index/

Bowtie2 比对

  • p: 线程数
  • q: reads是fastq格式
  • x: index路径
  • U: fastq路径
  • S: 输出Sam格式文件
## 课程中给出的代码是单端比对
bowtie2 -p 2 -q \
-x ~/ngs_course/chipseq/reference_data/chr12\
-U ~/ngs_course/chipseq/results/trimmed/H1hesc_Input_Rep1_chr12.qualtrim20.minlen36.fq \
-S ~/ngs_course/chipseq/results/bowtie2/H1hesc_Input_Rep1_chr12_aln_unsorted.sam

NOTE: 如果fastq文件是没有经过trim的,可以用局部比对执行soft-clipping,加上参数--local

过滤reads

首先将sam文件转为bam格式,再对bam文件进行排序,接着过滤唯一比对的reads,去除线粒体reads。
转化为bam格式
使用samtools转换格式

samtools view -h -S -b \
-o H1hesc_Input_Rep1_chr12_aln_unsorted.bam \
H1hesc_Input_Rep1_chr12_aln_unsorted.sam

对bam文件排序
对bam文件按照基因组坐标排序,可以直接使用samtools,也可以使用Sambambasambamba快速处理bam和sam文件。

sambamba sort -t 2 \
-o H1hesc_Input_Rep1_chr12_aln_sorted.bam \
H1hesc_Input_Rep1_chr12_aln_unsorted.bam 

过滤唯一比对的reads

sambamba view -h -t 2 -f bam \
-F "[XS] == null and not unmapped " \
H1hesc_Input_Rep1_chr12_aln_sorted.bam > H1hesc_Input_Rep1_chr12_aln.bam

去除PCR重复
PCR扩增和一些重复序列(如微卫星、着丝粒)会产生重复,干扰真实的富集信号,所以在call peaks前需要先去除重复,这里先用picard去除PCR重复。picard去除PCR重复时要加上参数REMOVE_DUPLICATES=true,否则只是标记了duplicates,并没有去除。

java -jar picard-tools-1.119/MarkDuplicates.jar REMOVE_DUPLICATES=true I=H1hesc_Input_Rep1_chr12_aln.bam O=H1hesc_Input_Rep1_chr12_aln.dedup.bam M=H1hesc.duplicates.log

过滤线粒体reads

samtools index H1hesc_Input_Rep1_chr12_aln.dedup.bam
samtools idxstats H1hesc_Input_Rep1_chr12_aln.dedup.bam > H1hesc_Input_Rep1_chr12_aln.dedup.mitochondrial.stats
samtools view -h H1hesc_Input_Rep1_chr12_aln.dedup.bam | grep -v 'chrM' | samtools view -bS -o H1hesc.final.bam

上面给出的仅是示例代码,和参考课程不一样,实际运行需要修改相应文件。
此时就得到了唯一比对且已经去除过线粒体的比对文件,可以用于接下来的peaks calling。

参考资料:

HBC的深度NGS数据分析课程:https://github.com/hbctraining/In-depth-NGS-Data-Analysis-Course/blob/master/sessionV/lessons/02_QC_and_alignment.md

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,519评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,842评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,544评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,742评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,646评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,027评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,513评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,169评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,324评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,268评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,299评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,996评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,591评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,667评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,911评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,288评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,871评论 2 341

推荐阅读更多精彩内容

  • tags: Trimmomatic NGS fastq NGS 原始数据过滤对后续分析至关重要,去除一些无用的序列...
    wangpeng905阅读 97,463评论 27 197
  • 转录组学习一(软件安装) 转录组学习二(数据下载) 转录组学习三(数据质控) 转录组学习四(参考基因组及gt...
    Dawn_WangTP阅读 20,317评论 3 34
  • Part1 数据下载 先去Korean Personal Genome Project下载了编号为KPGP-00...
    天秤座的机器狗阅读 18,239评论 5 97
  • 山峰倒了 那屹立于心头的笔直 弯曲了 沉甸甸压在 挥之不去的烈火里 猝不及防 突如其来的溃崩 终究到来了 火蛇嚣张...
    抱一阅读 270评论 2 3
  • 高耸的胸脯 任何干瘪的衣服 都能显露出从未有过的激情与澎湃 像浪花一样 在绵绵的大海里推波助澜 像气球一样 在蔚蓝...
    王神马阅读 305评论 0 4