学生信的那些事儿之十二 - RNAseq 分析流程之用aspera工具下载SRA数据

在Linux系统下安装了conda,配置了镜像,创建了分析环境,并且在环境下下载了常用的分析软件,那么接下来做什么呢?锅碗瓢盆、油盐酱醋都已准备妥当,准备开火煮饭却发现没有米!生信分析的米是啥,是数据,数据从哪里来?一种途径是可以把样本送到测序公司,然后测序公司交付数据,比如说你给我样本(和钱),我交付数据,这是一手的“资料”。另一个途径就是用别人的,而且不用花钱,真的就有这么好的事儿。

NCBI是每只科研(狗)都必然会接触到,会用到的工具(绝对是良心之作)。上面说的另一个途径就是从NCBI中的SRA数据库下载其他课题组已经上传且公开的数据,据说这是每个生信人的必备技能,开始实操前先普及一点基础知识。

什么是SRA数据库?

SRA(Sequence Read Archive)数据库用于存储二代高通量测序的原始数据,包括各种新老平台产生的数据,是NCBI众多数据库中的一个。SRA是国际核酸序列数据库合作组织(INSDC, International Nucleotide Sequence Database Collaboration)的一部分(该组织还包括EBI,DDBJ)。除原始数据外,还包括原始序列与参考基因组的比对信息。

SRA的数据的结构层次是这样的:Studies > Experiments > Samples > Runs。

  • Studies -- 研究课题,或者说研究目的,要验证某个猜想就可能会有N个experiments,数据库中记录时使用的前缀是SRP

  • Experiments -- 实验设计,记录用到的实验材料、平台等信息,数据库中记录时使用的前缀是SRX

  • Samples -- 样品信息,数据库中记录时使用的前缀是SRS

  • Runs -- 测序结果集,测序产生的reads,也就是俗称的data,数据库中记录时使用的前缀是SRR

更加详细的可以参考:NCBI SRA数据库使用详解

综上,我们想要下载某个具体的数据需要的是前缀为SRR的accession number(至于怎么找到这个号,参考上文即可)。

那么,到底怎么下载呢?需要SRA Toolkit这个工具,SRA toolkit是专门用于下载NCBI中的SRA格式数据,并把下载数据转化为fastq格式的工具包https://trace.ncbi.nlm.nih.gov/Traces/sra/sra.cgi?view=toolkit_doc。具体怎样下载安装这个软件此处略过,毕竟本节主要内容是讲aspera。

SRA toolkit安装好之后就可以下载数据了,比如说下载accession number为SRRXXXXXXX的数据,可以用如下命令:

# prefetch 是SRA toolkit中的工具之一,用于下载数据
prefetch SRRXXXXXXX
# 是的,命令就是这么简单。该命令会在家目录下自动创建名为ncbi的目录,一直往下cd就找到了:~/ncbi/public/sra。当然了,也可以通过 -O 参数把数据放在指定目录下

但是如果你真的试过这个方法,一定会抓狂,因为慢到下载2G的数据可能半天时间都不够,妥妥的挥霍生命。当aspera出现后,这个世界安静了。

aspera也是一个软件,同样2G的数据,它只需要不到三分钟就能搞定。至于它为什么这么快,可以自行去百度,我粗浅的理解是他用的数据传输协议(The fasp Protocol)跟其他的工具不一样。Anyway,并不十分重要,会用就行了啊!

# 既然是软件,第一步当然也是下载,然后解压,然后激活,命令如下:
wget -c https://download.asperasoft.com/download/sw/connect/3.6.2/aspera-connect-3.6.2.117442-linux-64.tar.gz
tar -zxvf aspera-connect-3.6.2.117442-linux-64.tar.gz
bash aspera-connect-3.6.2.117442-linux-64.sh

ok,至此apsera安装好了,怎么用呢,说实话真的挺复杂(反正我觉得挺复杂)。

# 命令如下:
prefetch -t ascp -a "/home/hhzhu/.aspera/connect/bin/ascp|/home/hhzhu/.aspera/connect/etc/asperaweb_id_dsa.openssh" SRR1039512 -O /trainee/Jude/RNASeq/rawdata/

搞定aspera至少反反复复5次,过程是真的煎熬,但是能用了之后是真的很爽。其中困扰我很长时间的是命令中用到的参数和引号里面的一长串路径,简单解释下:

-t : 这里有个小背景知识需要点一下,如前所述prefetch是SRA toolkit中的功能之一,主要用于下载.sra数据。下载的时候会有数据下载协议的选择(first try fasp (ascp), use http if cannot download using fasp),如果没有安装aspera就只能用http协议了(巨慢)。所以-t参数的作用是指定下载方式,上面的命令指定ascp,也就是aspera。 建议看看 prefetch --help的内容。

-a:该参数后面需要接ascp所在的绝对路径和previte KEY 的位置(也是绝对路径),中间用‘|’隔开。一般来aspera软件都会被放在家目录下,所以需要改的也就是自己的用户名(我这里的是hhzhu)。

SRR1039512:某个run对应数据的accession number

-O:大写的O,后面接数据存放路径

第一次安装可能会失败,第二次很可能还是失败,也许在那样的时刻你应该同时参考下面的文章:

  1. SRA 数据下载自救指南

  2. Aspera安装和配置

  3. SRA Toolkit说明书

  4. SRA 综述

  • 当然了,安装使用aspera绝对不止这一种方法,多多探索吧~
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容