PIBLUP:一款高效处理动植物基因组大数据的GS软件

PIBLUP:一款高效处理动植物基因组大数据的GS软件

近期,中国农业大学刘剑锋老师课题组,在Frontiers in Genetics(IF:4.151)杂志上发表了一篇名为“PIBLUP: High-Performance Software for Large-Scale Genetic Evaluation of Animals and Plants”的文章,介绍他们课题组开发的基因组选择软件PIBLUP。文章链接:https://www.frontiersin.org/articles/10.3389/fgene.2018.00226/full?&utm_source=Email_to_authors_&utm_medium=Email&utm_content=T1_11.5e1_author&utm_campaign=Email_publication&field=&journalName=Frontiers_in_Genetics&id=330475

关键词:

高效处理:运算速度快,性能优越

多线程,并行运算:处理基因组大数据和复杂模型

功能强大的GS软件:可以构建和利用A矩阵,G矩阵和H矩阵,加性矩阵,显性矩阵和上位性矩阵,可以计算ABLUP,GBLUP和SSBLUP

国内首款可以处理纵向数据的遗传评估软件: 可以处理面板数据和纵向数据,测定日模型和随机回归模型

操作友好:定义模型简单,操作简单,支持字符串编号

PIBLUP软件利用的技术:

1,PCG,预处理共轭梯度法

预处理共轭梯度法(preconditioned conjugate gradientmethod,PCG)是一种求解方程组的迭代方法,具有快速收敛、存储量小、不必预先估计参数等特点,近年来在求解大型稀疏方程组中取得了较好的成效。预处理共轭梯度法对系数矩阵作预处理,以加速迭代收敛速度。

2,IOD,数据迭代方法

数据迭代方法(iteration on data, IOD),研究表明,使用预处理共轭梯度(PCG)进行数据迭代(IOD)是高效求解混合线性方程组(MME)的方法。

3,MKL,Intel数学核心函数库

Intel数学核心函数库(MKL)是一套高度优化后的数学函数,面向高性能工程和科学应用。英特尔 MKL 的集群版本包括 ScaLAPACK 与分布式内存快速傅立叶转换,并提供了线性代数 (BLAS、LAPACK 和Sparse Solver)、快速傅立叶转换、矢量数学 (Vector Math) 与随机号码生成器支持。MKL下载地址:https://software.intel.com/en-us/mkl

4,MPI,消息传递接口

MPI全称消息传递接口,是Message Passing Interface的缩写,主要用于高性能并行计算。MPI下载地址:https://www.mpich.org/downloads/

PIBLUP功能介绍

根据PIBLUP使用指南介绍,PIBLUP具有以下功能:

  • 1,单性状动物模型,灵活定义固定因子,随机因子,可以使用系谱和基因组数据

  • 2,多性状动物模型,灵活定义固定因子,随机因子,可以使用系谱和基因组数据

  • 3,根据基因组信息构建G加性矩阵,构建显性矩阵和上位性矩阵并估算其效应值

  • 4,单性状随机回归模型,可以使用系谱和基因组数据

  • 5,多性状随机回归模型,可以使用系谱和基因组数据

  • 6,根据系谱和基因组数据,灵活构建H矩阵,设置a,b,tau和omega等参数

结果比较:PIBLUP VS DMU

使用PIBLUP和DMU分析同一数据集,计算GEBV的结果,两者的相关系数为1,表明两者结果完全一致。

速度比较:PIBLUP VS DMU and BLUPF90

文章中比较了PIBLUP,BLUPF90和DMU在单线程和多线程对同一数据的运行结果,结果如下:

结果表明, 在单线程时,PIBLUP运行51.49分钟,BLUPF90运行84.97分钟,DMU运行了58.18分钟,PIBLUP运行时间最短。在四线程时,PIBLUP运行了17.61分钟,BLUPF90运行了49.87分钟,DMU运行了38.79分钟,PIBLUP优势明显。

软件参数文件比较:

下面使用DMU和PIBLUP的参数文件,比较两者在个体动物模型和一步法SSBLUP的使用方法。

1,个体动物模型

模型:

观测值:y

固定因子:sex,birth_mon, birth_weight

随机因子:加性效应a

DMU参数文件

PIBLUP参数文件

2,一步法SSBLUP

模型:


观测值:y
固定因子:beta固定回归系数
随机因子:a加性环境效应,pe永久环境效应

DMU参数文件

PIBLUP参数文件

H矩阵参数设置说明:


可以看出, 相对于DMU,PIBLUP操作更简单方便,语法更接近于模型语法书写。

PIBLUP软件特色:

  • 1,PIBLUP软件结合最新的算法,支持并行计算,运算速度快,符合大数据时代的需求

  • 2,PIBLUP既可用于传统动物模型,又可用于GBLUP和SSBLUP的计算,而且内置G矩阵和H矩阵构建函数,友好方便

  • 3,随机回归模型是动物遗传评估中比较复杂的模型,可以用于多次观测的性状,比如鸡不同时间的产蛋量,猪的生长速度和饲料消耗,牛的不同测定日的产奶量等。PIBLUP分析随机回归模型,可以结合G矩阵和H矩阵,功能强大

  • 4,拥有自主产权,是国内首款既可以分析传统动物模型,又可以分析GBLUP和SSBLUP,还可以结合随机回归模型的全基因组选择软件

PIBLUP版本介绍

PIBLUP分为科研版(个体数有限制,不超过2000)和商用版(无限制)。
科研版免费使用。商用版需要联系作者授权。

科研版PIBLUP下载地址

PIBLUP软件托管在Github,下载地址:https://github.com/huiminkang/PIBLUP](https://github.com/huiminkang/PIBLUP

PIBLUP使用指南

PIBLUP使用指南下载地址:https://github.com/huiminkang/PIBLUP/blob/master/User%20manual%20for%20PIBLUP.pdf

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容