算力+存力:优化基因测序的关键所在
随着智慧医疗的发展和AI、高性能计算在医疗行业的深入应用,医疗行业的数字化改革已步入新的阶段,而随着人们对基因与疾病关系的了解日益深入,基因测序应用在医疗领域逐渐发挥越来越重要的作用。
基因测序检查不仅可以更加准确地诊断疾病,还可以对疾病风险进行预测,受测者可根据检测结果对疾病进行早期干预,从而防止和延缓疾病的发生和发展,促使诊疗模式从治疗为主向以预防为主转变。
另一方面,随着测序应用及测序平台建设成本的不断下降和成熟,越来越多的医院开始自建基因测序平台,力争在基因测序应用上取得更多临床和科研上的突破,从而提升医院在精准医疗、个性化医疗上的实力及竞争力。
但测序应用本质上属于HPC应用,和医院传统的HIS、PACS等核心应用有极大区别。对基因测序应用的工作流程和特点有全面的了解是建设一个高性能、高弹性、高安全性、易管理、易使用平台的关键。
基因测序流程的
三大分析阶段
基因测序全流程由三个分析阶段组成,下图揭示了从测试样本到最终生成解读报告的大体流程:
一级分析:将需要进行测序的生物样本送入基因测序仪中,由测序仪进行WGS(全基因组测序)、WES(外显子测序)等测序操作,测序结果输出到可用于计算机进行分析的FASTQ文件中。FASTQ文件类似一个文本文件,每两行或三行记录一个DNA片段的碱基序列信息,测序质量信息等。
二级分析:算力存储集群对FASTQ文件进行分析和处理,生成可供三级分析使用的VCF文件。
三级分析:医学专家或科研人员通过分析服务器和专业数据库对VCF文件进行解读,给出疾病解读报告或者基因关联分析报告。疾病解读报告主要用于临床,比如某种基因突变是否可以使用某种靶向药物等。基因关联分析报告主要用于科学研究,比如某种基因突变会带来某种生理现象或者疾病等。
而在这三个步骤中,二级分析又分为比对,排序,去重和变异检测四大步骤:
详解基因测序三阶段
以盗版书为例
基因测序的三大阶段包含8个步骤,为了方便大家的理解,我们可以通过一个形象的例子来拆分基因测序的流程。
比如,我们的小编在市场上发现了一本纸质版的《繁花》盗版书,为了找出盗版书中所有的错误并证明其危害,他决定在最短时间内制作出盗版《繁花》的电子版并找出盗版书中的所有错误。具体步骤为:
我们的小编经过以上8个步骤的操作后,终于找出了盗版书的危害,而将此处的盗版书替换成基因便是基因测序的大致流程,这8个步骤中就包含了基因测序的一、二、三级分析过程。
步骤1-3 一级分析过程
1-3步为一级分析过程,该过程主要由二代基因测序仪完成。完整的DNA测序样本在进行测序前会被用超声波击碎为上千万条(根据DNA链条长度不同,有时会高达上亿条)DNA片段。
随后由基因测序仪将上千万条DNA片段中的序列内容解读出来,并将解读结果写入到FASTQ文件中。这些结果数据在FASTQ文件中是乱序写入的,要得到按照测序样本DNA链条的正确基因序列排列的数据还需要在二级分析中完成。
步骤4-7 二级分析过程
这个过程现在通常由高性能处理集群完成。首先通过高性能服务器将测序仪生成的FASTQ文件(盗版书)与参考基因组文件(正版书)进行比对生成BAM文件。然后对BAM文件进行排序和去重,生成可以用于变异检测的BAM文件。
在最后,将BAM文件(有正确页号和行号的盗版书)与参考基因组文件(正版书)再次进行比对,找出BAM文件中所有与参考基因组文件不同之处,并将这些不同(变异)写入到VCF文件中。
步骤8 三级分析过程
在这一步骤中,专家或者科研人员会对VCF文件进行解读和撰写解读报告。解读报告中包括哪些变异是致病基因,哪些变异可以忽略,哪些变异有药物进行对应治疗,哪些变异需要进一步研究等信息。
基因测序的主要挑战
及其应用优化
当前基因测序应用面临的主要挑战为:一方面,一级分析产生数据的速度非常快,数据量也很大。例如,一个30×WGS人类样本文件(30×为测序深度,指每个基因被复制了30遍,WGS为全基因组测序缩写)通过基因测序仪产生的FASTQ文件约为90GB,而现在一台高通量基因测序仪每天能处理100个以上的30×WGS样本,每天能生成约9TB的待分析的原始数据。
另一方面,一台服务器(18核,3.0G主频,384GB内存)分析一个30× WGS样本的FASTQ文件并生成VCF文件大约需要30小时,100个FASTQ文件需要125天(3000小时)进行处理,这还不包括解读VCF文件的时间。
如此一来,二级分析的速度远远跟不上基因测序仪产生数据的速度,这不仅会造成待分析文件的大量堆积,以基因测序为基础的治疗、科研等应用也会受到极大影响。为提升二级分析流程的速度,大幅缩短分析耗时,可以从算力和存储两个层面进行优化。
一、算力与软件融合加速数据分析
算力+专用软件提速的本质是通过提升计算并行度来缩短分析时间。基因测序是典型的计算密集型应用,如果能将海量的计算任务拆分为多个子任务,然后同时运行各个子任务,就能大幅缩短处理时间,使二级分析的速度显著提升。
而这样的解决方案又分为两大类:一类基于CPU进行加速,如CPU + Sentieon软件。Sentieon是一款专门针对X86指令集开发的基因测序加速软件,自2015年发布以来已被全球超过1200家商业公司和科研机构使用,并多次获得国际生信大赛第一名。
另一类基于GPU进行加速,如Nvidia GPU + Parabrics软件。Parabrics是基于GPU并行计算技术进行测序分析加速的专用软件,2019年被Nvidia公司收购。而根据公开资料显示,CPU + Sentieon和GPU + Parabrics两种解决方案都能将一个30× WGS样本的分析时间缩短到30分钟以内。
二、选择最优的数据存储布局
基因测序应用有三种数据存储布局供选择:
戴尔科技基于GPU + Parabrics解决方案的测试研究显示,在二级分析的比对阶段(此时常用的软件为BWA,因此这个阶段有时也称为BWA阶段)采用全外置数据布局时可以获得最快速的处理时间,比混合数据布局快18%的时间。
尽管采用全外置数据布局在比对(BWA)阶段所用时间最短,但结合二级分析的完整流程(比对、排序、去重和变异检测)和大量的生产实践,混合数据布局是最佳选择。具体而言混合布局有以下好处:
易管理、高性能的
戴尔科技集团
基因测序平台解决方案
戴尔科技集团基于混合布局的基因测序平台解决方案为存算分离横向扩展架构,基于戴尔分布式存储PowerScale,PowerEdge高性能服务器和IP网络建设,具有架构简单、性能突出、便于扩展、便于管理、稳定可靠、安全性高的特点。
高性能分布式存储
高性能分布式共享存储采用戴尔分布式横向扩展存储PowerScale,主要缓存基因测序仪输出的海量待分析数据和二级、三级分析结果数据,并为二、三级分析提供高速IO读写支持和数据共享支持。
采用PowerScale存储可以在1分钟内完成在线扩容和性能提升操作,升级或更换硬件节点无需迁移数据,不会中断分析业务。根据具体需求,戴尔科技还可以进一步提供高速数据检索、数据归档、数据容灾,数据防勒索保护等配套解决方案。
PowerScale的具体配置可以根据不同的容量和性能要求,采用F系列(全闪系列),H系列(高性能系列)或者A系列(大容量系列)。对于20台算力服务器以下的中小医院或者科室级基因测序应用,采用PowerScale A系列即能满足性能需求。
普通算力集群
普通算力集群采用戴尔PowerEdge C系列刀片服务器,主要进行外显子测序(WES),转录组测序(RNA-Seq),蛋白结合位点分析(ChIP-Seq)等分析工作,这些工作对算力和内存的需求相对较低,建议配置Intel 5系CPU,256GB以上内存,采用2块1.92TB NVME硬盘存储参考基因组文件,二级分析时产生的临时文件等。
高算力集群
高性能算力集群采用戴尔PowerEdge R750机架式服务器,主要进行全基因组测序(WGS),靶向测序(Panel)等,这些分析工作对算力和内存要求都非常高,建议配置Intel 8系CPU,1TB以上内存,采用4块1.92TB NVME硬盘存储参考基因组文件,二级分析时产生的临时文件等。并可根据二、三级分析加速需求,AI建模/推理需求等选配GPU加速卡。
10台算力服务器以下的平台可以选择10Gb IP网络组建数据传输网,20台算力服务器以下的平台建议选择25Gb IP网络组建数据传输网。
基因正像是人类生命的密码,而基因测序技术就像破译密码,增进人类健康福祉的钥匙。随着基因测序技术的深入应用,人类对抗疾病的水平将上升到一个新高度,而戴尔科技集团将继续以完整的端到端的IT解决方案,助力医疗行业稳健前行。
- 打造专属“她”的存储天地,西部数据春季好礼来袭
- EB5 Capital 的 Highline (JF13) 项目开始获得 I-829 批准
- 韩国隆胸手术Motiva假体在view整形医院使用量高的原因!
- 景泰蓝艺术亮相中泰文化交流活动,彰显中国传统文化国际影响力
- The Open Group 欢迎壳牌成为其最新白金会员
- 缺血性中风与中医
- 2024年成都熠翊发服饰有限公司童装集合店成行业中的宠儿
- 2024年全国坚果果干暨(休闲食品)大型采供会在成都隆重开幕
- 导演乔梁电影《追月》上映,讲述台前台后的反差人生
- Axi Select hailed as the future of prop trading as multiple demo account firms close doors due to pr
- 多行业薪资抢先看 | RGF发布《薪酬观察2024:中国大陆篇》,揭秘2024年薪酬趋势
- Religious Freedom Requires Constant Protection - Speakers Tell UPF
- 贵阳墙绘/涂鸦壁画融艺术的点睛之笔【美佳彩绘】
- Music Licensing Inc. (OTC: SONG) Secures Intellectual Property Rights for Listerine "Mouthwash&
- 汽车模型定制产品各种玻璃钢材料,透明材料定制,用于展示使用
- 位于丰洲的teamLab Planets TOKYO 在Google年度搜索排名中名列“全球最受欢迎博物馆”前5名。从三月开始,将展出以樱花在全空间绽放为主题的艺术作品。
- 李畑受邀出席第20届“韩国品牌大奖”颁奖典礼
- 《橘祥如意》首发剧照,“叔圈天菜”黄维德时隔19年再演民国剧
- 中国好营养百场直播:合理饮食,健康摄入
- 法国娇兰 艺术沙龙 全新香精系列
- 2024年首期高光星少年联合媒体选拔《初舞台秀》圆满举行!
- mophie celebrates Lunar New Year with an exclusive edition Year of the Dragon powerstation plus
- Africarare推出$UBUNTU代币,开启非洲数字经济新时代
- 乡村振兴品牌节年度荣耀盛典璀璨启幕 种花家项目荣登舞台引领乡村振兴新风尚
- 费城龙年旅行“宝典”,节庆欢乐享不停
- 狗剩爹李梦男实力再度出圈燃爆荧屏!《狗剩快跑》成“爆款”!
- 以温暖·至非凡!热立方21周年庆暨2024经销商峰会亮点抢先看
- 代表泰国最高护肤标准的面膜 滤镜之谜FILTERS 即将问世!
- 布瑞克农业互联网孙彤出席黑龙江省亚布力中国企业家论坛民营企业家座谈会及开幕式
- 新一轮港股通调整名单正式生效,智云健康维持港股通标的
推荐
- 奥运冠军刘翔更新社交账号晒出近照 时隔473天更新动态! 2月20日凌晨2点,奥运冠军刘翔更新社交账号晒 资讯
- 王自如被强制执行3383万 据中国执行信息公开网消息,近期,王自如新增一 资讯
- 私域反哺公域一周带火一家店! 三四线城市奶茶品牌茶尖尖两年时间做到GMV 资讯
- 中央气象台连发四则气象灾害预警 暴雪橙色预警+冰冻橙色预警+大雾黄色预警+ 资讯
- 一个“江浙沪人家的孩子已经不卷学习了”的新闻引发议论纷纷 星标★ 来源:桌子的生活观(ID:zzdshg) 没 资讯
- 抖音直播“新红人”进攻本地生活领域 不难看出,抖音本地生活正借由直播向本地生活 资讯
- 中国减排方案比西方更有优势 如今,人为造成的全球变暖是每个人都关注的问 资讯
- 周星驰新片《少林女足》在台湾省举办海选,吸引了不少素人和足球爱好者前来参加 周星驰新片《少林女足》在台湾省举办海选,吸 资讯
- 男子“机闹”后航班取消,同机旅客准备集体起诉 1月4日,一男子大闹飞机致航班取消的新闻登上 资讯
- 看新东方创始人俞敏洪如何回应董宇辉新号分流的? (来源:中国证券报) 东方甄选净利润大幅下滑 资讯