基于新一代测序的生物信息学理论与方法.docx

上传人:b****3 文档编号:10390883 上传时间:2023-05-25 格式:DOCX 页数:30 大小:195.82KB
下载 相关 举报
基于新一代测序的生物信息学理论与方法.docx_第1页
第1页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第2页
第2页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第3页
第3页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第4页
第4页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第5页
第5页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第6页
第6页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第7页
第7页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第8页
第8页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第9页
第9页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第10页
第10页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第11页
第11页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第12页
第12页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第13页
第13页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第14页
第14页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第15页
第15页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第16页
第16页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第17页
第17页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第18页
第18页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第19页
第19页 / 共30页
基于新一代测序的生物信息学理论与方法.docx_第20页
第20页 / 共30页
亲,该文档总共30页,到这儿已超出免费预览范围,如果喜欢就下载吧!
下载资源
资源描述

基于新一代测序的生物信息学理论与方法.docx

《基于新一代测序的生物信息学理论与方法.docx》由会员分享,可在线阅读,更多相关《基于新一代测序的生物信息学理论与方法.docx(30页珍藏版)》请在冰点文库上搜索。

基于新一代测序的生物信息学理论与方法.docx

基于新一代测序的生物信息学理论与方法

 

项目名称:

基于新一代测序的生物信息学理论与方法

首席科学家:

张学工清华大学

起止年限:

2012.1-2016.8

依托部门:

教育部中国科学院

一、关键科学问题及研究内容

解读生物细胞复杂的信息调控系统是理解各种复杂生命现象机理的关键。

新一代测序技术为我们提供了从多个角度观测这个复杂调控系统的可能,但要从数量巨大、类型复杂的测序数据中挖掘出规律性的知识、并通过整合这些知识形成对系统的整体认识,需要解决一系列生物信息学理论与方法问题。

本项目拟结合基因组、表观基因组、转录组、调控组、宏基因组等各个生物层面上的应用,从数据产生的源头、数据处理的各个环节和对复杂生物机理的解析等方面入手,系统研究新一代测序相关的一系列生物信息学问题。

这些问题包括:

怎样建立各种新一代测序数据产生和误差的数学模型?

能否通过对数据模型和后续应用的研究指导测序的实验设计和技术改进?

怎样通过算法、软件、硬件和系统的策略有效应对超海量测序数据带来的存储、传输与计算问题?

如何通过信号处理、模式识别等手段准确有效地从ChIP-seq、bisulfite-seq、3C、RNA-seq、CLIP-seq等类型的测序数据中提取各种有效信号?

怎样建立比较各种信号的统计模型?

怎样通过高分辨率基因组和表观基因组数据识别各种调控元件、构建调控系统?

如何通过对RNA测序数据的处理精细绘制转录组、精确构建编码和非编码基因的转录谱和剪接加工模式?

如何在没有参考序列的情况下非监督地组装和识别宏基因组和宏转录组中的有效功能单位、进而对微生物群落的功能进行刻画?

如何对细胞分化和癌症发生发展等复杂生物过程动态地构建调控网络、解读这些过程中的调控程序?

怎样将不同层次、不同尺度上的组学数据进行整合?

如何定量描述复杂生物网络的功能、定量研究生物网络整体特性与疾病等表型的关联?

在新一代测序数据下,怎样才能更有效地开展群体遗传学研究?

采用混合样本测序策略进行全基因组关联研究的统计学性质是怎样的?

怎样通过高分辨率的功能元件谱建立复杂疾病遗传学因素的功能通路?

等等。

这些问题是紧密联系的,概括起来,可以总结为两类科学问题,我们称之为新一代测序数据的计算问题和推理问题。

所谓计算问题,主要包括通过对数据模型的认识改进数据处理质量,通过对算法、软件、存储和计算机体系结构、服务模式等的研究提高数据处理效率和能力等;所谓推理问题,则是指通过对生物问题和测序数据特点两方面的深入研究,对于多种类型的新一代测序数据,提出和发展有效提取生物学信息的理论和方法,提出和发展整合多种组学数据的理论和方法,提出和发展定量描述复杂生物网络、系统及动态演化的理论与方法,并将这些理论与方法应用到细胞分化、癌症发生发展等复杂生物过程调控系统的解析和建模上,获得新的生物学认识。

换句话说,这里的计算问题就是怎样改进和提高超大规模测序数据的处理方法和处理能力,推理问题就是怎样从复杂的测序数据中获取知识和规律。

对这两类问题的研究相辅相成,构成了我们拟研究的新一代生物信息学理论与方法。

围绕这些关键科学问题,按照新一代测序数据产生、处理、解析、应用的主要环节,本项目拟开展的主要研究内容可归纳为10项,分别针对上述两方面的科学问题、按十个主意研究内容展开研究:

(一)超大规模测序数据的处理方法与处理能力

(1)对新一代测序数据产生模型和特点的数学描述,以及在此基础上的新一代测序实验设计理论与方法。

深入理解数据产生过程中可能影响数据质量的各个因素,建立数据产生的数学模型,是更好地处理和应用新一代测序数据的基础。

新一代测序的发展主要是由测序技术自身的发展推动的,尚缺乏从最终应用角度对不同测序技术中各个影响因素的系统研究。

我们将在本项目中对包括Illumina/Solexa、Roche/454、AB/SOLiD和国产AG-100/200测序系统在内的多种测序平台进行实验设计、误差分析、质量评估和平台比较的研究,也包括对将来第三代测序平台的相应研究,发展新一代测序技术的误差分析和质量控制理论,建立数据分布和测序误差的数学模型,设计具有容错和误差纠正能力的数据处理方法,为后续处理算法提供数据模型指导,也通过对测序误差和质量控制的研究为测序技术本身的发展提供反馈。

另一方面,针对测序实验中可以采用的生物条码(barcoding)技术和SOLiD等技术采用的碱基组合编码测序策略,研究在测序技术和实验设计中的编码理论,发展针对不同类型应用的优化实验设计策略和方法。

(2)高效的新一代测序数据基本处理算法和工作流,以及跨平台测序数据的统合分析。

不同类型测序技术的数据有各自的特点,但共同特点是数据量大、数据处理过程复杂、对计算资源要求高,这些特点,制约了生物学和医学实验室对测序数据的应用,也构成了将来个体化基因组发展的一个瓶颈。

我们将对各种测序数据的典型处理算法进行优化,发展针对新一代测序数据处理的可视化交互工作流;研究发展利用GPU/FPGA加速器支持的快速算法,包括大量短序列比对、从头组装、变异位点检测等,大大提高常见测序数据处理流程的计算效率;研究对多种测序平台数据以及基因芯片数据的统合分析(meta-analysis),比较不同平台的数据,有效利用平台间技术差异和互补性,并结合人类基因组和变异组数据资源,提升数据质量,消除测序噪声。

(3)适应大规模基因组数据的数据压缩存储、传输方法和搜索方法,面向深度测序大数据量的计算模型与体系结构探索。

新一代测序的发展和推广应用使生物序列数据增长速度远远超过了摩尔定律对计算机处理能力增长的预期。

我们将深入分析各种基因组数据的特点,针对性地研究高效数据压缩和传输方法,研究新型的数据存储系统构架;研究在压缩空间上进行数据处理的方法,将存储、压缩和处理、应用结合起来考虑,发展适应超大规模基因组数据的搜索方法;深入分析测序数据的特点和测序数据常见处理任务对计算资源的需求特点,探索新的软硬件模型和可能的新型体系结构,探索新的计算服务模型在测序数据存储、传输和处理上的应用,从计算技术上为迎接个体基因组时代的到来做好充分准备,同时推动我国相关信息技术和产业的创新发展。

(二)从复杂的多种测序数据中获取知识和规律

(4)基于高通量基因组、表观基因组数据进行基因调控信号的识别和调控元件功能注释。

新一代测序技术发展了ChIP-seq、bisulfite-seq等高通量、高分辨率检测表观遗传学特征的实验技术,能够揭示基因组中很多原来被认为没有功能的区域或原有技术无法检测的调控因素。

我们将对这些数据进行深入挖掘,研究从中高分辨率检测DNA甲基化、组蛋白修饰等表观遗传学因素的方法,结合基因芯片等其他组学数据,开展表观基因组状态注释和功能预测、研究启动子注释及其使用偏好性,研究非编码RNA的注释及其对染色质沉默和启动子、增强子活性的影响,研究基因测序数据的染色质三维拓扑结构功能注释,建立不同类型细胞间染色质三维结构状态变化的比较和分析方法,研究基因转录系统与基因组序列、表观基因组状态间的联系。

(5)基于多种组学数据研究细胞分化和重编程的数学模型及肿瘤细胞基因组演化模型。

对细胞分化和肿瘤发生等重要生物过程内在分子调控机制的数学描述,是真正理解这些生物过程的关键。

新一代测序提供的高分辨率基因组学、转录组学和表观基因组学数据为建立这种数学描述提供了可能。

本项目将比较和用数学模型刻画不同来源诱导多能干细胞与胚胎干细胞、体细胞在染色质状态与基因表达等方面的差异,分析染色质状态对细胞分化与重编程潜能的影响,建立描述细胞分化与重编程过程的动态演化模型,探索利用人工合成方法修改或扰动生物调控回路的关键环节。

另一方面,将以在我国发病率高的肝癌等恶性肿瘤为例,以体细胞基因突变、染色体重排和表观遗传学修饰等数据为切入点,研究建立肿瘤多维度演化模型,对肿瘤发生和细胞分化过程进行比较,从演化和发育角度探索肿瘤发生发展的机制并进行数学建模。

(6)基于RNA测序的基因表达和选择性剪接分析、转录组分析。

系统研究RNA测序数据处理与分析的方法,重点研究基因选择性剪接模式的定量推断方法和比较不同样本间基因剪接模式差异的方法,与基因表达芯片数据进行比较研究,从理论上探索特殊选择性剪接形式的不可分辨问题,综合考虑基因表达总量、选择性剪接模式和剪接等位体表达比例等因素,研究基因差异表达的概念和组间比较的统计检验方法,发掘不同形式的差异表达的功能影响,研究非编码RNA转录本的表达规律,研究不同样本间或发育过程中转录组变化的比较方法,结合CLIP-seq数据分析基因选择性剪接调控网络。

(7)宏基因组与宏转录组数据的处理方法与功能分析方法研究。

新一代测序的宏基因组、宏转录组数据的处理与单一基因组数据处理相比有很多独特之处,目前通过短序列测序进行宏基因组研究的方法尚很少。

我们将系统研究短序列宏基因组和转录组数据的拼接、组装和比较方法,重点研究宏转录组中的功能转录本识别和基于序列统计特征的宏基因组/转录组监督和非监督分类方法,研究人体微生物群落特征与人体表型特征之间可能的联系,探索微生物基因与宿主基因之间可能的相互作用。

(8)多种组学数据的集成方法研究和生物网络的建模、数学描述和功能研究。

多种测序技术和其他组学技术以不同的尺度向人们展示了复杂生物对象的不同侧面,本项目将研究如何将不同类型的组学数据联系起来、构建包含多种调控因素的分子调控网络。

进一步,系统研究多种类型生物分子网络的数学描述方法,提出能够从整体上反映网络功能特点的数学指标,探索复杂生理病理现象与基因调控网络或蛋白质相互作用网络之间整体特性的关联,探索定量研究复杂生物网络的新途径。

(9)深度测序数据中遗传多态性信号的检测方法,混合样本测序关联研究的统计遗传学理论与方法。

与SNP芯片相比,新一代测序技术能检测人群中发生频率更低的遗传多态性,为研究由多种罕见突变导致的复杂疾病开辟了道路,但开展大规模的基于深度测序的遗传学研究又提出了很多新的理论与方法问题。

本项目将深入研究这些问题,发展从短测序片断中检测点突变、插入删除、基因组结构变异和拷贝数变化等遗传多态性的有效算法,研究在限定测序总量的条件下平衡样本量与测序深度的实验设计方法,发展采用混合样本策略进行基因组、外显子组和RNA测序的优化实验设计理论,研究混合样本测序对统计检测功效的影响,为基于新一代测序的大规模关联研究奠定理论基础。

(10)应用新一代测序数据和统计遗传学分析研究肿瘤演化过程和分子标记。

综合运用本项目取得的理论与方法成果,用群体遗传学方法研究癌细胞群体演化规律,选择对我国人民健康影响极大的肺癌作为研究对象,针对非小细胞肺癌的侵袭和转移,采用混合样本策略进行新一代测序,从基因结构、拷贝数变异、剪接体变异及非编码RNA等水平上寻找各类型非小细胞肺癌的分子特征,为研究这一恶性肿瘤的早期诊断、预后分析和理解其分子机理提供有价值的线索。

二、预期目标

本项目的总体目标是,基于和围绕新一代测序技术相关的一系列科学问题,研究高效处理、分析、挖掘和整合超大规模测序数据和其他组学数据的生物信息学模型、方法、算法和软件,发展新的生物信息学理论与方法,促进新一代测序数据的有效应用,促进从海量数据到科学知识的转化,推动对复杂生命现象内在信息调控系统的认识,推动相关信息技术的发展,使我国生物信息学研究进入世界前沿行列。

五年的预期目标是:

●建立多种新一代测序数据的数学模型和质量控制方法,建立面向新一代测序的编码和实验设计理论。

这些理论和方法,将对测序数据处理提供重要的指导,也为测序技术的改进提供借鉴。

●建立适应多种平台、针对多种应用的新一代测序数据处理方法、算法和软件体系,包括测序读段的回帖、拼接、纠错、多态性检测、蛋白质结合位点信号检测与比较、表观遗传学状态标定和功能元件注释、基因表达估计和剪接模式估计、基因表达比较、宏转录组组装与比较等。

●实现面向新一代大数据量序列数据处理的硬件加速方法,发展基于参考序列的海量测序数据压缩、存储和传输方法,发展面向海量基因组数据的搜索引擎技术,发展适应深度测序数据和个体化基因组数据处理的可重构计算系统结构和编程模型。

●对高等真核生物中大量存在的选择性剪接基因,提出定性和定量分析基因表达和基因差异表达的新理论框架,对选择性剪接的功能和调控形成更系统的认识,对基因差异剪接表达在复杂疾病中的作用得到新的认识。

●针对新一代测序技术的特点,发展基于混合样本测序的统计遗传学新理论和方法,建立基于新一代测序数据进行大规模关联研究的优化实验策略。

●发展集成新一代基因组学数据和其他数据构建分子调控网络的方法,和定量分析生物网络功能的数学模型;综合应用多种测序数据提供的信息,建立细胞分化、癌症发生发展等过程中基因调控与基因组演化的数学模型,在对肝癌、肺癌等疾病的机理分析和分子标志物发现上取得进展。

●主要研究成果在国际权威期刊或重要学术会议上发表。

预计发表重要学术论文100篇以上,部分技术性成果以专利和软件著作权等形式发表,预计申请专利或软件著作权5-10项。

通过发表高水平成果、在国际会议做特邀报告、主办顶尖国际学术会议等,在国际同行中建立重要学术影响。

●通过本项目研究,培养一批具有坚实的生物信息学基础、善于处理和解析超大规模生物学数据、善于从庞杂的数据中探寻复杂生物学规律的年轻科学家。

预计培养博士生、硕士生各20-30名。

三、研究方案

1)总体思路和创新点

新一代测序包含了一系列复杂的实验技术,它对生物学研究带来的革命是多方面的,很多分子和系统生物学问题都需要通过深度测序进行研究;同时,对信息科学与技术的挑战也是系统性的,很多传统的生物信息学问题都需要重新研究。

针对这些特点,本项目将从测序数据产生、处理、解析、应用的各个主要环节进行深入剖析,对其中的生物信息学问题进行系统研究。

研究过程将采用理论研究与实验研究相结合,科学问题与技术问题相结合,生物学研究与信息处理、计算技术和统计学研究相结合的策略。

整个项目研究将围绕统一的总体学术思路来进行。

首先,从数据产生的源头开展生物信息学研究。

发挥项目参加团队同时拥有各种主流第二代测序平台和自主知识产权国产测序平台的优势,针对各种平台分析其数据特点和噪声规律,结合后期处理需求研究影响数据质量的各种因素,以从数据中挖掘生物学规律的最终应用目标来研究优化的实验设计。

同时,提取各种测序数据处理任务中最具共性的信息技术问题,从算法、软件、硬件、系统、服务模式等多角度进行深入研究,一方面研究对现有方法的改进和现有技术的巧妙应用,另一方面从长远考虑,力求发展新的技术体系,从根本上解决不断增长的基因和基因组数据所提出的计算和存储挑战。

更重要的,本项目充分意识到,数据的产出和积累不是目的,而是探究复杂生命系统的手段,真正的目的是通过数据挖掘出知识,推进对生命体内在信息调控系统的认识,进而对健康、农业、环境、能源等相关研究领域做出贡献。

因此,数据的获取不能是盲目的,数据的处理也不能是孤立的,而是必须纳入到整个研究的大循环中进行研究。

这是本项目总体学术思路的关键。

我们将以细胞分化、癌症发生发展等过程中的具体科学问题为例,以最终对生物过程背后分子调控程序进行数学建模为目标,引导对新一代测序数据相关的一系列生物信息学理论、技术与方法的研究。

与目前国内外多数关于新一代测序数据处理的研究大都仅关注某个独立环节相比,这一学术思路是本项目最大的特色。

这一总体思路是本项目最大的创新点,预期成果的创新点包括新理论、新方法、新系统、新发现四个层面。

新理论是指,建立新一代测序数据的信号和噪声模型理论、选择性剪接基因表达和差异表达的新理论、生物网络功能分析的数学模型和定量指标、混合样本测序的统计遗传学新模型;新方法,核心是处理和分析下一代测序数据的方法体系;新系统是,大规模测序数据存储和计算的新的软硬件系统;新发现是,在细胞分化和癌症发生发展中的信息调控规律和模型方面的新发现。

我们也意识到,落实这种整体的、系统的学术研究思路并非轻而易举的事,必须将系统进行合理的分解。

为此,我们对核心科学问题进行了认真梳理,组织国内相关领域最具优势的研究力量,将研究内容划分为分工明确又紧密联系的五个课题,在各个课题的研究中落实总体思路,通过项目的有效组织和研究内容之间的内在联系将各个课题凝聚在一起。

下面分别对各个课题的技术路线和预期创新性进行介绍。

2)技术途径

课题一、多种新一代测序技术的数据产生模型与优化处理方法

本课题重点从测序数据产生源头开始研究数据的特点、实验设计策略和数据处理技术,是整个项目的一个基础。

主要从四个方面开展研究工作,预期可以在对数据产生和实验设计的数学建模、多种不同平台测序数据的联合研究和实用、高效的测序数据处理工作流方面取得创新性的成果。

(1)新一代测序技术中的编码模型及高通量实验设计理论与方法

对基因序列进行编码连接测序是测序技术的一个重要方向,将信息学中的编码理论应用于连接测序技术中,结合荧光检测的分辨率分析,设计可靠的具有纠错能力的多碱基荧光标记测序探针编码与解码方法。

可望建立新的测序编码理论,指导大幅度提高测序读长和速度。

由于新一代测序通量很高,对于一些特定范围的测序实验,可以通过生物条码技术在一个测序通道上对多个样本测序,处理时再利用解码程序将来自不同样本的数据分开;或者,如果测序目的是检测基因组稀有变异,可以采用将多个样本按照一定策略进行混合测序,通过可能的组合模式来推断携带稀有变异的样本。

在这两种策略中,都涉及到怎样更有效设计样本组合模式和编码方案的问题,以最少次数的测序实验来获得最多的无歧义的检测结果。

目前发表的测序应用研究,实验设计很多是根据经费和样本的制约来进行的,缺乏从理论角度对最优实验方案的设计。

本项目将对这一问题进行系统研究,针对具体的生物医学研究问题,综合考虑实验各个环节技术特点,考查实验中影响最终结果的主要因素,对样本量、测序深度、多次测序的批次组合等进行分析,发展能够从理论上指导实验方案设计的新方法。

(2)新一代测序数据的数学模型和质量控制方法

对三种最常用的国外新一代测序平台(Illumina/Solexa、Roche/454、AB/SOLiD)、我国自主研发的AG系列测序平台和将来的第三代测序,通过对实验环节中多种因素的分析,定量研究测序错误出现的规律和与之相关的因素,建立数据的误差模型,用以指导后续的数据处理算法。

在此基础上,研究不同测序平台的特点,研究不同平台和不同应用的质量控制方法以及平台选择和优化组合方案。

在自主研发的AG系列新一代测序平台上,研究与测序编码技术相衔接的测序图像处理和碱基标识算法,结合上述误差模型和组合编码策略,建立我国自主知识产权的高通量测序原始数据处理算法和软件。

同时,也将这些研究的成果反馈到测序技术研发中,推进测序技术本身的进步。

(3)新一代高通量测序数据的高效处理方法与工作流

针对新一代测序数据量大、数据处理过程复杂、对计算资源要求高等共同特点,从硬件环境和软件算法两方面入手,对测序数据的典型处理算法进行优化,研究利用GPU(图形处理单元)/FPGA(可编程逻辑门阵列)对算法进行硬件化来大幅度提高系统性能。

利用CUDA(统一计算设备架构)编程技术,发展适用于GPU的高通量测序数据处理算法和应用程序。

研究可重构工作流技术,发展测序数据处理的可视化交互工作流,实现各种复杂处理流程的快速组装。

(4)测序数据的统合分析(meta-analysis)

统合分析(亦称荟萃分析)是指用数学和统计学方法对多个渠道的数据资料进行定量的综合分析和概括,以提供比单一数据更准确的结果。

生物学研究中,针对同一问题往往存在多种类型的数据,包括不同平台或不同实验室的测序数据、早先的基因芯片数据等,我们将着重进行对两类统合分析问题的研究:

一是不同测序平台数据的统合分析,比如结合454和Solexa测序平台的误差模型,通过统合分析实现基因组中重复序列的精确评估;二是测序数据与其他关联数据的统合分析,比如在人群的遗传关联图谱研究中整合个体基因组测序与国际单倍型计划(HapMap)数据等。

课题二、面向新一代测序大数据量的计算模型与体系结构研究

本课题重点从计算模型和计算机体系结构方面研究新一代测序所面临的计算与存储瓶颈,基本技术路线是:

1、深入发掘哈希索引(Hashindexing)算法的潜力,实现高效的读段回帖和拼接算法;2、充分利用基因组数据自身特点,研究数据压缩和冗余数据删除技术,实现高效的数据压缩与存储方法;3、参考分布式并行系统和MapReduce编程模型,研究实现针对高密度压缩海量基因组数据的搜索核心算法;4、在计算机体系结构方面,通过提取各种测序数据处理算法的核心特征,研究可重构计算技术的混合异构系统结构及其编程模型,利用可重构计算技术突破商业处理器中的指令集和系统结构的限制,实现序列回帖、数据压缩及传输、数据检索等核心算法的加速。

本课题是面向新一代测序数据所提出的现实和未来需求的探索性研究,研究成果将不但是生物信息学领域的创新,也将是对计算、存储技术自身的重要创新。

以最常用的短序列回帖和拼接算法为例,目前方法都采用哈希索引和动态规划方法提高程序效率,进一步分析表明,影响算法性能的主要原因有:

哈希索引表没有数据局部性,导致CPU的缓存命中率低;建立索引需要消耗大量内存;缺乏针对性的计算指令,大量的高并行度位运算只能在CPU中低效率进行;动态规划中数据紧耦合,在CPU难以并行,需要脉动阵列并行系统;通用CPU中强大的浮点运算单元和深度流水线技术在基因序列数据运算中得不到有效利用甚至可能带来负面影响。

基于这些分析和对计算机体系结构发展历程的研究,我们设想提出新型的可重构的体系结构以满足深度测序数据处理需求,利用商业的双CPU系统设计,包含一个X86CPU和标准芯片组和基于FPGA的可重构协处理器,动态地载入针对不同应用优化的指令,配备大容量高宽带内存系统和统一编址的内存空间,X86指令和协处理器扩展指令在同一个虚地址和实地址空间中执行。

在新的结构中,我们拟对测序数据处理程序进行重新设计,解决哈希表和动态规划计算中的性能瓶颈,发展深度测序数据处理的软件包,预期处理速度至少可以比现有基于CPU的系统高出一个数量级以上。

数量巨大且不断增加的数据量是新一代测序对信息技术的一大挑战,我们将从数据压缩方法和存储方法两方面进行深入研究。

基因序列数据有很多自身的特点,我们希望利用这些特点,通过改进基于参考序列的压缩方法达到对巨量测序数据的高密度压缩,而这其中同样涉及到高效的序列回帖算法问题。

我们将把序列回帖与拼接和数据压缩结合起来研究,发展高效的条件压缩方法,并通过考虑序列的生物学性质帮助提高压缩率。

目前的测序数据存储主要依赖传统的磁盘阵列技术,随着数据量超摩尔定律速度的增长,预计近三五年内,一个基因组数据中心需要存储和访问的数据量将达到EB(260)量级,远非当前的磁盘阵列技术能够解决,十分需要前瞻性地对存储方法和系统结构进行研究。

这里的主要问题是存储容量和访问速度。

在硬件层次,采用分层管理的异构介质分级存储系统是拟发展的方向,将SSD固态硬盘、磁盘、磁带、光盘等不同存储介质通过高速网络整合成透明的逻辑存储池,辅以高效能动态分级存储管理软件,有效解决数据中心内冷热数据的合理存放,在可以控制的成本内实现EB级存储。

在软件层次,深入研究面向基因组序列的冗余数据删除技术以降低对物理存储容量的需求,结合高性能序列数据计算系统实现在有限的计算代价下高效的冗余数据删除。

针对访问速度问题,拟采用集群化Scale-out的方法解决数据I/O瓶颈问题,通过多个廉价X86处理节点达到比传统高端存储更优的性能。

从海量的数据进行检索和查询是测序数据应用中的一个基本需求。

基因组数据属于比较典型的非结构化数据,无法利用现有数据库技术进行高效的检索与查询,存储经过高度压缩的数据更增加了检索和查询的难度。

我们将充分考虑测序数据在压缩、存储和处理方案上的特点,参考分布式并行系统和针对大规模数

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 解决方案 > 学习计划

copyright@ 2008-2023 冰点文库 网站版权所有

经营许可证编号:鄂ICP备19020893号-2