在英国,微生物学家通过开创性的CLIMB项目(用于微生物生物信息学的云基础设施)共享世界一流的HPC资源。
由于科学技术的飞跃发展和高性能计算的发展,基因组测序已成为医疗保健和科学研究的主流。现在,世界各地的人们都可以使用基因组测序来诊断和治疗疾病,并开发针对癌症,阿尔茨海默氏病和其他疾病的新疗法。
基因测序对从事医学微生物学研究的人员而言尤其重要。这是一个问题,因为许多微生物学家无法获得他们进行数据密集型研究所需的计算基础架构,而这些研究通常涉及大量的基因组数据集。
这是英国微生物生物信息学云基础设施(CLIMB)进入的地方。CLIMB项目由国家医学研究委员会(MRC)资助,是华威大学,伯明翰大学,卡迪夫大学,斯旺西大学,巴斯大学和莱斯特大学与Quadram生物技术研究所的合作。CLIMB致力于为微生物生物信息学开发和部署世界一流的网络基础设施,包括面向英国学术微生物学家的基于云的计算,存储和分析工具。
CLIMB已成为英国微生物学家不可或缺的国家能力。最近的一项统计发现,它为来自89个研究机构的1,000多个用户和300多个研究小组提供了服务,其中包括大学,公共卫生机构和政府组织。此外,CLIMB还为英国乃至整个巴勒斯坦,冈比亚和越南的数千名学者,学生和临床微生物学家提供了生物信息学方面的培训。
在英国以外,CLIMB的影响并非没有被忽视。该项目赢得了国际认可,包括2017年HPCwire生命科学领域最佳HPC读者选择奖和学术界,政府或行业的最佳HPC合作奖。[1]
让我们退后一步,从更广泛的角度来看事情。CLIMB项目是通过云接口使HPC资源可用的趋势的一部分。曾经被锁定在大学和行业研究实验室中并且仅对少数几个人可用的系统现在正对许多用户可用。
CLIMB绝对是这种情况。正如CLIMB在《微生物基因组学》杂志上发表的论文中所解释的那样,CLIMB系统是从头开始设计的,可以用作基于云的计算基础架构,从而提供了一个环境,微生物学家可以共享和重用方法和数据,并且无需考虑即可有关底层HPC系统的很多内容。
“云计算方法整合了共享的在线计算基础架构,使最终用户不必担心诸如安装,维护甚至物理计算资源的位置之类的技术问题,以及诸如系统管理之类的其他潜在麻烦问题,数据共享,可扩展性,安全性和备份。”白皮书指出。
引擎盖下的外观
CLIMB的核心基础架构是运行开源OpenStack操作系统的云系统。为了提高弹性,CLIMB分布在四个站点上,每个站点具有500 TB的本地暂存存储。
CLIMB环境的核心是大型共享对象存储系统,该系统提供约2.5 PB的HPC数据存储,可以在站点之间复制。该存储系统基于在具有Intel®Xeon®处理器的Dell EMC PowerEdge服务器上运行的Red Hat Ceph Storage。这个社区系统为研究人员提供了一个存储和共享非常大的微生物数据集的地方。
此外,CLIMB云环境还提供对大量内存(超过78 TB内存)的访问。有了这些强大的功能,CLIMB可以同时运行1000多个虚拟机,并且每个VM都可以预加载软件,由最终用户自定义,并保存为快照,以供基础架构上的其他人重用。
重要要点
CLIMB项目是高性能计算未来的一个很好的例子,其中资源将被虚拟化并通过云服务提供给许多用户。
在这个新世界中,需要访问HPC资源以进行计算和数据密集型工作的用户将把HPC和AI视为他们所需的一切服务。反过来,HPC商店将充当多云服务提供商,它们通过多个存储系统提供集中的计算资源,并可以访问多个内部和外部云。
这个新时代将使高端处理能力和可扩展存储提供给各种规模的企业,包括初创公司以及大学环境中的传统HPC高级用户,从而继续HPC的民主化。