对于传统的HPC,云和AI的流行需要更长的时间。鉴于严格的性能要求以及超级计算机生成机器的核心通常具有数十年历史的代码,这不足为奇。但是,有一些令人吃惊的地方可以寻找HPC,云和AI平衡寻求线索的方式。
地理空间中最棘手的挑战似乎是将HPC和AI的各个方面结合在一起,而在业务流程层次上,这是相当低的。这是因为某些部分可以很容易地并行化和大量分布,但是增加价值的层依赖于需要集成的丰富,复杂的数据。将HPC和AI的两个世界融合在一起是其自身的挑战,但也有一些亮点,即容器和云形式的基础架构灵活性。
基于位置的数据正在进入几乎每个领域,而为迅速,大规模,尽可能深入地提供数据所涉及的风险,正是少数将其作为使命的公司的与众不同之处。对于像Enview的首席执行官San Guanwardana这样的人,具有HPC背景并且具有驱动业务的需求,需要集成AI而不应对麻烦和本地基础设施缺乏灵活性,这令人大开眼界。
“当我们考虑如何使我们的计算易于处理时,唯一的方法就是尽可能多地并行化,这是大多数HPC的目标。问题是,我们有一些独特的要求和特征,这意味着我们的框架必须有所不同。” Gunawardana告诉我们。在最高层次上,使他们如此困难的部分原因是,一方面,他们在工作流程的一部分中具有令人尴尬的并行工作,但是这些工作必须与多维要素(天气,时间,变化的条件)相结合等)。它们需要与并行部分啮合,但这并不是那么简单,尤其是当机器学习进入整个流程时。
这极大地简化了Enview的地理空间工作流程,但是关键是他们必须拥有可以无缝处理传统HPC,机器学习,近实时工作负载以及非常大的模型(包括远距离)的基础架构和软件框架。到更高分辨率的每公里分析。出于此处的目的,我们将重点关注他们的构建和运行以及原因,因为它与大规模多维HPC相比具有更多的共同点,而不是首次出现,并且可以展示HPC中心如何进行一些工作和正确的动机,使其基础架构更加灵活。