首页>>新闻资讯>>行业动态

云端高性能计算崛起,亚马逊云科技再为人先丨亚马逊云科技怎么样

2023-08-05 01:50:34 39

HyperionResearch的最新调查显示,2021年全球HPC的整体支出(包括本地、云和人工智能)达到了348亿美元,并有望在2022年达到400亿美元,预计到2026年可以达到500亿美元的规模。而市场增长的亮点来自于云端HPC的旺盛需求,HPC与云的深度融合正在提速。而作为云计算龙头的亚马逊云科技,其日前举办的re:Invent2022上的系列举措,则更预示着云端高性能计算时代的到来。

HPC发展迅速,云端HPC崛起

众所周知,高性能计算(简称HPC)是科学家、工程师和研究人员手中用来完成庞大复杂的计算密集型任务的利器,在天气预报、石油和天然气勘探、物理学、量子力学和其它科学领域,到处都能看到运行着的HPC任务,典型的任务包括:制造数字孪生、计算机辅助工程、计算流体动力学;金融交易平台、风险建模;媒体视觉效果渲染;跨行业AI、机器学习、深度学习;医学研究、药物发现、基因组学、气候变化;生命科学、分析原子或分子中的物理运动,执行核苷酸和基因组测序。

据TrendForce预测,2021年全球HPC市场规模达约368亿美元,相较2020年增长7.1%,并预估2022年全球HPC市场规模有望达397亿美元,年增长率为7.3%。此外,HPC市场规模将在2027年前持续增长,并且2022年的增长率为近几年最高水平7.3%。

然而,随着云计算被企业广泛采用,业内发现近年来高性能脑计算的发展与以往有所不同。那就是云端高性能计算的崛起。

据Hyperion Research的市场调研数据显示,2022年底将有18.8%的HPC在云端运行,而这个数据在2021年只有12.3%。而来自Market Research Future的报告也表明,云端高性能计算在未来五年会保持21%的年复合增长率,2023年的市场规模将达220亿美元。

对此,专家预测该数据在未来几年还将呈现加速增长的态势,因为云可以赋予HPC丰富的“弹性”和更多、更广的选择能力,包括资源的扩展性、敏捷性等,还可以大幅降低运维的复杂度,使计价模式更灵活。

欲善其事先利其器:打造最佳HPC云平台,架构与芯片创新是关键

说到云端HPC,目前在全球高性能计算转向云平台的过程中,约有58%的高性能计算云端计算量处于亚马逊云科技平台上。与此同时,亚马逊云科技在高性能计算领域屡创佳绩,连续四年入选HPC连线杂志“最佳HPC云平台”,并在2021 CCF年会上获得高性能计算实例产品创新大奖。

所谓工欲善其事必先利其器,亚马逊云科技何以打造出最佳HPC云平台?这就不得不提及AmazonNitro。

众所周知,Amazon Nitro是亚马逊云科技基础架构的核心,从2013年发展AmazonNitro系统,至今已经接近十年的时间。

作为独立专业硬件系统,Amazon Nitro深植在每一套物理机里面控制网络、存储,以及其他系统,结合其他VPC的环境、管理、安全的控制,以及监控的系统、虚拟化层,最终将计算力交付给客户。

具体表现在所有跟虚拟化有关的工作全部由Amazon Nitro系统完成,不再占用服务器里面的CPU内存本身的资源,意味着释放CPU内存,交付真正的工作负载,而在传统的数据中心环境里面自己搭建机器虚拟化的系统,可能虚拟化这一层会占整个算力20%,甚至更多的开销,这是非常大的浪费。相比之下,从底层技术上Amazon Nitro会让虚拟化的开销控制在1%以内,几乎和完整的物理机给你的功能是一样的,但是赋予了云的管理能力、云的安全能力等等。Amazon Nitro在性能上能够把最新的硬件技术充分地发挥出来,运用到高性能计算的实际案例中。

此外,网络能力透过Amazon Nitro可以实现非常低的延时和很高的稳定性,同时优化了成本,Amazon Nitro是模块化的系统,可以独立发展,每一个模块可以自由演进,也可以和物理服务器脱离开来,这样一个灵活的机构加上非常紧密的配合,可以与时俱进地跟上所有硬件的需要,新的硬件的推出Amazon Nitro会给它新的能力,Amazon Nitro的发展也会给硬件带来能力进一步的提升,两者相辅相成。

在我们看来,Amazon Nitro几乎是业内最早开始尝试将硬件虚拟化、云计算专用芯片整合而成一个统一架构平台的产品尝试,背后的核心的动力源于亚马逊云科技对云计算本身的理解,即:弹性、安全、性能、成本、可用性及可持续性,这也是亚马逊云科技在云计算领域的建设理念。在Amazon Nitro出现前,无论何种虚拟化方案,都无法将大部分资源用于客户的计算服务,也无法降低服务采用门槛,Amazon Nitro实现了近乎裸机的性能是一种事实上的突破。另外,云计算的安全问题自虚拟化技术诞生之初就伴随出现,Amazon Nitro则把安全性推到一个新的高度。

简而言之,Amazon Nitro很好地化解了此前在云端获取高性能计算时用户所面临的管理、能效及安全的挑战,加速了云端高性能计算的落地。

目前亚马逊云科技已经在Amazon Nitro系统的加持下,有超过600款计算实例,几乎可以满足一切云上负载的需求。如今每天有超过6000 万个新的Amazon EC2实例在亚马逊云科技上被创建。

需要说明的是,自2013年推出 AmazonNitro系统以来,亚马逊云科技还开发了多个自研芯片,包括五代Amazon Nitro系统、致力于为各种工作负载提升性能和优化成本的三代Amazon Graviton 芯片、用于加速机器学习推理的两代 Amazon Inferentia芯片,以及用于加速机器学习训练的Amazon Trainium芯片。

而每推出一款新的芯片,亚马逊云科技都进一步提升了这些芯片支持的Amazon EC2实例的性能、效率以及更优化的成本,为客户提供了更多的芯片和实例组合选择。

就像亚马逊云科技Amazon EC2副总裁David Brown所言:“从Graviton到Trainium、Inferentia再到Nitro,亚马逊云科技每一代自研芯片都为客户的各种工作负载提供更高的性能、更优化的成本和更高的能效。

当然,除了上述架构及芯片的创新外,面向行业需求与用户痛点,具备大量高度产业指向的软硬件构成的HPC生态也是亚马逊云科技在云端高性能计算领域不可或缺的因素。

一切刚刚开始:re:Invent 2022,云端高性能计算创新不止

尽管在云端高性能计算已经处在领先的位置,但对于亚马逊云科技而言,一切刚刚开始。

日前召开的re:Invent 2022 大会上,亚马逊云科技正式推出了针对高性能计算优化的Amazon Graviton3E芯片,进一步优化了浮点运算性能,在HPL基线测试中,工作负载的性能提升35%,对比上一代耗能减少60%。

与此同时,亚马逊云科技还发布了第五代Nitro系统,相比于前一代产品,晶体管数量比前一代增加了一倍,提供更高的计算性能,同时DRAM内存性能提升了一半,PCle带宽提升两倍,降低约三成延迟,每瓦性能提高四成,网络转发性能提高六成。

基于上述新发布的芯片和系统,亚马逊云科技推出了面向不同工作负载的全新高性能计算实例,以帮助高性能计算客户更好地应对不同的工作负载,如计算密集型负载、计算和网络密集型负载、数据和内存密集型负载等,同时提供超高的性价比,进一步推动高性能计算的普及。

例如Amazon EC2 Hpc实例就采用了新发布的Graviton3E芯片,提供了更多的网络功能,拥有更高的内存带宽和200Gbps的EFA弹性结构适配器网络,性能方面与当前一代C6gn实例相比浮点性能提高了2倍,与当前一代Hpc实例相比性能提高了20%,为亚马逊云科技上的高性能计算工作负载提供了超高性价比。

而Amazon EC2 Hpc6id实例则是基于Amazon Nitro系统构建,旨在为数据和内存密集型HPC工作负载提供领先的性价比,具有更高的每核内存带宽、更快的本地SSD存储以及带有弹性结构适配器的增强网络。Hpc6id实例提供200Gbps弹性结构适配器网络,用于高吞吐量节点间通信,使客户HPC工作负载能够大规模运行。

Amazon Hpc实例则是此前推出的计算密集型实例,广泛用于天气预报、流体动力学计算、金融期权定价等领域,与基于X86架构的实例相比,它的性价比高出65%。

众所周知,模拟仿真是高性能计算的一大应用场景,为此,亚马逊云科技在re:Invent2022全球大会还推出了完全托管的计算服务Amazon SimSpace Weaver,基于亚马逊云科技的高性能算力,帮助客户构建、操作和运行大规模的空间模拟仿真系统。

借助Amazon SimSpace Weaver,客户可以部署空间模拟应用,对具有多个数据点的动态系统进行建模(例如整个城市的交通、场馆内流动的人群或工厂车间的布局),模拟可视化的物理空间,运行沉浸式的训练模型,获得不同情景下的关键指标并做出明智的决策。客户使用Amazon SimSpace Weaver可模拟出100万个以上、实时交互的仿真对象,创建比以往更加复杂的环境,并且将模拟仿真系统部署的时间从数年缩短至数月。

直到今天,空间模拟通常仅限于在单个硬件上运行。如果开发人员想模拟一个包含大量独立且动态实体的更大、更复杂的世界,他们需要配置一台更大的计算机。模拟开发人员被迫在规模和保真度之间做出权衡,换句话说,就是要确定世界有多大、有多少独立实体,亚马逊云科技突破了这个挑战。

写在最后:从天气建模到基因组作图,再到搜寻地球外的空间信息,HPC(高性能计算)如今已遍布多个行业正在帮助推动先进计算技术的发展,现在云计算已经可以全面支持HPC计算并推动HPC在各行各业的落地。

值得注意的是,随着硬件技术的创新,以及人工智能的迅猛发展,亚马逊云科技发现越来越多的HPC任务和AI、ML、DL相结合。这就要求为客户提供相对应的方案,也由此催生出HPC+的概念——从更广泛的维度,包括加速计算、机器学习、深度学习等多方面去设计服务和构建方案,即一个全新的HPC+的云端高性能计算时代已经到来,而亚马逊云科技无疑再次站在了潮头。

相关标签:

发表评论:

评论记录:

未查询到任何数据!