北京——2024年12月5日 亚马逊云科技在2024 re:Invent众人大会上，文告基于Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2实例矜重可用，并推出全新的Amazon EC2 Trn2 UltraServers，让用户以优厚的性价比实践和部署最新的东谈主工智能模子，以及未来的大言语模子（LLM）和基础模子（FM）。此外，亚马逊云科技还发布了新一代Amazon Trainium3芯片。

Amazon Trainium2芯片

Amazon EC2 Trn2 UltraServers

Amazon EC2 Trn2 实例做事器模块

与面前基于GPU的EC2 P5e和P5en实例比较，Amazon EC2 Trn2实例的性价比晋升30-40%。它配备16个Trainium2芯片，可提供高达20.8 Petaflops浮点算力的性能，十分合乎实践和部署具出奇十亿参数的大型言语模子（LLMs）。全新推出的Amazon EC2 Trn2 UltraServers做事器机型配备64个相互连续的Trainium2芯片，接受NeuronLink超速互连技巧，可提供高达83.2 Petaflops浮点算力，其打算、内存和聚集技艺是单一实例的四倍，大约支抓实践和部署超大范围的模子。亚马逊云科技联袂Anthropic正打造名为Project Rainier的EC2 UltraCluster，其包含数十万颗Trainium2 芯片，所达到的超等算力比他们面前一代当先AI模子实践所需算力高出5倍以上。亚马逊云科技推出了新一代AI芯片Trainium3，匡助客户更快速地构建更大范围的模子，并在部署时提供更优的及时性能。

亚马逊云科技打算和聚集副总裁 David Brown默示：“Amazon Trainium2是专为支抓大型、前沿的生成式AI使命负载而瞎想的，大约称心实践和推理的需求，并在亚马逊云科技上提供超卓的性价比。跟着模子参数接近万亿，咱们刚烈到客户需要一种改进的步调来高效实践和运行范围宏大的使命负载。在亚马逊云科技上，全新的Amazon EC2 Trn2 UltraServers提供超快速的实践和推感性能，匡助种种企业以更快的速率和更低的资本实践和部署宇宙上最大的模子。”

跟着模子范围的不休扩大，客户但愿缩小实践时代和推理蔓延，这对打算和聚集基础标准提倡了更高的条目。亚马逊云科技已提供平日的Amazon EC2加速实例采用，包括基于GPU和机器学习芯片的实例。但是，即使是当今最快的加速实例，客户仍但愿罢了更高的性能和更大的可扩张性，以更低的资本更快地实践这些日益复杂的模子。跟着模子复杂性和数据量的增多，因为并行化的限制，单纯扩大集群范围已无法灵验缩小实践时代。同期，及时推理的需求也超出了单实例架构的承载技艺。

Amazon EC2 Trn2实例为深度学习和生成式AI提供超卓性能

与面前基于GPU的EC2实例比较，Amazon EC2 Trn2的性价比晋升30%至40%。单个Trn2实例集成了16个Trainium2 芯片，通过NeuronLink超速高带宽、低蔓延的芯片之间的互联，可提供高达20.8 Petaflops浮点算力，十分合乎实践和部署数十亿参数的模子。

Amazon EC2 Trn2 UltraServers称心众人超大模子日益增长的AI打算需求

对于需要更强算力的超大模子，Amazon EC2 Trn2 UltraServers使客户大约破损单个Trn2实例的限制进行扩张，从而减少实践时代，加速投放商场的速率，罢了快速迭代以提高模子准确性。算作全新的EC2产物，Trn2 UltraServers愚弄NeuronLink超速互联将四个Trn2做事器连续为一个巨型做事器。客户通过全新Trn2 UltraServers，不错在64个Trainium2芯片上扩张他们的生成式AI使命负载。在推理使命负载方面，客户不错使用Trn2 UltraServers晋升坐蓐环境中万亿参数模子的及时推感性能。亚马逊云科技正在与Anthropic共同构建一个名为Project Rainier的 EC2 UltraCluster打算集群，该集群由Trn2 UltraServers构成，大约在数十万个Trainium2芯片之间通过第三代低蔓延的PB级EFA聚集进行溜达式模子实践——其运算技艺比Anthropic面前一代当先AI模子实践所需算力高出5倍以上。该神志完成后，展望将成为众人最大可用的AI打算集群，供Anthropic构建和部署未来模子使用。

Anthropic专注于AI安全和征询，勤勉于打造可靠、可讲明和可控的AI系统。Anthropic的旗舰产物Claude是众人数百万用户信托的大型言语模子。算作Anthropic与亚马逊云科技长远合作的一部分，Anthropic已运转优化Claude模子，以便在亚马逊起首进的AI硬件Trainium2上运行。Anthropic将使用数十万个Trainium2芯片，该范围是其之前集群的五倍以上，为使用Amazon Bedrock上的Claude 客户提供超卓的性能发扬。

Databricks Mosaic AI使企业大约构建和部署高质料的智能体系统。该系统基于数据湖仓原生架构，用户不错平缓、安全地使用企业数据定制模子，从而提供更准确和特定范围的输出。成绩于Trainium的高性能和资本效益，客户大约以较低的资本在Mosaic AI上扩张模子实践。跟着众人客户对Mosaic AI需求的不休增长，Trainium2的推出将为Databricks尽头客户带来要紧上风。算作众人最大的数据和AI公司之一，Databricks权术使用Trainium2为客户提供更优的性能，并将总体领有资本诽谤多达30%。

Hugging Face是众人当先的AI开拓者开源平台，领有卓著200万个模子、数据集和AI应用，其用户社区涵盖了卓著500万名征询东谈主员、数据科学家、机器学习工程师和软件开拓者。在夙昔几年中，Hugging Face与亚马逊云科技合作，匡助开拓者通过Optimum Neuron开源库体验Amazon Inferentia和Amazon Trainium的性能与资本上风。该库已集成到Hugging Face Inference Endpoints中，并在新的HUGS自部署做事中进行了优化，用户不错在亚马逊云科技Marketplace获取。跟着Trainium2的发布，Hugging Face用户将享受更高的性能，从而更快地开拓和部署模子。

poolside勤勉于构建一个由AI驱动的宇宙，以鼓吹有经济价值的使命和科学高出。他们服气，软件开拓将成为神经采聚会第一个达到东谈主类智谋水平的要紧技艺。为此，poolside正在打造基础模子（FMs）、API和助手应用，以将生成式AI的上风带给开拓者。而为了罢了这一指方向关键就在于他们构建和运行产物所用的基础标准。借助Amazon Trainium2，poolside的客户将获取优于其他AI加速器的性价比扩张其做事。此外，Poolside权术愚弄Amazon EC2 Trainium2 UltraServers实践未来的模子，这将比使用Amazon EC2 P5实例展望可简约40%的资本。

Amazon Trainium3芯片，专为新一代前沿生成式AI使命负载的高性能需求而瞎想

亚马逊云科技发布了新一代AI实践芯片Amazon Trainium3。Trainium3是亚马逊云科技首款接受3纳米工艺制造的芯片，在性能、能效和密度上缔造了新标杆。搭载Trainium3的UltraServers性能展望将是Trn2 UltraServers的4倍，使客户在构建模子时大约更快迭代，并在部署时提供超卓的及时性能。首批基于Trainium3的实例展望将在2025年末上线。

Amazon Neuron Software助力客户充分施展Trainium2性能

Amazon Neuron SDK包括编译器、运行时库和用具，匡助开拓者优化模子以在Trainium上运行。它让开拓者具有在Trainium芯片上优化模子以获取最好性能的技艺。它与JAX和PyTorch等热点框架原生集成，使客户在Trainium上使用现存代码和使命流时只需进行极少代码修改。同期，Neuron支抓Hugging Face模子库中的卓著10万个模子。通过Neuron Kernel Interface（NKI），开拓者不错径直打听裸机的Trainium芯片，编写打算内核以最大适度地晋升打算密集型使命负载的性能。

Amazon Neuron旨在简化使用JAX等流行框架在Trainium2上实践和部署模子，同期尽量减少代码鼎新和对特定供应商处罚决策的依赖。谷歌支抓亚马逊云科技通过其原生的OpenXLA集成，使客户大约使用JAX进行大范围实践和推理，提供纯粹生动的编码旅途，匡助用户快速上手Trn2实例。跟着行业内平日的开源配合，以及Trainium2的推出，谷歌展望JAX在机器学习社区的应用将权贵增多，这将成为统统这个词机器学习生态系统的要紧里程碑。

当今，Amazon EC2 Trn2实例在好意思国东部（俄亥俄）区域已矜重可用，其他区域也行将推出。Amazon EC2 Trn2 UltraServers当今预览可用。

了解更多信息，请打听：

亚马逊云科技新闻博客，获取更多考究信息。亚马逊云科技Trainium页面 ，了解更多功能。亚马逊云科技Trainium客户页面，了解企业若何使用Trainium。亚马逊云科技re:Invent页面 ，获取对于亚马逊云科技re:Invent步履的更多细节。

对于亚马逊云科技

自2006年以来，亚马逊云科技（Amazon Web Services）一直以技巧改进、做事丰富、应用平日而享誉业界。亚马逊云科技一直不休扩张其做事组合以支抓险些云上淘气使命负载，当今提供卓著240项全功能的做事，涵盖打算、存储、数据库、聚集、数据分析、机器学习与东谈主工智能、物联网、转移、安全、混杂云、媒体，以及应用开拓、部署与料理等方面；基础标准庞大34个地舆区域的108个可用区，并已公布权术在墨西哥、新西兰、沙特阿拉伯和泰国等新建6个区域、18个可用区。众人数百万客户，包括发展马上的初创公司、大型企业和当先的政府机构，王人信托亚马逊云科技，通过亚马逊云科技的做事复古其基础标准，提高敏捷性，诽谤资本。要了解更多对于亚马逊云科技的信息，请打听：www.amazonaws.cn。