NVIDIA、英特尔和合作伙伴提高 AI 计算效率

NVIDIA、英特尔和合作伙伴提高 AI 计算效率

January 12, 2023 0 By urbantechnoobs

NVIDIA、英特尔和合作伙伴提高了 AI 计算效率,因为 AI 是人类最具变革性创新的核心——从以前所未有的速度开发 COVID 疫苗和诊断癌症,到为自动驾驶汽车提供动力和了解气候变化。

几乎每个行业都将受益于采用人工智能,但随着神经网络复杂性的增加,该技术变得更加资源密集。为避免对发电产生不可持续的需求来运行此计算基础设施,底层技术必须尽可能高效。

加速计算由 英伟达 GPU英伟达人工智能 平台提供的效率使数据中心能够可持续地推动下一代突破。

现在,随着第四代英特尔至强可扩展处理器的推出,NVIDIA 及其合作伙伴已经启动了新一代加速计算系统,这些系统专为高能效人工智能而构建。当结合 NVIDIA H100 张量核心 GPU,这些系统可以提供比上一代显着更高的性能、更大的规模和更高的效率,提供更多的计算和每瓦解决问题的能力。

新的英特尔 CPU 将用于 NVIDIA DGX H100 系统,以及 60 多台配备来自全球 NVIDIA 合作伙伴的 H100 GPU 的服务器。

提高企业 AI 的速度、效率和成本

即将推出的 NVIDIA 和英特尔驱动的系统将帮助企业运行工作负载的效率比传统的仅使用 CPU 的数据中心服务器平均高 25 倍。这种令人难以置信的每瓦性能意味着完成工作所需的功率更少,这有助于确保尽可能高效地使用数据中心可用的功率来增强最重要的工作。

与上一代加速系统相比,新一代 NVIDIA 加速服务器的训练和推理速度得到提升 能源效率 3.5 倍——转化为实际成本节约,人工智能数据中心的总拥有成本降低了 3 倍以上。

新的第 4 代英特尔至强 CPU 移动更多数据以加速 NVIDIA AI

新的第 4 代 Intel Xeon CPU 的功能之一是支持 PCIe Gen 5,它可以使从 CPU 到 NVIDIA GPU 和网络的数据传输速率提高一倍。增加的 PCIe 通道允许更高密度的 GPU 和每台服务器内的高速网络。

更快的内存带宽还可以提高 AI 等数据密集型工作负载的性能,而网络速度——每个连接高达每秒 400 吉比特 (Gbps)——支持服务器和存储之间更快的数据传输。

NVIDIA DGX H100 系统和来自 NVIDIA 合作伙伴的带有 H100 PCIe GPU 的服务器附带许可证 NVIDIA 人工智能企业,一个端到端、安全、云原生的 AI 开发和部署软件套件,为高效企业 AI 提供卓越的完整平台。

NVIDIA DGX H100 系统提高超大型 AI 的效率

作为全球首屈一指的专用 AI 基础设施的第四代,NVIDIA DGX H100 系统提供了一个完全优化的平台,由加速数据中心的操作系统提供支持, NVIDIA 基本命令 software.

每个 DGX H100 系统配备八个 NVIDIA H100 GPU、10 NVIDIA ConnectX-7 网络适​​配器和双第 4 代英特尔至强可扩展处理器,以提供构建大型生成式 AI 模型所需的性能, 大型语言模型推荐系统 and more.

结合 NVIDIA 网络,该架构通过提供比上一代高 9 倍的性能和比未加速的 X86 双路服务器高 20 到 40 倍的性能来大规模增强高效计算,用于 AI 训练和 HPC 工作负载。如果一个语言模型以前需要 40 天才能在纯 X86 服务器集群上进行训练,那么使用英特尔至强 CPU 和 ConnectX-7 驱动网络的 NVIDIA DGX H100 可以在短短 1-2 天内完成同样的工作。

NVIDIA DGX H100 系统是企业级交钥匙系统的构建块 NVIDIA DGX SuperPOD, 它提供高达 一个 exaflop AI性能的提升,为大规模企业AI部署提供效率飞跃。

NVIDIA 合作伙伴提升数据中心效率 

对于 AI 数据中心工作负载,NVIDIA H100 GPU 使企业能够更高效地构建和部署应用程序。

NVIDIA 合作伙伴(包括华硕、源讯、思科、戴尔科技、富士通、技嘉、惠普)即将推出配备 H100 GPU 和第四代英特尔至强可扩展 CPU 的广泛系统组合,为全球企业带来新一代性能和能效Packard Enterprise、联想、QCT 和 Supermicro。

作为未来效率提升的领头羊, 配备 NVIDIA H100 GPU 的 Flatiron Institute Lenovo ThinkSystem 在最新的 Green500 榜单中名列前茅——NVIDIA 技术为榜单前 30 名系统中的 23 个提供支持。 Flatiron 系统使用上一代英特尔 CPU,因此预计现在上市的系统会提高效率。

此外,连接带有 NVIDIA ConnectX-7 网络和英特尔第四代至强可扩展处理器的服务器将提高效率并减少基础设施和功耗。

NVIDIA ConnectX-7 适配器​​使用以太网或 InfiniBand 支持 PCIe Gen 5 和每个连接 400 Gbps,使服务器和存储之间的网络吞吐量翻倍。这些适配器支持高级网络、存储和安全卸载。 ConnectX-7 减少了所需的电缆和交换机端口数量,将大型 GPU 加速 HPC 和 AI 集群联网所需的电力节省了 17% 或更多,并有助于提高这些新服务器的能效。

英伟达人工智能 企业软件提供全栈 AI 解决方案

这些下一代系统还实现了运营效率的飞跃,因为它们针对 英伟达人工智能 企业软件套件.

NVIDIA 人工智能企业 在 NVIDIA H100 上运行,可加速数据科学管道并简化预测性 AI 模型的开发和部署,以自动化基本流程并从数据中获得快速洞察。

凭借广泛的全堆栈软件库,包括参考应用程序、框架、预训练模型和基础架构优化的 AI 工作流程,该软件为扩大企业 AI 成功奠定了理想的基础。

要试用 NVIDIA H100 运行 NVIDIA AI Enterprise 支持的 AI 工作流程和框架,请注册 NVIDIA 发射台 free of charge.