NVIDIA 的 H100 Hopper GPU 以巨大的性能提升横扫 MLPerf AI 推理测试

NVIDIA 正在通过其 H100 和 L4 GPU 将生成式 AI 和其他工作负载提升到新的高度。最新的 MLPerf 3.0 测试结果强调 Hopper 的性能是 A100 的 4 倍。2023 年 GTC

开发者 大会包括来自 AI 开发领导者的 650 场演讲。其中最著名的一位来自 NVIDIA 自己的黄仁勋。Huang 的主题演讲涵盖了公司及其合作伙伴如何提供从培训到尖端服务部署的一切服务。其中包括 NVIDIA 带有双 GPU NVLink 的全新 H100 NVL。新的 GPU 基于NVIDIA的 Hopper 架构，并采用了 Transformer Engine 设计。

“下一阶段的生成式人工智能需要新的人工智能基础设施来训练具有高能效的大型语言模型。客户正在大规模提升 Hopper，使用通过 NVIDIA NVLink 和 InfinBand 连接的数万个 Hopper GPU 构建人工智能基础设施，”Huang 在一份报告中说。最近的 NVIDIA 博客文章。

当“在 DGX H100 系统中运行的 NVIDIA H100 Tensor Core GPU 在每次 AI 推理测试(在生产中运行神经网络的工作)中提供最高性能时，可以看到性能升级的一个具体示例。”这在很大程度上归功于软件优化，这促使 GPU 在去年 9 月首次亮相后实现了高达 54% 的性能提升。医疗保健领域的业绩也出现了另一个提升，业绩增长了 31%。

L4 Tensor Core GPU 的性能也比上一代硬件提高了 3 倍。NVIDIA 指出，由于 L4 支持关键的 FP8 格式，因此在对性能要求很高的 BERT 模型上表现尤为出色。

十家公司在这一轮 MLPerf 测试中提交了 NVIDIA 平台上的结果。其中包括 Microsoft Azure 云服务和系统制造商，包括华硕、戴尔科技、技嘉、新华三、联想、Nettrix、Supermicro 和 xFusion。