AI解决方案：边缘计算和GPU加速平台

AI解决方案：边缘计算和GPU加速平台

一．适用于边缘 AI 的解决方案

AI 在边缘蓬勃发展。AI 和云原生应用程序、物联网及其数十亿的传感器以及 5G 网络现已使得在边缘大规模部署 AI 成为可能。但它需要一个可扩展的加速平台，能够实时推动决策，并让各个行业都能为行动点（商店、制造工厂、医院和智慧城市）提供自动化智能。这将人、企业和加速服务融合在一起，从而使世界变得“更小”、

更紧密。

适用于各行各业的边缘
AI 解决方案

卓越购物体验

借助 AI 驱动的见解，各地的大型零售商可让客户时刻满意。大型零售商已开发了多种 AI 策略，用于改善客户体验，并协助其员工完成日常运营。例如，智能化结账系统利用计算机视觉，确定所扫描的商品正是条形码标识的商品。智能视频分析 (IVA) 可帮助零售商了解购物者的偏好，并优化商店布局，从而打造更好的店内体验。借助 AI，零售商可以帮助员工确定何时需要补充商品，或者替换为更新鲜的商品。

工厂车间的新愿景

企业正在采用加速的边缘计算和 AI，将制造业转变为更安全、更高效的行业。例如，宝马公司在工厂车间安装检测摄像头，360 度全景观看装配线，从而将 AI 的强大性能带入边缘。这样可以获得实时见解，打造更安全、更精简的制造流程。此外，Procter &
Gamble 正在利用更快的边缘计算，协助其员工完成检测。通过分析数千小时的检测线镜头，该公司可以立即标记瑕疵，改善质量控制，并满足极高的安全标准。

NVIDIA A100 Tensor Core GPU

提高道路安全性

企业并不是转向加速边缘 AI 的唯一范例。爱荷华州迪比克等城市正在营造更安全的道路条件，并提供更快的应急服务。在迪比克市，数十个互连摄像头让您可以实时了解交通状况，检测到身陷危险的驾驶员、阻碍道路的障碍以及可能需要紧急帮助的人员。Numina 等公司也将 AI 引入边缘，以疏通交通流量，为驾驶员、骑行者和行人打造更安全的道路。

如何在边缘部署 AI

二．在各种规模上实现出色的加速

加速当今最重要的工作

NVIDIA A100 Tensor Core GPU 可针对 AI、数据分析和高性能计算 (HPC)，在各种规模上实现出色的加速，应对极其严峻的计算挑战。作为 NVIDIA 数据中心平台的引擎，A100 可以高效扩展，系统中可以集成数千个  A100 GPU，也可以利用 NVIDIA 多实例 GPU (MIG) 技术将每个 A100 划分割为七个独立的 GPU 实例，以加速各种规模的工作负载。第三代 Tensor Core 技术为各种工作负载的更多精度水平提供加速支持，缩短获取洞见以及产品上市时间。

功能强大的端到端 AI 和 HPC 数据中心平台

A100
是完整的 NVIDIA 数据中心解决方案堆栈的一部分，该解决方案堆栈包括来自 NGC (NVIDIA GPU Cloud) 的硬件、网络、软件、库以及优化的 AI 模型和应用程序构建模块。它为数据中心提供了强大的端到端 AI 和 HPC 平台，使研究人员能够大规模地交付真实的结果，并将解决方案大规模部署到生产环境中。

深度学习训练

当今的 AI 模型需要应对精准对话式 AI 和深度推荐系统等新型挑战，这促使其复杂度呈爆炸式增长。训练这些模型需要大规模的计算能力和可扩展性。

NVIDIA
A100 的第三代 Tensor Core 借助 Tensor 浮点运算 (TF32) 精度，可提供比上一代高 10 倍之多的性能，并且无需更改代码，更能通过自动混合精度将性能进一步提升两倍。与第三代
NVIDIA
NVLink、NVIDIA NVSwitch、PCIe 4.0、Mellanox 和 Magnum IO 软件 SDK 结合使用时，系统中可以集成数千个 A100 GPU。这意味着，BERT 等大型 AI 模型只需在 A100 构成的集群上进行训练几十分钟，从而提供出色的性能和可扩展性。

NVIDIA
在深度学习训练方面的领先地位在  MLPerf 0.6
中得到了证明，这是 AI 训练的第一项行业级基准测试。

深度学习推理

A100 引入了突破性的新功能优化推理工作负载。它通过全系列精度（从 FP32、FP16、INT8 一直到 INT4）加速，实现了强大的多元化用途。MIG 技术支持多个网络同时在单个 A100 GPU 运行，从而优化计算资源的利用率。在 A100 其他推理性能提升的基础上，结构化稀疏支持将性能再提升两倍。

NVIDIA 提供市场领先的推理性能，在第一项专门针对推理性能的行业级基准测试  MLPerf
Inference 0.5中全面制胜的结果充分证明了这一点。A100 则再将性能提升 10 倍，在这样的领先基础上进一步取得了发展。

高性能计算

为了点燃下一代新发现的火花，科学家们希望通过模拟更好地理解复杂分子结构以支持药物发现，通过模拟物理效果寻找潜在的新能源，通过模拟大气数据更好地预测极端天气状况并为其做准备。

A100 引入了双精度 Tensor Cores, 继用于 HPC 的 GPU 双精度计算技术推出至今，这是非常重要的里程碑。利用 A100，原本在 NVIDIA V100 Tensor Core GPU 上需要 10 小时的双精度模拟作业如今只要 4 小时就能完成。HPC 应用还可以利用 A100 的 Tensor Core，将单精度矩阵乘法运算的吞吐量提高 10 倍之多。

数据分析

客户需要能够分析和可视化庞大的数据集，并将其转化为宝贵洞见。但是，由于这些数据集分散在多台服务器上，横向扩展解决方案往往会陷入困境。

搭载 A100 的加速服务器可以提供必要的计算能力，并利用第三代 NVLink 和 NVSwitch 1.6TB/s 的显存带宽和可扩展性，妥善应对这些庞大的工作负载。结合 Mellanox
InfiniBand、Magnum IO SDK、GPU 加速的 Spark 3.0 和  NVIDIA
RAPIDS NVIDIA 数据中心平台能够以出色的性能和效率加速这些大规模工作负载。

企业级利用率

A100 的 多实例 GPU (MIG) 功能使 GPU 加速的基础架构利用率大幅提升，达到前所未有的水平。MIG 支持将 A100 GPU 安全分割到多达七个独立实例中，这些 A100 GPU 实例可供多名用户使用，以加速应用和开发项目。此外，数据中心管理员可以利用基于虚拟化技术带来的管理、监控和操作方面的优势，发挥 NVIDIA 虚拟计算服务器 ( vComputeServer)
的动态迁移和多租户功能。A100 的 MIG 功能可以使基础架构管理员对其 GPU 加速的基础架构作标准化处理，同时以更精确的粒度提供 GPU 资源，从而为开发者提供正确的加速计算量，并确保其所有 GPU 资源得到充分利用。

规格

	适用于 NVLink 的 A100
FP64 峰值性能	9.7 TF
FP64 Tensor Core 峰值性能	19.5 TF
FP32 峰值性能	19.5 TF
TF32 Tensor Core 峰值性能	156 TF | 312 TF*
BFLOAT16 Tensor Core 峰值性能	312 TF | 624 TF*
FP16 Tensor Core 峰值性能	312 TF | 624 TF*
INT8 Tensor Core 峰值性能	624 TOPS | 1,248 TOPS*
INT4 Tensor Core 峰值性能	1,248 TOPS | 2,496 TOPS*
GPU 显存	40 GB
GPU 显存带宽	1,555 GB/s
互联带宽	NVIDIA NVLink 600 GB/s PCIe Gen4 64 GB/s
多实例 GPU	3MIG @ 10GB 5MIG @ 8GB 7MIG @ 5GB
外形尺寸	4/8 SXM on NVIDIA HGX A100
最大 TDP 功耗	400W

* 采用稀疏技术