NVIDIA-GPU部署

Paddle Inference 支持通过以下两种方式在Nvidia-GPU上运行推理任务:

(1)GPU 原生推理 : PaddlePaddle 深度学习开源框架中存在大量用 CUDA 实现的算子,如果您选择用 GPU 原生推理,那么用于部署的模型会在一系列内部优化之后直接调用这些原生算子实现;

(2)GPU TensorRT 加速推理 : TensorRT 是一个针对 NVIDIA GPU 及 Jetson 系列硬件的高性能机器学习推理 SDK,可以使得深度学习模型在这些硬件上的部署获得更好的性能。Paddle Inference 采用子图的方式对 TensorRT 进行了集成,即我们可以使用该模块来提升 Paddle Inference 的推理性能。TensorRT 接入方式支持 fp32,fp16,int8 精度的推理,除了 CUDA 和 cuDNN,使用前您还需确保您的机器上已经安装了 TensoRT 。这通常会带给您比 GPU 原生推理更好的性能;

Note

目前Paddle Inference可以支持绝大多数的 NVIDIA-GPU平台,如果您不确定您的GPU平台是否被支持,请查阅本篇文档附录中的硬件支持列表

本章节为您详细介绍了如何实现基于原生推理和TensorRT推理,并提供了可参考的示例代码,主要分为以下四个部分:

GPU 原生推理 : 介绍如何使用 GPU 原生推理将模型部署在 GPU 硬件上,包括根据示例代码介绍 Paddle Inference C++/Python API 的使用流程,如何安装 Paddle Inference 推理库,以及如何在 Ubuntu、Windows 等操作系统上编译和执行示例代码。

Note

GPU 原生混合精度推理目前支持 fp32、fp16 和 bfp16。使用前,您需要确保您的机器上已经安装了 CUDA 和 cuDNN。

GPU 混合精度推理 : 介绍如何使用 Paddle-GPU 原生混合精度推理。

GPU TensorRT 加速推理(NV-GPU/Jetson) : 介绍如何使用 TensorRT 加速模型推理,根据示例代码介绍启用 TensorRT 加速的 API、 保存优化后的模型降低首帧耗时、支持动态 shape 的 API 等内容。还会介绍 Paddle Inference 接入 TensorRT 的原理。

GPU TensorRT 低精度或量化推理 : 介绍 Paddle Inference 使用 TensorRT情况下,实现对低精度和量化推理的支持。

附录:硬件支持列表

Paddle Inference 对 NVIDIA GPU 的支持能力请参考下表:

GPU架构

Compute Capability

对应GPU硬件型号

请下载以下CUDA版本的飞桨安装包

Fermi

sm_20

GeForce 400、 500、 600、 GT-630

不支持

Kepler

sm_30

GeForce 700、 GT-730

不支持

Kepler

sm_35

Tesla K40

CUDA10

Kepler

sm_37

Tesla K80

CUDA10

Maxwell

sm_50

Tesla/Quadro M series

CUDA10、CUDA11

Maxwell

sm_52

Quadro M6000 、 GeForce 900、 GTX-970、 GTX-980、 GTX Titan X

CUDA10、CUDA11

Pascal

sm_60

Quadro GP100、Tesla P100

CUDA10、CUDA11

Pascal

sm_61

GTX 1080、 GTX 1070、 GTX 1060、 GTX 1050、 GTX 1030 (GP108)、 GT 1010 (GP108) Titan Xp、 Tesla P40、 Tesla P4

CUDA10、CUDA11

Volta

sm_70

DGX-1 with Volta、 Tesla V100、 GTX 1180 (GV104)、 Titan V、 Quadro GV100

CUDA10、CUDA11

Turing

sm_75

GTX/RTX Turing _ GTX 1660 Ti、 RTX 2060、 RTX 2070、 RTX 2080、 Titan RTX、 Quadro RTX 4000、 Quadro RTX 5000、 Quadro RTX 6000、 Quadro RTX 8000、 Quadro T1000/T2000、 Tesla T4

CUDA10、CUDA11

Ampere

sm_80

NVIDIA A100、 GA100、 NVIDIA DGX-A100

CUDA11

Ampere

sm_86

Tesla GA10x cards、 RTX Ampere _ RTX 3080、 GA102 _ RTX 3090、 RTX A2000、 A3000、 RTX A4000、 A5000、 A6000、 NVIDIA A40、 GA106 _ RTX 3060、 GA104 _ RTX 3070、 GA107 _ RTX 3050、 RTX A10、 RTX A16、 RTX A40、 A2 Tensor Core GPU

CUDA11、CUDA11.2(推荐)

Paddle Inference 对 NVIDIA Jetson平台 的支持能力请参考下表:

GPU架构

Compute Capability

对应Jetson硬件型号

Maxwell

SM53

CTegra (Jetson) TX1 / Tegra X1C /Jetson Nano

Pascal

SM62

Tegra (Jetson) TX2

Volta

SM72

Jetson AGX Xavier