使用 Paddle-TensorRT 库预测¶

内容¶

• [Paddle-TRT 使用介绍](#Paddle-TRT 使用介绍)

• [Paddle-TRT 样例编译测试](#Paddle-TRT 样例编译测试)

• [Paddle-TRT INT8 使用](#Paddle-TRT_INT8 使用)

• [Paddle-TRT 子图运行原理](#Paddle-TRT 子图运行原理)

• [Paddle-TRT 性能测试](#Paddle-TRT 性能测试)

Paddle-TRT 使用介绍¶

在使用 AnalysisPredictor 时，我们通过配置 AnalysisConfig 中的接口

config->EnableTensorRtEngine(1 << 20      /* workspace_size*/,
                        batch_size        /* max_batch_size*/,
                        3                 /* min_subgraph_size*/,
                        AnalysisConfig::Precision::kFloat32 /* precision*/,
                        false             /* use_static*/,
                        false             /* use_calib_mode*/);

的方式来指定使用 Paddle-TRT 子图方式来运行。 该接口中的参数的详细介绍如下：

• workspace_size，类型：int，默认值为 1 << 20。指定 TensorRT 使用的工作空间大小，TensorRT 会在该大小限制下筛选合适的 kernel 执行预测运算。

• max_batch_size，类型：int，默认值为 1。需要提前设置最大的 batch 大小，运行时 batch 大小不得超过此限定值。

• min_subgraph_size，类型：int，默认值为 3。Paddle-TRT 是以子图的形式运行，为了避免性能损失，当子图内部节点个数大于min_subgraph_size的时候，才会使用 Paddle-TRT 运行。

• precision，类型：enum class Precision {kFloat32 = 0, kHalf, kInt8,};, 默认值为AnalysisConfig::Precision::kFloat32。指定使用 TRT 的精度，支持 FP32（kFloat32），FP16（kHalf），Int8（kInt8）。若需要使用 Paddle-TRT int8 离线量化校准，需设定precision为 AnalysisConfig::Precision::kInt8, 且设置use_calib_mode 为 true。

• use_static，类型：bool, 默认值为 false。如果指定为 true，在初次运行程序的时候会将 TRT 的优化信息进行序列化到磁盘上，下次运行时直接加载优化的序列化信息而不需要重新生成。

• use_calib_mode，类型：bool, 默认值为 false。若要运行 Paddle-TRT int8 离线量化校准，需要将此选项设置为 true。

Note： Paddle-TRT 目前只支持固定 shape 的输入，不支持变化 shape 的输入。

Paddle-TRT 样例编译测试¶

1. 下载或编译带有 TensorRT 的 paddle 预测库，参考安装与编译 C++预测库。

2. 从NVIDIA 官网下载对应本地环境中 cuda 和 cudnn 版本的 TensorRT，需要登陆 NVIDIA 开发者账号。

3. 下载预测样例并解压，进入sample/paddle-TRT目录下。

   paddle-TRT 文件夹目录结构如下：

   paddle-TRT
   ├── CMakeLists.txt
   ├── mobilenet_test.cc
   ├── fluid_generate_calib_test.cc
   ├── fluid_int8_test.cc
   ├── mobilenetv1
   │   ├── model
   │   └── params
   ├── run.sh
   └── run_impl.sh
   

   • mobilenet_test.cc 为使用 paddle-TRT 预测的 C++源文件

   • fluid_generate_calib_test.cc 为使用 TRT int8 离线量化校准的 C++源文件

   • fluid_int8_test.cc 为使用 TRT 执行 int8 预测的 C++源文件

   • mobilenetv1 为模型文件夹

   • run.sh 为预测运行脚本文件

   在这里假设样例所在的目录为 SAMPLE_BASE_DIR/sample/paddle-TRT

4. 配置编译与运行脚本

   编译运行预测样例之前，需要根据运行环境配置编译与运行脚本run.sh。run.sh的选项与路径配置的部分如下：

   # 设置是否开启 MKL、GPU、TensorRT，如果要使用 TensorRT，必须打开 GPU
   WITH_MKL=ON
   WITH_GPU=ON
   USE_TENSORRT=ON
   
   # 按照运行环境设置预测库路径、CUDA 库路径、CUDNN 库路径、TensorRT 路径、模型路径
   LIB_DIR=YOUR_LIB_DIR
   CUDA_LIB_DIR=YOUR_CUDA_LIB_DIR
   CUDNN_LIB_DIR=YOUR_CUDNN_LIB_DIR
   TENSORRT_ROOT_DIR=YOUR_TENSORRT_ROOT_DIR
   MODEL_DIR=YOUR_MODEL_DIR
   

   按照实际运行环境配置run.sh中的选项开关和所需 lib 路径。

5. 编译与运行样例

Paddle-TRT INT8 使用¶

1. Paddle-TRT INT8 简介 神经网络的参数在一定程度上是冗余的，在很多任务上，我们可以在保证模型精度的前提下，将 Float32 的模型转换成 Int8 的模型。目前，Paddle-TRT 支持离线将预训练好的 Float32 模型转换成 Int8 的模型，具体的流程如下：

   1. 生成校准表（Calibration table）：我们准备 500 张左右的真实输入数据，并将数据输入到模型中去，Paddle-TRT 会统计模型中每个 op 输入和输出值的范围信息，并将其记录到校准表中，这些信息有效减少了模型转换时的信息损失。

   2. 生成校准表后，再次运行模型，Paddle-TRT 会自动加载校准表，并进行 INT8 模式下的预测。

2. 编译测试 INT8 样例 将run.sh文件中的mobilenet_test改为fluid_generate_calib_test，运行

   sh run.sh
   

   即可执行生成校准表样例，在该样例中，我们随机生成了 500 个输入来模拟这一过程，在实际业务中，建议大家使用真实样例。运行结束后，在 SAMPLE_BASE_DIR/sample/paddle-TRT/build/mobilenetv1/_opt_cache 模型目录下会多出一个名字为 trt_calib_*的文件，即校准表。

   生成校准表后，将带校准表的模型文件拷贝到特定地址

   cp -rf SAMPLE_BASE_DIR/sample/paddle-TRT/build/mobilenetv1/ SAMPLE_BASE_DIR/sample/paddle-TRT/mobilenetv1_calib
   

   将run.sh文件中的fluid_generate_calib_test改为fluid_int8_test，将模型路径改为SAMPLE_BASE_DIR/sample/paddle-TRT/mobilenetv1_calib，运行

   sh run.sh
   

   即可执行 int8 预测样例。

Paddle-TRT 子图运行原理¶

PaddlePaddle 采用子图的形式对 TensorRT 进行集成，当模型加载后，神经网络可以表示为由变量和运算节点组成的计算图。Paddle TensorRT 实现的功能是对整个图进行扫描，发现图中可以使用 TensorRT 优化的子图，并使用 TensorRT 节点替换它们。在模型的推断期间，如果遇到 TensorRT 节点，Paddle 会调用 TensorRT 库对该节点进行优化，其他的节点调用 Paddle 的原生实现。TensorRT 在推断期间能够进行 Op 的横向和纵向融合，过滤掉冗余的 Op，并对特定平台下的特定的 Op 选择合适的 kernel 等进行优化，能够加快模型的预测速度。

下图使用一个简单的模型展示了这个过程：

原始网络

转换的网络

我们可以在原始模型网络中看到，绿色节点表示可以被 TensorRT 支持的节点，红色节点表示网络中的变量，黄色表示 Paddle 只能被 Paddle 原生实现执行的节点。那些在原始网络中的绿色节点被提取出来汇集成子图，并由一个 TensorRT 节点代替，成为转换后网络中的block-25 节点。在网络运行过程中，如果遇到该节点，Paddle 将调用 TensorRT 库来对其执行。

Paddle-TRT 性能测试¶