飞桨模型量化¶

NV GPU上部署量化模型¶

使用PaddleSlim静态离线量化方法和量化训练方法产出量化模型后，可以使用Paddle Inference在Nvidia GPU上部署该量化模型。

Nvidia GPU上部署常规模型的流程是：准备TensorRT环境、配置Config、创建Predictor、执行。Nvidia GPU上部署量化模型和常规模型大体相似，需要改动的是：指定TensorRT配置时将precision_mode设置为paddle_infer.PrecisionType.Int8，将use_calib_mode设为False。

config.enable_tensorrt_engine(
  workspace_size=1<<30,
  max_batch_size=1,
  min_subgraph_size=5,
  precision_mode=paddle_infer.PrecisionType.Int8,
  use_static=False,
  use_calib_mode=False)

Paddle Inference的详细说明，请参考文档。

Nvidia GPU上部署量化模型的详细说明，请参考文档。

X86 CPU上部署量化模型¶

使用PaddleSlim静态离线量化方法和量化训练方法产出量化模型后，可以使用Paddle Inference在X86 CPU上部署该量化模型。

X86 CPU上部署量化模型，首先检查X86 CPU支持指令集，然后转换量化模型，最后在X86 CPU上执行预测。

Paddle Inference的详细说明，请参考文档。

X86 CPU上部署量化模型的详细说明，请参考文档。

1）检查X86 CPU支持指令集

大家可以在命令行中输入lscpu查看本机支持指令。

在支持avx512、不支持avx512_vnni的X86 CPU上（如：SkyLake, Model name：Intel(R) Xeon(R) Gold X1XX），量化模型性能为原始模型性能的1.5倍左右。

在支持avx512和avx512_vnni的X86 CPU上（如：Casecade Lake, Model name: Intel(R) Xeon(R) Gold X2XX），量化模型的精度和性能最高，量化模型性能为原始模型性能的3~3.7倍。

2）转换量化模型

下载转换脚本到本地.

wget https://github.com/PaddlePaddle/Paddle/blob/develop/python/paddle/fluid/contrib/slim/tests/save_quant_model.py

使用脚本转换量化模型，比如：

python save_quant_model.py \
    --quant_model_path=/PATH/TO/PADDLESLIM/GENERATE/MODEL \
    --int8_model_save_path=/PATH/TO/SAVE/CONVERTED/MODEL

3）执行预测

准备预测库，加载转换后的量化模型，创建Predictor，进行预测。

注意，在X86 CPU预测端部署量化模型，必须开启MKLDNN，不要开启IrOptim（模型已经转换好）。

4）数据展示

图像分类INT8模型在 Intel(R) Xeon(R) Gold 6271 上精度

图像分类INT8模型在 Intel(R) Xeon(R) Gold 6271 单核上性能

Ernie INT8 模型在 Intel(R) Xeon(R) Gold 6271 的精度结果

Ernie INT8 模型在 Intel(R) Xeon(R) Gold 6271 上单样本耗时

ARM CPU上部署量化模型¶

Paddle Lite可以在ARM CPU上部署PaddleSlim动态离线量化方法、静态离线量化方法和量化训练方法产出的量化模型。

Paddle Lite部署量化模型的方法和常规非量化模型完全相同，主要包括使用opt工具进行模型优化、执行预测。

Paddle Lite的详细说明，请参考文档。

Paddle Lite部署动态离线量化方法产出的量化模型，请参考文档。

Paddle Lite部署静态离线量化方法产出的量化模型，请参考文档。

Paddle Lite部署量化训练方法产出的量化模型，请参考文档。

模型量化前后性能对比