Paddle Inference 部署示例¶
在 Paddle-Inference-Demo 中，提供了 C++、Python、Go 三种语言在不同平台下进行推理的示例。
C++ 部署示例速查列表
| 示例名称 | 功能概述 |
|---|---|
| ascend310 | 晟腾310 预测样例 |
| IPU | IPU 预测样例 |
| cpu/resnet50 | 单输入模型 oneDnn/ONNXRuntime 预测样例 |
| cpu/yolov3 | 多输入模型 oneDnn/ONNXRuntime 预测样例 |
| gpu/resnet50 | 单输入模型 原生GPU/TensorRT_fp32/TensorRT_fp16/TensorRT_int8/TensorRT_dynamic_shape 预测样例 |
| gpu/yolov3 | 多输入模型 原生GPU/TensorRT_fp32/TensorRT_fp16/TensorRT_int8/TensorRT_dynamic_shape 预测样例 |
| gpu/tuned_dynamic_shape | TensorRT动态shape自动推导 预测样例 |
| gpu/ernie_varlen | ernie 变长预测样例 |
| gpu/gpu_fp16 | GPU 混合精度推理 预测样例 |
| gpu/multi_stream | GPU 多流 预测样例 |
| advanced/custom_operator | 自定义算子 样例 |
| advanced/share_external_data | share_external_data 预测样例 |
| advanced/multi_thread | 多线程预测样例 |
| advanced/x86_gru_int8 | slim_int8 预测样例 |
| mixed/LIC2020 | LIC2020比赛 预测样例 |
Python 部署示例速查列表
| 示例名称 | 功能概述 |
|---|---|
| cpu/resnet50 | 单输入模型 oneDnn/ONNXRuntime 预测样例 |
| cpu/yolov3 | 多输入模型 oneDnn/ONNXRuntime 预测样例 |
| gpu/resnet50 | 单输入模型 原生GPU/GPU混合精度推理/TensorRT_fp32/TensorRT_fp16/TensorRT_int8/TensorRT_dynamic_shape 预测样例 |
| gpu/yolov3 | 多输入模型 原生GPU/GPU混合精度推理/TensorRT_fp32/TensorRT_fp16/TensorRT_int8/TensorRT_dynamic_shape 预测样例 |
| gpu/tuned_dynamic_shape | TensorRT动态shape自动推导 预测样例 |
| advanced/custom_operator | 自定义算子 样例 |
| advanced/share_external_data | share_external_data 预测样例 |
| advanced/multi_thread | 多线程预测样例 |
| mixed/ELMo | ELMo 预测样例 |
| mixed/mask_detection | 口罩检测预测样例 |
| mixed/x86_lstm_demo | Lstm 预测样例 |
Go 部署示例速查列表
| 示例名称 | 功能概述 |
|---|---|
| resnet50 | Go 预测样例 |