\u200E
Paddle Inference
Paddle Inference 是飞桨的原生推理库, 作用于服务器端和云端,提供高性能的推理能力。 由于能力直接基于飞桨的训练算子,因此Paddle Inference 可以通用支持飞桨训练出的所有模型。 Paddle Inference 功能特性丰富,性能优异,针对不同平台不同的应用场景进行了深度的适配优化,做到高吞吐、低时延,保证了飞桨模型在服务器端即训即用,快速部署。
核心优势
推理性能领先
推理性能领先
基于CPU、GPU、GPU-TensorRT极度调优,在主流模型推理延上速度优于竞品。
国产化软硬件支持
国产化软硬件支持
除Intel x86 CPU、NVIDIA GPU外,同时支持飞腾、鲲鹏、曙光、昆仑等国产CPU/NPU硬件。
丰富模型、算子支持
丰富模型、算子支持
原生框架前向算子抽取,全面支持飞桨主框架所有模型部署。
多种编程语言支持
多种编程语言支持
支持C++、Python、C、Go、Java和R语言API,对于其他语言,提供了ABI稳定的C API, 提供配套的教程、API文档及示例。
模型效果
模型效果
三大功能特性
高性能实现
三大功能特性
多功能集成
三大功能特性
多场景适配
三大功能特性
应用案例
使用咨询
合作与反馈
如果您想与飞桨开展业务合作或者对产品有使用建议,欢迎添加运营小姐姐微信:baidupaddle,通过后回复关键词「部署」,系统自动邀请加入技术群