飞桨深度学习平台高效支持大模型生产及应用

3 月 22 日即可在线观看（自主点播形式）

[S52366]

源于百度业务对人工智能技术的广泛应用，飞桨深度学习平台结合应用持续创新，研发了业界领先的大规模分布式训练技术。飞桨先后发布了4D混合并行训练、端到端自适应分布式训练、超大规模图训练引擎等核心技术，并基于这些技术支持文心大模型的训练和部署。目前，文心大模型已经覆盖基础大模型、任务大模型、行业大模型的三级体系，飞桨+文心大模型赋能千行百业的智能化升级。

PGLBox：百度基于 GPU 的超大规模图模型训练框架

3 月 22 日 3:30PM

[SE51302]

PGLBox 是百度研发的基于 GPU 的大规模图模型训练框架，支持数百亿节点和边的图模型全 GPU 训练，已在百度广泛部署。与传统的基于 CPU 的分布式解决方案相比，PGLBox 可以在相同的成本下获得28倍的训练加速。相比业界主流的分布式 CPU 解决方案，PGLBox 具有超高性能、超大规模、算法丰富、灵活易用、落地广泛等优势。

面向大模型的端到端套件PaddleFleetX

3 月 23 日 10:00AM

[S51309]

大规模预训练技术已经在多个领域表现出了优秀效果，但是从应用和落地的角度来看，其门槛并不低。PaddleFleetX 是一款依托于飞桨深度学习平台的面向大模型的端到端套件，涵盖了开发、训练、小型化、推理等全流程，具备简单易用、性能领先、且功能强大等特色。本演讲将介绍 PaddleFleetX 相关核心技术，包括全场景分布式并行策略、极致的分布式训练优化技术，丰富多样的模型小型化能力和高效的大模型分布式推理与部署方案。

全场景高性能AI部署工具FastDeploy

3 月 23 日 2:00 PM

[S52367]

FastDeploy是一款全场景、极致高效、易用灵活的AI推理部署工具，支持云边端部署。统一飞桨及生态的多端部署API，目前支持Paddle Inference、Paddle Lite、TensorRT、ONNX Runtime、Poros等推理引擎，一行命令可灵活切换多个推理引擎后端；同时支持Triton Inference Server，一款工具可实现快速的云边端部署。

通过集成CV-CUDA、FastTokenier、FlyCV等AI加速库，以及PaddleSlim自动压缩工具，实现AI模型端到端的性能优化。FastDeploy精心完成了部署API设计，确保不同语言的开发者能够享受到统一的API体验，不同语言只需要3行核心代码，就可以实现预置模型的高性能推理；预置的160+SOTA产业模型的端到端示例 ，快速完成AI的产业落地。