\u200E
精彩回顾来啦!百度文心大模型技术开放日
发布日期:2022-04-28T07:43:25.000+0000 浏览量:183次

随着人工智能步入工业大生产阶段,AI大模型正在加速走出实验室,在全球范围内逐步实现产业落地应用的突破。AI大模型为什么在近年迎来大爆发?AI大模型在落地过程中如何更好适应产业需求?从研发到落地,百度文心大模型都经历了什么?

4月16日的技术开放日上,文心大模型“技术天团”首次集中亮相,百度技术委员会主席吴华、百度计算机视觉首席科学家王井东、百度飞桨总架构师于佃海、百度杰出研发架构师孙宇分享大模型技术发展趋势洞察、文心大模型最新技术突破及产业应用实践,为技术爱好者带来了一场干货满满的AI技术盛宴。


文心大模型:知识增强的NLP模型详解

吴华 百度技术委员会主席


预训练语言模型技术的发展,快速推进了自然语言处理领域各个任务效果的大幅提升。本次报告介绍了百度文心大模型的发展历史、知识增强NLP大模型,以及在持续可学习的模型框架上,如何引入知识图谱、多语言、多模态等多元异构信息,不断增强模型能力,从而大幅提升模型效果的技术内容。


【AI大模型】公众号后台回复「知识增强」,即可获取该分享PPT。



文心大模型:CV基础模型及应用

王井东 百度计算机视觉首席科学家


视觉基础模型的本质是从大量的数据中学到视觉知识并融合到模型中,用以提升下游视觉任务性能。本次报告介绍了百度在视觉基础模型预训练这一领域的几项代表性工作及其在实际业务应用中的性能表现。报告首先介绍了基于图像文本和视频文本弱监督预训练视觉表征学习,其提升了图像、视频以及商品图像的搜索性能。然后介绍了自监督表征预训练在通用领域和垂直领域(如OCR结构和人脸活体检测)的工作。最后介绍打通基础模型落地的模型小型化技术。



文心大模型:基于飞桨的分布式训练和高性能推理

于佃海 百度飞桨总架构师


大模型带来效果提升的同时,也给训练和推理部署带来了新的挑战。依托于飞桨强大的分布式训练能力,文心大模型高效迭代演进,成功发布了规模和效果领先的系列模型,并在超大规模模型上具备高速推理能力。本次报告介绍了大模型对深度学习分布式训练带来的技术挑战和应对,飞桨在大模型训练上的创新技术和整体解决方案,以及在支持文心大模型训练中的实践经验,同时也介绍了飞桨支持文心大模型高性能推理方面的最新进展。



文心·NLP大模型工具、平台及应用

孙宇 百度杰出研发架构师


人工智能时代,充分利用大数据和大模型,兼顾落地成本及部署效率,需要结合技术和产业应用。文心大模型中发布最早、应用最广的知识增强NLP模型ERNIE,曾在全球权威榜单GLUE、SuperGLUE登顶榜首,在金融、通信、企业服务、互联网等行业取得广泛应用。本次报告聚焦基于ERNIE打造的NLP大模型工具与平台,通过实际应用案例,分享如何充分利用世界领先的ERNIE系列大模型提升应用效果,创造业务价值。




关注【飞桨PaddlePaddle】公众号

获取更多技术内容~