智能辅助驾驶算法→ADAS
智能语音识别→小度音箱
“识万物”算法→手机百度
无人机跟踪算法→端侧硬件
人流统计算法→智能摄像头
人脸处理算法→好看小视频
然而，现实中智能终端硬件种类繁多、内存资源和计算资源相对有限，要完成模型在端侧的部署，一个巨大挑战是AI模型推理速度是否满足业务要求。很多时候，开发小伙伴们对比了各种推理引擎速度后，费了九牛二虎之力做模型转换和精度对齐，终于将模型在端上跑起来了，可是速度还是不太理想，然后又对模型做量化、剪枝、蒸馏等一系列的尝试，最后仰天长啸“坑…死…了…怎么还是这么慢！”
今天我们给大家带来的新升级的轻量化推理引擎PaddleLite+模型压缩工具PaddleSlim正好可以解决上述端侧部署的痛点问题。
此次升级，轻量化推理引擎Paddle Lite通过多维度算子优化技术，性能有了大幅提高。经测试，算子性能在ARM CPU v7与v8架构下，推理速度最高分别可以提升23.09%和23.33%。
再有PaddleSlim非结构稀疏剪枝和INT8量化能力的加持，使Paddle Lite的推理速度更进一步。经测试，在轻量级分类、检测、分割模型上使用PaddleSlim非结构化稀疏后，Paddle Lite的推理加速达到20%～80%，部署模型体积减小22%～36%（精度损失0.2%～1.5%）；量化加速达到20%～50%，模型体积减少75%（精度损失0.2%～1.0%）。以PicoDet-ShuffleNet-m模型在骁龙835芯片上推理为例，通过PaddleSlim完成85%非结构化稀疏剪枝后，可以提升推理速度80%；使用INT8量化，可以提升推理速度35%。
话不多说，直接奉上开源代码实现
https://github.com/PaddlePaddle/Paddle-Lite
欢迎大家✨Star收藏，深入研究使用。
在AI产业应用中，怎么将AI任务更好地落地到各种真实场景呢？Paddle Lite团队联合百度搜索产品研发团队、百度视觉技术团队，从通用目标检测、软硬一体的人脸终端方案、百度APP业务实战三个具体的场景出发，全面剖析AI开发（模型选型-训练-验证-转换-部署）全流程，详解产业落地中端侧部署中的核心技术。3月28日-3月29日每晚20:30-21:30，我们不见不散。
快快扫码关注起来。微信扫码报名课程，即可加入官方技术交流群，在这里您可以获得更高效的问题答疑，与各行各业开发者充分交流，期待您的加入！更多飞桨的相关内容，请参阅以下内容。
生态建设欢迎你
自Paddle Lite开源以来，小伙伴们陆陆续续将Paddle Lite应用到各行各业中。感谢可爱的小伙伴们伴随Paddle Lite的成长，给予真诚的反馈，并积极投入到Paddle Lite的项目建设中。同时，真诚地邀请每一位开发者朋友加入Paddle Lite开源项目建设中来，站上中国AI舞台，共舞世界AI蓝图。
相关阅读
关注【飞桨PaddlePaddle】公众号
获取更多技术内容~
