\u200E
Paddle Lite性能大提升!ARM CPU多场景端侧部署,直击AI产业应用
发布日期:2022-03-31T12:12:21.000+0000 浏览量:103次

随着芯片技术和边缘计算技术的快速发展,AI算法落地应用逐渐从服务器端走向移动端和边缘端。在 L1~L4自动驾驶、无人机、智能家居、工业质检、新零售 等行业场景中,怎么把 目标检测、OCR、人流统计、语音识别 等AI模型顺利地部署到端侧设备,并保证模型效果,在项目中至关重要。

智能辅助驾驶算法→ADAS

智能语音识别→小度音箱

“识万物”算法→手机百度

无人机跟踪算法→端侧硬件

人流统计算法→智能摄像头

人脸处理算法→好看小视频

注*: 以上视频/图片引用来源注明见引用说明[1]


然而,现实中智能终端硬件种类繁多、内存资源计算资源相对有限,要完成模型在端侧的部署,一个巨大挑战是AI模型推理速度是否满足业务要求。很多时候,开发小伙伴们对比了各种推理引擎速度后,费了九牛二虎之力做模型转换和精度对齐,终于将模型在端上跑起来了,可是速度还是不太理想,然后又对模型做量化、剪枝、蒸馏等一系列的尝试,最后仰天长啸“坑…死…了…怎么还是这么慢!”


今天我们给大家带来的新升级的轻量化推理引擎PaddleLite+模型压缩工具PaddleSlim正好可以解决上述端侧部署的痛点问题。


此次升级,轻量化推理引擎Paddle Lite通过多维度算子优化技术,性能有了大幅提高。经测试,算子性能在ARM CPU v7与v8架构下,推理速度最高分别可以提升23.09%和23.33%


再有PaddleSlim非结构稀疏剪枝和INT8量化能力的加持,使Paddle Lite的推理速度更进一步。经测试,在轻量级分类、检测、分割模型上使用PaddleSlim非结构化稀疏后,Paddle Lite的推理加速达到20%~80%,部署模型体积减小22%~36%(精度损失0.2%~1.5%);量化加速达到20%~50%,模型体积减少75%(精度损失0.2%~1.0%)。以PicoDet-ShuffleNet-m模型在骁龙835芯片上推理为例,通过PaddleSlim完成85%非结构化稀疏剪枝后,可以提升推理速度80%;使用INT8量化,可以提升推理速度35%。



话不多说,直接奉上开源代码实现

https://github.com/PaddlePaddle/Paddle-Lite

欢迎大家✨Star收藏,深入研究使用。

 

在AI产业应用中,怎么将AI任务更好地落地到各种真实场景呢?Paddle Lite团队联合百度搜索产品研发团队、百度视觉技术团队,从通用目标检测、软硬一体的人脸终端方案、百度APP业务实战三个具体的场景出发,全面剖析AI开发(模型选型-训练-验证-转换-部署)全流程,详解产业落地中端侧部署中的核心技术。3月28日-3月29日每晚20:30-21:30,我们不见不散。



快快扫码关注起来。微信扫码报名课程,即可加入官方技术交流群,在这里您可以获得更高效的问题答疑,与各行各业开发者充分交流,期待您的加入!更多飞桨的相关内容,请参阅以下内容。



生态建设欢迎你




自Paddle Lite开源以来,小伙伴们陆陆续续将Paddle Lite应用到各行各业中。感谢可爱的小伙伴们伴随Paddle Lite的成长,给予真诚的反馈,并积极投入到Paddle Lite的项目建设中。同时,真诚地邀请每一位开发者朋友加入Paddle Lite开源项目建设中来,站上中国AI舞台,共舞世界AI蓝图。


 

图片数据引用说明


【智能辅助驾驶场景】

辅助驾驶图像:源于百度飞桨Paddle Lite https://github.com/PaddlePaddle/Paddlelite和百度地图公开数据集

辅助驾驶硬件产品:https://cloud.baidu.com/product/hardware/edgeboard

【无人机监测跟踪场景】

无人机数据:https://github.com/ucas-vg/Anti-UAV

端侧硬件:https://cloud.baidu.com/product/hardware/edgeboard

【智能语音识别场景】

语音识别图像:https://cloud.baidu.com/product/speech/realtime_asr?track=cp:nsem|pf:pc|pp:nsem-chanpin-shishiyuyinshibie|pu:yuyinshibie-pinpaici|ci:|kw:10092197&bd_vid=3552446585807869652

小度音箱产品:https://dumall.baidu.com/

【智能人流统场景】

人流跟踪动图片段:数据来源于公开数据集:Milan A, Leal-Taixé L, Reid I, et al.MOT16: A benchmark for multi-object tracking[J]. arXiv preprintarXiv:1603.00831, 2016.

摄像头硬件:https://cloud.baidu.com/products/index.html

【手机百度APP场景】

识万物功能视频:使用百度APP实时录制

APP图标来源:百度APP

【人脸图像迁移场景】

APP图标开源:好看小视频





相关阅读


关注【飞桨PaddlePaddle】公众号

获取更多技术内容~