\u200E
体验极致推理性能!30分钟带你快速掌握AI开发与边缘部署
发布日期:2022-05-31T04:31:24.000+0000 浏览量:100次


深度学习经过多年发展,AI 已经深入人心。在图像、文本、视频、语音等领域,AI 已在各行各业落地应用。我们熟知的自动驾驶、语音助手、智能质检,背后就大量运用了 AI 技术。

在AI产业化进程中,如何快捷落地一直是大家关注的问题。边缘开发环节,分散、轻量、低算力、异构多样是常见的基本情况。AI模型数据本身对算力、网络的要求比较高。如何在精度、性能、成本之间取得平衡是AI开发者在边缘部署过程中面临的巨大挑战。


1

五大灵魂拷问

AI 模型端部署难点在哪里?

  • 灵魂拷问一:我的使用场景需要我将模型部署到端上,但是端上开发可能会面向嵌入式设备,操作系统也可能是Android、iOS,有一定的上手成本,怎样才能更轻松地把模型落地到硬件设备上?

 
  • 灵魂拷问二 :这些年出了好多加速芯片、加速卡、边缘计算盒,价格便宜还不占地,我想知道它们跑模型能达到什么样的精度和性能,帮助我进行选型。

  • 灵魂拷问三 :我训练好的模型适配XX芯片,要在各种模型格式之间转来转去,有点头大,好不容易模型格式对齐了,又有算子OP不支持,我该怎么办才能让它跑起来?
 
  • 灵魂拷问四 :我想换个芯片,却发现怎么各家芯片的端上推理模型格式都不一样,又得从头适配,模型转起来想想就头大。

  • 灵魂拷问五 :费了九牛二虎之力,模型在端上跑起来了,可是速度不是太理想,我想让它跑得更快,更省内存。听说量化、剪枝、蒸馏这方面挺有用,但是好像自己研究代码耗时太久。


2

EasyEdge

提供最广泛的硬件平台适配 

上述问题是开发者在端上部署模型时经常遇到的难点,为了解决这些问题,百度推出了EasyEdge端与边缘AI服务平台。通过EasyEdge,开发者可以便捷地将AI模型部署到各式各样的AI芯片和硬件平台上。



大家可以从上图中看到,EasyEdge提供最广泛的硬件和平台适配,30+种AI芯片与硬件平台,4大主流操作系统。
  • 你想把模型部署到Windows PC上?没问题,安排!
  • 发布到手机上?Android还是iOS,随便选!
  • 近期新增了浏览器/小程序部署,也将为广大用户在部署方面提供更多选择!


3

公开课预告

快来训练部署你的模型吧

5月26日(周四)20:00《AI开发与边缘部署技术方案解析》公开课将会带大家深度了解EasyEdge,手把手带你快速掌握AI模型推理部署。本次课程特别邀请到百度高级研发工程师来为大家演示部署全流程~


快来扫码报名

亲自体验一下




关注【飞桨PaddlePaddle】公众号

获取更多技术内容~