\u200E
论AI小游戏是怎么练成的——『寻物大作战』原理揭秘
发布日期:2021-10-31T11:59:00.000+0000 浏览量:1204次

AI诞生以来,应用在了各个场景来帮助人们提高效率,优化体验。而在娱乐领域,越来越多的电子游戏开始将AI技术与游戏结合。今天我们为大家带来『寻物大作战』小游戏,真是称得上小小的身体,大大的能量!只要在规定时间内寻找指定的物品即可完成任务,通过摄像头可智能识别找到的物品,简单方便,无论是朋友聚会还是亲子互动,都是活跃气氛的利器了!



只需在『微信』搜索小程序“PaddlejsPlugin”,或是扫描下面的二维码即可快速开始游戏。动动手指,快来挑战一下吧!



这个小游戏是由PaddleClas联合Paddle.js打造,下面小编就为大家揭秘在这背后究竟是何原理,让你也能轻松拥有自己的专属的AI小游戏!



总体来说“寻物大作战”小游戏背后所依赖的正是目前AI领域最热门的深度学习技术,通过一套端到端的图像分类模型来实现物体识别的效果。虽然听起来“高大上”,有了下面这两个开发神器的力量加持,对新手用户,甚至是小白用户可以说非常友好!这两个神器就是:(噔噔噔噔~)百度飞桨图像分类套件PaddleClas和基于JavaScript的深度学习前端推理引擎Paddle.js~



PaddleClas作为“开箱即用”的图像分类套件,拥有180+预训练模型,都只需经过简单配置,即可完成从训练到部署的全流程工作。


近年来,深度学习技术越发的火热,计算机视觉在生活中得到了越来越多的应用,但受制于深度学习技术对庞大算力的需求,其在手机等算力有限设备上的应用总是捉襟见肘,以图像识别任务为例,高精度的网络模型往往意味着高算力的需求,『寻物大作战』能够在手机小程序中实现,而且可以针对视频流实时推理,其背后正是PaddleClas近期所推出的轻量级CPU场景骨干网络模型PP-LCNet


链接指路:

https://github.com/PaddlePaddle/PaddleClas



PP-LCNet模型以推理速度作为优化指标,特别针对Intel CPU平台所设计,同时兼顾ARM等移动端平台,在速度与精度的平衡上更为优秀,与现有SOTA模型相比,真正做到速度更快、精度更高。此外经过验证,PP-LCNet在目标检测、语义分割等下游视觉任务上同样具有优秀的性能。


Paddle.js是百度飞桨基于JavaScript的深度学习框架,也是国内首款开源前端智能框架。其应用环境不局限于浏览器,对小程序同样做了支持。通过Paddle.js运行AI模型,可以提供给用户高实时性、低延迟的体验,逐渐成为处理AI需求的更优解。在『寻物大作战』小游戏中,使用Paddle.js仅仅三个步骤就能赋予小程序AI能力。




轻松接入Paddle.js后,我们接下来看看在『寻物大作战』小程序上的最终实践效果。游戏要求玩家在规定时间内,利用手机摄像头,找出和题目匹配的物品。



主体实现思路可以归纳为,利用Paddle.js连续预测摄像头中的图像信息,判断和题目物品是否相符。仅仅几行代码就可以帮你实现!



不难分析出,推理运算耗时在一定程度上会影响游戏的流畅度。耗时越少,用户感受越好。我们在WebGL backend上对不同机型测试了推理耗时,在红米K30上单帧推理耗时仅为 32.1毫秒,iPhoneX为49.24毫秒,对比采用网络传输数据至服务端推理的方案,性能优势显而易见!在应对需要推理结果具有较好实时性的需求时,采用Paddle.js的方案将是更优的选择。


Paddle.js作为前端深度学习框架,还提供了模型转换、模型优化,性能工具和预训练模型库,包含人像分割、文字识别、手势识别及物品分类等模型的SDK, 提供开箱即用的 AI 能力,帮助用户快速实现 AI 效果。在性能方面通过算子融合、数据并行计算以及FP16量化等优化策略提升推理性能,给用户更好的使用体验。同时Paddle.js也提供了全套的模型加密方案保证用户模型安全。


说了这么多,感兴趣的小伙伴肯定迫不及待了吧~ 下面就送上我们的项目传送门:

https://github.com/PaddlePaddle/Paddle.js


开源不易,还请大家给我们的程序猿小哥哥一个Star的鼓励吧~


同时期待各位更多新的创意哦~





11月1日,这款小游戏的作者将来到飞桨直播间,分享这款微信识物小游戏是如何炼成的,欢迎大家进群观看直播,进行技术交流喔。


直播精彩抢先看:

  • 深度学习图像分类应用介绍;
  • 识图小游戏模型原理揭秘;
  • Paddle.js助力小程序快速推理;
  • 模型训练部署一条龙上手。


直播时间:

11月1日 19:00-21:00


直播链接:

http://live.bilibili.com/21689802


(扫码入群,观看直播)




长按下方二维码立即

Star

更多信息:

  1. 飞桨官方QQ群:793866180

  2. 飞桨官网网址:

    www.paddlepaddle.org.cn/

  3. 飞桨开源框架项目地址:

    GitHub:

    github.com/PaddlePaddle/Paddle 
    Gitee:

    gitee.com/paddlepaddle/Paddle

  4. 欢迎在飞桨论坛讨论交流~~

    http://discuss.paddlepaddle.org.cn