\u200E
飞桨创意赛火热进行中,总有一款AI时代Chatbot适合你
发布日期:2021-08-12T13:37:54.000+0000 浏览量:59次
PaddlePaddle × Wechaty × Mixlab 创意赛再升级!人工智能时代的ChatBot需要具备哪些能力?由你来定义!参赛的小伙伴们果然各显神通,快来pick你心中最中意的聊天机器人吧,并献上你珍贵的star!




对话故事生成,创造个人无限世界


穿越了穿越了,GPT 2 + wechaty让主神阿巴带你冒险!


实现过程:
本项目借助百度基于知识增强的持续学习语义理解框架ERNIE,使用PaddleNLP内置的GPT-2模型将用户输入和对话历史作为模型输入,实现对话故事生成功能。为了保证剧情顺畅可延续,需要预先定义部分关键剧情,比如“一管病毒试剂摆在你面前你要怎么做”等等。

飞桨体验:
总的来说飞桨使用体验很好,各种源码实践很值得学习。对于版本更新导致API变化等问题,建议新手完成入门课程后,多fork简单有趣的项目熟悉飞桨,遇到问题建议多查看源码学习。

https://github.com/Tju-LMc/Paddle_Story_Generation





一个能看懂表格图片的数据助手


一键上传星球数据表格图片,即可获取你想要的SQL答案。


实现过程:
用户上传一张表格数据图片(目前暂只支持单表),  通过PP-Structure解析表格模板并提取表格要素信息。然后基于Pandas数据分析工具以及Matplotlib可视化工具对数据进行深入解读,同时支持送入Text2SQL进行训练,最后就可以基于数据库用文本语言的方式查询到所需信息。

飞桨体验:
飞桨的工具组件和开发套件丰富易用,涉及到的业务领域广,模型种类多,可以像搭积木一样在很短时间内搭建一套应用。想快速上手的朋友可以先在GitHub上浏览飞桨的各种模型,也可在AI Studio上搜索其他大佬的类似实现,里面有大量保姆级教程可供学习。

https://github.com/thunder95/Paddle_Table_Image_Reader




移动小屋——智能车内互动玩伴


在智能车内实现城市间,长途上和黑夜里多场景的有趣互动。


实现过程:
移动小屋为年轻父母设计智能出行时的新育儿体验,在陌生与新奇的移动空间内,通过车窗交互连结前后排的隔绝空间,实现城市间,长途上和黑夜里多场景下的有趣互动。模型方面,目标检测模块主要使用yolov5模型,利用flask框架搭建图片检测的API。bot通过http请求调用API接口,并存储记录为后续的提问环节做数据支撑。


飞桨体验:
飞桨的框架使用简便,可以快速验证产品想法。从构思到产品上线,只需两周时间就可以把想法快速落地。

https://github.com/livingbody/joy_rides




星星的孩子


机器人多人互动游戏,提高孤独症儿童认知。


实现过程:
通过图像识别提高儿童认知,游戏方法如下:
  • 添加机器人,老师引导儿童进行互动游戏;
  • 开始游戏,机器人随机抽取基础图形,提示孩子们寻找匹配的物品;
  • 发送图片,机器人进行识别,满足匹配度时回复“恭喜x同学!”,不满足则鼓励说“x同学还差一点点,继续加油呀!”;
  • 限制时长,即将到时前机器人会进行提醒,到时后游戏自动结束。

飞桨体验:
感谢百度飞桨提供的Notebook环境和算力资源,很好的实现了这个公益性项目。

https://github.com/tipani86/StarChild




宇宙分歧终端机


宇宙分歧终端机,为宇宙和谐助力!


实现过程:

第一步:测试基本功能模块,如EasyDL手势识别、lac词法分析、PaddleGAN唇型合成;

第二步:将三个基本功能进行组合,通过脚本项目实现“宇宙分歧终端机”的效果。


飞桨体验:
去年末借着参加培训班和直播课的机会,深刻体会到了飞桨的魅力。作为中国首个自主研发、功能丰富、开源开放的产业级深度学习平台,百度飞桨提供了丰富的在线课程、公开项目、AI竞赛、免费GPU算力等,为对深度学习感兴趣的老师和同学给予了极大帮助。

https://github.com/yongxinliao-hqu/SpaceDisagreementResolver




礼仪机器人C-3PO


星际旅行,你准备好了吗?礼仪机器人C-3PO助力您的星际旅行!


实现过程:

第一步:测试基本功能模块,如Aurebesh语言转换器、百度翻译API、微信对话机器人;

第二步:将三个基本功能进行组合,通过脚本项目实现“礼仪机器人C-3PO”的效果。


飞桨体验:
刚入门深度学习和飞桨的同学,可以从AI Studio的课程开始,按照AI学习地图里的预备知识、基础入门、实战进阶逐步深入,还可以参加直播课程动手实践。有了一定的基础后可以参加比赛,体验登榜的乐趣。最后,希望大家积极开源有趣的项目,我为人人,人人为我。

https://github.com/yongxinliao-hqu/C-3PO_Wechaty_PaddleHub





星际终端— AR+LBS轻社交星际漂流瓶游戏


向外太空发信息,查看AI预测的外星人,寻找外星生物、外星建筑。


实现过程:
利用LSGAN生成外星生物——使用seamlessClone+人脸特征点进行外星人换脸——使用cityscapes模型进行场景中物体的识别及定位——使用msgnet风格迁移转换成外星建筑——利用EXIF信息及地图api实现地址定位——利用Wechaty发送/接收漂流瓶,发布任务。

飞桨体验:
PaddleSeg的GitHub页面有很多的SOTA模型,本项目的AR识别环境就直接调用了cityscapes模型。此外,使用PaddleHub的模型进行迁移学习可快速定制模型,本项目的流沙建筑就使用了其中的msgnet迁移。

https://github.com/kevinfu1717/SuperInterstellarTerminal




七夕孤寡小助手


钢铁直男看过来,七夕小助手教你说情话、写藏头诗、认识口红!



实现过程:
使用PaddleHub生成藏头诗和专属情话,借用PaddlePaddle实现口红识别的图片处理和内容预测,再基于wechaty实现微信自动对话。简单的代码即可实现强大的功能!

飞桨体验:
使用飞桨1年多了,PaddleHub体验非常舒适,几行代码就可以完成非常强大的功能,是小白前行路上的主推剂。飞桨yyds!

https://github.com/jhcgt4869/gugua_helps




铅笔画下的虚拟形象


通过调用人脸关键点检测模型,实现虚拟形象的合成。


实现过程:
本项目调用PaddleHub的人脸关键点检测模型,获取脸部信息。在实现头部摆动的功能时,采用求两向量顺时针夹角方式实现。进一步的,还对夹角参数进行了防抖处理,减少震频,提高视频观感,再通过纵横比公式实现嘴巴大小的改变。

飞桨体验:
在实现项目功能的时候,PaddleHub提供了很多预训练模型,大大降低了AI学习的门槛,为像我一样的小白降低了开发成本,每个人都可以来感受AI的魅力。

https://github.com/zengzhuoqi/paddle-virtual-figures-in-penclings




Wander[001] - 未来流浪者 V2.1


以AI chatbot为主体的跨媒体互联网艺术项目,已展出于2021亚洲数字艺术展。



https://github.com/sunyuqian1997/Wander001-V2.1




星际旅航机器人


利用PaddleGAN完成环境模拟,生成平面护照,代码简单,结果有趣!


实现过程:
项目实现流程简单易懂,基于PaddleGAN提供的风格迁移,场景动漫画以及人脸动漫化三个模型完成。然后在云服务器上搭建Wechaty即可连接到微信,从而快速完成一个微信机器人项目。

飞桨体验:
基于百度飞桨的开发套件,开发者可以在短时间内快速完成一个项目,许多模型仅需少量代码即可调用,体验感极佳。对于想快速完成一个项目的朋友们来说,使用PaddleHub套件是一个非常不错的选择。

https://github.com/Cursky/Cosmic-Wanderer-Guide-Robot




Look at the picture and change the color


结合Paddle和Wechaty控制能根据图片改变颜色的LED灯。

实现过程:
完成这个项目需要解决以下关键技术:1.用户与ChatBot沟通的接口,发送图片&返回结果;2.基于PaddleHub实现的图像分割模型部署及接口调用;3.底层硬件Arduino的控制方式,LED灯条的硬件连接。

飞桨体验:
总的来说,基于飞桨来实现这样一个简单的创意还是非常方便的,特别是使用PaddleHub Serving可以部署一个在线服务,下载完模型后,只需一行代码即可完成模型部署。

https://github.com/zbp-xxxp/LPCC





跟异类生物聊个天儿


基于飞桨语音识别、闲聊对话、音色克隆、嘴型同步模型实现语音人机交互。

实现过程:
用户选择一个虚拟角色作为聊天对象,通过音色克隆(Parakeet模型)高度模仿虚拟对象的语音特征,再基于Wechaty在微信端进行语音交互,也可以通过视频(Wav2Lip模型)带来更逼真的体验。语音交互均采用飞桨的开源模型,DeepSpeech用于语音识别,Plato-mini辅助对话文本生成,Parakeet可实现基于音色克隆的文本转语音功能。

飞桨体验:
飞桨的工具组件和开发套件丰富易用,涉及到的业务领域广,模型种类多,可以像搭积木一样在很短时间内搭建一套应用。想快速上手的朋友可以先在GitHub上浏览飞桨的各种模型,也可在AI Studio上搜索其他大佬的类似实现,里面有大量保姆级教程可供学习。

https://github.com/thunder95/Paddle_Voice_ChatBot




太空漫游指南


自动回复星球的介绍与图片,自动合成宇宙漫游照!

实现过程:
本项目基于msg.text()收到的星球名称信息(比如“水星”),通过await talker.say(dict1['水星']) 自动回复星球简介和图片,实现自主太空漫游。旅游结束后,还可以来一张合影留念照,主要通过PaddleHub实现图像的自动抠图,然后将抠出的人物图像合成到祝融号火星自拍中。

飞桨体验:
本项目主要使用PaddleHub的deeplabv3p_xception65_humanseg模型实现自动抠图,不得不说PaddleHub在图像分割技术上做的确实不错,人像抠的非常干净,然后可以直接与新图片合成,关键是使用方便,直接调用模型即可,初学者也很容易上手。

https://github.com/diandian16/-wechaty-paddlehub-




宇宙知识问答


随机获取题目并进行作答,可自动合成荣誉证书哦!



实现过程:
本项目利用字典生成题库,然后借用await talker.say(dict1['随机题目'])随机发布题目。基于字典的题库,机器人可以自动判断是否回答正确。最后,用PaddleGAN生成图像的动漫简笔画,再合并到预设的荣誉证书里。

飞桨体验:
PaddleGAN的photo2cartoon模型可以实现头像的卡通简笔画效果,不得不说这个简笔画效果还是很赞的,与照片的还原度非常高,完全看得出是谁,然后直接与预设的荣誉证书合成,犹如证件照一般贴到预设位置,效果棒棒的。

https://github.com/diandian16/wenda/

更多有趣的、好玩的项目还在持续产出中。如果你有好的创意,快加入技术交流群和大家一起分享吧!


如有飞桨相关技术问题,欢迎在飞桨论坛中提问交流:
http://discuss.paddlepaddle.org.cn/

欢迎加入官方QQ群获取最新活动资讯:793866180

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

·飞桨官网地址·
https://www.paddlepaddle.org.cn/

·飞桨开源框架项目地址·
GitHub: https://github.com/PaddlePaddle/Paddle 
Gitee: https://gitee.com/paddlepaddle/Paddle

长按上方二维码立即star!


飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体,是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。飞桨企业版针对企业级需求增强了相应特性,包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业,提供零门槛、预置丰富网络和模型、便捷高效的开发平台;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。


END