【[项目提交]+具有交互学习能力的机械臂写字系统】

minas

一、项目名称：

具有交互学习能力的机械臂写字系统

A Robotic Writing System with Intelligent Interactive LearningAbility

二、团队名称

智能人机交互小组
NLPR-HCI

三、团队成员：

Yang Minghao
Tang Renjun
Pan Hang
Zhao Bocheng

Zhang Ke
Zhu Qinjie
Naren Ruoyang   
Zhan Yongsong
Tao Jianhua

四、项目简介：

本项目基于UArm1.0版机械臂构建了一个学习人类写字顺序的智能写字系统。首先，机械手臂能够拆写不认识的汉字，如果机械手臂书写汉字的顺序不对，用户可通过对话并在画图板上演示正确书写过程，机械臂在人机交互中学习汉字的正确书写过程。

系统的具体功能包括：

（1）根据用户语音指令写字：根据语音识别和语义理解，机械手臂书写已经学习过的汉字；

（2）看图写字：用户给机械臂一张汉字卡片，如果该字不认识，机械手臂自动拆分汉字笔画笔顺，并书写汉字；

（3）书写学习：如果机械臂写字的笔画或者笔顺不正确，用户可在写字板上演示正确书写过程，机械臂将用户正确的书写过程匹配到写错的字上，进行学习。

五、具体步骤：

（1）用户给系统展示汉字卡片（用户同时可用语音告诉机械臂这个字的读音）；如果机械臂不认识这个字，同时用户没有语音提示，会主动询问这个字的读音）；

（2）得到语音识别结果，系统通过语义分析获取用户将要让机械臂书写的汉字。比如“这是一个永远的永”，则关键字为“永”；

（3）系统拆分汉字笔画笔顺，但可能会拆分错（学习前）；

（4）书写可视化（学习前）；

（5）机械手臂根据拆分结果书写汉字（学习前）；

（6）如果机械臂写字有误，用户教授机械臂正确的汉字书写笔画和笔顺；

（7）系统记录正确的汉字笔顺；

（8）用户写字笔顺分析；

（9）系统根据用户教授的笔画笔顺与原汉字进行匹配；

（10）笔迹书写可视化（学习后）；

（11）机械手臂根据融合结果书写汉字（学习后）；

项目视频：

更新Uarm Swift Pro机械臂，重新上传演示视频。

视频网址：

https://v.youku.com/v_show/id_XMzU5NDcwNDQ3Ng==.html?spm=a2h0k.11417342.soresults.dtitlev

项目代码：

本项目公开用于UArm机械臂控制部分的代码，具体代码请参考下面的链接。

https://github.com/369631947/jxb/blob/master/uarm_moving.py

六、项目展望：

本项目融合语音、视觉等交互技术，结合UArm机械手臂操作平台提升了交互的趣味性。本系统通过智能手段为用户提供了交互书写的乐趣，在儿童教育方面具有重要价值。

Admin_UF

您好，我是uArm团队运营同事，希望能和您取得联系，讨论关于您项目的问题，谢谢，我的微信是459081229，如方便，请添加微信沟通～

aqb3322

这个可以做作业了

Admin_UF

你好，请尽快将以下信息发送到UFACTORY管理员邮箱Lancer.yao@ufactory.cc，以便与您第一时间取得联系，谢谢。
项目联系人：
项目名（提交的名字）：
联系手机：
联系邮箱：
联系微信：
谢谢。