基本信息:
- 专利标题： 一种基于第一视角RGB-D数据的手部动作识别方法
- 申请号：CN202011018265.6 申请日：2020-09-24
- 公开(公告)号：CN112307892A 公开(公告)日：2021-02-02
- 发明人： 杨谦 , 许屹 , 郑星 , 华晓 , 严伟雄 , 张晓 , 汪勇 , 周伟红 , 许潜航 , 杨永峰 , 黄炎阶 , 段凌霄
- 申请人： 国网浙江省电力有限公司衢州供电公司
- 申请人地址： 浙江省衢州市柯城区新河沿6号
- 专利权人： 国网浙江省电力有限公司衢州供电公司
- 当前专利权人： 国网浙江省电力有限公司衢州供电公司
- 当前专利权人地址： 浙江省衢州市柯城区新河沿6号
- 代理机构： 杭州杭诚专利事务所有限公司
- 代理人： 尉伟敏
- 主分类号： G06K9/00
- IPC分类号： G06K9/00 ; G06K9/62 ; G06N3/04 ; G06N3/08 ; G06T7/194 ; G06T7/246 ; G06T7/269 ; G06T7/38
摘要：
本发明提出一种基于第一视角RGB‑D数据的手部动作识别方法，包含以下步骤：佩戴RGB‑D传感器采集多个的视频片段；将RGB‑D传感器采集到数据进行预处理，并进行数据增强，制作对应的标签，形成数据集；将不同动作进行尺寸统一处理后，针对RGB图像序列提取空间信息；计算RGB图像序列中两个相邻帧之间的光流，得到对应的光流图像序列，基于Resnet网络提取光流图像的时序信息；采用注意力机制的方法提取深度图像序列的图像序列结构信息；针对三种数据提取到的特征，采用多模态学习网络，分别提取他们的共有信息和特有信息进行训练，最后融合共有信息和特有信息，对动作进行识别。本发明可以充分结合RGB视频和深度视频的信息，具有更好的鲁棒性和更高的识别准确率。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06K | 数据识别；数据表示；记录载体；记录载体的处理 |
| ------G06K9/00 | 用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置 |