基本信息:
- 专利标题： 一种多模态情感识别方法及装置
- 申请号：CN202010251145.4 申请日：2020-04-01
- 公开(公告)号：CN111564164A 公开(公告)日：2020-08-21
- 发明人： 潘明明 , 田世明 , 李德智 , 龚桃荣 , 陈宋宋 , 宫飞翔 , 石坤 , 董明宇
- 申请人： 中国电力科学研究院有限公司 , 国家电网有限公司
- 申请人地址： 北京市海淀区清河小营东路15号
- 专利权人： 中国电力科学研究院有限公司,国家电网有限公司
- 当前专利权人： 中国电力科学研究院有限公司,国家电网有限公司
- 当前专利权人地址： 北京市海淀区清河小营东路15号
- 代理机构： 北京安博达知识产权代理有限公司
- 代理人： 徐国文
- 主分类号： G10L25/63
- IPC分类号： G10L25/63 ; G10L25/18 ; G10L25/24 ; G10L25/30 ; G10L15/04 ; G10L15/02 ; G06F40/30 ; G06K9/00 ; G06N3/04 ; G06N3/08
摘要：
本发明公开了一种多模态情感识别方法及装置，所述方法包括：将获取的原始音视频信号进行数据切分，得到多个待检测情感片段和每个待检测情感片段对应的多个设定长度的子片段，其中，每个子片段均包括多重模态；将每个具有多重模态的子片段带入训练好的多模态情感识别网络模型，获得每个子片段的情感类别；基于每个待检测情感片段中所有子片段的情感类别，分别对每个待检测情感片段进行情感识别，确定各待检测情感片段对应的情感类别；其中，所述多重模态包括：视频片段、音频片段和所属待检测情感片段中由音频片段识别得到的文本。本发明将多种模态进行融合大大提高了算法的识别准确率。
IPC结构图谱:
| G | 物理 |
| --G10 | 乐器；声学 |
| ----G10L | 语言分析或合成；语言识别 |
| ------G10L25/00 | 不限于组G10L15/00-G10L21/00的语言或者声音分析技术 |
| --------G10L25/48 | .专门适用于特定用途 |
| ----------G10L25/51 | ..比较或判别 |
| ------------G10L25/63 | ...情感状态估计 |