基本信息:
- 专利标题： 一种半结构化访谈与跨模态融合的情绪识别方法及装置
- 申请号：CN202211106720.7 申请日：2022-09-13
- 公开(公告)号：CN115186146A 公开(公告)日：2022-10-14
- 发明人： 邹博超 , 马惠敏 , 李欣
- 申请人： 北京科技大学
- 申请人地址： 北京市海淀区学院路30号
- 专利权人： 北京科技大学
- 当前专利权人： 北京科技大学
- 当前专利权人地址： 北京市海淀区学院路30号
- 代理机构： 北京市广友专利事务所有限责任公司
- 代理人： 张仲波
- 主分类号： G06F16/903
- IPC分类号： G06F16/903 ; G06N3/04 ; G06N3/08 ; G06F16/906 ; G06K9/62 ; G06F16/33 ; G06F16/35 ; G06F16/65 ; G06F16/683 ; G06F16/75 ; G06F16/783
摘要：
本发明涉及计算机人工智能技术领域，特别是涉及一种半结构化访谈与跨模态融合的情绪识别方法及装置，一种半结构化访谈与跨模态融合的情绪识别方法包括：获得被测者情绪的音视频文本数据；通过半结构化访谈与跨模态融合的情绪识别模型，对模拟访谈过程中被测者的音视频文本数据进行识别，得到被测者的情绪识别结果。其中，所述半结构化访谈与跨模态融合的情绪识别模型包括OpenFace、OpenSmile、预训练中文BERT模型、跨模态特征聚合Crossmodal‑Transformer以及全连接层，全连接层包括分类和回归两项输出。采用本发明，解决了跨模态融合方法内在不对齐以及长时的语义关联性问题，情绪识别评估方法的效果有显著提升。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/903 | ..查询 |