基本信息:
- 专利标题： 一种融合时空图注意力网络的多模态人格预测方法和系统
- 申请号：CN202410393379.0 申请日：2024-04-02
- 公开(公告)号：CN118228194B 公开(公告)日：2024-11-08
- 发明人： 王荣全 , 李欣 , 马惠敏 , 邢泉生
- 申请人： 北京科技大学 , 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心）
- 申请人地址： 北京市海淀区学院路30号
- 专利权人： 北京科技大学,青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心）
- 当前专利权人： 北京科技大学,青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心）
- 当前专利权人地址： 北京市海淀区学院路30号
- 代理机构： 北京市广友专利事务所有限责任公司
- 代理人： 邓琳; 张仲波
- 主分类号： G06F18/25
- IPC分类号： G06F18/25 ; G06F18/241 ; G06F18/2431 ; G06N3/042 ; G06N3/0442 ; G06N3/0455 ; G06N3/0464 ; G06N3/082
摘要：
本发明公开了一种融合时空图注意力网络的多模态人格预测方法和系统，涉及情感计算技术领域，包括：基于卷积神经网络模型，提取目标视频中的场景时空外观特征、人脸时空外观特征和音频特征；基于图注意力网络模型，提取目标视频中的人脸时空几何结构特征；基于预训练语言模型，提取目标视频的文本特征；将场景时空外观特征、人脸时空外观特征、人脸时空几何结构特征、音频特征和文本特征进行特征融合，得到多模态融合特征；基于多模态融合特征和训练好的人格预测模型，对被试者进行人格预测，得到被试者的人格特质分数。本发明缓解了现有技术中存在的对人脸的特征为挖掘不细致、模态间权重分配不合理的技术问题。
公开/授权文献:
- CN118228194A 一种融合时空图注意力网络的多模态人格预测方法和系统 公开/授权日：2024-06-21