基本信息:
- 专利标题： 一种基于注意力机制的深度监督跨模态对抗学习方法
- 申请号：CN202110144443.8 申请日：2021-02-02
- 公开(公告)号：CN112905822A 公开(公告)日：2021-06-04
- 发明人： 曾焕强 , 王欣唯 , 朱建清 , 廖昀 , 刘青松 , 陈虢
- 申请人： 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
- 申请人地址： 福建省泉州市丰泽区城东城华北路269号; ; ;
- 专利权人： 华侨大学,厦门亿联网络技术股份有限公司,厦门云知芯智能科技有限公司,厦门华联电子股份有限公司
- 当前专利权人： 华侨大学,厦门亿联网络技术股份有限公司,厦门云知芯智能科技有限公司,厦门华联电子股份有限公司
- 当前专利权人地址： 福建省泉州市丰泽区城东城华北路269号; ; ;
- 代理机构： 厦门市首创君合专利事务所有限公司
- 代理人： 张松亭; 杨锴
- 主分类号： G06F16/55
- IPC分类号： G06F16/55 ; G06F16/583 ; G06F16/35 ; G06F16/33 ; G06K9/62 ; G06N3/04 ; G06N3/08
摘要：
本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法，针对每个模态构建深度学习网络获取深度特征，引入生成对抗网络，利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征，在公共子空间进行异质性数据的度量的同时，利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络，使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能；在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算，从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者，实现跨模态检索。
公开/授权文献:
- CN112905822B 一种基于注意力机制的深度监督跨模态对抗学习方法 公开/授权日：2022-07-01
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/55 | ..结果的聚类；分类 |