基本信息:
- 专利标题： 一种基于全局-局部对比学习的跨模态检索方法
- 申请号：CN202411843318.6 申请日：2024-12-13
- 公开(公告)号：CN119903167A 公开(公告)日：2025-04-29
- 发明人： 李天煜 , 姬大鹏 , 杨石柯 , 李桂斌
- 申请人： 中国电子科技集团公司第二十研究所
- 申请人地址： 陕西省西安市雁塔区白沙路1号
- 专利权人： 中国电子科技集团公司第二十研究所
- 当前专利权人： 中国电子科技集团公司第二十研究所
- 当前专利权人地址： 陕西省西安市雁塔区白沙路1号
- 代理机构： 重庆大学专利中心
- 代理人： 金凤
- 主分类号： G06F16/334
- IPC分类号： G06F16/334 ; G06F16/583 ; G06F18/22 ; G06F18/21 ; G06N3/084
摘要：
本发明提供了一种基于全局‑局部对比学习的跨模态检索方法，采用评分机制使一个实例对应多个正样本，将图像和文本全局特征输入变分自编码器，将生成特征加入正样本集合进行学习，从而进一步增强模型的判别能力；采用ResNet‑152网络和BERT模型分别提取图像和文本的局部特征，采用软注意力机制学习图像区域和文本单词之间的相关信息，软注意力机制通过加权计算每一个文本单词与每一块图像区域之间的相关性，故无需对文本单词和图像区域进行细粒度标注。本发明解决当前对比学习方法中正负样本选取不够灵活的问题，解决了现有方法忽略数据间细节语义信息的问题。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06F | 电数字数据处理 |
| ------G06F16/00 | 信息检索；数据库结构；文件系统结构 |
| --------G06F16/10 | .文件系统；文件服务器 |
| ----------G06F16/33 | ..查询 |
| ------------G06F16/332 | ...查询公式 |
| --------------G06F16/334 | ....查询执行 |