基本信息:
- 专利标题： 一种两阶段渐进式模态增强机制的RGB-T目标跟踪方法及装置
- 申请号：CN202510464192.X 申请日：2025-04-14
- 公开(公告)号：CN120543585A 公开(公告)日：2025-08-26
- 发明人： 郑元浩 , 胡杰 , 产思贤 , 陈钊民
- 申请人： 温州大学 , 温州大学大数据与信息技术研究院
- 申请人地址： 浙江省温州市瓯海区茶山高教园区温州大学
- 专利权人： 温州大学,温州大学大数据与信息技术研究院
- 当前专利权人： 温州大学,温州大学大数据与信息技术研究院
- 当前专利权人地址： 浙江省温州市瓯海区茶山高教园区温州大学
- 代理机构： 北京阳光天下知识产权代理事务所(普通合伙)
- 代理人： 赵飞
- 主分类号： G06T7/246
- IPC分类号： G06T7/246 ; G06V10/764 ; G06V10/82 ; G06N3/0455
摘要：
本申请公开了一种两阶段渐进式模态增强机制的RGB‑T目标跟踪方法及装置，涉及目标跟踪技术领域，包括：将多模态视频图像序列通过补丁嵌入以令牌的形式传入Transformer编码器,对初始输入进行两阶段模态提升：令牌级模态提升阶段将两个模态的模板和搜索区域信息通过情景感知令牌分类方法进行分类，并针对三类令牌设计多模态协同提示器，对模态内和模态间令牌的交互进行限制；特征级模态提升阶段将令牌级阶段模态提升后的输出进行映射得到更高层的特征，并以跨模态的方式引导并增强目标特征的表达；将经历两阶段模态提升后得到的特征进行拼接融合，送入预测头实现跟踪，本发明从令牌信息到特征表示逐步增强多模态信息的表征能力，提高了目标跟踪的精准度。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06T | 一般的图像数据处理或产生 |
| ------G06T7/00 | 图像分析，例如从位像到非位像 |
| --------G06T7/10 | .分割；边缘检测 |
| ----------G06T7/246 | ..使用基于特征的方法，如角、段 |