基本信息:
- 专利标题： 基于反事实多智能体学习的图像场景图的生成方法和系统
- 申请号：CN202011280061.X 申请日：2020-11-16
- 公开(公告)号：CN112329879A 公开(公告)日：2021-02-05
- 发明人： 庄越挺 , 肖俊 , 汤斯亮 , 吴飞 , 杨易
- 申请人： 浙江大学
- 申请人地址： 浙江省杭州市西湖区余杭塘路866号
- 专利权人： 浙江大学
- 当前专利权人： 浙江大学
- 当前专利权人地址： 浙江省杭州市西湖区余杭塘路866号
- 代理机构： 杭州求是专利事务所有限公司
- 代理人： 郑海峰
- 主分类号： G06K9/62
- IPC分类号： G06K9/62 ; G06N20/20 ; G06N3/04
摘要：
本发明公开了一种基于反事实多智能体学习的图像场景图的生成方法和系统。该方法把图像场景图生成任务转换成为一种多智能体协同决策任务。其中将每个物体看成是一个智能体，每个智能体的动作空间是所有可选择的物体类别。每个智能体之间可以进行通信，来编码周围的视觉元素，提升智能体内部的特征表达。经过多轮智能体通信之后，再利用一个视觉关系预测模型来预测智能体之间的视觉关系，得到最终的场景图预测结果。本发明提出全新的反事实多智能体学习模型，使用场景图生成的评价指标作为模型的优化目标，反事实多智能体学习模型包含一个反事实基准模型，本发明可以通过提升物体类别的准确率，显著提升场景图生成质量。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06K | 数据识别；数据表示；记录载体；记录载体的处理 |
| ------G06K9/00 | 用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置 |
| --------G06K9/62 | .应用电子设备进行识别的方法或装置 |