基本信息:
- 专利标题： 一种基于通道注意力的自蒸馏实现方法
- 申请号：CN202211184522.2 申请日：2022-09-27
- 公开(公告)号：CN115829029A 公开(公告)日：2023-03-21
- 发明人： 朱隆熙 , 刘宁钟 , 吴磊 , 王淑君
- 申请人： 江苏中科梦兰电子科技有限公司 , 南京航空航天大学
- 申请人地址： 江苏省苏州市常熟市琴川街道梦兰村;
- 专利权人： 江苏中科梦兰电子科技有限公司,南京航空航天大学
- 当前专利权人： 江苏中科梦兰电子科技有限公司,南京航空航天大学
- 当前专利权人地址： 江苏省苏州市常熟市琴川街道梦兰村;
- 代理机构： 南京锐恒专利代理事务所
- 代理人： 陈思
- 主分类号： G06N3/0985
- IPC分类号： G06N3/0985 ; G06N3/0464
摘要：
本发明公开了一种基于通道注意力的自蒸馏实现方法，该方法包括：首先下载CIFAR数据集，并对其进行划分和增广；然后在残差网络网络结构的基础上，使用四个阶段特征加入通道注意力后分别作为学生网络和教师网络，构造出新的蒸馏框架；将划分后的数据集送入神经网络进行训练，直至网络收敛，获得权重文件；最后利用训练好的神经网络和权重文件来检测测试图像，并输出分类结果。本发明能够很好地解决了目前蒸馏框架中教师网络预训练耗时和小模型精度不达标的问题，提高了蒸馏下模型的准确率。
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06N | 基于特定计算模型的计算机系统 |
| ------G06N3/00 | 基于生物学模型的计算机系统 |
| --------G06N3/02 | .采用神经网络模型 |
| ----------G06N3/04 | ..体系结构，例如，互连拓扑 |
| ------------G06N3/0985 | ...超参数优化；元学习；学会学习 |