基本信息:
- 专利标题： 一种基于特征图稀疏化的卷积神经网络剪枝方法
- 申请号：CN202010066747.2 申请日：2020-01-20
- 公开(公告)号：CN110874631B 公开(公告)日：2020-06-16
- 发明人： 卓成 , 闫心刚
- 申请人： 浙江大学
- 申请人地址： 浙江省杭州市西湖区余杭塘路866号
- 专利权人： 浙江大学
- 当前专利权人： 杭州知存算力科技有限公司
- 当前专利权人地址： 311100 浙江省杭州市临平区乔司街道科城街180号1幢2层213-175室
- 代理机构： 杭州求是专利事务所有限公司
- 代理人： 刘静
- 主分类号： G06N3/04
- IPC分类号： G06N3/04 ; G06N3/08 ; G06K9/46 ; G06K9/62
摘要：
本发明公开了一种基于特征图稀疏化的卷积神经网络剪枝方法，涉及如何压缩卷积神经网络减少其参数量和计算量以便于实际部署；在训练过程中，通过在损失函数中增加对激活层之后的特征图L1或L2正则化，使相应的特征图通道具有不同的稀疏度，在一定剪枝率下根据特征图通道的稀疏度剪去相应通道对应的卷积核，微调剪枝后网络获得新的准确度，根据剪枝前后的准确度变化调节剪枝率，经过多次迭代，寻找近最优剪枝率，在满足准确度不下降的条件下，实现最大程度的剪枝。该方法大大减少了卷积神经网络的参数量和计算量。
公开/授权文献:
- CN110874631A 一种基于特征图稀疏化的卷积神经网络剪枝方法 公开/授权日：2020-03-10
IPC结构图谱:
| G | 物理 |
| --G06 | 计算；推算；计数 |
| ----G06N | 基于特定计算模型的计算机系统 |
| ------G06N3/00 | 基于生物学模型的计算机系统 |
| --------G06N3/02 | .采用神经网络模型 |
| ----------G06N3/04 | ..体系结构，例如，互连拓扑 |