文档名：正则化机制下多粒度神经网络剪枝方法研究
摘要：目前流行的模型压缩剪枝算法裁减的对象通常是整个卷积核.一些网络结构中存在特征图维度匹配的硬性要求,如ResNet中的残差结构主干上最后一个卷积层的卷积核个数以及Inception网络中的级联操作前所有分支上最后一个卷积层的卷积核个数都不能改变,这直接限定了剪枝的空间.本文提出一种正则化机制下的多粒度神经网络剪枝方法,针对维度匹配限制了剪枝空间的问题,设计从粗到细的多粒度剪枝策略,在稀疏化的同时维持了处于维度匹配位置的卷积层中卷积核的数量不变.并且,本文提出一种自适应L1正则化的稀疏方式,可以使网络在更新参数的同时兼顾到网络结构的变化.稀疏化后的卷积核不仅有比原卷积核更少的参数和计算量,而且拥有更加优异的结构性质,使网络具有更高的表达能力.例如,在CIFAR-10上,针对VGG-16,相比基准网络,在计算量压缩了76.73%的情况下,准确率提高了0.19%;针对ResNet-56,在计算量压缩了82.54%的情况下,准确率只下降了0.14%.在ImageNet上,针对ResNet-50,在计算量压缩了56.95%的情况下,准确率只下降了0.48%.本文方法优于现有先进的剪枝方法.
作者：刘奇 陈莹Author：LIUQi CHENYing
作者单位：江南大学轻工过程先进控制教育部重点实验室,江苏无锡214122
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(8)
分类号：TP391.41
关键词：卷积神经网络 正则化 剪枝 维度匹配 自适应L1正则化
Keywords：convolutionalneuralnetwork regularization prune dimensionalitymatching adaptiveL1regularization
机标分类号：TP391.41TP181TN912.34
在线出版日期：2023年11月23日
基金项目：正则化机制下多粒度神经网络剪枝方法研究[
期刊论文] 电子学报--2023, 51(8)刘奇 陈莹目前流行的模型压缩剪枝算法裁减的对象通常是整个卷积核.一些网络结构中存在特征图维度匹配的硬性要求,如ResNet中的残差结构主干上最后一个卷积层的卷积核个数以及Inception网络中的级联操作前所有分支上最后一个卷积...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
正则化机制下多粒度神经网络剪枝方法研究 Research on Multi-Granularity Neural Network Pruning Method with Regularization Mechanism
正则化机制下多粒度神经网络剪枝方法研究.pdf
- 文件大小:
- 1.83 MB
- 下载次数:
- 60
-
高速下载
|
