基于三值向二值演化的BNN剪枝方法
文档名：基于三值向二值演化的BNN剪枝方法
摘要：针对目前BNN(BinarizedNeuralNetwork)剪枝方法存在剪枝比例低、识别准确率显著下降以及依赖训练后微调的问题,提出了一种基于三值向二值演化的滤波器级的BNN剪枝方法,命名为ETB(EvolutionfromTernarytoBinary).ETB是基于学习的,通过在BNN的量化函数中引入可训练的量化阈值,使权重和激活值逐渐从三值演化到二值或零,旨在使网络在训练期间自动识别不重要的结构.此外,一个剪枝率调节算法也被设计用于调控网络的剪枝率.训练后,全零滤波器和对应的输出通道可被直接裁剪而获得精简的BNN,无需微调.为证明提出方法的可行性和其提升BNN推理效率而不牺牲准确率的潜力,在CIFAR-10上进行实验:在CIFAR-10数据集上,ETB对VGG-Small模型进行了46.3％的剪枝,模型大小压缩至0.34MByte,准确率为89.97％,并在ResNet-18模型上进行了30.01％的剪枝,模型大小压缩至1.33MByte,准确率为90.79％.在准确率和参数量方面,对比一些现有的BNN剪枝方法,ETB具有一定的优势.
Abstract：BNNs(BinarizedNeuralNetworks)arepopularduetotheirextremelylowmemoryrequirements.WhileBNNscanbefurthercompressedthroughpruningtechniques,existingBNNpruningmethodssufferfromlowpruningratios,significantaccuracydegradation,andreliancedependingonfine-tuningaftertraining.Toovercometheselimitations,afilter-levelBNNpruningmethodisproposedbasedonevolutionfromternarytobinary,namedETB(EvolutionfromTerrytoBinary).ETBislearning-based,andbyintroducingtrainablequantizationthresholdsintothequantizationfunctionofBNNs,itmakestheweightsandactivationvaluesgraduallyevolvefromternarytobinaryorzero,aimingtoenablethenetworktoautomaticallyidentifyunimportantstructuresduringtraining.Andapruningratioadjustmentalgorithmisalsodesignedtoregulatethepruningrateofthenetwork.Aftertraining,allzerofiltersandcorrespondingoutputchannelscanbedirectlyprunedtoobtainasimplifiedBNNwithoutfine-tuning.TodemonstratethefeasibilityoftheproposedmethodandthepotentialforimprovingBNNinferenceefficiencywithoutsacrificingaccuracy,experimentsareconductedonCIFAR-10.ETBisprunedtheVGG-Smallmodelby46.3％,compressingthemodelsizeto0.34MB,withanaccuracyof89.97％.TheResNet-18modelisalsoprunedby30.01％,compressingthemodelsizeto1.33MB,withanaccuracyof90.79％.ComparedwithsomeexistingBNNpruningmethodsintermsofaccuracyandparameterquantity,ETBhascertainadvantages.
作者：徐图张博李镇陈怡凝申人升熊波涛常玉春Author：XUTuZHANGBoLIZhenCHENYiningSHENRenshengXIONGBotaoCHANGYuchun
作者单位：大连理工大学微电子学院,辽宁大连116000
刊名：吉林大学学报（信息科学版） ISTIC
Journal：JournalofJilinUniversity(InformationScienceEdition)
年，卷(期)：2024, 42(2)
分类号：TP399
关键词：二值神经网络剪枝可训练门限演化
Keywords：binarizedneuralnetworkpruningtrainablethresholdevolution
机标分类号：TP391TN713F27
在线出版日期：2024年5月27日
基金项目：大连市科学技术局基金资助项目，产业基础再造，制造业高质量发展专项基金资助项目，电子元器件实验室可靠性物理与应用技术科学技术基金资助项目基于三值向二值演化的BNN剪枝方法[
期刊论文]吉林大学学报（信息科学版）--2024, 42(2)徐图张博李镇陈怡凝申人升熊波涛常玉春针对目前BNN(BinarizedNeuralNetwork)剪枝方法存在剪枝比例低、识别准确率显著下降以及依赖训练后微调的问题,提出了一种基于三值向二值演化的滤波器级的BNN剪枝方法,命名为ETB(EvolutionfromTernarytoBinary).ET...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于三值向二值演化的BNN剪枝方法BNN Pruning Method Based on Evolution from Ternary to Binary
基于三值向二值演化的BNN剪枝方法.pdf
页:
[1]