文档名：一种基于数据标准差的卷积神经网络量化方法
摘要：当前卷积神经网络模型存在规模过大且运算复杂的问题,难以应用部署在资源受限的计算平台.针对此问题,本文基于数据标准差提出了一种适合部署在现场可编程门阵列(FieldProgrammableGateArray,FPGA)上的对数量化方法.首先,依据FPGA的特性提出对数量化方法,将32bit浮点乘法运算转换为整数乘法及移位运算,提高了运算效率.然后通过研究数据分布特点,提出基于数据标准差的输入量化及权值混合bit量化方法,能够有效减少量化损失.通过对RepVGG、EfficientNet等网络进行效率与精度对比实验,8bit量化使得大型神经网络精度仅下降1％左右;输入量化为8bit,权重量化为10bit场景下,模型精度损失小于0.2％,达到浮点模型几乎相同的准确率.实验表明,所提量化方法能够使得模型大小减少75％左右,在基本保持原有模型准确率的同时有效地降低功耗损失、提高运算效率.
作者：黄赟 张帆 郭威 陈立 羊光 Author：HUANGYun ZHANGFan GUOWei CHENLi YANGGuang
作者单位：信息工程大学,河南郑州450001国家数字交换系统工程技术研究中心,河南郑州450002河南省广播电视监测中心,河南郑州450002
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(3)
分类号：TP391
关键词：卷积神经网络 现场可编程门阵列 对数量化 数据标准差 混合bit
机标分类号：TP391.41TP183U463.85
在线出版日期：2023年5月6日
基金项目：国家自然科学基金一种基于数据标准差的卷积神经网络量化方法[
期刊论文] 电子学报--2023, 51(3)黄赟 张帆 郭威 陈立 羊光当前卷积神经网络模型存在规模过大且运算复杂的问题,难以应用部署在资源受限的计算平台.针对此问题,本文基于数据标准差提出了一种适合部署在现场可编程门阵列(FieldProgrammableGateArray,FPGA)上的对数量化方法.首...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
一种基于数据标准差的卷积神经网络量化方法 A Quantification Method of Convolutional Neural Network Based on Data Standard Deviation
一种基于数据标准差的卷积神经网络量化方法.pdf
- 文件大小:
- 1.67 MB
- 下载次数:
- 60
-
高速下载
|
