文档名：一种注意力机制优化方法及硬件加速设计
摘要：针对注意力机制在卷积神经网络的应用过程中无法避免的计算量增大、延迟增加问题,本文提出一种优化后的CBAM(ConvolutionalBlockAttentionModule)算法模型,并进行了硬件设计实现.论文基于传统CBAM模型结构,分析算法内部隐藏的潜在问题,设计更加符合注意力重要性参数提取初衷的算法模型;同时,通过计算过程优化,减少数据计算量、对算子进行最大并行组合;利用FPGA(FieldProgrammableGateArray)可设计高效灵活并行阵列的优势,为改进后的CBAM算法设计一种硬件加速引擎结构.实验结果表明,与传统CBAM机制相比,改进后的注意力机制可以保持与原有算法模型几乎相同的精度,部署在FPGA的硬件加速计算引擎以180MHz工作频率进行推理实验,经分析可得,本文提出的设计方案在同等硬件资源条件下,针对注意力机制电路可实现10.2%的计算速度提升,针对VGG16网络模型可实现4.5%的推理速度提升.
作者：王莹 王晶 高岚 吕旭 张伟功 Author：WANGYing WANGJing GAOLan LüXu ZHANGWei-gong
作者单位：首都师范大学信息工程学院,北京100048;首都师范大学数学科学学院,北京100048首都师范大学信息工程学院,北京100048
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(4)
分类号：TP302.8
关键词：注意力机制 CBAM 卷积神经网络 FPGA 硬件加速器
机标分类号：TP335+.3R74F272.92
在线出版日期：2023年7月6日
基金项目：国家自然科学基金一种注意力机制优化方法及硬件加速设计[
期刊论文] 电子学报--2023, 51(4)王莹 王晶 高岚 吕旭 张伟功针对注意力机制在卷积神经网络的应用过程中无法避免的计算量增大、延迟增加问题,本文提出一种优化后的CBAM(ConvolutionalBlockAttentionModule)算法模型,并进行了硬件设计实现.论文基于传统CBAM模型结构,分析算法内...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
一种注意力机制优化方法及硬件加速设计 An Improved Attention Mechanism Algorithm Model and Hardware Aceleration Design Method
一种注意力机制优化方法及硬件加速设计.pdf
- 文件大小:
- 2.17 MB
- 下载次数:
- 60
-
高速下载
|
