文档名：基于金字塔知识的自蒸馏HRNet目标分割方法
摘要：知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-ResolutionNet)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战,本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型:在HRNet分支结构中引入多尺度池化金字塔表示模块,提升网络的知识表示和学习能力;构造"自上而下"和"一致性"两种蒸馏模式;融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明:本文模型在不增加资源开销的前提下,有效提升了网络的目标分割性能.
作者：郑云飞 王晓兵 张雄伟 曹铁勇 孙蒙 Author：ZHENGYun-fei WANGXiao-bing ZHANGXiong-wei CAOTie-yong SUNMeng
作者单位：陆军工程大学指挥控制工程学院,江苏南京210007;陆军炮兵防空兵学院,安徽合肥230031;安徽省偏振成像与探测重点实验室,安徽合肥230031陆军工程大学指挥控制工程学院,江苏南京210007;陆军炮兵防空兵学院,安徽合肥230031陆军工程大学指挥控制工程学院,江苏南京210007
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(3)
分类号：TP391TP183
关键词：自蒸馏学习 并行结构网络 多尺度池化金字塔 结构化相似性 目标分割
机标分类号：TP391.41TN911.73TP183
在线出版日期：2023年5月6日
基金项目：国家自然科学基金，国家自然科学基金，江苏省自然科学基金基于金字塔知识的自蒸馏HRNet目标分割方法[
期刊论文] 电子学报--2023, 51(3)郑云飞 王晓兵 张雄伟 曹铁勇 孙蒙知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-ResolutionNet)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于金字塔知识的自蒸馏HRNet目标分割方法 The Self-Distillation HRNet Object Segmentation Based on the Pyramid Knowledge
基于金字塔知识的自蒸馏HRNet目标分割方法.pdf
- 文件大小:
- 3.29 MB
- 下载次数:
- 60
-
高速下载
|
