文档名：基于语义信息引导的图像协调化
摘要：图像协调化在图像处理中占据着一个重要的地位,它旨在调整前景外观(如光照、颜色、纹理等)使其与背景在视觉上保持一致.然而,现有的基于深度学习方法通常将图像整体背景的特征分布作为线索来调整前景,没有注重语义信息对前景调整的关键作用,导致前景的局部区域与背景在视觉上出现差异.为此,本文基于多分辨率选择融合模块(Multi-ResolutionSelectiveFusionModule,MRSFM)和轻量级的卷积块注意力模块(ConvolutionalBlockAtten-tionModule,CBAM),设计了一个基于双注意力机制的多分辨率选择融合模块(Multi-ResolutionSelectiveFusionmodulebasedonDualAttentionMechanism,MRSF-DAM),使得最后输出的特征图具有丰富的语义信息,从而引导网络更好地理解图像前景与它周围场景之间的相关性,使网络更加充分地从背景中获取协调前景所需的各种信息,最终缩小图像前景区域和背景区域在视觉上的外观差异.此外,本文设计了一个新的网络架构来选择融合浅层和深层的特征信息,通过对解码器前6层网络层与MRSF-DAM的输出特征图进行多尺度融合和增强,将产生的增强特征图送入解码器的最后层,能够缓解由跳跃连接引入的与前景内容的特征不相关的问题,且减少了由于解码器经过多次下采样带来的空间特征信息损失,进一步提高生成协调图像的真实性.在广泛使用的iHarmony4基准数据集上进行了大量的实验验证了本文方法的有效性.相比于目前最新的方法SCS-Co(Self-ConsistentStyleContrastivelearningforimageharmoniza-tion),本文方法在整个数据集的均方误差(MeanSquaredError,MSE)、前景均方误差(foregroundMeanSquaredError,fMSE)和峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)上分别提升了4.28,61.97和1dB.
作者：杨紫媛 李鹏程 刘芳岑 高陈强Author：YANGZi-yuan LIPeng-cheng LIUFang-cen GAOChen-qiang
作者单位：重庆邮电大学通信与信息工程学院,重庆400065;信号与信息处理重庆市重点实验室,重庆400065
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(7)
分类号：TN911.73TP391
关键词：图像协调化 图像处理 语义信息 局部背景信息 多分辨率选择融合 空间特征信息
Keywords：imageharmonization imageprocessing semanticinformation localbackgroundinformation multi-res-olutionselectivefusion spatialfeatureinformation
机标分类号：G206.2G645.1TP391
在线出版日期：2023年9月27日
基金项目：基于语义信息引导的图像协调化[
期刊论文] 电子学报--2023, 51(7)杨紫媛 李鹏程 刘芳岑 高陈强图像协调化在图像处理中占据着一个重要的地位,它旨在调整前景外观(如光照、颜色、纹理等)使其与背景在视觉上保持一致.然而,现有的基于深度学习方法通常将图像整体背景的特征分布作为线索来调整前景,没有注重语义信息对前...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于语义信息引导的图像协调化 Image Harmonization Guided by Semantic Information
基于语义信息引导的图像协调化.pdf
- 文件大小:
- 1.99 MB
- 下载次数:
- 60
-
高速下载
|
