文档名：跨模态融合和边界可变形卷积引导的RGBD显著性目标检测
摘要：RGB-Depth(RGB-D)显著性目标检测是一项有意义且具有挑战性的任务,基于现有卷积神经网络检测方法在简单场景中获得了良好的检测性能,但不能有效应对背景信息混乱,深度图质量低和目标轮廓复杂的情况.为应对上述问题,本文提出了一种跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测方法.首先,本文以Swin-Transformer为特征提取器,分别对RGB模态与深度图模态进行特征提取,并通过跨模态注意力增强特征模块对两种模态特征进行融合以挖掘显著物的共性与互补特征.接着将提出的相邻多尺度特征增强模块嵌入编码器深层,以获得丰富的全局上下文特征信息,更精准地定位显著物的位置.然后通过构建一个边界特征提取解码器(U-Net架构)生成显著物的边界线索图,并重复采用跨模态融合特征确保生成显著物边界的完整性.最后,本文设计了一个边界可变形卷积引导模块,使用边界线索图与可变形卷积引导跨模态融合特征进行解码以得到更加准确的显著图.通过在6个公开基准数据集上与25种主流方法相比较,本文所提模型在多个指标上均有较明显的提升,从而证明了本文方法的有效性.
Abstract：RGB-Depth(RGB-D)salientobjectdetectionisameaningfulandchallengingtask.Thecurrentmethodbasedonconvolutionalneuralnetworkshasachievedgooddetectionperformanceinsimplescenes,butcannoteffectivelyhandlesceneswithclutteredbackgroundinformation,low-qualitydepthmaps,andcomplexobjectcontours.Inordertosolvetheaboveproblems,anRGB-DSODmodelbasedoncross-modalfusionandboundarydeformableconvolutionguid-anceisproposedinthispaper.Firstly,theSwinTransformerisusedasanextractortoextractfeaturesfromtheRGBmodal-ityanddepthmodality,respectively,whichfusethetwomodalitiesbyusingacross-modalattentionenhancementfeature(CMAEF)module,toexplorethecommonandcomplementaryfeaturesofsalientobjects.Then,theproposedadjacentmulti-scalefeatureenhancement(AMFE)moduleisembeddeddeep-levelintotheencodertoobtainrichglobalcontextualfeatureinformation,whichcanlocatethepositionofsalientobjectsmoreaccurately.Next,theboundarycuemapsofsa-lientobjectsaregeneratedbyboundaryfeatureextractiondecoder(U-Netarchitecture)constructedandrepeatedusingcross-modalfusionfeaturestoensuretheintegrityofthegeneratedsalientobjectboundaries.Finally,wedesignedaboundaryde-formableconvolutionguidance(BDCG)modulethatusesboundarycuemapswithdeformableconvolutiontoguidethede-codingofcross-modalfusionfeaturestoobtainmoreaccuratesaliencymaps.Comprehensiveexperimentsonsixpopularbenchmarkdatasetscomparedwith25mainstreammethodsdemonstratethattheproposedmodelshowssignificantimprove-mentinmetrics,whichprovestheeffectivenessoftheproposedmodel.
作者：孟令兵 袁梦雅 时雪涵 张乐 吴锦华 程菲 Author：MENGLing-bing YUANMeng-ya SHIXue-han ZHANGLe WUJin-hua CHENGFei
作者单位：安徽信息工程学院计算机与软件工程学院,安徽芜湖241000安徽信息工程学院电气与电子工程学院,安徽芜湖241000安徽信息工程学院计算机与软件工程学院,安徽芜湖241000;杭州电子科技大学管理学院,浙江杭州310000
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(11)
分类号：TP751
关键词：显著性目标检测 跨模态融合 边界特征 可变形卷积 显著图
Keywords：salientobjectdetection cross-modalfusion boundaryfeatures deformableconvolution saliencymap
机标分类号：TP391TP183TN911.73
在线出版日期：2024年2月1日
基金项目：跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测[
期刊论文] 电子学报--2023, 51(11)孟令兵 袁梦雅 时雪涵 张乐 吴锦华 程菲RGB-Depth(RGB-D)显著性目标检测是一项有意义且具有挑战性的任务,基于现有卷积神经网络检测方法在简单场景中获得了良好的检测性能,但不能有效应对背景信息混乱,深度图质量低和目标轮廓复杂的情况.为应对上述问题,本文...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测 RGB-D Salient Object Detection Based on Cross-Modal Fusion and Boundary Deformable Convolution Guidance
跨模态融合和边界可变形卷积引导的RGB-D显著性目标检测.pdf
- 文件大小:
- 4.29 MB
- 下载次数:
- 60
-
高速下载
|
