文档名：基于跨模态特征融合的RGBD显著性目标检测
摘要：RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注.现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征.提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能.具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图.提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息.此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能.最后,使用跳转连接来组合编码器和解码器层之间的分层特征.通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法.
Abstract：RGB-Dsaliencyobjectdetectionhasreceivedincreasingattentionduetoitseffectivenessandeaseofcapturingdepthcues.Existingworkusuallyfocusesonlearningsharedrepresentationsthroughvariousfusionstrategies,andfewapproachesexplicitlyconsiderhowtomaintainthemodalfeaturesofRGBanddepth.Inthispaper,weproposeacross-modalfusionnetworkthatmaintainsthemodalitiesofRGBanddepthforRGB-Dsalientobjectdetection,andimprovesthesalientdetectionperformancebyexploringthesharedinformationaswellasthepropertiesofRGBanddepthmodalities.Specifically,anRGBmodal,adeepmodalnetwork,andasharedlearningnetworkareusedtogenerateRGBanddeepmodalsaliencypredictionmapsaswellassharedsaliencypredictionmaps.Across-modalfeatureintegratemoduleisproposedtofusecross-modalfeaturesinthesharedlearningnetwork,whicharethenpropagatedtothenextlayerforintegratingcrosslevelinformation.Besides,weproposeamulti-modalfeatureaggregationmoduletointegratethemodalityspecificfeaturesfromeachindividualdecoderintotheshareddecoder,whichcanproviderichcomplementarymulti-modalinformationtoboostthesaliencydetectionperformance.Further,askipconnectionisusedtocombinehierarchicalfeaturesbetweentheencoderanddecoderlayers.Experimentswithtenstate-of-the-artmethodsonfourbenchmarkdatasetsshowthatthemethodinthispaperoutperformsotherstate-of-the-artmethods.
作者：李可新 何丽 刘哲凝 钟润豪Author：LiKexin HeLi LiuZhening ZhongRunhao
作者单位：新疆大学智能制造现代产业学院(机械工程学院)乌鲁木齐830017
刊名：国外电子测量技术 ISTIC
Journal：ForeignElectronicMeasurementTechnology
年，卷(期)：2024, 43(6)
分类号：TN2
关键词：RGB-D显著性目标检测 跨模态融合网络 跨模态特征融合 多模态聚合
Keywords：RGB-Dsaliencyobjectdetection crossmodalfusionnetwork crossmodalfeatureintegratemodule multi-modalfeatureaggregation
机标分类号：TP391.41TN919.81TP181
在线出版日期：2024年7月12日
基金项目：基于跨模态特征融合的RGB-D显著性目标检测[
期刊论文] 国外电子测量技术--2024, 43(6)李可新 何丽 刘哲凝 钟润豪RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注.现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征.提出了一种跨模态特征融合网络,该网络维持R...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于跨模态特征融合的RGB-D显著性目标检测 RGB-D salient object detection based on cross-modal feature fusion
基于跨模态特征融合的RGB-D显著性目标检测.pdf
- 文件大小:
- 7.66 MB
- 下载次数:
- 60
-
高速下载
|
