基于双融合框架的多模态3D目标检测算法
文档名：基于双融合框架的多模态3D目标检测算法
摘要：相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目标检测算法.设计体素级和网格级的双融合框架,有效缓解融合时不同模态数据之间的语义差异;提出ABFF(AdaptiveBird-eye-viewFeaturesFusion)模块,增强算法对小目标特征感知能力;通过体素级全局融合信息指导网格级局部融合,提出基于Transformer的多模态网格特征编码器,充分提取3D检测场景中更丰富的上下文信息,并提升算法运行效率.在KITTI标准数据集上的实验结果表明,提出的3D目标检测算法平均检测精度达78.79%,具有更好的3D目标检测性能.
Abstract：The3Dobjectdetectionofcameraandlidarmultimodalfusioncancomprehensivelyutilizetheadvantagesofthetwosensorstoimprovetheaccuracyandrobustnessofdetection.However,duetothecomplexityoftheenvironmentandtheinherentvariabilityamongmultimodaldata,3Dobjectdetectionstillfacesmanychallenges.Inthispaper,wepro-poseamultimodal3Dobjectdetectionalgorithmwithadouble-fusionframework.Wedesignavoxel-levelandgrid-leveldouble-fusionframework,effectivelyalleviatingthesemanticdifferencesbetweenmodaldata.WeproposetheABFF(AdaptiveBird-eye-viewFeaturesFusion)moduletoenhancethealgorithm'sabilitytoperceivesmallobjectfeatures.Throughvoxel-levelglobalfusioninformationtoguidegrid-levellocalfusion,weproposeaTransformer-basedmultimodalgridfeatureencodertoextractrichercontextinformationin3Ddetectionscenesandimprovetheefficiencyofthealgo-rithm.TheexperimentalresultsontheKITTIstandarddatasetshowthattheaveragedetectionaccuracyofourproposed3Dobjectdetectionalgorithmreaches78.79%,whichhasbetter3Dobjectdetectionperformance.
作者：葛同澳 李辉 郭颖 王俊印 周迪 Author：GETong-ao LIHui GUOYing WANGJun-yin ZHOUDi
作者单位：青岛科技大学数据科学学院,山东青岛266000武汉理工大学计算机与人工智能学院,湖北武汉430000
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(11)
分类号：TP391.4
关键词：深度学习三维目标检测激光雷达相机多模态信息融合
Keywords：deeplearning3DobjectdetectionLiDARcameramultimodalinformationfusion
机标分类号：TP391TN958.98F270
在线出版日期：2024年2月1日
基金项目：基于双融合框架的多模态3D目标检测算法[
期刊论文]电子学报--2023, 51(11)葛同澳李辉郭颖王俊印周迪相机和激光雷达多模态融合的3D目标检测可以综合利用两种传感器的优点,提高目标检测的准确度和鲁棒性.然而,由于环境复杂性以及多模态数据间固有的差异性,3D目标检测仍面临着诸多挑战.本文提出了双融合框架的多模态3D目...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于双融合框架的多模态3D目标检测算法A Multimodal 3D Object Detection Method Based on Double-Fusion Framework
基于双融合框架的多模态3D目标检测算法.pdf
页:
[1]