文档名：一种多层多模态融合3D目标检测方法
摘要：在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(RedGreenBlue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.
Abstract：Cameraandlidararethekeysourcesofinformationinautonomousvehicles(AVs).However,inthecur-rent3Dobjectdetectiontasks,mostofthepurepointcloudnetworkdetectioncapabilitiesarebetterthanthoseofimageandlaserpointcloudfusionnetworks.Existingstudiessummarizethereasonsforthisasthemisalignmentofviewbetweenim-ageandradarinformationandthedifficultyofmatchingheterogeneousfeatures.Single-stagefusionalgorithmisdifficulttofullyfusethefeaturesofboth.Forthisreason,anova3Dobjectdetectionbasedonmultilayermultimodalfusion(3DMMF)ispresented.First,intheearly-fusionphase,pointcloudsareencodedlocallybyFrustum-RGB-PointPainting(FRP)formedbythe2Ddetectionframe.Then,theencodedpointcloudinputiscombinedwiththeself-attentionmechanismcontext-awarechanneltoexpandthePointPillarsdetectionnetwork.Inthelater-fusionphase,2Dand3Dcandidateboxesarecodedastwosetsofsparsetensorsbeforetheyarenotgreatlysuppressed,andthefinal3Dtargetdetectionresultisobtainedbyus-ingthecameralidarobjectcandidatesfusion(CLOCs)network.ExperimentsonKITTIdatasetsshowthatthisfusiondetec-tionmethodhasasignificantperformanceimprovementoverthebaselineofpurepointcloudnetworks,withanaveragemAPimprovementof6.24%.
作者：周治国 马文浩Author：ZHOUZhi-guo MAWen-hao
作者单位：北京理工大学集成电路与电子学院,北京100081
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2024, 52(3)
分类号：TP391.4
关键词：自动驾驶 多传感器融合 3D目标检测 点云编码 自注意力机制
Keywords：auto-driving multi-sensorfusion 3Dtargetdetection pointcloudcoding self-attentionmechanism
机标分类号：TP391.41TP277TN958.98
在线出版日期：2024年5月16日
基金项目：一种多层多模态融合3D目标检测方法[
期刊论文] 电子学报--2024, 52(3)周治国 马文浩在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
一种多层多模态融合3D目标检测方法 3D Object Detection Based on Multilayer Multimodal Fusion
一种多层多模态融合3D目标检测方法.pdf
- 文件大小:
- 4.83 MB
- 下载次数:
- 60
-
高速下载
|
|
