文档名：基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法
摘要：面向构建24小时全时段视频监控系统的需要,基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而,目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征,但ImageNet与跨模态行人数据模态差异较大,且预训练过程中将颜色信息作为判别特征之一,导致预训练中学习到的共性特征并不适用于无色彩红外图像的信息表示.本文提出了一种基于灾难性遗忘及组合叠加擦除的自监督跨模态行人重识别预训练方法,首先利用提出的灾难性遗忘评分来对预训练数据进行筛选,旨在减小预训练数据与后续任务数据存在的域间差距,进一步减少模型训练时间.其次,针对传统跨模态识别中的关键区分性特征提取,本文设计了一种强通道数据增强策略,通过对R、G、B三通道的通道级擦除与组合,生成了颜色迥异的多类型样本,有利于促使模型关注于纹理信息而非颜色信息.最后基于本文提出的跨模态数据筛选指标以及通道增强策略,构建了跨模态任务的自监督学习框架.实验结果表明,本文提出的预训练方法所训练的ResNet50网络在迁移到众多跨模态行人重识别方法时优于目前主流自监督预训练方法,其中在经典方法AGW的基础上Rank1与mAP分别提高了8.02％与5.81％.
Abstract：Tomeettheneedofbuildinga24-hourfull-timevideosurveillancesystem,cross-modalpedestrianrecog-nitionbasedonvisiblelightandnear-infrarediswidelyconcernedbyindustryandacademia.However,mostofthecurrentcross-modalpedestrianrecognitiontasksattempttousepre-trainedmodelsonImageNettolearnmodalcommonalitiesinad-vance,buttherearelargemodaldifferencesbetweenImageNetandcross-modalpedestriandata,inthepre-trainingprocess,thecolorinformationistakenasoneofthedistinguishingfeatures,whichleadstothecommonfeatureslearnedinthepre-trainingisnotsuitablefortheinformationrepresentationofthecolorlessinfraredimage.Thispaperproposesaself-super-visedcross-modalpedestrianrecognitionpre-trainingmethodbasedoncatastrophicforgettingandcombinedsuperpositionerasure.Firstly,thepre-trainingdataarefilteredbyusingtheproposedcatastrophicforgettingscore,theaimistoreducethedomaingapbetweenthepre-trainingdataandthefollow-uptaskdata,andfurtherreducethetrainingtimeofthemodel.Secondly,aimingatthekeydistinguishingfeatureextractionintraditionalcross-modalidentification,thispaperdesignsastrongchanneldataenhancementstrategybyerasingandcombiningtheR,GandBchannelsatthechannellevel,multi-typesampleswithdifferentcolorsaregenerated,whichmakesthemodelfocusontextureinformationinsteadofcolorinfor-mation.Finally,aself-supervisedlearningframeworkforcross-modaltasksisconstructedbasedonthecross-modaldatafilteringindexandchannelenhancementstrategy.TheexperimentalresultsshowthattheResNet50networktrainedbytheproposedpre-trainingmethodissuperiortothecurrentself-supervisedpre-trainingmethodswhenmigratingtoalargenum-berofcross-modalpedestrianrecognitionmethods,onthebasisofAGW,Rank1andmAPwereincreasedby8.02％and5.81％respectively.
作者：孙锐 谢瑞瑞 张磊 张旭东 高隽Author：SUNRui XIERui-rui ZHANGLei ZHANGXu-dong GAOJun
作者单位：合肥工业大学计算机与信息学院,安徽合肥230601;工业安全与应急技术安徽省重点实验室,安徽合肥230009
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(10)
分类号：TP391.4
关键词：自监督 行人重识别 跨模态 预训练 灾难性遗忘 组合叠加擦除
Keywords：self-supervised pedestrianre-identification cross-modality pre-training catastrophicforgetting strongchannelcombination
机标分类号：
在线出版日期：2024年1月17日
基金项目：基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法[
期刊论文] 电子学报--2023, 51(10)孙锐 谢瑞瑞 张磊 张旭东 高隽面向构建24小时全时段视频监控系统的需要,基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而,目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征,但I...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法 Cross-Modal Pedestrian Re-identification Pre-training Method Based on Catastrophic Forgetting and Combination Superimposed Erasure
基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法.pdf
- 文件大小:
- 14.17 MB
- 下载次数:
- 60
-
高速下载
|
