文档名：结合图卷积网络的多模态仇恨迷因识别研究
摘要：针对现有迷因识别方法常忽视网络实体作用的情况,提出一种结合图卷积网络的迷因识别方法.提取图像中网络实体信息,利用图卷积网络对网络实体模态和文本模态进行融合,结合外源词典从多角度衡量网络实体和迷因文本之间的关系,构建跨域图;通过注意力模块对文本和图像模态进行交互,结合自蒸馏技术提高模型对信息的利用率.实验结果表明:该方法在HatefulMemes和MAMI数据集上的准确率分别达到76.03％和73.9％,性能优于现有的SOTA模型.
Abstract：Memesexistintheformofimagesandtextsandareusedtodescribehatespeeches,rumorsthatspreadamongusersontheInternet.Theyoftenusewebentitiessuchaspopularfigures,events,orhistoricalfigurestoexpresshateemotions.Theseimplicitemotionalexpressionsareworthacademicattention,butwebentitiesaremostlyignoredbyexistingmemeidentificationmethods.Toaddresstheproblem,thispaperproposesamemerecognitionmethodbasedongraphconvolutionalnetwork.Specifically,thewebentityinformationcontainedintheimageisfirstextracted.Thewebentitymodalityandthetextmodalityarefusedbyagraphconvolutionalnetwork.Anexternaldictionaryisemployedtomeasuretherelationshipbetweenthewebentityandthememetextfrommultipleperspectiveswhenbuildingcross-domaingraph.Then,thetextandimagemodalitiesareinteractedthroughtheattentionmodule.Finally,theself-distillationtechnologyisemployedtoimprovethemodel'sinformationutilizationrate.OurexperimentalresultsontheHatefulMemesdatasetandtheMAMIdatasetreachanaccuracyof76.03％and73.9％respectively,andtheperformanceissuperiortotheexistingSOTAmodel.
作者：刘旭东 杨亮 张冬瑜 林鸿飞 Author：LIUXudong YANGLiang ZHANGDongyu LINHongfei
作者单位：大连理工大学计算机科学与技术学院,辽宁大连116024大连理工大学软件学院,辽宁大连116620
刊名：重庆理工大学学报
Journal：JournalofChongqingInstituteofTechnology
年，卷(期)：2024, 38(1)
分类号：TP391
关键词：迷因识别 网络实体识别 隐式情感分析 图卷积网络
Keywords：memerecognition webentitydetection implicitsentimentanalysis graphconvolutionalnetwork
机标分类号：
在线出版日期：2024年3月6日
基金项目：国家自然科学基金，国家自然科学基金结合图卷积网络的多模态仇恨迷因识别研究[
期刊论文] 重庆理工大学学报--2024, 38(1)刘旭东 杨亮 张冬瑜 林鸿飞针对现有迷因识别方法常忽视网络实体作用的情况,提出一种结合图卷积网络的迷因识别方法.提取图像中网络实体信息,利用图卷积网络对网络实体模态和文本模态进行融合,结合外源词典从多角度衡量网络实体和迷因文本之间的关...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
结合图卷积网络的多模态仇恨迷因识别研究 Research on multimodal hate meme recognition based on graph convolutional network
结合图卷积网络的多模态仇恨迷因识别研究.pdf
- 文件大小:
- 7.35 MB
- 下载次数:
- 60
-
高速下载
|
|
