文档名：基于多模态神经网络的图像中文摘要生成方法
图像的自然语言描述(ImageCaption)是一个融合计算机视觉、自然语言处理和机器学习的跨领域课题.它作为多模态信息处理的关键技术,近年来取得了显著成果.当前研究大多针对图像生成英文摘要,而对于中文摘要的生成方法研究较少.本文提出了一种基于多模态神经网络和特征融合的图像中文摘要生成方法.该方法由编码器和解码器组成,编码器基于卷积神经网络,包括单标签视觉特征提取网络和多标签关键词特征预测网络,解码器基于长短时记忆网络,由多模态摘要生成网络构成.在解码过程中,本文针对长短时记忆网络的特点提出了四种多模态特征融合方案CNIC-X、CNIC-H、CNIC-C和CNIC-HC.在中文摘要数据集Flickr8kCN上实验,结果表明本文提出的方法优于现有的中文摘要生成模型.
作者：刘泽宇 马龙龙 吴健 孙乐
作者单位：中国科学院软件研究所中文信息处理研究室,北京100190;中国科学院大学,北京100190中国科学院软件研究所中文信息处理研究室,北京100190
母体文献：第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会论文集
会议名称：第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会
会议时间：2017年10月13日
会议地点：南京
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：图像中文摘要 多模态处理 神经网络 生成模型
在线出版日期：2020年7月21日
基金项目：
相似文献
相关博文
- 文件大小:
- 1.05 MB
- 下载次数:
- 60
-
高速下载
|
|
