文档名：融合图像注意力的多模机器翻译模型
多模机器翻译近年来成为研究热点之一.已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果,已有工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用.基于此,本文提出一种融合图像注意力的多模机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息.通过在多模机器翻译数据集Multi30k上英语-德语翻译对以及人工标注的印尼语-汉语翻译对上的实验结果表明,本文提出的模型相比已有的基于循环神经网络的多模机器翻译模型具有较好的提升,证明了所提出模型的有效性.
作者：李霞 马骏腾 覃世豪
作者单位：广东外语外贸大学信息科学与技术学院,广东省广州市510006;广州市非通用语种智能处理重点实验室,广东省广州市510006广东外语外贸大学信息科学与技术学院,广东省广州市510006
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：多模机器翻译 图像注意力 全局语义 局部语义
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文
- 文件大小:
- 834.56 KB
- 下载次数:
- 60
-
高速下载
|
