文档名：基于子字单元的神经机器翻译未登录词翻译分析
神经机器翻译(NMT)为机器翻译系统提供了一种全新的方法,它与传统的统计机器翻译系统(SMT)相比,翻译结果具有更加流畅的优势.但是NMT系统也有着其自身的缺点:翻译精准度的问题,尤其是对未登录词的翻译.2016年,RicoSennrich和BarryHaddow等人提出了BytePairEncoding(BPE)的方法,将原有的单词拆解成了更小单元的高频词进行翻译.现如今,这种方法已经被广泛用于各种开源的神经机器翻译系统中.本文主要针对BPE方法在中英神经机器翻译中的应用,分析BPE方法在多大程度上解决了未登录词翻译的问题.实验表明,与传统的NMT系统相比,BPE方法获得了1.02BLEU值的提升,对未登录词的翻译精准度达到了45％左右,与SMT系统翻译精准度相似.因此可以得出结论:BPE的方法是一种对NMT系统中未登录词问题的行之有效的解决方法.
作者：韩冬李军辉熊德意周国栋
作者单位：苏州大学计算机科学与技术学院,江苏省苏州市215006
母体文献：第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会论文集
会议名称：第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会
会议时间：2017年10月13日
会议地点：南京
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：神经机器翻译 未登录词 子字单元 BPE编码
在线出版日期：2020年7月21日
基金项目：
相似文献
相关博文
- 文件大小:
- 684.9 KB
- 下载次数:
- 60
-
高速下载
|
|
