文档名：基于递进式半知识蒸馏的神经机器翻译
神经机器翻译(NMT)模型通常具有庞大的参数量,例如Transformer在词表设为3万时有将近1亿的神经元,模型的参数量越大,模型越难优化且存储模型的资源需求也越高.本文提出了一种压缩方法用于将复杂且参数量大的NMT模型压缩为精简参数量小的NMT模型.本文提出半知识蒸馏方法和递进式半知识蒸馏方法,其中半知识蒸馏是从参数多、性能好的教师模型中获取半部分的权重作为精简、参数少的学生模型训练的起点;递进式半知识蒸馏方法指运用过一次半知识蒸馏方法压缩以后,再把当前的半知识蒸馏压缩的模型作为新的教师模型,再次运用半知识蒸馏方法得到全压缩模型.在广泛使用的中英和日英数据集上进行实验,结果表明本文方法对NMT系统有积极影响.本文提出的方法的最佳性能明显优于基准模型2.16个BLEU值.与词级别和句子级别的传统知识蒸馏方法相比,本文提出的方法比词级别知识蒸馏方法优于1.15个BLEU值,并且高于句子级别的知识蒸馏方法0.32个BLEU值.
作者：
作者单位：
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：TP3TH1
关键词：神经机器翻译 模型压缩 半知识蒸馏
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文
- 文件大小:
- 590.63 KB
- 下载次数:
- 60
-
高速下载
|
|
