基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

文档名：基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法
任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息.它包含意图识别和槽填充两个子任务.BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型.在此基础上,该文提出了一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建.然后,该文提出了该模型的两种调优方法:锁定模型参数的训练方法、使用区分大小写的预训练模型版本.在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能.实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.8833和0.9251的句子级准确率.
作者：周奇安李舟军
作者单位：北京航空航天大学计算机学院,北京市100191
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会  
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：对话系统  任务导向  自然语言理解  BERT模型
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文

2024-12-10 13:24 上传 基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法.pdf

文件大小:

704.15 KB

下载次数:

60

高速下载