文档名：面向任务型对话机器人的多任务联合模型研究
摘要：在任务型对话机器人的搭建过程中,一般需要执行多个自然语言处理的子任务.目前传统的训练方式是将每个子任务独立训练后再进行整合,这样忽视了不同子任务之间的关联性,限制了模型的预测能力.现提出一种Joint-RoBERTa-WWM-of-Theseus压缩联合模型,一方面通过多任务联合学习训练的方式对意图识别、行业识别和语义槽填充3个子任务进行联合训练,并在多分类的子任务中引入Focalloss机制来解决数据分布不平衡的问题;另一方面,模型通过Theseus方法进行压缩,在略微损失精度的前提下,大幅提高模型预测速度,提高模型在生产环境中的实时性与实用性.
作者：高作缘 陶宏才Author：GAOZuoyuan TAOHongcai
作者单位：西南交通大学计算机与人工智能学院,四川成都611756
刊名：成都信息工程大学学报
Journal：JournalofChengduUniversityOfInformationTechnology
年，卷(期)：2023, 38(3)
分类号：TP391.12
关键词：RoBERTa-WWM模型 多任务联合学习 Theseus压缩 Focalloss
机标分类号：TP391TP181TP242.6
在线出版日期：2023年6月6日
基金项目：国家自然科学基金面向任务型对话机器人的多任务联合模型研究[
期刊论文] 成都信息工程大学学报--2023, 38(3)高作缘 陶宏才在任务型对话机器人的搭建过程中,一般需要执行多个自然语言处理的子任务.目前传统的训练方式是将每个子任务独立训练后再进行整合,这样忽视了不同子任务之间的关联性,限制了模型的预测能力.现提出一种Joint-RoBERTa-WW...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
面向任务型对话机器人的多任务联合模型研究 Research on Multi-task Jointing Model for Task Chat Robot
面向任务型对话机器人的多任务联合模型研究.pdf
- 文件大小:
- 1.34 MB
- 下载次数:
- 60
-
高速下载
|
