文档名：以对比学习与时序递推提升摘要泛化性的方法
摘要：为了有效缓解基于交叉熵损失函数训练的传统文本摘要模型所面临的推理过程中性能下降、泛化性较低、生成过程中曝光偏差现象严重、生成的摘要与参考摘要文本相似度较低等问题,提出了一种新颖的训练方式,一方面,模型本身以beamsearch的方式生成候选集,以候选摘要的评估分数选取正负样本,在输出的候选集中以"argmax-贪心搜索概率值"和"标签概率值"构建2组对比损失函数;另一方面,设计作用于候选集句内的时序递推函数引导模型在输出每个单独的候选摘要时确保时序准确性,并缓解曝光偏差问题.实验表明,所提方法在CNN/DailyMail和Xsum公共数据集上的泛化性得到提升,Rouge与BertScore在CNN/DailyMail上达到47.54和88.51,在Xsum上达到了48.75和92.61.
Abstract：Toaddresstheproblemsofthetraditionaltextsummarizationmodelstrainedbasedoncross-entropylossfunctions,suchasdegradedperformanceduringinference,lowgeneralization,seriousexposurebiasphenomenonduringgeneration,andlowsimilaritybetweenthegeneratedsummaryandthereferencesummarytext,anoveltrainingapproachisproposedinthispaper.Ontheonehand,themodelitselfgeneratesacandidatesetusingbeamsearchandselectspositiveandnegativesamplesbasedontheevaluationscoresofthecandidatesummaries.Twosetsofcontrastivelossfunctionsarebuiltusing"argmax-greedysearchprobabilityvalues"and"labelprobabilityvalues"withintheoutputcandidateset.Ontheotherhand,atime-seriesrecursivefunctiondesignedtooperateonthecandidateset'ssentencesguidesthemodeltoensuretemporalaccuracywhenoutputtingeachindividualcandidatesummaryandmitigatesexposurebias.OurexperimentsshowthemethodsignificantlyimprovesthegeneralizationperformanceontheCNN/DailyMailandXsumpublicdatasets.TheRougeandBertScorereach47.54and88.51respectivelyonCNN/DailyMailwhiletheyreach48.75and92.61onXsum.
作者：汤文亮 陈帝佑 桂玉杰 刘杰明 徐军亮Author：TANGWenliang CHENDiyou GUIYujie LIUJieming XUJunliang
作者单位：华东交通大学信息工程学院,南昌330013
刊名：重庆理工大学学报
Journal：JournalofChongqingInstituteofTechnology
年，卷(期)：2024, 38(3)
分类号：TP391.1
关键词：自然语言处理 文本摘要 对比学习 模型微调
Keywords：naturallanguageprocessing textsummarization contrastivelearning modelfine-tuning
机标分类号：TP311G642.4R917.4
在线出版日期：2024年3月25日
基金项目：国家自然科学基金，江西省重点研发计划，江西省03专项及5G项目以对比学习与时序递推提升摘要泛化性的方法[
期刊论文] 重庆理工大学学报--2024, 38(3)汤文亮 陈帝佑 桂玉杰 刘杰明 徐军亮为了有效缓解基于交叉熵损失函数训练的传统文本摘要模型所面临的推理过程中性能下降、泛化性较低、生成过程中曝光偏差现象严重、生成的摘要与参考摘要文本相似度较低等问题,提出了一种新颖的训练方式,一方面,模型本身以b...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
以对比学习与时序递推提升摘要泛化性的方法 Improving generalization of summarization with contrastive learning and temporal recursion
以对比学习与时序递推提升摘要泛化性的方法.pdf
- 文件大小:
- 3.74 MB
- 下载次数:
- 60
-
高速下载
|
