基于BiLSTMCRF的古汉语自动断句与词法分析一体化研究

文档名：基于BiLSTMCRF的古汉语自动断句与词法分析一体化研究
古汉语信息处理的基础任务包括自动断句、自动分词、词性标注、专名识别等.大量的古汉语文本未经标点断句,所以词法分析等任务首先需要建立在断句基础之上.然而,分步处理容易造成错误的多级扩散,本文设计实现了古汉语断句与词法分析一体化的标注体系,基于BiLSTM-CRF神经网络模型在四种跨时代的测试集上验证了不同标注层次下模型对断句、词法分析的效果以及对不同时代文本标注的泛化能力.研究表明一体化的标注方法对古汉语的断句、分词及词性标注任务均有提升.综合各测试集的实验结果,断句任务F1值达到78.95,平均提升了3.5％;分词任务F1值达到85.73,平均提升了0.18％;词性标注任务F1值达到72.65,平均提升了0.35％.
作者：程宁 李斌 葛四嘉 郝星月 冯敏萱
作者单位：南京师范大学文学院,江苏省南京市210097南京师范大学文学院,江苏省南京市210097;哈佛大学计量社会科学研究所,美国剑桥市02138
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会  
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：古汉语  自动断句  词法分析  标注体系  神经网络模型
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文

2024-12-10 13:24 上传 基于BiLSTMCRF的古汉语自动断句与词法分析一体化研究.pdf

文件大小:

787.29 KB

下载次数:

60

高速下载