文档名：基于古文语料的新词发现方法
新词发现,作为自然语言处理的基本任务,是用计算方法研究中国古代文学必不可少的一步.该文提出一种基于古文语料的新词识别方法,称为AP-LSTM-CRF算法.该算法分为三个步骤.第一步,基于ApacheSpark分布式并行计算框架实现的并行化的Apriori改进算法,能够高效地从大规模原始语料中产生候选词集.第二步,用结合循环神经网络和条件随机场的切分概率模型对测试集文档的句子进行切分,产生切分概率的序列.第三步,用结合切分概率的过滤规则从候选词集里过滤掉噪声词,从而筛选出真正的新词.实验结果表明,该新词发现方法能够有效地从大规模古文语料中发现新词,在宋词和史记数据集上分别进行实验,F1值分别达到了89.68％和81.13％,与现有方法相比,F1值分别提高了8.66％和2.21％.
作者：刘昱彤吴斌谢韬王柏
作者单位：北京邮电大学智能通信软件与多媒体北京市重点实验室,北京100876
母体文献：第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL2018)论文集
会议名称：第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL2018)
会议时间：2018年10月19日
会议地点：长沙
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：古代文学 新词发现 Apriori改进算法 双向长短时记忆网络 条件随机场 过滤规则
在线出版日期：2021年9月13日
基金项目：
相似文献
相关博文
- 文件大小:
- 743.12 KB
- 下载次数:
- 60
-
高速下载
|
|
