文档名：融合SikuBERT模型与MHA的古汉语命名实体识别
摘要：针对传统的命名实体识别方法无法充分学习古汉语复杂的句子结构信息以及在长序列特征提取过程中容易带来信息损失的问题,提出一种融合SikuBERT(SikuBidirectionalEncoderRepresentationfromTransformers)模型与MHA(Multi-HeadAttention)的古汉语命名实体识别方法.首先,利用SikuBERT模型对古汉语语料进行预训练,将训练得到的信息向量输入BiLSTM(BidirectionalLongShort-TermMemory)网络中提取特征,再将BiLSTM层的输出特征通过MHA分配不同的权重减少长序列的信息损失,最后通过CRF(ConditionalRandomField)解码得到预测的序列标签.实验表明,与常用的BiLSTM-CRF、BERT-BiLSTM-CRF等模型相比,该方法的F1值有显著提升,证明了该方法能有效提升古汉语命名实体识别的效果.
Abstract：AimingattheproblemthatthetraditionalnamedentityrecognitionmethodcannotfullylearnthecomplexsentencestructureinformationofancientChineseanditiseasytocauseinformationlossintheprocessoflongsequencefeatureextraction,anancientChinesefusionofSikuBERT(SikuBidirectionalEncoderRepresentationfromTransformers)modelandMHA(Multi-HeadAttention)isproposed.First,theSikuBERTmodelisusedtopre-traintheancientChinesecorpus,theinformationvectorobtainedfromthetrainingintotheBiLSTM(BidirectionalLongShort-TermMemory)networkisinputtoextractfeatures,andthentheoutputfeaturesoftheBiLSTMlayerareassigneddifferentweightsthroughMHAtoreducetheinformationlossproblemoflongsequences.AndfinallythepredictedsequencelabelsareobtainedthroughCRF(ConditionalRandomField)decoding.ExperimentsshowthatcomparedwithcommonlyusedBiLSTM-CRF,BERT-BiLSTM-CRFandothermodels,theF1valueofthismethodhasbeensignificantlyimproved,whichverifiesthatthismethodcaneffectivelyimprovetheeffectofancientChinesenamedentityrecognition.
作者：陈雪松 詹子依 王浩畅 Author：CHENXuesong ZHANZiyi WANGHaochang
作者单位：东北石油大学电气信息工程学院,黑龙江大庆163318东北石油大学计算机与信息技术学院,黑龙江大庆163318
刊名：吉林大学学报（信息科学版） ISTIC
Journal：JournalofJilinUniversity(InformationScienceEdition)
年，卷(期)：2023, 41(5)
分类号：TP391.1
关键词：古汉语 命名实体识别 SikuBERT模型 多头注意力机制
Keywords：ancientChinese namedentityrecognition sikubidirectionalencoderrepresentationfromtransformers(SikuBERT)model multi-headattentionmechanism
机标分类号：TP391.1TP18C912
在线出版日期：2023年12月27日
基金项目：国家自然科学基金，国家自然科学基金融合SikuBERT模型与MHA的古汉语命名实体识别[
期刊论文] 吉林大学学报（信息科学版）--2023, 41(5)陈雪松 詹子依 王浩畅针对传统的命名实体识别方法无法充分学习古汉语复杂的句子结构信息以及在长序列特征提取过程中容易带来信息损失的问题,提出一种融合SikuBERT(SikuBidirectionalEncoderRepresentationfromTransformers)模型与MH...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
融合SikuBERT模型与MHA的古汉语命名实体识别 Ancient Chinese Named Entity Recognition Based on SikuBERT Model and MHA
融合SikuBERT模型与MHA的古汉语命名实体识别.pdf
- 文件大小:
- 5.06 MB
- 下载次数:
- 60
-
高速下载
|
|
