文档名：语言知识驱动的词嵌入向量的可解释性研究
神经网络语言模型应用广泛但可解释性较弱,其可解释性的一个重要而直接的方面表现为词嵌入向量的维度取值和语法语义等语言特征的关联状况.先前的可解释性工作集中于对语料库训得的词向量进行知识注入,以及基于训练和任务的算法性能分析,对词嵌入向量和语言特征之间的关联缺乏直接的验证和探讨.该文应用基于语言知识库上的伪语料法,通过控制注入语义特征,并对得到的词向量进行分析后取得了一些存在性的基础性结论:语义特征可以通过控制注入到词嵌入向量中;注入语义特征的词向量表现出很强的语义合成性,即上层概念可以由下层概念表示;语义特征的注入在词嵌入向量的所有维度上都有体现.
作者：林星星 邱晓枫 虞梦夏 祁晶 康司辰 刘扬
作者单位：北京大学计算语言学教育部重点实验室,北京100871;哈尔滨工业大学(深圳)计算机科学与技术学院,广东深圳518055北京大学计算语言学教育部重点实验室,北京100871;北京大学中国语言文学系,北京100871北京大学计算语言学教育部重点实验室,北京100871
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：语言知识库 可解释性 词嵌入向量 语义特征
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文
- 文件大小:
- 682.81 KB
- 下载次数:
- 60
-
高速下载
|
