文档名：基于OneClassSVM的相似重复记录检测
为实现相似重复记录检测,提出一种基于One-ClassSVM的分类检测方法.针对数据源中相似重复记录样本稀少的特点,将相似重复记录的检测建模为单分类问题;针对单一数据源的情况,根据记录中不同属性特征的类型不同,定义了字符串型、枚举型、连续型三种属性之间的相似性度量方法,将记录对之间的相似特征向量作为One-ClassSVM分类器的输入进行检测;建立了以召回率、准确率、特征数量为目标的多目标特征选择优化模型,通过加权的方式将其转化为单目标,应用蚁群算法进行求解.实验结果通过将One-ClassSVM和SVDD以及传统二分类SVM算法进行对比,突出该算法的有效性和实用性.
作者：吕国俊 曹建军 郑奇斌 翁年凤 彭琮
作者单位：陆军工程大学指挥控制工程学院,南京,210007国防科技大学第六十三研究所,南京,210007
母体文献：第六届中国计算机学会大数据学术会议论文集
会议名称：第六届中国计算机学会大数据学术会议
会议时间：2018年10月11日
会议地点：西安
主办单位：中国计算机学会
语种：chi
分类号：
关键词：数据清洗 相似重复记录 蚁群算法 特征选择 支持向量机
在线出版日期：2020年11月30日
基金项目：
相似文献
相关博文
- 文件大小:
- 518.24 KB
- 下载次数:
- 60
-
高速下载
|
|
