一种基于SparkR的水文传感器数据的异常检测方法

文档名：一种基于SparkR的水文传感器数据的异常检测方法
为了高效地从海量的水文传感器数据中检测出异常值,提出了一种基于SparkR的水文时间序列异常检测方法.对数据进行清洗后,采用滑动窗口配合自回归积分滑动平均模型在SparkR平台上进行预测,然后对预测的结果计算置信区间,在区间范围以外的,将其判定为异常值.基于检测结果,利用K均值算法对原数据进行聚类,同时计算其状态转移概率,对检测出的异常值进行质量评估.以在滁河获取的水文传感器数据为实验数据,分别在运行时间和异常值检测效果这两个方面进行了实验.结果表明:利用SparkR,对百万级数据进行计算时,利用双节点计算的时间要长于单节点,但是对千万级数据进行计算时,双节点比单节点在计算时间上更优,最多减少了16.21％,且评估过后的灵敏度由之前的5.24％提高到了92.98％.实验结果表明在大数据平台下,根据水文数据的特点并结合预测检验和聚类校验的方法,对千万级水文时间序列进行检测时,提高了传统方法的计算效率,并且在灵敏度方面相较于传统方法也有显著提升.
作者：刘子豪 李凌 叶枫
作者单位：江苏科技大学计算机科学与工程学院,江苏镇江212003河海大学计算机与信息学院江苏南京211100
母体文献：第六届中国计算机学会大数据学术会议论文集
会议名称：第六届中国计算机学会大数据学术会议  
会议时间：2018年10月11日
会议地点：西安
主办单位：中国计算机学会
语种：chi
分类号：TP2TV7
关键词：大数据处理  水文时间序列  异常检测  自回归积分滑动平均模型  K均值算法
在线出版日期：2020年11月30日
基金项目：
相似文献
相关博文

2024-12-11 21:04 上传 一种基于SparkR的水文传感器数据的异常检测方法.pdf

文件大小:

552.63 KB

下载次数:

60

高速下载