文档名：基于决策树算法的多级冗余电力大数据清除
摘要：由于电力数据体量在短时间内暴增,使得冗余数据占比增多,严重影响了电力数据的处理时间.为此,提出基于决策树算法的多级冗余电力大数据清除方法.通过对多级电力大数据分块处理,采用离散小波变换算法,提取其近似特征.引入决策树算法计算信息增益率,基于并行计算原理设计多级冗余电力大数据清除流程,从而实现数据清除.实验结果显示:提出方法的检测结果与实际冗余数据量保持一致,冗余数据清除吞吐率最大值为45bps,充分证实了提出方法冗余数据清除效果更好.
Abstract：Asthevolumeofpowerdataincreasesdramaticallyinashorttime,theproportionofredundantdataincreases,whichseriouslyaffectstheprocessingtimeofpowerdata.Therefore,amulti-levelredundantpowerbigdataeliminationmethodbasedondecisiontreealgorithmisproposed.Throughtheblockprocessingofmulti-levelpowerbigdata,thediscretewavelettransformalgorithmisusedtoextractitsapproximatecharacteristics.Thedecisiontreealgorithmisintroducedtocalculatetheinformationgainrate,andthemulti-levelredundantpowerbigdataremovalprocessisdesignedbasedontheprincipleofparallelcomputingtoachievedataremoval.Theexperimentalresultsshowthatthedetectionresultsoftheproposedmethodareconsistentwiththeactualamountofredundantdata,andthemaximumthroughputofredundantdataremovalis45bps,whichfullyconfirmsthattheproposedmethodhasbetterredundantdataremovaleffect.
作者：王敏楠 肖娅晨 余仰淇 李宗朋 刘化龙 Author：WANGMinnan XIAOYachen YUYangqi LIZongpeng LIUHualong
作者单位：国家电网有限公司大数据中心,北京100052国网信通亿力科技有限责任公司,福建福州350003
刊名：电子设计工程 ISTIC
Journal：ElectronicDesignEngineering
年，卷(期)：2024, 32(14)
分类号：TN711
关键词：数据处理 多级电力大数据 决策树算法 冗余数据判定 数据清除 去冗技术
Keywords：dataprocessing multi-levelpowerbigdata decisiontreealgorithm determinationofredun-dantdata dataelimination deredundancytechnology
机标分类号：TP391TN919.81TP181
在线出版日期：2024年7月19日
基金项目：国网大数据中心年中国电力消费指数建设(数经e)(二期)-数据工程项目基于决策树算法的多级冗余电力大数据清除[
期刊论文] 电子设计工程--2024, 32(14)王敏楠 肖娅晨 余仰淇 李宗朋 刘化龙由于电力数据体量在短时间内暴增,使得冗余数据占比增多,严重影响了电力数据的处理时间.为此,提出基于决策树算法的多级冗余电力大数据清除方法.通过对多级电力大数据分块处理,采用离散小波变换算法,提取其近似特征.引入...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于决策树算法的多级冗余电力大数据清除 Multi-level redundant power big data elimination based on decision tree algorithm
基于决策树算法的多级冗余电力大数据清除.pdf
- 文件大小:
- 1.81 MB
- 下载次数:
- 60
-
高速下载
|
