文档名:基于迁移学习的非结构化大数据缺失值插补算法
摘要:针对数字信息产生的海量、多角度的非结构化大数据,由于外界干扰、数据结构损坏等因素造成其信息丢失问题,提出了基于迁移学习的非结构化大数据缺失值插补算法.通过迁移学习算法,预测非结构化大数据缺失部位,利用朴素贝叶斯算法分类数据特征,度量属性间权重值,明确数据类别特征差异向量,辨别特征差异程度.采用核回归模型对数据缺失部分实施非线性映射,经过多项式变化编码,描述数据的跨空间互补条件,完成非结构化大数据缺失值插补.实验结果表明,所提算法可以有效完成非结构化大数据缺失值插补,具有较好的插补效果,能提高插补精度.
Abstract:Duetothecomplexityofdigitalinformation,massiveandmulti-angleunstructuredbigdata,andexternalinterference,datastructuredamageandotherfactorscauseitsinformationloss,amissingvalueinterpolationalgorithmforunstructuredbigdatabasedontransferlearningisproposed.Throughthemigrationlearningalgorithm,themissingpartsofunstructuredbigdataarepredicted,andthenaiveBayesianalgorithmisusedtoclassifydatafeatures,tomeasuretheweightvaluebetweenattributes,toclarifythefeaturedifferencevectorofdatacategories,andtoidentifythedegreeoffeaturedifference.Thekernelregressionmodelisusedtoimplementnonlinearmappingforthemissingpartofthedata,andthepolynomialchangecodingisusedtodescribethecross-spacecomplementaryconditionofthedata,completingtheinterpolationofthemissingvalueofunstructuredbigdata.Theexperimentalresultsshowthattheproposedalgorithmcaneffectivelycompletetheinterpolationofmissingvaluesofunstructuredlargedata,hasgoodinterpolationeffectandcanimprovetheinterpolationaccuracy.
作者:颜远海 杨莉云Author:YANYuanhai YANGLiyun
作者单位:广州华商学院数据科学学院,广东增城511300
刊名:吉林大学学报(信息科学版) ISTIC
Journal:JournalofJilinUniversity(InformationScienceEdition)
年,卷(期):2024, 42(2)
分类号:TP391
关键词:迁移学习 非结构化大数据 缺失值插补 缺失值预测 核回归函数
Keywords:transferlearning unstructuredbigdata imputationofmissingvalues missingvalueprediction kernelregressionfunction
机标分类号:TP391TP183G250.76
在线出版日期:2024年5月27日
基金项目:创新强校工程基金资助项目基于迁移学习的非结构化大数据缺失值插补算法[
期刊论文] 吉林大学学报(信息科学版)--2024, 42(2)颜远海 杨莉云针对数字信息产生的海量、多角度的非结构化大数据,由于外界干扰、数据结构损坏等因素造成其信息丢失问题,提出了基于迁移学习的非结构化大数据缺失值插补算法.通过迁移学习算法,预测非结构化大数据缺失部位,利用朴素贝叶...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于迁移学习的非结构化大数据缺失值插补算法 Missing Value Interpolation Algorithm of Unstructured Big Data Based on Transfer Learning
基于迁移学习的非结构化大数据缺失值插补算法.pdf
- 文件大小:
- 1.48 MB
- 下载次数:
- 60
-
高速下载
|