基于Flume和HDFS的大数据采集系统的研究与实现

文档摘要：在充分研究大数据采集、大数据存储、HDFS和Flume基础上,综合分析并利用相关领域知识,给出了一种基于Flume和HDFS相结合的大数据采集系统BDAS的概念模型和体系结构.并根据BDAS的体系结构,可以明确实现一种大数据采集的具体工作,即:FlumeAgent的配置.根据体系结构,给出一个实现WebServer日志采集的具体实现方法和步骤.BDAS概念模型和体系结构在大数据分析和研究领域具有重要的理论意义和实际意义,也为大数据领域的研究提供了一种通用的大数据获取手段.

作者：方中纯   赵江鹏 Author：FANGZhong-chun   ZHAOJiang-peng
作者单位：内蒙古科技大学工程训练中心,内蒙古包头,014010内蒙古科技大学信息工程学院,内蒙古包头,014010
刊名：内蒙古科技大学学报
Journal：JournalofInnerMongoliaUniversityofScienceandTechnology
年，卷(期)：2018, 37(3)
分类号：TP391
关键词：HDFS  Flume  大数据采集系统  WebServer  BDAS  
机标分类号：
在线出版日期：2018年11月26日
基金项目：国家自然科学基金资助项目，内蒙古自然科学基金资助项目(2017MS0604,2017MS，内蒙古科技大学教改重点资助项目基于Flume和HDFS的大数据采集系统的研究与实现[
期刊论文]  内蒙古科技大学学报--2018, 37(3)方中纯  赵江鹏在充分研究大数据采集、大数据存储、HDFS和Flume基础上,综合分析并利用相关领域知识,给出了一种基于Flume和HDFS相结合的大数据采集系统BDAS的概念模型和体系结构.并根据BDAS的体系结构,可以明确实现一种大数据采集的具体...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文

关键词：

2024-10-4 00:23 上传 基于Flume和HDFS的大数据采集系统的研究与实现.pdf

文件大小:

1.22 MB

下载次数:

60

高速下载