文档名：一种基于Actor模型的弹性可伸缩的流处理框架
流处理是一种重要的大数据应用模式,在金融、广告、物联网、社交网络等众多领域得到了广泛应用.在流处理场景中,流数据的产生速度往往变化剧烈且不容易预测.这时,如果数据流量峰值超过处理系统的承载能力,可能使得系统运行缓慢甚至崩溃,导致处理作业失效;如果为了应对数据流量峰值而过度配置资源,则可能在系统轻载时产生不必要的浪费.为了解决流处理中负载和资源的匹配问题,流处理系统应该具有弹性可伸缩的能力,一方面以高效的方式组织运算资源,另一方面能根据数据流量的实时变化自动地调整资源使用量.然而,现有的流处理框架对于弹性可伸缩的支持尚很初步.本文介绍了一种基于Actor模型的弹性可伸缩的流处理框架eSault.eSault首先基于Actor模型将批量的处理单元进行分层管理,通过两层路由机制实现了对伸缩性的支持;在此基础上,设计一个基于数据处理延迟的过载判断算法和基于数据处理速度的轻载判断算法来指导系统对资源的有效使用,进而实现弹性可伸缩的流处理.实验结果说明,eSault具有较好的性能,而且能够很好地实现弹性可伸缩.
作者：詹杭龙刘澜涛康亮环曹东刚谢冰
作者单位：高可信软件技术教育部重点实验室(北京大学),北京市100871;北京大学(天津滨海)新一代信息技术研究院,天津300450
母体文献：第十四届全国软件与应用学术会议论文集
会议名称：第十四届全国软件与应用学术会议
会议时间：2015年11月6日
会议地点：武汉
主办单位：中国计算机学会
语种：chi
分类号：
关键词：流处理 Actor模型 弹性可伸缩 大数据
在线出版日期：2017年7月25日
基金项目：
相似文献
相关博文
- 文件大小:
- 2.39 MB
- 下载次数:
- 60
-
高速下载
|
|
