文档名：基于指纹前缀分派数据块的并行重复删除
在大数据时代,现代企业需要存储的数据越来越多,然而研究表明,各种应用系统中存储的电子数据存在平均约60％的重复数据,并且随着时间的推移不断增长.重复数据删除技术应运而生,并且已经在业界得到了较好的应用.然而在实现数据块级别的重复数据删除过程中,索引的查找匹配是影响整体存储系统性能的瓶颈问题.基于此,提出了一种并行的重复数据删除系统模型,采用流水线的方式来部署整个重复数据删除系统,根据指纹前缀区分不同的数据块,将数据块部署到相应的存储节点,提高了系统的可扩展性,实验表明系统的吞吐率得到了提高.
作者：范启鸿王永利
作者单位：南京理工大学计算机科学与工程学院,南京,210094
母体文献：2015中国计算机应用大会暨2015年大数据与物联网在工业中的应用会议论文集
会议名称：2015中国计算机应用大会暨2015年大数据与物联网在工业中的应用会议
会议时间：2015年9月25日
会议地点：广东茂名
主办单位：中国计算机学会
语种：chi
分类号：
关键词：重复数据 删除技术 数据块级别 指纹前缀
在线出版日期：2017年6月30日
基金项目：
相似文献
相关博文
- 文件大小:
- 672.04 KB
- 下载次数:
- 60
-
高速下载
|
|
