文献类型：期刊文章

作　　者：张子浪[1] 葛昂[1] 郑家民[1]

机构地区：[1]中电六所智能系统有限公司,北京100083

出　　处：《信息安全与技术》

年　　份：2014

卷　　号：5

期　　号：4

起止页码：18-23

语　　种：中文

收录情况：普通刊

摘　　要：文章利用并行计算框架MapReduce,探索数据立方体的计算问题。数据立方体的计算存在两个关键问题,一个是计算时间的问题,另一个是立方体的体积问题。随着维度的增加,计算时间将呈现指数级的增长,立方体的体积也是如此。尽管MapReduce是一个优秀的并行计算框架,但在处理数据倾斜时,分区算法不够完善,导致一些计算任务时间过长,影响整个作业的完成时间。本文通过数据采样的方式,优化数据分区,实验结果表明,数据立方体的计算的性能明显提升。为解决数据立方体体积过大的问题,在Reduce阶段将最终的结果输出到基于NoSQL的HBase数据库进行存储,HBase方便水平扩展,同时也便于日后对数据立方体的查询。

关 键 词：数据立方体 数据分区 数据分析

分 类 号：TP393.03]