文献类型：期刊文章

作　　者：闫健卓[1] 高凯丽[1] 许红霞[1] 于涌川[1]

YAN Jianzhuo;GAO Kaili;XU Hongxia;YU Yongchuan(Engineering Research Center of Digital Community, Department of Information, Beijing University of Technology,Beijing 100124, China)

机构地区：[1]北京工业大学信息学部数字社区教育部工程研究中心

出　　处：《水利信息化》

基　　金：赛尔下一代互联网技术创新项目(NGII20170207)

年　　份：2019

卷　　号：0

期　　号：3

起止页码：17-24

语　　种：中文

收录情况：普通刊

摘　　要：针对自然界与人类社会二元水循环产生的海量水务观测数据,现有水务数据管理系统存在存储负荷大,数据库扩展困难,查询速度慢的问题,无法满足存储与分析的需要。针对问题,首先,结合虚拟化技术、Hadoop基础架构,设计分布式大数据存储平台的基本架构;其次,依据现有水务大数据情况及实际业务数据库表,实现分布式大数据存储平台的设计;最后,完成从集中式平台到分布式平台的数据迁移代码实现,并进行数据迁移实验测试。实验结果验证了分布式大数据存储平台设计方案的可行性与有效性,可为大规模行业数据的存储与处理提供一种理想的分布式解决方案。

关 键 词：水务数据  大数据 分布式存储 存储平台  虚拟化 HADOOP集群 数据迁移

分 类 号：TV213.4]