文献类型：期刊文章

作　　者：杨延庆[1] 袁华兵[1]

YANG Yanqing;YUAN Huabing(Division of Information Technology,Xi'an Medical University,Xi'an 710021)

机构地区：[1]西安医学院信息技术处,西安710021

出　　处：《计算机与数字工程》

基　　金：陕西省青年科学基金项目(编号:71701160);西安医学院教学改革研究项目(编号:2018JG-07)资助。

年　　份：2020

卷　　号：48

期　　号：7

起止页码：1564-1567

语　　种：中文

收录情况：ZGKJHX、普通刊

摘　　要：模糊K-means算法是一种能够定量地确定事物亲属关系的软聚类算法,由于该算法在大规模数据的分析和处理中存在的不足,因此提出一种基于MapReduce模型的并行化实现。首先在Map函数的输出传递给其他节点的Reduce函数之前,改进Combine函数设计,增加本地中间结果处理,减少通信开销,以提高MapReduce任务计算速度。然后在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验表明,基于MapReduce的并行模糊K-means算法适合大规模数据的分析和处理,而且执行速度提高了约1.9倍,聚类效果更为显著。

关 键 词：模糊K-means  MAPREDUCE模型 Combine函数  HADOOP平台

分 类 号：TP301]