文献类型：期刊文章

作　　者：杨海涛[1] 张传斌[2] 阮镇江[1] 徐飞[1]

YANG Haitao;ZHANG Chuanbin;RUAN Zhenjiang;XU Fei(Guangdong Construction Information Center, Guangzhou 510055, China;School of Data and Computer Science, Sun Yat-Sen University, Guangzhou 510006, China)

机构地区：[1]广东省建设信息中心,广州510055 [2]中山大学数据科学与计算机学院,广州510006

出　　处：《计算机工程与应用》

基　　金：广东省应用型科技研发专项资金重点项目(No.2015B010131012)

年　　份：2017

卷　　号：53

期　　号：2

起止页码：88-97

语　　种：中文

收录情况：AJ、BDHX、BDHX2014、CSA、CSA-PROQEUST、CSCD、CSCD_E2017_2018、IC、INSPEC、JST、RCCSE、ZGKJHX、核心刊

摘　　要：国民经济非垂直管理行业或领域建立大数据中心,需要配备能大规模云同步归集行业数据的软件系统,"行业数据云通用的同步枢纽与大数据联合体平台"(GSMS)就是为此而研制的。GSMS主要用于通过互联网大规模同步采集各地异构自治系统(或设备)的业务或事实数据并加以开发应用。在实际应用中,当众多GSMS客户线程各自并发地向GSMS数据中心同步数据时,所产生的大规模数据同步会话将汇聚在GSMS服务端,从而形成处理瓶颈。此外,同步会话全程串行的锁步机制也会制约大规模数据同步归集的性能。为此,提出并实现了一种异步并行化改进GSMS系统方案:将服务端高时耗计算环节从数据同步串行锁步过程中分离出来,为其引入基于多道消息队列中间件的异步并行处理机制,并提供相应的松弛同步事务保障措施。实践表明,正确地实现这种异步并行处理能有效提升服务端处理速度并满足同步系统的可靠性和一致性要求。

关 键 词：异步并行处理  海量数据归集  大规模云同步  数据同步枢纽  

分 类 号：TP311]