文献类型：期刊文章

作　　者：张恩红[1] 尹海燕[1] 李高洁[1]

ZHANG En-hong;YIN Hai-yan;LI Gao-jie(Guangdong Meteorological Observation Data Center,Guangzhou 510641,China)

机构地区：[1]广东省气象探测数据中心

出　　处：《计算机技术与发展》

基　　金：国家自然科学基金(41805096);江苏省自然科学基金(BK20180801)

年　　份：2019

卷　　号：29

期　　号：11

起止页码：154-158

语　　种：中文

收录情况：JST、RCCSE、ZGKJHX、普通刊

摘　　要：气象行业的数据量非常大,系统需要每天处理约有800 G的增量数据,总容量超过1 P的历史数据文件。为了能够及时、快速地存储这些数据,并且能解决气象数据服务的需求,构建一套科学、高效的数据服务系统迫在眉睫。基于Elasticsearch技术,采用元数据的管理方法,设计了一套数据管理系统。按照业务类型和数据名称特点,把所有数据分成了13个大类和260多个元数据类型,设计了相同的元数据模板,便于统一管理。同时对13个大类分别构建了索引,定义了气象行业专业的检索词条,实现了快速定位和访问数根据文件的需求。该设计方法实现了1~2秒钟内可以从5亿个文件库中搜索出某一大类的文件,在2~3秒钟可以更加精确地搜索出某一元数据类型的数据。基于以上设计方案,基本满足了当前的数据服务需要。

关 键 词：Elasticsearch  海量数据 检索  元数据 数据服务

分 类 号：TP39]