文献类型：期刊文章

作　　者：田梓璇[1,2] 谢小月[3]

TIAN Zixuan;XIE Xiaoyue(School of Mathematical Sciences,University of Chinese Academy of Sciences,Beijing 100190,China;Institute of Mathematics and Systems Science,University of Chinese Academy of Sciences,Beijing 100190,China;School of Equipment Management and Unmanned Aerial Vehicle Engineering,Air Force Engineering University,Xi’an 710038,China)

机构地区：[1]中国科学院大学数学科学学院,北京100190 [2]中国科学院大学数学与系统科学研究院,北京100190 [3]空军工程大学装备管理与无人机工程学院,陕西西安710038

出　　处：《统计与信息论坛》

基　　金：陕西省自然科学基础研究计划资助项目“大规模数据下分布一致性检验方法研究”(2023-JC-QN-0059)。

年　　份：2024

卷　　号：39

期　　号：9

起止页码：13-22

语　　种：中文

收录情况：BDHX、BDHX2023、CSSCI、CSSCI2023_2024、NSSD、RCCSE、RWSKHX、ZGKJHX、核心刊

摘　　要：分布的一致性检验在很多领域中得到了广泛的应用,它是统计学在众多应用中的一个基本主题。然而,随着大数据时代的到来,各个科学领域收集存储了丰富的数据。这些数据规模庞大、类型多样、结构复杂、更新速度快,传统的分布一致性检验方法受数据规模和存储方式的影响在处理和分析这类数据时面临着巨大的挑战。目前,分治策略是解决这类问题的主要方法,其核心思想是采用分布式框架对每个节点数据的计算结果进行集成以获取最终的结果。在处理大规模分布一致性检验问题时,这种对所有节点的检验结果进行集成的方式并不高效,特别是在数据分布存在明显差异时这种方式往往会增加检验的成本。因此,基于序贯检验的思想通过合理设置检验问题的“误差区域”对已有的分治策略进行优化,提出了一种分布式序贯检验方法。该方法在检验过程中不集成所有的节点数据,而是根据当前收集到的节点数据实时调整后续的决策,通过这种方式能够实现在不使用全部节点数据的前提下,做出正确的检验结果。模拟实验和实例分析结果表明:相比于已有的分治策略检验方法,所提出的分布式序贯检验方法能够在保证检验水平与功效的同时,提高分布式检验的计算效率,为解决临床试验、工业检验等领域中大规模数据检验成本高的问题提供了方法支撑。

关 键 词：分治策略 大数据 序贯检验  分布式框架  

分 类 号：O212.1]