期刊文章详细信息
深度学习批归一化及其相关算法研究进展 ( EI收录)
Research Progress on Batch Normalization of Deep Learning and Its Related Algorithms
文献类型:期刊文章
LIU Jian-Wei;ZHAO Hui-Dan;LUO Xiong-Lin;XU Jun(Department of Automation,China University of Petroleum(Beijing),Beijing 102249;School of Mechanical Engineering and Automation,Harbin Institute of Technology(Shenzhen),Shenzhen 518055)
机构地区:[1]中国石油大学(北京)自动化系,北京102249 [2]哈尔滨工业大学(深圳)机电工程与自动化学院,深圳518055
基 金:国家重点研究发展计划基金(2016YFC0303703-03);中国石油大学(北京)年度前瞻导向及培育项目基金(2462018QZDX02)资助。
年 份:2020
卷 号:46
期 号:6
起止页码:1090-1120
语 种:中文
收录情况:BDHX、BDHX2017、CSCD、CSCD2019_2020、EI、IC、JST、MR、PUBMED、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊
摘 要:深度学习已经广泛应用到各个领域,如计算机视觉和自然语言处理等,并都取得了明显优于早期机器学习算法的效果.在信息技术飞速发展的今天,训练数据逐渐趋于大数据集,深度神经网络不断趋于大型化,导致训练越来越困难,速度和精度都有待提升.2013年,Ioffe等指出训练深度神经网络过程中存在一个严重问题:中间协变量迁移(Internal covariate shift),使网络训练过程对参数初值敏感、收敛速度变慢,并提出了批归一化(Batch normalization,BN)方法,以减少中间协变量迁移问题,加快神经网络训练过程收敛速度.目前很多网络都将BN作为一种加速网络训练的重要手段,鉴于BN的应用价值,本文系统综述了BN及其相关算法的研究进展.首先对BN的原理进行了详细分析.BN虽然简单实用,但也存在一些问题,如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等,于是很多学者相继提出了BN的各种相关结构与算法,本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳.然后对BN在各个神经网络领域的应用方法进行了概括总结,并且对其他常用于提升神经网络训练性能的手段进行了归纳.最后进行了总结,并对BN的未来研究方向进行了展望.
关 键 词:批归一化 白化 中间协变量迁移 随机梯度下降 归一化传播 批量重归一化 逐步归纳批量归一化 层归一化
分 类 号:TP18]
参考文献:
正在载入数据...
二级参考文献:
正在载入数据...
耦合文献:
正在载入数据...
引证文献:
正在载入数据...
二级引证文献:
正在载入数据...
同被引文献:
正在载入数据...