登录    注册    忘记密码

期刊文章详细信息

深度学习批归一化及其相关算法研究进展  ( EI收录)  

Research Progress on Batch Normalization of Deep Learning and Its Related Algorithms

  

文献类型:期刊文章

作  者:刘建伟[1] 赵会丹[1] 罗雄麟[1] 许鋆[1,2]

LIU Jian-Wei;ZHAO Hui-Dan;LUO Xiong-Lin;XU Jun(Department of Automation,China University of Petroleum(Beijing),Beijing 102249;School of Mechanical Engineering and Automation,Harbin Institute of Technology(Shenzhen),Shenzhen 518055)

机构地区:[1]中国石油大学(北京)自动化系,北京102249 [2]哈尔滨工业大学(深圳)机电工程与自动化学院,深圳518055

出  处:《自动化学报》

基  金:国家重点研究发展计划基金(2016YFC0303703-03);中国石油大学(北京)年度前瞻导向及培育项目基金(2462018QZDX02)资助。

年  份:2020

卷  号:46

期  号:6

起止页码:1090-1120

语  种:中文

收录情况:BDHX、BDHX2017、CSCD、CSCD2019_2020、EI、IC、JST、MR、PUBMED、RCCSE、SCOPUS、ZGKJHX、ZMATH、核心刊

摘  要:深度学习已经广泛应用到各个领域,如计算机视觉和自然语言处理等,并都取得了明显优于早期机器学习算法的效果.在信息技术飞速发展的今天,训练数据逐渐趋于大数据集,深度神经网络不断趋于大型化,导致训练越来越困难,速度和精度都有待提升.2013年,Ioffe等指出训练深度神经网络过程中存在一个严重问题:中间协变量迁移(Internal covariate shift),使网络训练过程对参数初值敏感、收敛速度变慢,并提出了批归一化(Batch normalization,BN)方法,以减少中间协变量迁移问题,加快神经网络训练过程收敛速度.目前很多网络都将BN作为一种加速网络训练的重要手段,鉴于BN的应用价值,本文系统综述了BN及其相关算法的研究进展.首先对BN的原理进行了详细分析.BN虽然简单实用,但也存在一些问题,如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等,于是很多学者相继提出了BN的各种相关结构与算法,本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳.然后对BN在各个神经网络领域的应用方法进行了概括总结,并且对其他常用于提升神经网络训练性能的手段进行了归纳.最后进行了总结,并对BN的未来研究方向进行了展望.

关 键 词:批归一化  白化 中间协变量迁移  随机梯度下降  归一化传播  批量重归一化  逐步归纳批量归一化  层归一化  

分 类 号:TP18]

参考文献:

正在载入数据...

二级参考文献:

正在载入数据...

耦合文献:

正在载入数据...

引证文献:

正在载入数据...

二级引证文献:

正在载入数据...

同被引文献:

正在载入数据...

版权所有©重庆科技学院 重庆维普资讯有限公司 渝B2-20050021-7
 渝公网安备 50019002500408号 违法和不良信息举报中心