Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
当前人工智能特别是深度学习最前沿的研究方向是什么？如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
如何评价Sony新出的深度学习库NNabla？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
人工智能相关的岗位薪酬状况如何？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
为什么学习深度学习感觉无法入门？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
如何看待Tensor Comprehensions？与TVM有何异同？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
如何评价1700亿参数的GPT-3？为什么在SGD中使用L1正则化很难获得稀疏性？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
如何评价论文「Stochastic Training is Not Necessary ...」?
验证集loss上升，准确率却上升该如何理解？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
究竟什么是损失函数 loss function?
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何看待在某度搜不到megengine官网？
为什么 Bert 的三个 Embedding 可以进行相加？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
给男友配置一个适合做深度学习的电脑要多少钱？
为什么学习深度学习感觉无法入门？
如何评价陈天奇的模块化深度学习系统NNVM？
自监督学习（Self-supervised Learning）有什么比较新的思路？
如何看待Capsule Network在NLP领域的潜力？
全连接层的作用是什么？
如何证明数据增强（Data Augmentation）有效性？
为什么很少拿神经网络来直接做滤波器呢？
为什么ViT里的image patch要设计成不重叠？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
如何评价中科大实现了媲美人脑能效的类脑突触原型器件？
word2vec有什么应用？