Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？如何评价ST-GCN动作识别算法？
强化学习和自适应控制的关系是什么？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
为何感觉“知识蒸馏”这几年没有什么成果？
是不是并不是所有问题都适合用神经网络预测？
为什么神经网络具有泛化能力？
如何理解深度学习中的deconvolution networks？
搞机器学习的生环化材是天坑吗？
如何评价深度学习之父Hinton发布的Capsule论文？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？深度学习方面还有什么Open Problem?
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
mxnet的并行计算为什么这么牛，是什么原理？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
为什么交叉熵（cross-entropy）可以用于计算代价？
百度学术能否替代 Google 学术网站？有没有其他选择？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
多模态训练，怎么解决不同模态之间差异的问题？
为什么自动控制理论这么玄学？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
AlphaGo「理解」围棋吗？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如何理解 Graph Convolutional Network（GCN）？
训练过程中loss震荡特别严重，可能是什么问题？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
如何评价 NVIDIA 发布的 DGX-1？
深度学习如何入门？
为什么学习深度学习感觉无法入门？
2021年，ncnn发展的如何了？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
你见过最差的算法工程师能差到什么程度？
anchor-free存在什么缺点？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
机器学习，深度神经网络等方法是否是正确的方向？