Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价MSRA最新的 Relation Networks for Object Detection？AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
如何看待旷视科技新产品监视学生上课？
究竟什么是损失函数 loss function?
为什么强大的 MXNet 一直火不起来？
CVPR 2019 有哪些值得关注的亮点？
什么是大模型？超大模型？Foundation Model？
CVPR 2019 有哪些值得关注的亮点？
能否对卷积神经网络工作原理做一个直观的解释？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
为什么dropout正则化经常在视觉方面使用而不是其他？深度学习（机器学习）的下一步如何发展？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
Resnet到底在解决一个什么问题呢？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
2019年CVPR有哪些糟糕的论文?
如何看待多模态transformer，是否会成为多模态领域的主流？
wav2vec中的30ms是怎么得来的?
attention跟一维卷积的区别是啥？
如何看待swin transformer成为ICCV2021的 best paper？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
人工智能会是泡沫吗？
为啥gan里面几乎不用pooling？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如何评价AWS的图神经网络框架DGL？
机器学习，深度神经网络等方法是否是正确的方向？
如何理解深度学习源码里经常出现的logits？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何评价微软亚洲研究院提出的LightRNN？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
2019年NeurIPS有哪些糟糕的论文？
如何理解attention中的Q,K,V？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？