Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
为什么学习深度学习感觉无法入门？
如何看待多模态transformer，是否会成为多模态领域的主流？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
百度在深度学习上使用Xilinx FPGA?
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
人工智能会是泡沫吗？AMD的CPU是否适合搭建深度学习主机？
如何评价深度学习相关顶级期刊论文难复现的问题？
深度学习在无人驾驶汽车上面的运用有哪些？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
如何理解空洞卷积（dilated convolution）？
如何评价陈天奇团队新开源的TVM？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
如何评价AWS的图神经网络框架DGL？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
究竟什么是损失函数 loss function?
为什么 Bert 的三个 Embedding 可以进行相加？
人工智能退潮期来了吗？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
adversarial training为什么会起作用？
计算机视觉是否已经进入瓶颈期？
为什么说深度学习没有理论基础?
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
计算机视觉是否已经进入瓶颈期？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
国内做NLP业务的香侬科技值得去吗？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
mxnet的并行计算为什么这么牛，是什么原理？
深度学习两张3080ti和一张3090ti哪个好?
如何看待Capsule Network在NLP领域的潜力？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
graph convolutional network有什么比较好的应用task？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？