Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价谷歌大脑的EfficientNet？2019年CVPR有哪些糟糕的论文?
有哪些比较好的机器学习，深度学习的网络资源可利用？
深度学习的多个loss如何平衡？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
现在的人工智能是否走上了数学的极端？
计算机视觉是否已经进入瓶颈期？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
深度学习在无人驾驶汽车上面的运用有哪些？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
生成对抗网络的毕设怎么上手？有什么算法能对一个长短不一的时间序列进行分类预测?
如何判断两个Deep Learning 数据集的数据分布是否一致？
图片上训的模型，怎么迁移视频上呢？
如何看待MXNet获得amazon官方支持首位？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
graph convolutional network有什么比较好的应用task？
如何评价微软亚洲研究院提出的LightRNN？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
能否对卷积神经网络工作原理做一个直观的解释？
如何评价Google发布的第二代深度学习系统TensorFlow?
如何理解MCMC中的细致平稳条件？
如何判断两个Deep Learning 数据集的数据分布是否一致？
深度学习在生物信息领域有什么应用？
如何看待周志华等人的新书《机器学习理论导引》？
如何看待阿里巴巴提出的 FashionAI 比赛？
卷积神经网络（CNN）的结构设计都有哪些思想？
如何评价「神经网络本质不过是初中生都会的复合函数」？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
2019年NeurIPS有哪些糟糕的论文？
下一代 AI 框架长什么样？
为什么dropout正则化经常在视觉方面使用而不是其他？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
有监督和无监督学习都各有哪些有名的算法和深度学习？
为什么 BERT 的 intermediate_size 这么大？
如何看待百度无人车， 三千多个场景，一万多个if？
如何看待在某度搜不到megengine官网？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？