Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价小米开源的移动端深度学习框架MACE？新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何评价1700亿参数的GPT-3？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
graph convolutional network有什么比较好的应用task？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
是不是并不是所有问题都适合用神经网络预测？
为什么计算注意力机制的时候不加偏置项？
如何看待百度无人车， 三千多个场景，一万多个if？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？算法岗位真的需要顶会才能入场吗？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
应该选择TensorFlow还是Theano？
目前有哪些比较成功的人工智能应用？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
如何系统学习机器学习？
二分类问题，应该选择sigmoid还是softmax？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
消融实验是什么？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
NIPS 2018 有什么值得关注的亮点？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
神经网络的万能逼近定理已经发展到什么地步了？
如何理解深度学习中的deconvolution networks？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
普通FPGA工程师怎样向人工智能靠拢？
如何看待swin transformer成为ICCV2021的 best paper？
请解释下variational inference？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
2019 秋招的 AI 岗位竞争激烈吗？