Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
注意力机制是如何学习到模型所应注意的区域的？
机器学习中有哪些形式简单却很巧妙的idea？
神经网络，人工智能这块怎么入门？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
如何评价DALL-E模型的实现？
迁移学习入门，新手该如何下手？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？如何评价Hinton组的新工作SimCLR?
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
神经网络的万能逼近定理已经发展到什么地步了？
如何看待阿里巴巴提出的 FashionAI 比赛？
如何评价AlphaGo Zero？
为啥gan里面几乎不用pooling？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
能否使用神经网络来判断奇偶数？
batchsize=1时可以用BN吗?
2019年，计算机视觉领域，你推荐哪些综述性的文章？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
卷积神经网络中卷积核是如何学习到特征的？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
神经元之间的连接方式是怎样的，感觉如果按树突到轴突方式(多冲动聚为一个冲动)的话连接只会越连越少啊？
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么神经网络具有泛化能力？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
多任务学习中loss多次backward和loss加和后backward有区别吗？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何系统学习机器学习？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？