Batch Normalization 训练的时候为什么不使用 moving statistics？ 第1页
1
wang-feng-98-82 网友的相关建议:
因为用moving statistics的话，不能对这些统计量求导，这样会少很多梯度的性质。
例如除以标准差后的梯度方向，是与feature垂直的(严谨一点，减均值之后的feature)，所以用这个梯度更新不会引起feature scale的剧变，从而解决了梯度爆炸/消失。
用moving average，不对标准差求导，梯度方向跟之前是一样的，只是乘了一个系数而已。这样只能吃到BN前向的好处，吃不到BN反向传播的好处。
但其实仍然有方法可以利用moving statistics来做到类似的性质，本质上是在反向过程也用moving average统计一些参数，具体请参考: Towards stabilizing batch statistics in backward propagation of batch normalization。
1
相关话题
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?卷积神经网络如果将池化层去除，与神经网络的区别还大么？
训练过程中loss震荡特别严重，可能是什么问题？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
AMD的CPU是否适合搭建深度学习主机？
验证集loss上升，准确率却上升该如何理解？
如何评价 Self-Normalizing Neural Networks 这篇论文?
消融实验是什么？
神经网络激活函数的作用和原理？有没有形象解释？
为什么交叉熵（cross-entropy）可以用于计算代价？
下一个讨论
计算机专业大一寒假该如何规划？
相关的话题
为什么deep lab v3起，输出不再接 DenseCRF了？多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
医学生学习机器学习该如何入门？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
为什么在SGD中使用L1正则化很难获得稀疏性？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
ICLR 2019 有什么值得关注的亮点？
除了深度学习，机器学习领域近年来还有什么热点吗？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
TVM 最新发布版本 0.3 有哪些亮点？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
深度学习有哪些好玩的案例？
深度学习做股票预测靠谱吗？
有谁照着论文把 AlphaGo 重现出来了？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
神经网络中的能量函数是如何定义的？
全连接层的作用是什么？
如何看待swin transformer成为ICCV2021的 best paper？
mxnet的并行计算为什么这么牛，是什么原理？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
CPU和GPU跑深度学习差别有多大？
你见过最差的算法工程师能差到什么程度？
如何评价「Patches are all you need」?
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
视觉算法的工业部署及落地方面的技术知识，怎么学？