关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
怎么选取训练神经网络时的Batch size?
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
现在互联网公司还有做特征工程的工作吗？
为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
KL散度衡量的是两个概率分布的距离吗？
神经网络中的能量函数是如何定义的？
如何看待旷视科技新产品监视学生上课？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
如何看待Keras正式从TensorFlow中分离？
如何评价 DeepMind 公司？
机器学习如何才能避免「只是调参数」？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价AWS的图神经网络框架DGL？
为什么现在不看好 CV 方向了呢?
人工智能领域有哪些精妙的数学原理？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
应该选择TensorFlow还是Theano？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何看待swin transformer成为ICCV2021的 best paper？
NIPS 2018 有什么值得关注的亮点？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
多任务学习中loss多次backward和loss加和后backward有区别吗？
用 TensorFlow 可以做什么有意思的事情？
有哪些比较好的元学习（meta learning）领域的学习资源？
KL散度衡量的是两个概率分布的距离吗？
机器学习，深度神经网络等方法是否是正确的方向？
如何理解今年发表在JMLR上随机森林算法SPORF？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
为什么说深度学习没有理论基础?