关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
基于深度卷积神经网络进行人脸识别的原理是什么？为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
如何评价余凯创立的horizon robotics？
graph convolutional network有什么比较好的应用task？
ICLR 2022有哪些值得关注的投稿？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
mxnet的并行计算为什么这么牛，是什么原理？
你见过最差的算法工程师能差到什么程度？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
北京深鉴科技基于FPGA平台的DPU架构如何？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何理解Inductive bias？
ICLR 2022有哪些值得关注的投稿？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
2018年了，MXNet 发展的如何了？
如何看待Capsule Network在NLP领域的潜力？
如何比较Keras, TensorLayer, TFLearn ？
有哪些相见恨晚的 TensorFlow 小技巧？
深度学习如何入门？
如何评价Google发布的第二代深度学习系统TensorFlow?
人是如何做黑盒优化的？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
如何评价PyTorch 0.4.0？
如何评价 DeepMind 的新工作 AlphaCode?
如何看待周志华等人的新书《机器学习理论导引》？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何理解attention中的Q,K,V？
你见过最差的算法工程师能差到什么程度？
如何评价 Self-Normalizing Neural Networks 这篇论文?
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
人工智能领域有哪些精妙的数学原理？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
生成对抗网络的毕设怎么上手？
如何评价Sony新出的深度学习库NNabla？