关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？自己学习深度学习时，有哪些途径寻找数据集？
深度学习图像处理什么时候用到GPU？
机器学习中有哪些形式简单却很巧妙的idea？
为什么读论文最好打印出来读？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何评价贾扬清离职 Facebook？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？算法岗位真的需要顶会才能入场吗？
Graph Attention Network的本质是什么？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
2021年深度学习在哪些应用上有实质进展？
为什么现在有这么多人工智能无用论？
如何评价陈天奇团队新开源的TVM？
机器学习里面的流形都是怎么用的？
三维重建怎么入门？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何评价哈工大的左旺孟老师？
有哪些深度学习效果不如传统方法的经典案例？
请解释下variational inference？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
有什么深度学习数学基础书推荐？
请问应该怎样去学习图像识别和深度学习？
实验室一块GPU都没有怎么做深度学习？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
2019 秋招的 AI 岗位竞争激烈吗？
如何看待在某度搜不到megengine官网？
如何评价生成模型框架 ZhuSuan?
搞机器学习的生环化材是天坑吗？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？