关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？AlphaGo「理解」围棋吗？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
CVPR 2018 有什么值得关注的亮点？
三维重建怎么入门？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
为什么中文 NLP 数据集这么少？
大家用resnet50在imagenet上面top1最高能到多少？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
CVPR 2019 有哪些值得关注的亮点？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
深度学习图像处理什么时候用到GPU？了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
深度学习在生物信息领域有什么应用？
强化学习和自适应控制的关系是什么？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
2021年深度学习在哪些应用上有实质进展？
人工智能在生活中的应用都有哪些？
ICLR 2021 有什么值得关注的投稿？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
如何证明数据增强（Data Augmentation）有效性？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
现在的BERT等语言模型，最快训练要多久？
深度学习如何入门？
如何开发一个自己的 TensorFlow？
2019年NeurIPS有哪些糟糕的论文？
机器学习，深度神经网络等方法是否是正确的方向？
为什么交叉熵（cross-entropy）可以用于计算代价？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
为什么 Bert 的三个 Embedding 可以进行相加？
上学和读书有什么区别?
如何评价 Self-Normalizing Neural Networks 这篇论文?
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？