关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
为什么强大的 MXNet 一直火不起来？CVPR2022 有什么值得关注的论文 ?
视觉Transformer如何优雅地避开位置编码？
AI 有可能代替人类从事数学研究吗？
三维重建怎么入门？
为什么机器学习解决网络安全问题总是失败?
围棋AI为什么没有下出同局？
深度学习如何入门？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何看待Keras正式从TensorFlow中分离？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
深度学习中Attention与全连接层的区别何在？给男友配置一个适合做深度学习的电脑要多少钱？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
nlp有哪些值得完整实现一遍的算法?
如何评价 DeepMind 的新工作 AlphaCode?
神经网络中 warmup 策略为什么有效；有什么理论解释么？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
TensorFlow 有哪些令人难以接受的地方？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
视觉Transformer如何优雅地避开位置编码？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
如何评价MSRA最新的 Relation Networks for Object Detection？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何评价谷歌大脑的EfficientNet？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何评价贾扬清离职 Facebook？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
结合深度学习的图像修复怎么实现？
如何评价谷歌大脑的EfficientNet？
什么是meta-learning?
如何评价生成模型框架 ZhuSuan?
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
如何看待Capsule Network在NLP领域的潜力？
从应用的角度来看，深度学习怎样快速入门？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？