关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
为什么中文 NLP 数据集这么少？生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
深度学习调参有哪些技巧？
基于深度学习的人工智能程序和传统程序的差别在哪里？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
上学和读书有什么区别?
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
如何看待百度无人车， 三千多个场景，一万多个if？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
深度学习在生物信息领域有什么应用？如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
mxnet的并行计算为什么这么牛，是什么原理？
能否使用区块链的算力来解决深度学习训练？
如何评价Google发布的第二代深度学习系统TensorFlow?
如何理解 Graph Convolutional Network（GCN）？
为什么deep lab v3起，输出不再接 DenseCRF了？
为什么都说神经网络是个黑箱？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
目前有哪些比较成功的人工智能应用？
下一代 AI 框架长什么样？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
除了深度学习，机器学习领域近年来还有什么热点吗？
2020年，多标签学习（multi-label）有了哪些新的进展？
基于深度卷积神经网络进行人脸识别的原理是什么？
Transformer在工业界的应用瓶颈如何突破？
为什么读论文最好打印出来读？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
为什么很少人用FFT加速CNN卷积层的运算？
是不是并不是所有问题都适合用神经网络预测？
mxnet的并行计算为什么这么牛，是什么原理？
当前人工智能特别是深度学习最前沿的研究方向是什么？
GAN的生成器是怎么产生图片的？
如何评价 Self-Normalizing Neural Networks 这篇论文?
注意力机制是如何学习到模型所应注意的区域的？
2021年深度学习在哪些应用上有实质进展？
CTC和Encoder-Decoder有什么关系?
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？