关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
人工智能会是泡沫吗？如何评价Hinton组的新工作SimCLR?
如何评价1700亿参数的GPT-3？
2021年，ncnn发展的如何了？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
深度学习的多个loss如何平衡？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
贝叶斯深度学习是什么，和传统神经网络有何不同？
如何看待Capsule Network在NLP领域的潜力？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?全连接层的作用是什么？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价贾扬清离职 Facebook？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
国内做NLP业务的香侬科技值得去吗？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
从应用的角度来看，深度学习怎样快速入门？
2019 秋招的 AI 岗位竞争激烈吗？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
有没有必要把机器学习算法自己实现一遍？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何评价MXNet发布的1.0版本？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
mxnet的并行计算为什么这么牛，是什么原理？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
如何理解 inductive learning 与 transductive learning?
如何评价Hinton组的新工作SimCLR?
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
ICLR 2022有哪些值得关注的投稿？
如何评价谷歌大脑的EfficientNet？
有哪些比较好的元学习（meta learning）领域的学习资源？
image caption这个方向更偏向NLP还是CV？
神经网络的损失函数为什么是非凸的?