关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？为什么softmax很少会出现[0.5，0.5]？
如何评价 DeepMind 公司？
Transformer在工业界的应用瓶颈如何突破？
如何评价深度学习相关顶级期刊论文难复现的问题？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
如何评价微软正在开发的人工智能编程软件 DeepCoder？
有哪些可以自学机器学习、深度学习、人工智能的网站？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
除了深度学习，机器学习领域近年来还有什么热点吗？2018年了，MXNet 发展的如何了？
如何开发一个自己的 TensorFlow？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
如何评价深度学习之父Hinton发布的Capsule论文？
为什么现在有这么多人工智能无用论？
算法岗位真的需要顶会才能入场吗？
深度学习在信息安全的应用有哪些可以关注的人或论文？
机器学习如何才能避免「只是调参数」？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如何评价AWS的图神经网络框架DGL？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如何看待在某度搜不到megengine官网？
请解释下variational inference？
ICLR 2021 有什么值得关注的投稿？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
为啥gan里面几乎不用pooling？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
基于深度学习的人工智能程序和传统程序的差别在哪里？
当前人工智能特别是深度学习最前沿的研究方向是什么？
2021 年了，机器/深度学习还有哪些坑比较好挖？
机器学习包含哪些学习思想？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
如何开发一个自己的 TensorFlow？
你见过最差的算法工程师能差到什么程度？
中国和美国谁能成人工智能领域的领军者？