关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
关于tensorflow中的滑动平均？编程达到什么水平才能编写出像caffe这样的深度学习框架？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
为什么现在很多人不看好商汤科技？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
NLP领域，你推荐哪些综述性的文章？
普通FPGA工程师怎样向人工智能靠拢？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何看待End-to-End Object Detection with Transformers？
如何评价谷歌大脑的EfficientNet？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
resnet（残差网络）的F（x）究竟长什么样子？深度学习中有哪些数据增强方法？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
如何看待Tensor Comprehensions？与TVM有何异同？
迁移学习入门，新手该如何下手？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
如何评价AWS的图神经网络框架DGL？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
image caption这个方向更偏向NLP还是CV？
多任务学习中loss多次backward和loss加和后backward有区别吗？
机器学习，深度神经网络等方法是否是正确的方向？
深度学习领域有哪些瓶颈？
算法工程师是否应该持续读论文？
如何评价哈工大的左旺孟老师？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
如何解决图神经网络（GNN）训练中过度平滑的问题？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
现在的BERT等语言模型，最快训练要多久？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
如果不按套路下棋是不是就能赢 Alpha Go 了？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
基于深度卷积神经网络进行人脸识别的原理是什么？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
为什么要压缩模型，而不是直接训练一个小的CNN？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？