关于tensorflow中的滑动平均？ 第1页
1
bingo-hong-36 网友的相关建议:
说下自己的理解吧。
我认为两者是独立的。理由如下：
- tf.train.ExponentialMovingAverage做为一个滑动平均类，其在对变量施加滑动平均操作的时候是会维持一个影子变量来记录其对应变量的滑动平均值。并且滑动平均过程，不会改变变量本身的值。
- 由于滑动平均过程并不会改变变量本身的值，因此认为变量权重更新的过程与滑动平均过程是互相不干扰的。
- 从代码训练的角度来说，施加滑动平均类的tf代码中，要保证训练神经网络过程中，既要根据反向传播更新参数又要更新每一个滑动平均值。因此认为其更新顺序，是更新后的变量，再做滑动平均。如下代码：
with tf.control_dependencies([train_step,variable_average_op]): train_op = tf.no_op(name="train") 以上是个人理解，仅仅从ema原理和代码训练角度猜测了下，具体没有看过源码，不敢随意下结论。仅供参考吧～
1
相关话题
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
有哪些相见恨晚的 TensorFlow 小技巧？
深度学习两张3080ti和一张3090ti哪个好?
关于tensorflow中的滑动平均？
深度学习中，模型大了好还是小了好呢？
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？
如何评价 BERT 模型？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
下一个讨论
机器学习中使用正则化来防止过拟合是什么原理？
相关的话题
如何理解 inductive learning 与 transductive learning?现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
迁移学习与fine-tuning有什么区别？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
目前有哪些比较成功的人工智能应用？
2021年深度学习在哪些应用上有实质进展？
2021 年了，机器/深度学习还有哪些坑比较好挖？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
如何评价Google发布的第二代深度学习系统TensorFlow?
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
消融实验是什么？
为什么读论文最好打印出来读？
深度学习的多个loss如何平衡？
算法岗位真的需要顶会才能入场吗？
如何评价论文「Stochastic Training is Not Necessary ...」?
编程达到什么水平才能编写出像caffe这样的深度学习框架？
百度学术能否替代 Google 学术网站？有没有其他选择？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
图片上训的模型，怎么迁移视频上呢？
如何开发一个自己的 TensorFlow？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
迁移学习入门，新手该如何下手？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？