如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
对于透明物体的三维重建有什么好方法吗？如何评价阿里巴巴启动NASA计划？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
AlphaGo 下棋的策略套路与人类策略有哪些相似吗？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
如何看待蚂蚁金服原副总裁漆远离职阿里，入职复旦大学、回归学术界？
如何评价 Self-Normalizing Neural Networks 这篇论文?
深度学习工作站中使用AMD的CPU会有问题吗？
Metaverse是什么？如何看待它？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何评价清华大学「天机芯」登上 Nature 封面，清华施路平团队发布全球首款异构融合类脑芯片？特朗普发起贸易战，会对中国科技、电信、AI 等行业带来哪些影响？
实验室一块GPU都没有怎么做深度学习？
如果有一个按钮，按下去之后人类现存的AI技术立刻消失，会对人类社会造成什么影响？
Batch normalization和Instance normalization的对比？
UCLA 的朱松纯教授是一个什么样的人？
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
如何看待“AI计算机视觉需求”推动了CIS传感器（CMOS Sensor）的快速迭代和市场增量？
目标检测算法中Two-stage算法速度慢,到底在哪里?
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
如何自学人工智能？
为什么机器人研究了几十年，还是给人感觉没有太大进展？
Transformer在工业界的应用瓶颈如何突破？
未来会不会出现一种科技能够改变甚至主宰人类？
人工智能会是泡沫吗？
人工智能在发展到极高的程度之后能否算得上是一种生命？
全连接层的作用是什么？
深度学习中，模型大了好还是小了好呢？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
人工智能趋势下，孩子学习编程有哪些意义，对未来发展有好处吗？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
如何看待饶毅的「人工智能还是伪智能」命题？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
深度学习中Attention与全连接层的区别何在？
「绝艺」成为中国国家围棋队指定训练 AI 后会有哪些影响？