如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
谷歌翻译这几个月的进化速度突然加快是什么原因？因果推断会是下一个AI热潮吗？
你见过最差的算法工程师能差到什么程度？
AlphaFold2 解决了蛋白质结构问题吗？DeepMind 解决这项生物学五十年难题有何重大意义？
GAN 真的创造了新的信息吗？
吴恩达为什么离开谷歌？
请问智能电力系统今后怎样发展的？大学生如果想从事这方面工作需要学习哪些方面知识？
人工智能技术如何应用到相亲？
人工智能 CV 岗位是不是现在供严重大于需？
有谁照着论文把 AlphaGo 重现出来了？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
济南成功实施首例「人工心脏」植入手术，「人工心脏」相对于传统心脏移植有哪些优势？
换脸、声音合成等深度伪造技术会给社会治理带来什么挑战？
如何看待 AI 换脸软件「ZAO」的爆火？
正在工作的程序员，生活状态什么样？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
如何看待“AI计算机视觉需求”推动了CIS传感器（CMOS Sensor）的快速迭代和市场增量？
如何看待 ICLR2021 的拒稿被评为 ACL2021 的 Best Paper?
这样是不是就可以把人类的所有图像内容穷举出来了?
为什么中文 NLP 数据集这么少？
AI 是否即将威胁人类生存？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
怎样让机器有意识?
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
赵泠是不是人工智能？
人工智能的意义和价值是什么？
如何理解Inductive bias？
如何看待华大基因董事长汪建称「未来 5-10 年就可以化学合成任何生命，进展可能比人工智能还快」？
如何评价VOLO: Vision Outlooker for Visual Recognition？
如何评价对于AlphaGo打劫问题的质疑？
如何看待浙江小学生被戴上头环，被实时监测上课是否走神？
如何评价生成模型框架 ZhuSuan?
深度学习工作站中使用AMD的CPU会有问题吗？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
如何看待蚂蚁金服原副总裁漆远离职阿里，入职复旦大学、回归学术界？
人工智能和生物技术谁是未来的风口?还是说双风口?
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
《失控玩家》中的游戏有可能实现出来吗？
机器人能否把自己的电源拔掉？