如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
如果统治中国区域的是一个AI，它会怎么处理台湾问题？如何通俗易懂地讲解 Photoshop 中的「通道」概念？
机器学习中有哪些形式简单却很巧妙的idea？
AlphaGo 在围棋上战胜李世乭后，人工智能的下一个目标会是同为「有限元素组合创作」的音乐吗？
两台 AlphaGo 对决会和棋吗？
人工智能会是泡沫吗？
用人工智能来设计芯片有可行性么？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
怎样实现强人工智能?
劳荣枝二十年后被抓，容貌和20年前变化很大，警方是怎么判定她是劳荣枝的？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
能否使用区块链的算力来解决深度学习训练？如何评价 Exploring Simple Siamese Learning?
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
adversarial training为什么会起作用？
2019年CVPR有哪些糟糕的论文?
如何评价谷歌大脑的EfficientNet？
为什么Transformer适合做多模态任务？
人工智能在生活中的应用都有哪些？
什么是大模型？超大模型？Foundation Model？
下一代 AI 框架长什么样？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
如何用python来统计MacPro的圆圈个数？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
attention跟一维卷积的区别是啥？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
如何看待 Nervana 被 Intel 收购？
为什么美国如此反对中国留学生学习人工智能和量子技术？国内外这两种技术的发展现状如何？
为什么微软要删除世界上最大的公开人脸识别数据库？
如何评价「Patches are all you need」?
人工智能（AI）真的会带来大规模失业吗？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价深度学习之父Hinton发布的Capsule论文？
何恺明目前的学术成果是否够得上计算机视觉领域历史第一人？
你们都是怎么学 Python 的？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
学习SLAM需要哪些预备知识？