如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
目前土木工程和人工智能结合的课题有哪些？人大理科试验班与南大AI选哪个?
人工智能领域有哪些精妙的数学原理？
深度学习如何入门？
如何看待阿里巴巴提出的 FashionAI 比赛？
如何看待 Facebook 首席 AI 科学家 Yann LeCun 被群骂？
人工智能的水平较低是因为数据库不足和运算处理速度不够吗？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
如何看待前员工发表《Keep的困顿与终局》？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
2020 年过去了，人工智能领域都有哪些突破?具有独立意识的AI要设置寿命 怎么按这个方向辩论？
如何看待与评价 AAAI 2022 的录用结果？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
语义网所谓的“本体”的具体例子是什么？
你会选择/接受人脑连接电脑吗？
如何评价Sony新出的深度学习库NNabla？
你心目中的ALPHAGO拟人是怎样的性格?
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
如何评价MSRA最新的 Relation Networks for Object Detection？
人工智能可以超过人的创造力吗？
现在的图灵测试体系能否发现“故意不通过图灵测试来隐藏自己的人工智能”？
ICML 2018 有哪些值得关注的亮点?
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
一张图片怎么用matlab 把颜色反相，就是红的部分变成绿的，蓝的部分变成黄的？
自监督学习（Self-supervised Learning）有什么比较新的思路？
多模态方面，有哪些牛组值得我们follow他们的工作？
Elon Musk要给你的大脑植入芯片，你肯吗？
人工智能的意义和价值是什么？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
为什么人工智能用 Python？
如何用一句话证明自然语言处理很难？
相比于时下流行的机器学习方法（联接主义），传统的人工智能方法（符号主义）有什么独一无二的优势？
未来的智能家居领域，那一类产品更容易率先取得突破？