如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
CNN网络的pooling层有什么用？2020到2021年小样本学习取得重大进展了吗？
ICLR 2018 有什么值得关注的亮点？
如何看待与评价 AAAI 2022 的录用结果？
神经网络，人工智能这块怎么入门？
如何评价亚马逊AI新开源自动机器学习项目AutoGluon?
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
本科人工智能专业，保研拿到了南科大量子信息论的offer，请问值得去吗?
为什么苏联打下了如此强的数学基础，俄罗斯却至今无法成为AI强国？
卷积神经网络（CNN）的结构设计都有哪些思想？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
2020到2021年小样本学习取得重大进展了吗？如何评价ST-GCN动作识别算法？
什么是大模型？超大模型？Foundation Model？
2021 年，深度学习方面取得了哪些关键性进展？
如何看待商汤科技高管半年薪酬近12 亿？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
翻译设备不断进化，很快会进入民用领域且越来越好用。那么现在一两岁的小孩，是否早教已没必要选英语了？
如何评价《王者荣耀》「绝悟」AI?
如果一个行业大佬向你说了一件幼稚的事情，你会觉得这话是另有玄机，还是大佬自己就没整明白呢？
能否对卷积神经网络工作原理做一个直观的解释？
如何评价支付宝在IEEE成功立项“生物特征识别多模态融合”国际标准？有什么长远意义？
现在的AI能自动编写另一个AI代码吗？
将记忆保存在电脑上，肉体坏死的人，算死亡了吗？
如何客观评价科大讯飞这家公司？
有监督和无监督学习都各有哪些有名的算法和深度学习？
如何证明马尔科夫链一定会达到稳态？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
“大数据”已经过时了吗？
如何理解 natural gradient descent?
为什么交叉熵（cross-entropy）可以用于计算代价？
人是如何做黑盒优化的？
目前有哪些比较成功的人工智能应用？
人工智能目前有哪些突破？
如何评价知乎想法中「人工智能是否能做艺术创新」这一场论战？
为什么nn的较大问题是会陷入局部最优时，不选用凸函数作为激活函数？
如何看待朱松纯受聘北大人工智能研究院院长？
交通银行机器人是如何做到如此智能的？
有没有必要把机器学习算法自己实现一遍？