如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
CVPR2022 有什么值得关注的论文 ?怎么选取训练神经网络时的Batch size?
学习机器学习有哪些好工具推荐？
如何看待「原谅宝」？
心理咨询师会被人工智能取代吗？
哪类游戏 AI 难度更高？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
为什么自动控制理论这么玄学？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何看待 Nervana 被 Intel 收购？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
如何评价 GitHub 与 OpenAI 合作推出的 AI 代码建议方案 Copilot?如何看待生活中经常出现「人工智能翻车」的情况，目前人工智能技术究竟发展到什么程度了？
我应该从计算机视觉回到做FPGA 吗？
如何评价 2021 年 12 月新改版的知识引擎 magi.com？
有什么深度学习数学基础书推荐？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
资本不依附于人的时候会发生什么？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何看待网传依图科技集体降薪 10% 以上？还有哪些信息值得关注？
如何看待脸书高管呼吁：希望政府能够介入科技公司，称：史上没有哪位国王能像扎克伯格那样统治着20亿人？
如何看待微博里机器人发布女权言论的现象？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如何看待韩国棋院院长回应棋手用AI作弊参赛？
作为从业者，你觉得人工智能行业的魅力在哪里？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
物理专业的学生如何看待机器学习和大数据这些方向呢？
一个人能否实现自己转动螺旋桨从而上天？实现需要什么条件？
如何评价最新的Octave Convolution？
未来的智能家居领域，那一类产品更容易率先取得突破？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
未来几年，医学影像方面会被人工智能代替么？
图片上训的模型，怎么迁移视频上呢？
自学深度学习是怎样一种体验？
如何看待 人工智能（AI）人才抢夺热潮，应届博士年薪涨到 80 万这一现象？未来前景如何？
AI 有可能代替人类从事数学研究吗？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
如果不按套路下棋是不是就能赢 Alpha Go 了？
观电影机械姬（Ex Machina）有何感触？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？