如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
多模态方面，有哪些牛组值得我们follow他们的工作？如何评价朱广权battle AI手语主播？AI能否取代手语翻译，造福更多聋哑人？
ICLR 2018 有什么值得关注的亮点？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
人工智能可以为人类找寻他们心目中的另一半吗?
消融实验是什么？
阿尔法狗已经积分4500了，这个可信吗？
如何评价AWS的图神经网络框架DGL？
华为应届顶尖博士年薪百万，读博是不是有希望了？
自动驾驶能治首堵病吗？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
机器人领域最好的会议是什么?大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
如何评价Momenta ImageNet 2017夺冠架构SENet?
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
深度学习（机器学习）的下一步如何发展？
想建造一个传感器，将其连接上机械臂后，希望它能够自己简单的玩一些电脑小游戏，我应该学习哪些知识？
能否用AI控制枪械，实现自动寻找目标、瞄准、击发？
自学深度学习是怎样一种体验？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
如何看待2019暴雪嘉年华现场Serral 1:4 败给AlphaStar？
阿尔法解决蛋白质折叠的突破，是否预示人类需要放弃寻找精确的物理公式改用AI方法预测自然规律？
如何全面理解工程师红利？
人类有哪些能力，是 AI 无法拥有的？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
视觉Transformer如何优雅地避开位置编码？
BERT模型可以使用无监督的方法做文本相似度任务吗？
在前沿科技领域，拥有话语权的中国企业有哪些，成果如何？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
2019 年你读了哪些觉得比较好的计算机书籍？
最数学的计算机科学方向有哪些？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
为什么nn的较大问题是会陷入局部最优时，不选用凸函数作为激活函数？
深度学习attention机制中的Q,K,V分别是从哪来的？
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价openai的新工作DALL·E?
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
GPT-3 到底花了多少钱？为什么有的网站显示 1200 万美元，有的显示 460 万美元呢？