如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
视觉算法的工业部署及落地方面的技术知识，怎么学？无人驾驶多久可以在同场竞技中超越F1赛车手?
如何看待AI杀入斗地主领域，快手DouZero击败344个AI排名第一？未来人类斗地主能斗过AI吗？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
车辆工程&计算机视觉？
是否存在这种审稿人思维：因为完全看懂了论文更增加了将之拒掉的几率？
去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
有哪些对未来看似不靠谱的预测，如今竟然实现了？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
为什么 VR 始终不能崛起呢？
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？我们目前的时代距离人工智能具有自我意识还有多远？
2017 年 11 月百度与小米的全面战略合作有哪些亮点？可能会产生哪些影响？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何看待人工智能攻破德州扑克？
生成对抗网络的毕设怎么上手？
AI 算法在芯片设计方法学和 EDA 工具中有哪些应用和潜力？
想建造一个传感器，将其连接上机械臂后，希望它能够自己简单的玩一些电脑小游戏，我应该学习哪些知识？
究竟什么是损失函数 loss function?
如何评价微软正在开发的人工智能编程软件 DeepCoder？
人工智能是否会导致劳动力大量失业？端走人类的饭碗吗？
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
法律是否可能被代码化？
在你的工作领域里，哪些岗位无法被 AI 取代？
为什么硅谷的人在造火箭，搞人工智能，虚拟现实生物工程，而我们却在玩互联网？
全连接层的作用是什么？
如果阿尔法狗教人类下棋，会比人类围棋师傅要厉害么？
神经网络，人工智能这块怎么入门？
为什么要学习吴恩达的机器学习？
老罗为什么不做智能音箱？
人工智能可以为人类找寻他们心目中的另一半吗?
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
上学和读书有什么区别?
如何评价最新的Octave Convolution？
FC 游戏《中国象棋》中，困难难度是真的在计算棋谱吗？
人脸识别哪家强？
AlphaGo战胜围棋冠军和当年IBM深蓝战胜象棋冠军哪个意义和影响更大？
如何评价Momenta ImageNet 2017夺冠架构SENet?
为什么有的 Vision Transformer 中的 key 不需要 bias ？