如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？ 第1页
1
SeptEnds 网友的相关建议:
让我比较惊讶的是他用了大批量+ LAMB 优化器 + 超多训练轮数。
在我以前的印象中，图像分类任务一般都是 SGD-M 效果最好，虽然初期收敛慢，但到大后期会爆发，泛化性能往往高于自适应学习率的优化器。类似地，以往大批量训练关注的重点一般是如何在保持泛化性能基本不变（或者略微变差）的情况下提升批量大小以缩短训练时间，而非提升泛化性能。假如去看一些 MLPerf 之类的基准，容易发现这些基准对收敛的判定是不够严格的，比标准训练策略的泛化性能一般要差一些，仅仅是追求极致的训练速度。
看来 LAMB 优化器是真的强，需要好好研究一下了。既能训 ResNet 又能训 BERT，你值得拥有。
hbxiong 网友的相关建议:
Tricks are all you need
1
相关话题
如何看待血肉苦弱，机械飞升？为什么国家将加快人工智能研究生培养？又为什么很多研究生评论人工智能是个大坑呢？
现在互联网公司还有做特征工程的工作吗？
区块链是元宇宙的核心技术吗？
如何用一句话证明自然语言处理很难？
身为消费者，你对汽车人工智能有什么期待？
哪些经历让你体会到，科学技术真的提升了我们生活的幸福感？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?
下一个讨论
有哪些适合科研工作者的解压方式？
相关的话题
AI 时代来临之际，学什么有用？同样是做强化学习和AI，为什么华为诺亚方舟实验室做出的成果远不及DeepMind和OpenAI?
消融实验是什么？
武侠小说都写，废了坏人的武功，让他没办法害人，可万一这个人智力超群，武功没了，他照样害人啊？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何开发一个自己的 TensorFlow？
如何看待阿里平头哥发布的全球最高性能 AI 芯片「含光 800」？这款芯片核心技术是什么呢？
弟弟估分能上清北，选人工智能还是网络新媒体（新闻传播类）专业？
ICLR 2018 有什么值得关注的亮点？
腾讯启动“探星计划”用AI寻找脉冲星，并发布TEFS材料计算平台，物理科研将成为未来的主营业务之一吗？
深度学习调参有哪些技巧？
为什么dropout正则化经常在视觉方面使用而不是其他？
如何看待NVIDIA 即将开源的DLA？
有哪些你看了以后大呼过瘾的数据分析书？
为什么美国如此反对中国留学生学习人工智能和量子技术？国内外这两种技术的发展现状如何？
如何评价「Patches are all you need」?
如何评价贾扬清离职 Facebook？
假如达到强人工智能，岂不是可以认为人也是由代码构成，甚至能由代码解析？
电子（EE）专业犹豫要不要研究生转计算机专业（CS）？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
在数据分析、挖掘方面，有哪些好书值得推荐？
如何比较Keras, TensorLayer, TFLearn ？
有没有必要把机器学习算法自己实现一遍？
未来几年，医学影像方面会被人工智能代替么？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？
为什么在SGD中使用L1正则化很难获得稀疏性？
如何理解 inductive learning 与 transductive learning?
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
anchor-free存在什么缺点？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？