为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
如何评价深度学习之父Hinton发布的Capsule论文？
如何评价新Nature子刊Nature Machine Intelligence的出现？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
985工科研一觉得快要退学了怎么办？
为什么现在有这么多人工智能无用论？
如何将某个分布作为机器学习的特征？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
GAN 真的创造了新的信息吗？
为什么中文 NLP 数据集这么少？
深度学习有哪些好玩的案例？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
人工智能可以为人类找寻他们心目中的另一半吗?
搞机器学习的生环化材是天坑吗？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
如何评价论文「Stochastic Training is Not Necessary ...」?
百度学术能否替代 Google 学术网站？有没有其他选择？
人工智能领域有哪些精妙的数学原理？
神经网络为什么可以（理论上）拟合任何函数？
如何看待谷歌公开 tensorflow 专用处理器 TPU?
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
下一代 AI 框架长什么样？
能否使用区块链的算力来解决深度学习训练？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
如何将某个分布作为机器学习的特征？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
在优化问题里，强化学习相比启发式搜索算法有什么好处？
什么是大模型？超大模型？Foundation Model？
请问应该怎样去学习图像识别和深度学习？
有哪些比较好的机器学习，深度学习的网络资源可利用？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？