为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
如何看待指出 神经网络的训练罪魁祸首是退化一文？为什么说深度学习没有理论基础?
FPGA做深度学习能走多远？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
GAN 真的创造了新的信息吗？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
关于tensorflow中的滑动平均？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
如何评价微软亚洲研究院提出的LightRNN？
计算机视觉有多少分支？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
人工智能退潮期来了吗？人工智能的意义和价值是什么？
人工智能的意义和价值是什么？
Jacobian矩阵和Hessian矩阵的作用是什么？
如何看待 Google TPU？寒武纪芯片较之有哪些优势与不足？
多任务学习中loss多次backward和loss加和后backward有区别吗？
为什么中文 NLP 数据集这么少？
从应用的角度来看，深度学习怎样快速入门？
在数据分析、挖掘方面，有哪些好书值得推荐？
为什么说深度学习没有理论基础?
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
mxnet的并行计算为什么这么牛，是什么原理？
新手如何入门pytorch？
如何看待MXNet获得amazon官方支持首位？
如何看待MXNet在CVPR2017上公布的gluon接口？
怎么形象理解embedding这个概念？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
机器学习，数据挖掘在研究生阶段大概要学些什么？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
如何理解 natural gradient descent?
目前工业界常用的推荐系统模型有哪些？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
wasserstein 距离的问题?
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
为什么 MobileNet、ShuffleNet 在理论上速度很快，工程上并没有特别大的提升？
什么是主动学习（Active Learning, AL）？
为什么说深度学习没有理论基础?