为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
怎样计算两个服从高斯分布的向量乘积的期望？近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何看待 Deepmind 宣称最新版 AlphaGo 能让李世乭版本 AlphaGo 三子？
反馈控制理论在优化、机器学习等领域有哪些应用？
如何评价AWS的图神经网络框架DGL？
计算机视觉有多少分支？
Transformer是如何处理可变长度数据的？
二分类问题，应该选择sigmoid还是softmax？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？如何判断两个Deep Learning 数据集的数据分布是否一致？
c4.5为什么使用信息增益比来选择特征？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何理解今年发表在JMLR上随机森林算法SPORF？
除了深度学习，机器学习领域近年来还有什么热点吗？
结合深度学习的图像修复怎么实现？
支持向量机（SVM）是什么意思？
如何评价贾扬清离职 Facebook？
从应用的角度来看，深度学习怎样快速入门？
物理专业的学生如何看待机器学习和大数据这些方向呢？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
目前工业界常用的推荐系统模型有哪些？
人工智能在生活中的应用都有哪些？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何将某个分布作为机器学习的特征？
有什么算法能对一个长短不一的时间序列进行分类预测?
实验室一块GPU都没有怎么做深度学习？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
视觉算法的工业部署及落地方面的技术知识，怎么学？
人工智能被高估了吗？
语义网所谓的“本体”的具体例子是什么？
常用的机器学习算法比较？
图像处理和机器学习有什么关系？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
如何通俗易懂地介绍 Gaussian Process？
围棋AI为什么没有下出同局？
请问应该怎样去学习图像识别和深度学习？
为什么 Non-Convex Optimization 受到了越来越大的关注？
如何看待指出 神经网络的训练罪魁祸首是退化一文？