为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
机器学习，深度神经网络等方法是否是正确的方向？2021 年了，机器/深度学习还有哪些坑比较好挖？
如何评价沐神他们写的《动手学深度学习》这本书？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
机器学习，深度神经网络等方法是否是正确的方向？
机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
DeepMind 团队中有哪些厉害的人物和技术积累？GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
神经网络能否代替决策树算法？
机器学习里面的流形都是怎么用的？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
有哪些可以自学机器学习、深度学习、人工智能的网站？
Graph Attention Network的本质是什么？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如何把梯度传递过Argmax?
如何理解MCMC中的细致平稳条件？
如何理解attention中的Q,K,V？
机器学习如何才能避免「只是调参数」？
PyTorch中在反向传播前为什么要手动将梯度清零？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
transformer中的Q,K,V到底是什么？
如何判断两个Deep Learning 数据集的数据分布是否一致？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
如何理解压缩感知(compressive sensing)？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
如何用机器学习判断《溪岸图》是否董源真迹？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
机器学习中如何识别图片中的手是手背还是手心？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？