为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
有没有必要把机器学习算法自己实现一遍？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
Kaggle如何入门？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何评价Hinton组的新工作SimCLR?
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
为什么机器学习解决网络安全问题总是失败?如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
神经网络中的能量函数是如何定义的？
图片上训的模型，怎么迁移视频上呢？
为什么交叉熵（cross-entropy）可以用于计算代价？
机器学习中的PR曲线一定会过（1，0）这个点吗？
2019年CVPR有哪些糟糕的论文?
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如何直观地解释 backpropagation 算法？
因果推断会是下一个AI热潮吗？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
LSTM如何来避免梯度弥散和梯度爆炸？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
ICLR 2021 有什么值得关注的投稿？
人工智能在生活中的应用都有哪些？
PyTorch中在反向传播前为什么要手动将梯度清零？
Batch Normalization 训练的时候为什么不使用 moving statistics？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
为什么现在有这么多人工智能无用论？
如何评价论文「Stochastic Training is Not Necessary ...」?
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
人工智能和自动控制能在一起擦出什么样的火花？
如何评价Hinton组的新工作SimCLR?
时间序列和回归分析有什么本质区别？
如何比较Keras, TensorLayer, TFLearn ？
应该选择TensorFlow还是Theano？
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
用于数据挖掘的聚类算法有哪些，各有何优势？