为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
机器学习的解释模型存在嘛？如何评价Google发布的第二代深度学习系统TensorFlow?
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
所谓大数据分析，究竟要学什么？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
神经网络为什么可以（理论上）拟合任何函数？
有谁给解释一下流形以及流形正则化？
CPU和GPU跑深度学习差别有多大？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
如何看待MXNet获得amazon官方支持首位？如何理解Inductive bias？
如何评价谷歌大脑的EfficientNet？
医学生学习机器学习该如何入门？
主题模型(topic model)到底还有没有用，该怎么用？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
ICLR 2019 有什么值得关注的亮点？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
有没有必要把机器学习算法自己实现一遍？
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
CNN网络的pooling层有什么用？
能否用具体的例子解释一下 (Model-based) Structural Estimation？
机器学习中有哪些形式简单却很巧妙的idea？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
机器学习，深度神经网络等方法是否是正确的方向？
深度学习有哪些好玩的案例？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
CTR预估中怎样加入图片特征？图片特征怎么提取？
2021年深度学习在哪些应用上有实质进展？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
能分享你收藏的国外AI talk, seminar平台或网站吗？
机器学习，数据挖掘在研究生阶段大概要学些什么？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何理解Inductive bias？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？