为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？迁移学习入门，新手该如何下手？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
北京深鉴科技基于FPGA平台的DPU架构如何？
从应用的角度来看，深度学习怎样快速入门？
如何评价AWS的图神经网络框架DGL？
如何理解空洞卷积（dilated convolution）？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
如何看待Kaggle最新比赛Zillow禁止中国居民参加第二轮？
5-10年后，你觉得哪些科技会让我们“遗忘”现在的生活？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
医学生学习机器学习该如何入门？所谓大数据分析，究竟要学什么？
如何看待swin transformer成为ICCV2021的 best paper？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
神经网络分类训练后得到的是连续的数怎么离散？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
卷积神经网络中卷积核是如何学习到特征的？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
KL散度衡量的是两个概率分布的距离吗？
为什么神经网络具有泛化能力？
如何评价B站UP主未明子宣称“知乎搞机器学习模拟拉康的程序员”具备“头脑上的悲剧”？
为什么要学习吴恩达的机器学习？
2020年，多标签学习（multi-label）有了哪些新的进展？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
2018年了，MXNet 发展的如何了？
如何评价深度学习之父Hinton发布的Capsule论文？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
AI 有可能代替人类从事数学研究吗？
深度学习（机器学习）的下一步如何发展？
为什么计算机科学专业背景的人喜欢黑机器学习？
如何评价论文「Stochastic Training is Not Necessary ...」?
2020年，多标签学习（multi-label）有了哪些新的进展？