为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
现在互联网公司还有做特征工程的工作吗？为什么现在有这么多人工智能无用论？
如何评价论文「Stochastic Training is Not Necessary ...」?
PyTorch中在反向传播前为什么要手动将梯度清零？
参加kaggle竞赛是怎样一种体验？
如何理解 inductive learning 与 transductive learning?
Resnet是否只是一个深度学习的trick？
深度学习在生物信息领域有什么应用？
为什么很少人用FFT加速CNN卷积层的运算？
为什么都说神经网络是个黑箱？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
特征工程中的「归一化」有什么作用？石头和塑料袋对于计算机传感器的差别在于什么？为什么无人驾驶系统会依然存在对周围环境的误判？
你见过最差的算法工程师能差到什么程度？
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
如何理解Inductive bias？
如何理解 inductive learning 与 transductive learning?
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
深度学习如何入门？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何评价AWS的图神经网络框架DGL？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
如何理解今年发表在JMLR上随机森林算法SPORF？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
深度学习领域有哪些瓶颈？
如何看待在某度搜不到megengine官网？
有哪些深度学习效果不如传统方法的经典案例？
有哪些可以自学机器学习、深度学习、人工智能的网站？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何看待指出 神经网络的训练罪魁祸首是退化一文？
微软小冰测颜值是否比较准？为什么？
机器全面代替人工劳动力的那一天，你能如何生存下去？
image caption这个方向更偏向NLP还是CV？
如何看待北京交通大学学生在 ATM 机内学习?
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？