为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
为什么强大的 MXNet 一直火不起来？注意力机制是如何学习到模型所应注意的区域的？
深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？
中国和美国谁能成人工智能领域的领军者？
如何评价 DeepMind 的新工作 AlphaCode?
如何解决图神经网络（GNN）训练中过度平滑的问题？
CTC和Encoder-Decoder有什么关系?
TensorFlow的自动求导具体是在哪部分代码里实现的？
为什么计算机科学专业背景的人喜欢黑机器学习？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？学习机器学习应该看哪些书籍？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
学习机器学习有哪些好工具推荐？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如何用一句话证明自然语言处理很难？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
如何评价沐神他们写的《动手学深度学习》这本书？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何看待百度无人车， 三千多个场景，一万多个if？
深度学习中有哪些数据增强方法？
AI 有可能代替人类从事数学研究吗？
如何评价生成模型框架 ZhuSuan?
如何全面理解工程师红利？
如何评价 Exploring Simple Siamese Learning?
机器学习相关岗位面试中，有哪些加（zhuang）分（bi）项？
2021年人工智能领域有哪些关键性进展和突破？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
为什么在SGD中使用L1正则化很难获得稀疏性？
如何开发一个自己的 TensorFlow？
如何评价 Exploring Simple Siamese Learning?
如何看待指出 神经网络的训练罪魁祸首是退化一文？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
为什么最近几年 FPGA 变得越发受大家重视了？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
LSTM如何来避免梯度弥散和梯度爆炸？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？