为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？ 第1页
1
tonyabracadabra 网友的相关建议:
说明传统的Rademacher complexity不适合于解释深度学习中over-parametrization的问题，推荐一篇有趣的文章（Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks），文中针对两层网路提出了一个新的capacity bound能随着hidden unit数量增加而降低，因此作者认为这可能可以解释为什么大网络有时候generalize得更好。
1
相关话题
如何理解Inductive bias？土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
常用的机器学习算法比较？
CTR预估中怎样加入图片特征？图片特征怎么提取？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何看待阿里巴巴提出的 FashionAI 比赛？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
如何看待 Larrabee 之父 Tom Forsyth 重加入 Intel？英特尔为何下注独立显卡？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
下一个讨论
attention跟一维卷积的区别是啥？
相关的话题
机器学习（machine learning）在经济学领域是否有应用前景？有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
为啥gan里面几乎不用pooling？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
有什么深度学习数学基础书推荐？
机器学习（machine learning）在经济学领域是否有应用前景？
如何将某个分布作为机器学习的特征？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
如何看待周志华等人的新书《机器学习理论导引》？
视觉算法的工业部署及落地方面的技术知识，怎么学？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
我决定进军期货市场，您有什么建议吗？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
有哪些令你印象深刻的魔改transformer？
如何看待QQ邮箱翻译出他人的快递通知？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
机器学习的解释模型存在嘛？
为什么Transformer适合做多模态任务？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
如何开发一个自己的 TensorFlow？
2020到2021年小样本学习取得重大进展了吗？
如何判断两个Deep Learning 数据集的数据分布是否一致？
为什么都说神经网络是个黑箱？
机器学习相关岗位面试中，有哪些加（zhuang）分（bi）项？