一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
吴恩达为什么离开谷歌？如何理解矩阵对矩阵求导？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
adversarial training为什么会起作用？
resnet（残差网络）的F（x）究竟长什么样子？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
神经网络，人工智能这块怎么入门？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何评价Sony新出的深度学习库NNabla？
相关的话题
消融实验是什么？神经网络为什么可以（理论上）拟合任何函数？
如何评价「神经网络本质不过是初中生都会的复合函数」？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
如何评价Sony新出的深度学习库NNabla？
消融实验是什么？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
寒武纪神经网络处理器效能如何 ？
什么是大模型？超大模型？Foundation Model？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
如何评价「神经网络本质不过是初中生都会的复合函数」？
adversarial training为什么会起作用？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
如何评价Hinton组的新工作SimCLR?
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
深度学习attention机制中的Q,K,V分别是从哪来的？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
神经网络的损失函数为什么是非凸的?
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
如何评价谷歌刚推出的Cloud AutoML？
有哪些比较好的机器学习，深度学习的网络资源可利用？
如何评价FAIR团队最新推出的RegNet？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
神经网络，人工智能这块怎么入门？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
消融实验是什么？
如何把梯度传递过Argmax?