一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
从应用的角度来看，深度学习怎样快速入门？如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
GAN的生成器是怎么产生图片的？
神经网络激活函数的作用和原理？有没有形象解释？
adversarial training为什么会起作用？
GAN的生成器是怎么产生图片的？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
相关的话题
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？如何证明数据增强（Data Augmentation）有效性？
神经网络中的能量函数是如何定义的？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
如何评价「神经网络本质不过是初中生都会的复合函数」？
现在的人工智能是否走上了数学的极端？
消融实验是什么？
二分类问题，应该选择sigmoid还是softmax？
PyTorch中在反向传播前为什么要手动将梯度清零？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
消融实验是什么？
如何评价FAIR团队最新推出的RegNet？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
神经网络为什么可以（理论上）拟合任何函数？
PyTorch中在反向传播前为什么要手动将梯度清零？
卷积神经网络（CNN）的结构设计都有哪些思想？
如何简单形象又有趣地讲解神经网络是什么？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
2019年NeurIPS有哪些糟糕的论文？
如何看待上海交大研发人工智能：通过脸部识别技术辨别罪犯？
机器学习，深度神经网络等方法是否是正确的方向？
是不是并不是所有问题都适合用神经网络预测？
如何看待SIREN激活函数的提出？
为什么神经网络具有泛化能力？