一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
GAN的生成器是怎么产生图片的？
深度学习中Attention与全连接层的区别何在？
GAN的生成器是怎么产生图片的？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
用 TensorFlow 可以做什么有意思的事情？
为什么神经网络具有泛化能力？
相关的话题
从人脑角度来说为什么人画画会越来越准（形准）？如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如何理解矩阵对矩阵求导？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
究竟什么是损失函数 loss function?
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
现在人工智能的某些学派，是不是跟中医有些像？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
深度学习的多个loss如何平衡？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
神经网络为什么可以（理论上）拟合任何函数？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
能否对卷积神经网络工作原理做一个直观的解释？
神经网络的损失函数为什么是非凸的?
为什么自动控制理论这么玄学？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
深度学习方面还有什么Open Problem?
如何评价微软亚洲研究院提出的LightRNN？