一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
如何把梯度传递过Argmax?
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何评价Hinton组的新工作SimCLR?
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
深度学习的多个loss如何平衡？
相关的话题
怎么选取训练神经网络时的Batch size?消融实验是什么？
全连接层的作用是什么？
神经网络激活函数的作用和原理？有没有形象解释？
为什么学习深度学习感觉无法入门？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
怎么选取训练神经网络时的Batch size?
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
消融实验是什么？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
2019年NeurIPS有哪些糟糕的论文？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
神经网络激活函数的作用和原理？有没有形象解释？
神经网络能否代替决策树算法？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
验证集loss上升，准确率却上升该如何理解？
什么是大模型？超大模型？Foundation Model？
深度学习的多个loss如何平衡？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
吴恩达为什么离开谷歌？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
GAN的生成器是怎么产生图片的？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?