一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
如何评价AWS的图神经网络框架DGL？深度学习attention机制中的Q,K,V分别是从哪来的？
深度学习在无人驾驶汽车上面的运用有哪些？
能否使用神经网络来判断奇偶数？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
为什么交叉熵（cross-entropy）可以用于计算代价？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
为什么dropout正则化经常在视觉方面使用而不是其他？
相关的话题
为啥gan里面几乎不用pooling？消融实验是什么？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如何把梯度传递过Argmax?
如何评价中科大实现了媲美人脑能效的类脑突触原型器件？
深度学习方面还有什么Open Problem?
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?
如何把梯度传递过Argmax?
神经网络分类训练后得到的是连续的数怎么离散？
从应用的角度来看，深度学习怎样快速入门？
如何评价谷歌刚推出的Cloud AutoML？
有哪些比较好的机器学习，深度学习的网络资源可利用？
为什么softmax很少会出现[0.5，0.5]？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
深度学习方面还有什么Open Problem?
batchsize=1时可以用BN吗?
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
batchsize=1时可以用BN吗?
PyTorch中在反向传播前为什么要手动将梯度清零？
生成对抗网络的毕设怎么上手？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
DeepMind 团队中有哪些厉害的人物和技术积累？
现在人工智能的某些学派，是不是跟中医有些像？
基于深度卷积神经网络进行人脸识别的原理是什么？
深度学习attention机制中的Q,K,V分别是从哪来的？
如何评价Hinton组的新工作SimCLR?
神经网络的损失函数为什么是非凸的?
究竟什么是损失函数 loss function?