一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
为什么都说神经网络是个黑箱？既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
GAN的生成器是怎么产生图片的？
深度学习attention机制中的Q,K,V分别是从哪来的？
从人脑角度来说为什么人画画会越来越准（形准）？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
是不是并不是所有问题都适合用神经网络预测？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
相关的话题
如何看待SIREN激活函数的提出？神经网络分类训练后得到的是连续的数怎么离散？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
为什么dropout正则化经常在视觉方面使用而不是其他？
能否使用神经网络来判断奇偶数？
如何评价FAIR团队最新推出的RegNet？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
神经网络的万能逼近定理已经发展到什么地步了？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
如何简单形象又有趣地讲解神经网络是什么？
为什么学习深度学习感觉无法入门？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
如何评价「神经网络本质不过是初中生都会的复合函数」？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
为什么学习深度学习感觉无法入门？
如何看待上海交大研发人工智能：通过脸部识别技术辨别罪犯？
如何评价AWS的图神经网络框架DGL？
Batch Normalization 训练的时候为什么不使用 moving statistics？
现在的人工智能是否走上了数学的极端？
为什么都说神经网络是个黑箱？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
2019年NeurIPS有哪些糟糕的论文？
能否对卷积神经网络工作原理做一个直观的解释？
神经网络激活函数的作用和原理？有没有形象解释？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？