一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？深度神经网络（DNN）是否模拟了人类大脑皮层结构？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
有哪些比较好的机器学习，深度学习的网络资源可利用？
如何评价Hinton组的新工作SimCLR?
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
为什么dropout正则化经常在视觉方面使用而不是其他？
如何理解空洞卷积（dilated convolution）？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
相关的话题
有哪些比较好的机器学习，深度学习的网络资源可利用？为什么deep lab v3起，输出不再接 DenseCRF了？
深度学习与机器学习的关系是什么？
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
如何评价AWS的图神经网络框架DGL？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
为什么学习深度学习感觉无法入门？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
神经网络，人工智能这块怎么入门？
为什么dropout正则化经常在视觉方面使用而不是其他？
如何证明数据增强（Data Augmentation）有效性？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
神经网络激活函数的作用和原理？有没有形象解释？
是不是并不是所有问题都适合用神经网络预测？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？
为啥gan里面几乎不用pooling？
如何理解矩阵对矩阵求导？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如何评价「神经网络本质不过是初中生都会的复合函数」？
究竟什么是损失函数 loss function?