一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
为什么交叉熵（cross-entropy）可以用于计算代价？深度神经网络（DNN）是否模拟了人类大脑皮层结构？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
基于深度卷积神经网络进行人脸识别的原理是什么？
深度学习中Attention与全连接层的区别何在？
为什么dropout正则化经常在视觉方面使用而不是其他？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
验证集loss上升，准确率却上升该如何理解？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
相关的话题
全连接层的作用是什么？DeepMind 团队中有哪些厉害的人物和技术积累？
神经网络中的能量函数是如何定义的？
为什么自动控制理论这么玄学？
神经网络的损失函数为什么是非凸的?
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
神经网络的损失函数为什么是非凸的?
怎么形象清晰地解释「周期 3 意味着混沌」?
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
现在的人工智能是否走上了数学的极端？
如何简单形象又有趣地讲解神经网络是什么？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
神经网络的万能逼近定理已经发展到什么地步了？
batchsize=1时可以用BN吗?
验证集loss上升，准确率却上升该如何理解？
为何总感觉人工智能和神经科学（神经网络）被绑在一起？
深度学习在无人驾驶汽车上面的运用有哪些？
有哪些比较好的机器学习，深度学习的网络资源可利用？
DeepMind 团队中有哪些厉害的人物和技术积累？
神经网络的损失函数为什么是非凸的?
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
GAN的生成器是怎么产生图片的？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
深度学习中Attention与全连接层的区别何在？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？