一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？神经网络的万能逼近定理已经发展到什么地步了？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
GAN的生成器是怎么产生图片的？
能否使用神经网络来判断奇偶数？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
验证集loss上升，准确率却上升该如何理解？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
吴恩达为什么离开谷歌？
batchsize=1时可以用BN吗?
相关的话题
为什么学习深度学习感觉无法入门？如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
究竟什么是损失函数 loss function?
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
为什么softmax很少会出现[0.5，0.5]？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
是不是并不是所有问题都适合用神经网络预测？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
为什么计算机科学中的神经网络模型得出来的结果被认为是科学的，而中医诊断却不被认为是科学的？
如何简单形象又有趣地讲解神经网络是什么？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
基于深度卷积神经网络进行人脸识别的原理是什么？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
神经网络的损失函数为什么是非凸的?
adversarial training为什么会起作用？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
2019年NeurIPS有哪些糟糕的论文？
二分类问题，应该选择sigmoid还是softmax？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
从应用的角度来看，深度学习怎样快速入门？
消融实验是什么？
Batch Normalization 训练的时候为什么不使用 moving statistics？
为什么计算机科学中的神经网络模型得出来的结果被认为是科学的，而中医诊断却不被认为是科学的？
DeepMind 团队中有哪些厉害的人物和技术积累？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如何评价中科大实现了媲美人脑能效的类脑突触原型器件？
神经元之间的连接方式是怎样的，感觉如果按树突到轴突方式(多冲动聚为一个冲动)的话连接只会越连越少啊？