我和高赞回答的意见恰好相反。就是您有可能是想的太多,但是读相关的资料太少。尤其是2006年以后的相关资料太少。
弱弱的说一句。题主您确定您是真的阅读过深度学习的相关书籍吗??
我贴一段Keras之父,谷歌人工智能研究员Chollet的话吧。。
比如,思考这样一个问题,想要学习让火箭登陆月球的正确的发射参数。如果使用深度网络来完成这个任务,并用监督学习或强化学习来训练网络,那么我们需要输入上千次、甚至上百万次发射试验,也就是说,我们需要为它提供输入空间的密集采样,以便它能够学到从输入空间到输出空间的可靠映射。相比之下,我们人类可以利用抽象能力提出物理模型(火箭科学),并且只用一次或几次试验就能得到让火箭登陆月球的精确解决方案。同样,如果你开发一个能够控制人体的深度网络,并且希望它学会在城市里安全行走,不会被汽车撞上,那么这个网络不得不在各种场景中死亡数千次,才能推断出汽车是危险的,并做出适当的躲避行为。将这个网络放到一个新城市,它将不得不重新学习已知的大部分知识。但人类不需要死亡就可以学会安全行为,这也要归功于我们对假想情景进行抽象建模的能力。
现在的深度学习就是没有基于逻辑和结构的基础上去找答案的能力。人家深度学习算法其实特别想有抽象建模的能力。,但是目前深度学习做不到。
至于你说的数学的极端。我了解的情况和你想的恰好相反。
关于深度学习,最令人惊讶的是它非常简单。十年前没人能预料到,通过梯度下降来训练简单的参数化模型,就能够在机器感知问题上取得如此惊人的结果。现在事实证明,你需要的只是足够大的参数化模型,并且在足够多的样本上用梯度下降来训练。正如费曼曾经对宇宙的描述:“它并不复杂,只是很多而已。”
现在的深度学习其实是这样。
想象有两张彩纸:一张红色,一张蓝色。将其中一张纸放在另一张上。现在将两张纸一起揉成小球。这个皱巴巴的纸球就是你的输入数据,每张纸对应于分类问题中的一个类别。神经网络(或者任何机器学习模型)要做的就是找到可以让纸球恢复平整的变换,从而能够再次让两个类别明确可分。通过深度学习,这一过程可以用三维空间中一系列简单的变换来实现,比如你用手指对纸球做的变换。
你自己体会一下。。