国内 top2 高校研一在读，为什么感觉深度学习越学越懵? 第1页

顺带说一句，Goodfellow那本Deep Learning的英文版我看过，也就是那样的东西，别搞得跟圣经似的。

--------------------------------------------------------------------------------------------

本来就是炼丹，你这么觉得完全没错。

深度学习搞了这么久，还是个黑盒子，最多就是隐层截几张图片出来搞个“可视化”，搞了一堆没什么用的“万能”逼近理论，结果理论中的结果和现实中的样本量、参数量根本不在一个数量级上。最核心的问题，也就是样本空间的数学结构，因为太过复杂根本没人能讲清楚，也没人想到要去研究。譬如说，手写数字MNIST数据集服从什么分布？

应用上除了CV和NLP也没搞出什么东西。

CV搞出的东西被对抗样本克得死死的。对抗的手段要多少有多少，一个一个去堵是堵不完的。现在已经只要在标识牌上贴个便签条就能把自动驾驶算法给忽悠了，或者戴个纸糊的眼镜就能把基于深度学习的人脸识别算法给骗了，相关的论文你都可以自己去找。

NLP搞出的东西的可解释性就是差，也没有很紧密地和逻辑体系、知识体系相融合，一融合就是贝叶斯，实际上只不过是用贝叶斯公式强行解释神经网络罢了，至于融合上没有不知道。

我读过的每篇论文里都会用贝叶斯公式，仿佛深度学习能和数理统计挂上钩似的。如果真能挂上钩，那么神经网络对应的概率论模型是什么？样本服从什么分布？为什么服从这样的分布？能不能用假设检验来验证这一模型是合理的？等到哪天学术界能够不玩文字游戏地解释清楚这些问题，深度学习才能被解释清楚。如果总是说什么隐变量（隐层神经元）、嵌入（见VAE等）等服从高维正态分布，那也太含混不清了。

VAE那篇开山作品，将MNIST嵌入到二维流形上，生成了一张图片，上面按照不同的嵌入表示不同的数字。依我看来基本逻辑都说不通。应该是每个数字和字母处在一个低维的流形，例如二维或者三维，1就是1，2就是2，每个类所处的流形之间应该存在一个比较清晰的边界。将所有的数字混到一个流形上去是要干什么，而且这个流形居然还是一个二维的正方形，意义不明啊，合着1就是7，3就是5，两两之间傻傻分不清啊。我个人在这个问题上还做过一点科研，用LadderNetwork将MNIST嵌入到二维流形上并且使每个类聚在一起，类与类之间有一定间距。效果一般般，只能说确实能把MNIST嵌入到二维流形上。训练集都聚得很好，测试集就乌七八糟了，过拟合极为明显。

还有什么卷积神经网络的平移不变性、缩放不变性什么的，如果你找一张图片往上边补个黑边，左右平移平移10%、20%、30%，缩放1.1倍、1.2倍、1.3倍，找个state of art的网络喂进去，分类结果绝对精彩。

我看还是搞搞强化学习运用到机器人控制上比较靠谱，毕竟任务简单些。参数超过一万个的网络我是觉得都信不过。机械臂、机械狗的动作轨迹都有比较简单的模型，参数不多，这些模型应该是能做好的，实际上我们也看到包括波士顿动力等一些公司造出了实际的产品。

或者多搞搞对抗样本恶心以下学术界和工业界也不错。

实在不行也可以将深度学习运用到艺术创作上。生成游戏场景贴图、创作音乐、创作抽象艺术，反正是在虚拟的世界里，不会有什么实质的危害，最多也就是恶搞恶搞特朗普罢了。或者用来生成语音，不过这方面科大讯飞已经有比较成熟的产品了。

工业化的应用，例如自动车，我看还是别搞的好，特斯拉已经霍霍死不少人了，不需要再多一家。（我是说纯视觉的，用雷达感知的例外，这方面随着技术提升和成本下降还是有非常好的预期的。）

如果没有理想的话，深度学习灌水是很简单的。东拼西凑就能整一篇，但有什么用呢？

你就是看书太多把自己干扰了，什么变分玻尔兹曼跟炼丹卵关系都没有。抄起transformer跟潮流话题一顿排列组合，拿仨月发他两篇emnlp/nips故事汇练手起步(现在ACL来不及了不是我今天不走程序ACL哈)，就什么都清晰明朗了然于胸了。你看那些乱七八糟破书，纯属拿垃圾扰乱自己，就跟你要做菜跑去看漫画书一样。

炼丹是个纯手艺活，讲究的是配料、堆丹、摇炉、吹逼的手头口头经验功夫，你看再多书也不当自己去炉子上摇一圈出来卖给人掌握的东西多。从transformer排列组合梭哈，筛选丹方上炉开炼，到最后王婆卖瓜（跟审稿人）讨价还价回炉重炼，这一趟走下来学的比看任何书都多。然后你就很快知道，哪怕你的丹盒里装的是牛粪丸子，只要你能吆喝到让人相信是不老仙丹，皇帝老儿都求着你要。那时回头来看，就知道今天说变分也好最大后验也好证据下界之流无参贝叶斯也罢，连牛粪丸子都不是，只有你手里装牛粪丸子的奇巧盒子才是真。到这你再次幡然醒悟，原来丹炉丹方和丹药也都不重要，只要摇唇鼓舌让我们这些破审稿的没理由戳穿你手里的是牛粪丸子，便已然足矣。

正所谓学而不思则罔是也。

建议选一本为主进行学习，如李航老师《统计学习方法》，其他参照即可，因为大部分教材的核心内容都大同小异。以我对李航老师教材内容的了解，在掌握微积分、线性代数、概率论、编程等基础知识后，还比较容易读。如果经常卡壳，建议从这些基础知识补起。

另外结合高赞回答（刚发现该回答已删除，不是现在的高赞回答）说几句，现在AI是很火，吸引很多学生，论文成倍增加，也出现很多质量参差不齐的工作。我觉得主要原因是，行之已久的基于“信任”的学术会议同行评审机制，无法应对背后功利暗涌的海量投稿。从论文价值上讲，只要一份工作实验结果和结论是真实的，无论作用大小，对整个领域总是正面的，而且这些科研过程训练学生解决开放能力也是非常有意义的；而从最底线上讲，以我参与的相关学术会议服务的经历，很多学术会议已经开始利用数据挖掘算法检测和打击互bid论文行为，开始探讨如何解决当下的可复现性（reproducibility）问题。

当然这也是因为现在国内还处在数顶会论文的阶段。等后面大家都有顶会论文了，相信又会有人开始刷引用刷其他影响力。只要有一个评价标准，就总会有人走捷径，除非这个领域不火了。但无论怎样，有人也许能通过不合适的手段获益，也不应当成为你这么做的理由。学术研究应当做的是不断追求卓越，而不是反复试探底线。