如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？ 第1页

本来不想回答这种抓住一句话反复琢磨的问题的，但是看到之前几个回答感觉不是很靠谱（有的是很不靠谱），我觉得我也想想说两句。当时 LeCun 说这句话的时候，我在现场，说完了台下的 Josh Tenenbaum还表示附和，说我们又有一个同意的地方了（大意）。（我会说下午我还坐在他旁边了吗）。

先怼一下高赞回答的里面说的，人脑不懂概率论，还能学这么多。“人脑不懂概率论”这句话，就和“宇宙不懂数学、物理”一样。宇宙作为一个有意识体可能是不懂数学的，但是所以说宇宙中发生的事情就不是遵循规律了吗？有点搞笑诶。物种进化(phylogenetic)和生物体个体发展(ontogenetic)过程中，很多现象就是在把神经系统向一些方向上优化。这些优化的目标的定义少不了概率论。在很多神经系统对外界信息的编码方式中都可以找到 histogram equalization 这个策略（图像处理中也可以用到 histogram equalization）。Histogram equalization 就可以最大化神经系统编码对于外界的信息（按照信息论严格定义的信息 -- 而信息论的根本概念也是用概率论的概念定义的）。别的不说，光神经系统按照信息论所能定义的目标进行最优化的例子，就有很多。信息论就是又离不开概率论。扔掉概率论绝不是那么简单的事情。

这是怼完了说概率论的部分，接下来怼一下说人脑的部分。说人脑不能被 activation function 之类的描述的 -- 你在逗我？首先，activation function 也好，chain derivative 也好，跟概率论有毛线关系？就算按照 LeCun的思路下去，不叫 deep learning 了，叫 differentiable computing，那还是要 activation function 和 chain derivative 的，否则 "differentiate“是什么意思呢？再说生物上的实际性。单个神经元的生理特性里，activation function 是一个很重要的部分。一个神经元通过自己的树突接受（通常情况下）电信号，然后输入的电信号如何转化成自己的输出，就是一个 activation function的问题。当然，我不是说用单个神经元的输入-输出性质就能解释神经系统的种种神奇，但是单个神经元的输入输出性质能对神经系统的信息处理能力产生多大的影响，这是有很多实验证据的。

说回到 LeCun 说的这句话来。首先 LeCun 对一个模型是否可理解（interpretable)和很多别人的定义不一样。这一点，在他在CCN2017同台辩论的时候就很明显了。LeCun 似乎觉得，我只要搞出来一个架构了，找了一个优化的策略，优化完了能做我想要这个架构做的事情，我就算是理解了这个问题了。这种看法，当然机器学习内外的很多人是不会同意的，当场也有很多人反驳他。作为一个工业界的科学家，他当然有这种“只要模型work就行”的空间，但是对于做更基础科研的，不管是机器学习一些比较理论的方面，还是和机器学习相关的方面，都是不可接受的。

因而，说抛弃概率论对不对，取决于你说的是什么问题。只要神经系统（不管是人造的还是生物的）还需要理解，只要被神经系统描述的外界世界还有随机性，那概率论还是不可取代的。如果是开发机器学习的手段需不需要用到概率论，那么，alas，现在很多业界的趋势似乎是这样。神经网络刚出来的时候，还有把神经网络作为一种复杂的 generalized linear model 并由此用概率模型理解的例子（Murphy的 Machine Learning一书还有这种套路），然而现在一线开发深度学习的人，怕不是把神经网络当做概率模型来调参的。

对于”深度学习为什么work（比浅层模型比起来）“这个根本问题，现在完全没有一个稍微靠谱一些的答案。对于他的一些子问题，比如为什么深度学习那么多参数为什么不如别的模型那么容易overfit，也没有很靠谱的答案。但是开发的人自己没主动用，并不代表我们这些希望能理解深度学习、开发深度学习的理论基础的人不能用概率论。这就像宇宙不懂数学，不妨碍我们用数学来描述和解释宇宙中的现象一样。

PS：如果有想看neuro相关paper的来找我，因为实在是太多了，不知道选哪些po