深度学习火热兴起后，隐马尔可夫模型（HMM）还有何独到之处，是不是几乎可被深度学习模型给替代了？ 第1页

尝试去思考下HMM，CRF，RNN这些模型最本质的联系和区别。联系上，这些都可以看成图。区别上：HMM属于有向图，且有两个非常强的假设，即当前状态只与前一状态有关还有观察值之间的严格独立。CRF属于无向图，是一个有条件的马尔可夫随机场。RNN算是有向图，深度学习讲究的是最小化先验表征和计算假设，避免明确的手工设计结构。说到这儿的时候，这个问题就算是回答完了。深度学习的兴起迎和了积攒了几十年的廉价数据以及刚刚全面爆发的计算资源，但是并不是“没有设计才是好设计”。实际上无论CNN和RNN都是有结构设计的，否则也不会有各种各样的网络结构了。HMM，CRF以及未来必将会出现各种“图结构假设”，都有自己的适用场景。好的图结构假设，可以避免使用海量的训练数据。而且很多时候，即使有海量训练数据也无法达到我们的目的，比如，很难在一个全连接结构里完成图像识别，全连接的假设非常弱，只有层级关系的假设，但是我们加入了一点点空间假设，CNN就能把图像识别这个任务做到极致。

前段时间deepmind放出了一篇图网络的论文，里面提到了关系归纳偏差这个东西。听起来很拗口，但是把它当成对应的“结构假设“就比较明了了。比如“卷积结构”可以看作是一个特定的图结构假设，在这个假设中，我们强加了一些重要的关系归纳偏差：局部性和平移不变性。“循环”结构中则存在时间不变性的关系归纳偏差。这个世界还存在大量的关系结构，比如语法树结构，刚体结构，甚至三体结构。。

我们堆叠神经网络，加入跳层连接，甚至可变卷积核，等都是关系归纳偏差。可以尝试从结构假设角度去理解他们，堆叠神经网络的过程中，我们得到了“分层处理”这个关系归纳偏差，其中计算分阶段执行，通常导致输入阶段中的信息之间的长距离交互。然后我们发现“分层处理”的关系归纳偏差有时候并不太理想，于是我们加入了跳层连接这个关系归纳偏差，跳层连接不但可以让梯度更容易回流来训练更深的网络，还可以把底层的特征跟高层特征结合起来。在可变卷积核中，我们加入偏移量来训练卷积核的“形状”，此处我们又加入了”局部关联“这样一个关系归纳偏差，比如一个人站在背景中，显然人体边缘附近的像素会比背景中的像素与人更相关。

最后问题来了，我们的脑子里，还有哪些结构假设？