如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？ 第1页

正好今天写了这篇论文的论文笔记，见[NIPS 2018论文笔记] 轨迹卷积网络 TrajectoryNet 。

在深度学习之前，效果最好的行为识别方法是iDT（改进的密集轨迹方法），即先在图像中生成密集的轨迹，再沿着轨迹提取特征，从而获得视频整体的编码。而在深度学习时代，占主流地位的则为两类方法，一是双流网络，用两个子网络分别对图像和光流进行卷积，再进行融合；二是3D卷积网络，直接将视频帧序列的时序看作一个维度进行卷积。这两年很多3D卷积网络都是采取将3D卷积拆分为2D+1D卷积的方式来降低3D卷积的计算量，并增加网络的深度，从而获得更好的效果。但这篇文章认为，直接在时间维度上进行卷积隐含了一个很强的假设，即认为帧间的特征是很好地对齐地，而事实上人或者物体在视频中可能存在着很大地位移或是形变。因此，作者认为沿着轨迹来做时序上的卷积是更合理的方式。

那么，沿着时序轨迹做卷积意味着相邻帧对应的卷积核存在一个偏移，这篇文章则提出将轨迹卷积看作是3D可变形卷积（Deformable conv)的一个特例，由时序信息提供offset量，从而基于可变形卷积的代码可以较为容易地实现轨迹卷积。具体可见论文或是我的笔记内容。

这篇文章是我今年看到最喜欢的一篇行为识别论文了。其实去年自己也考虑了一段时间如何将轨迹信息完整的融入到网络中，但没想好该如何实现，虽然也读过可变形卷积的论文，可惜没有想到将两者联系起来（还是太菜了。。）。所以，读到Yue Zhao 的这篇文章有种豁然开朗的感觉。另外也要感叹，CUHK的mmlab在行为识别这块实力非凡，做出了很多重要的工作。总的来说，这篇文章所提出的轨迹卷积很好地将传统轨迹方法和深度学习结合在了一起，是非常好的一个工作。同时，个人认为轨迹卷积网络在算法效率（目前还比较慢）和算法效果上还有一定的提升空间，应该会有不少工作后续进行跟进。