如何评价谷歌 Pixel 4 新增「隔空手势操作」功能？与华为 Mate 30 Pro 有什么不同？ 第1页

利益相关：我们组在做毫米波雷达的HAR。

WoW！差远了好吗！实验室做HAR的师妹表示超级兴奋，Google的Soli项目终于在商用产品上实现了！

比起Mate 30 Pro的视频处理，我们做信号处理的觉得这才可以被叫做可以带起来一个行业的黑科技，虽然已经黑了好几年。近些年其他厂商也有了类似的产品。

先回答一下问题，同样都是在解决Human Activity Recognition问题，Pixel 4的实现方案是毫米波雷达，而华为的Mate 30 Pro实现是视频传感器。硬件上的主要区别是传感器不一样，不过也正因为传感器不一样，所以它的应用范围、优缺点和相应的算法并不完全一样。

应用范围

Human Activity Recognition (HAR)在智能家居、自动驾驶、人机交互等方面一直都有非常广泛的市场需求，主要目的是通过各种传感器来识别用户行为，这里的传感器包括加速度计、陀螺仪、雷达、UWB、红外线等^[1]。因为计算机视觉和深度学习的广泛发展，基于视频和图像数据的HAR是目前主流，华为在Mate 30 Pro上实现的就是这种；这个领域的发展也可以类比自动驾驶，目前自动驾驶中视频信息处理依然是主流。

HAR的主要问题是行为感知，当一个人运动时，其运动带来的多普勒信息可以由反射/散射的雷达回波表征，经过雷达的射频前端信号处理之后，二维特征可以用于处理和识别。

这些二维特征可视化之后，如下图^[2]

而这些多普勒信息在图像传感器中的表征方式只能先对单帧做目标识别、再比对连续帧才能获得，获取成本比雷达要高很多。

优缺点

雷达相比摄像头，主要有五个优点：

• 识别速度特别快：受限于端侧算力以及视频所能表现的丰富信息，视频处理的Pipeline需要分为检测、分割、精准识别、比对等多步神经网络计算，因此延迟很大，在Mate 30的手势识别上明显感受到；雷达处理主要是距离-多普勒域/时间-多普勒/或者时间-距离-多普勒信息，对于目标运动特别敏感；目前Soli的帧检测速率大约是18000FPS，这远远超过摄像头计算机视觉所能达到的速度。
• 不受光照影响：雷达传感器是主动型设备，不需要外在光源/电磁波源支持
• 数据隐私性好：一般来说，雷达主要用于识别动目标，毫米波雷达传感器精度难以达到图像级别，精度大约在厘米到数百毫米（看算法）；换句话说，原始数据每帧中是难以识别出目标的精细特征的，而HAR中主要对比的是动目标带来的多普勒信息，识别物体的运动幅度精度可以达到20mm左右。这个其实和青蛙识别动目标的现象很像。
• 可以穿越障碍物：这个就很好理解了
• 360度检测：摄像头只能检测手机前方的物体，而雷达有能力360度发射电磁波脉冲（毫米波雷达的方向性很强，但是有能力做360度扫描，摄像头并无可能）

缺点：

• 频谱问题：目前商用的毫米波雷达主要是24GHz、60GHz、77GHz几种，这些频段大都未经无线电管理部门授权，Soli的频段是57-64GHz。
• 额外的硬件：在手机上增添毫米波雷达或占用部分射频空间，在很早的时候，Soli项目大小大约有收音机那么大，2016年左右发布的Soli雷达大约有8mm x10mm，集合了2T4R射频，现在应该更小。
• 硬件算法都需要重新设计：如果说使用摄像头做传感器的好处是可以直接改开源代码，俗称站在巨头肩膀上，那么Soli项目的难度大约是自己站起来成为巨头。

Soli

Soli项目大约在2015年I/O大会公布，是谷歌先进科技与计划部门（ATAP）开展的实验性项目之一，2016年左右初代产品已经接近成熟，一直在解决各种细节，不过阻碍该项目发布的最关键问题还是频谱授权。

主要原因是谷歌认为自己的设备峰值全向辐射功率（EIPS）会超过10dBm，至少会达到13dBm，而美国FCC认为EIPS如此高的60GHz设备使用会影响该频段的卫星、飞机和60GHz Wi-Fi。不过好消息是FCC在今年元旦批准了谷歌的手势操作感应系统：“Soli项目” 所申请的毫米波雷达57-64GHz频段（EIRP>13dBm)。相信这也是大家今年可以在Pixel 4上看到Soli的原因。

我们之所以说Soli很黑科技，是因为它首次用短距离FMCW 雷达和ML做出了端到端的的HAR pipeline，现在已经带起了一个小研究领域 ^[3] ：

它做的HAR pipeline是先对雷达收集到的Raw数据进行快-慢时间信息提取，就是上图中的第二步，我们展开来看雷达Raw数据信号变换之后是这样的：

在上图中，A，B是形状不同的物体在距离-多普勒域(R-D)的表征，可以看到几乎一致，这说明物体的形状不影响雷达信息识别，可以很好的保护隐私。而C和D代表极为微小的变动也会引起距离-多普勒域的信号强度大幅度变化。上述数据经过堆栈之后会输入神经网络处理，google称之为Gesture Recognition单元：

最初的Gesture Recognition 由CNN+RNN组成，在RNN过程中会进行时间序列堆栈，通过Softmax输出，这样简单地网络识别精度大约有87%。当然State-of-the-art结果比这个要高很多，分场景和采用特征图不同，大约91%-97%^[4][5]不等。

如果Soli项目为代表的雷达HAR能够顺利产业化，把毫米波雷达芯片实装入手机的话，我们能看到太多有前途也很有趣的应用了，手机不仅能成为未来的随身计算中心，也有望成为未来的感知中心，我们原本有心无力的各种基于近场定位的应用，和AR/VR中的手势操作、姿态感知甚至是空中键盘输入等等等等都有望成为现实。

不过更现实的是，雷达领域做深度学习和行为识别的同学都很兴奋，自己的工作终于看到了前途/funding看到了希望。

2333333.

参考

1. ^ Li X, He Y, Jing X. A survey of deep learning-based human activity recognition in radar[J]. Remote Sensing, 2019, 11(9): 1068.
2. ^ Kim, Y.; Ling, H. Human Activity Classification Based on Micro-Doppler Signatures Using a Support Vector Machine. IEEE Trans. Geosci. Remote Sens. 2009, 47, 1328–1337
3. ^ Wang S, Song J, Lien J, et al. Interacting with soli: Exploring fine-grained dynamic gesture recognition in the radio-frequency spectrum[C]//Proceedings of the 29th Annual Symposium on User Interface Software and Technology. ACM, 2016: 851-860.
4. ^ Zhou, Z.; Cao, Z.; Pi, Y. Dynamic Gesture Recognition with a Terahertz Radar Based on Range Profile Sequences and Doppler Signatures.
5. ^ Jokanović, B.; Amin, M. Fall detection using deep learning in range-Doppler radars. IEEE Trans. Aerosp. Electron. Syst.