如何看待华为Mate 30全系都不支持三维结构光技术，而采用飞行时间技术（ToF），两者有什么区别？ 第1页

我将之前写的关于TOF原理的文章发布于此，方便关注题目的朋友理解核心技术原理。结构光的部分，随后也会撰写

上一篇文章51. 瞬态成像 - 飞秒摄影(TOF系列 1）一定给你留下了深刻的印象：我们竟然可以捕捉到光子的飞行轨迹！ 我在文章最后也讲到，飞秒摄影是Time of Flight (TOF, 飞行时间)技术中的一种，今天我就来更深入的介绍这种技术。

一. 光速的测定

诚如你在飞秒摄影介绍中所看到的，TOF技术是将时间维度的信息转换为空间维度信息的方法，其本质原理是我们在小学时就学过这样的公式： 距离 = 速度 * 时间

所以只要测定出光的运动时间，就能测出其飞行距离。

自然界有很多动物天生就具备类似的能力，最典型的就是我们熟知的蝙蝠和海豚。它们都能够通过发出特定频率的声波并捕捉回声，进而判断前方物体的距离。

这些动物利用的是声速，而对于我们摄影学所要用到的光速，就不得不提到人类测定光速的历史。

伽利略是17世纪初第一个尝试测量光速的人。1638年，伽利略和一名助手各自站在不同的山顶上，他们之间的距离是已知的，计划是让伽利略打开一盏灯的快门，然后让他的助手一看到伽利略的光就打开灯的快门。

伽利略计划用山顶和他的脉搏之间的距离作为计时器来测量光速。他和他的助手用不同的距离尝试了这一方法，但无论他们相距多远，他都无法测量出光行驶的时间长短。很显然，他的实验失败了，正如伽利略得出的结论所说，光速实在是太快了:

I have not been able to ascertain with certainty whether the appearance of the opposite light was instantaneous or not; but if not instantaneous it is extraordinarily rapid – I should call it momentary

真正成果的测定光速的实验是1849年由法国物理学家Hippolyte Fizeau完成的，他的实验很精巧：系统由脉冲光源和8.63公里外的反射镜，以及光源前的可调速齿轮组成。Fizeau仔细调整齿轮的转速，直到穿过齿轮的光被反射镜反射回来的光刚好被下一个齿片所挡住。根据齿轮的转速，以及光源/观察者和反射镜之间的已知距离，就可以求得光速，见下面图片的示意。虽然这个结果还不是很准确，但却是人类测定光速的一大步。

二. 各种TOF技术

直接脉冲TOF

我们现在已经知道了，光在真空中的速度是299792458米/秒。利用这个信息，以及光飞行的时间，就可以求出光源和目标之间的距离。1968年，Walter Koechner展示了如何利用大功率注入激光二极管来进行距离探测。

他的系统直接利用发射光脉冲和接收到的光脉冲之间的时延来计算距离

基于这种原理的TOF成像设备在很多地方得到了应用，比较出名的就是Google的自动驾驶汽车项目上的车载激光雷达。

然而，由于需要精确的测量飞行时间，发射脉冲必须在非常短的时间(皮秒级），因此激光脉冲光源必须具有很高的功率(百万焦耳级）。而相应的，传感器也必须具有超高的时间分辨率(皮秒级）和很高的动态范围。这显然使得Koechner的系统非常昂贵。 看他的简历，1965年，他加入新泽西州蒙茅斯堡的美国陆军电子司令部，担任研究物理学家。我想正是如此他才拥有很多资源去研究如此昂贵的系统吧。

在直接脉冲TOF这条道路上，技术也是在不断的发展的，比如苹果在最新的iPad Pro上所加载的dTOF系统，就利用了单光子雪崩二极管的特性，使得用非常低的功耗就可以实现对距离的精确测定。关于这一点，我会在后面单开一篇文章介绍，这里就先结束对直接测量光飞行时间的系统的介绍，转往下一站：间接测量法。

脉冲间接TOF

在wikipedia上你可以查到另外一种间接利用脉冲光源的方法

如上图所示，光源发出固定频率的脉冲，传感器步骤到目标反射回来的光。与此同时控制传感器开始曝光。由于传输的时延，会导致传感器中真正接收到的光子量只有q1这一部分，q2这一部分由于关闭曝光没有接收到。如果有方法能够接收到q2这一部分的光子量，那么就可以计算出返回的脉冲相对于发射的脉冲的时延，进而知道光运动的距离。

如果已知脉冲的发射时间是t，那么可以用 得到这个延时，那么距离d就好求了：

那么获得 和 呢？下面是一个示意图。你可以看到，一个像素使用两个开关(G1和G2)和两个存储元件(S1和S2)。开关由与光脉冲具有相同时长的脉冲控制，其中开关G2的控制信号被精确控制，使得刚好延迟了1个脉冲宽度。这样在S1中仅通过G1对光电信号的一部分进行采样，而将另一部分存储在S2中。根据距离的不同，S1和S2之间的比率会发生变化，如图所示。单个光脉冲导致的S1和S2的差异很微弱，但当多个发射-接收的信号积累起来后，就可以得到显著的结果。这也就对应了上面公式中的 和 。

下图是距离和信号S1、S2的关系：

连续波调制TOF(Continous Wave TOF)

上面的利用脉冲光的方法原理相对简单，但由于每个脉冲的进光量很少，需要积分很多周期才能得到较好的信噪比。所以时间分辨率较低，总体精度也较低。

另外一种间接TOF的方法则是采用了连续的正弦或余弦波对信号进行调制，利用发射光和接受光之间的相位差来计算出光的飞行时间，从而得到光源和目标之间的距离。

我们的目标是计算相位差 ，偏差 以及幅度

这里面有三个未知数，你可能觉得最直接的方法是在接收端进行三次采样来求解：

这又会遇到信噪比很低的问题，而且对传感器的采样速度要求很高，所以实际上非常难以实现。

更好的方式是计算接收光L和传感器曝光函数E之间的互相关值I，从中计算出我们需要的值，这里要注意的是在曝光函数的作用下，这个互相关值恰好是传感器的实际信号强度。

经过3次不同时间的曝光，得到三个互相关值，从而可以求解从我们所需的三个值，尤其是相位差，它恰好对应着最终需要的深度值。

除了这种计算方法，也可以采用发射信号与接收信号之间的互相关信号来完成相位差的计算，比如定义：

发射信号：

接收信号：

那么两者的互相关信号：

这里需要注意的是互相关是通过积分来完成的，所以一样可以有较高的信噪比。接下来就可以在 上进行采样了，设定4个采样点：

那么很容易根据三角公式得到：

三. TOF技术的应用

TOF技术自出现以来就被应用到许许多多领域，限于篇幅，这里只举几个。

我们最熟知的，应该就是深度感知了。在自动驾驶领域，它被用在车载激光雷达上

在消费娱乐领域，则有经典的微软Kinect：

在计算摄影的一个领域非视线成像(Non-line of sight imaging)，TOF也有广泛的应用：

对遮挡住的隐藏物体成像：

观察云团内部场景：

以后我会对非视线成像(Non-line of sight imaging)做更多深入的介绍，这里就先按下不表了。

四. 总结

今天我们从光速的测定开始讲起，看到了人类在测定光速方面的重要里程碑。接下来介绍了利用光的飞行时间的TOF成像设备的几种类型：直接脉冲型，间接测定相位差的脉冲型和连续波调制型。这些设备各自有各自的优缺点和适用领域，而且还面临着一些共同的需要解决的问题。

那么到底TOF系统在真实世界使用的时候需要面对哪些问题呢？这就是我下一篇文章会专门介绍的内容。

希望今天这篇文章能让你对TOF技术有了基础的了解，感谢你读到了这里，别忘了按赞分享

五. 参考资料

1. CMU 2017 Fall Computational Photography Course 15-463, Lecture 24
2. 几篇关于光速测定的文章：

• https:// lco.global/spacebook/li ght/speed-light/
• https://www. aps.org/publications/ap snews/201007/physicshistory.cfm
• Fizeau的实验：https://en.wikipedia.org/wiki/Fizeau%E2%80%93Foucault_apparatus

3. Achuta Kadambi：Time of Flight Revolution tutorial on ICCV 2015

4. Wikipedia上关于TOF的介绍：https://en.wikipedia.org/wiki/Time-of-flight_camera

5. Gupta et al., “Phasor imaging: A generalization of correlation-based time-of-flight imaging,” TOG 2015.

这里我用了大量Gupta教授的PPT的内容

6. Walter Koechner, "Optical Range System Employing a High Power Injection Laser Diode", 1968

7. Jarabo et al., “Recent Advances in Transient Imaging: A Computer Graphics and Vision Perspective,” Visual Informatics 2017

本文同步发表在我的微信公众号和知乎专栏“计算摄影学”，欢迎扫码关注，转载请注明作者和来源