TOF是飞行时间（Time of Flight）技术的缩写，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
所以你明白了吧，不论是自动驾驶，还是VR；亦或是现在市面上层出不穷的平衡车，都离不开ToF技术。
知其然更要知其所以然，我们接下来给大家讲讲ToF的简单原理
TOF 技术详解
一、原理
TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。
图1：3D TOF成像原理
发射的红外光线被被测物体反射后回到传感器，内置的计时器记录其来回时间，然后即可计算出其距离。听起来好像和大家玩烂了的超声波测距没啥不同。但其实不然，超声波测距对反射物体要求比较高，面积小的物体，如线、锥形物体就基本测不到，而TOF红外测距完全可克服此问题，同时TOF测距精度高，测距远，响应快。
我们从网上找到一个ToF的应用实例来说明，该实例采用DragonBoard410c来搭建一个8*8阵列的IC，型号为EPC610。
光的飞行时间
ToF距离测量
通常,固态激光或者 LED 的发射光源是近红外波段(~850nm),对人眼不可见。图像传感器需要能够响应相同的波段,接收光,将光能量转化为电流。注意,进入传感器的光同时包括了环境光和反射光。距离(深度)信息只存在于反射光中。因此,过多的环境光会降低信噪比(SNR)。为了检测发射光和发射光之间的相位移动,光源是脉冲波或是调制过的连续波, 光源通常是正弦波或方波。方波调制更通用,可以通过数字电路很容易实现。
通过集成的光电转换器从反射光中获取脉冲调制,或在反射的第一个检测中启动快速计数 器。快速计数器需要一个快速光检测器,通常是一个单光子雪崩二极管(SPAD)。这种计数 方法需要快速电子脉冲,1 毫米的精度需要的时钟脉冲间隔是 6.6 皮秒。这种级别的精度在室 温下的芯片上是无法获得的。
图 2: 两种飞行时间方法:脉冲(上)和连续波(下)
脉冲方法是比较直观的。在一个比较短的时间内,光源照射时间为(Δt),采用两个异相 窗口,C1和 C2,在相同的时间间隔Δt 内,同时并行对每个像素点的反射能量进行采样。在这些采样时间内,电流持续充电,测量 Q1 和 Q2 用下面公式计算距离：
连续波方法每次测量获取多个样本,每个样本相位差 90 度,共 4 个样本。使用这种技术,发射光和反射光之前的相位角为,φ,距离 d 可以通过下式计算：
接着,待测量像素的亮度(A)和偏移(B),计算为：
在所有的公式中,c 是光速 30 万千米每小时。 第一眼看,相比脉冲波,连续波方法的复杂度看似不合理,但仔细看连续波的公式, 就会发现(Q3 − Q4)和(Q1 − Q2)减少了测量中的偏移常量。还有就是,相位角公式中的商值可减少 距离测量中的增益常量的影响,比如,系统中的放大或衰减,或者反射的强度。
反射亮度(A)和偏移(B)会影响深度测量的精度。深度值方差可以用以下公式估计：
调制常量 cd 描述了飞行时间传感器分离和收集光电信号的好坏程度。反射光强,A,是光 强的函数。偏移,B,是环境光和系统内部偏移的函数。可以从公式 6 得到结论是高幅度,高调 制频率和高调制对比度,可以增加精度;但高偏移会导致相机饱和从而降低精度。
高频情况下,由于芯片硅半导体的特性,调制对比度会衰减。这是调制频率的实际上线。具有快速下降沿频率的飞行时间相机精度更高。
连续波测量基于相位,每 2π重复一次,意味着距离就会产生锯齿。产生锯齿的距离,称为 模糊距离,damb,用公式 7 表示：
离出现循环,damb 就是最大的观测距离。如果需要增加观测距离,就需要减小调制频 率,根据公式 6,就会减小精度。
如果不想妥协,高级飞行时间系统就会采用多频技术增加距离而不减小调制频率。增加一个或多个调制频率混合可以生成多频技术。每个调制频率都有一个不同的模糊距离,但真正的位置是多个频率相交的地方。两个调制频率相交,称为差(分)频(率),通常很低,对应一个较长的模糊距离。双频技术方法如下所示。
图 3: 用多频技术增加距离
二、点云
飞行时间传感器测量 2 维可寻址的阵列传感器中的每个像素的距离,生成深度图。深度图是3 维点云的集合(每个点称为一个体素)。比如,QVGA 传感器的深度图有 320x240 个 体素。深度图的 2 维表示是一个灰度图,如图 4 易拉罐所示,亮度比较亮,比较近的体素。图4 显示了一组易拉罐深度图。
图 4: 易拉罐深度图
另外,深度图可以通过一系列的点组成的三维空间来渲染,或者点云。3D 点可以连接形成网格,表明影射有材质贴图。如果有同一物体的实时彩*图色**像生成材质,就可以渲染出逼真 的3D 物体,如图 5 所示。图片中的人可以旋转人像看不同的透视图：
图 5: 从点云生成的人像
3D TOF 相机特性
利用TOF技术成像的设备被称为TOF相机（或TOF摄像头）， TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器（TOF芯片）、控制电路以及处理电路等几部单元组成。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。
与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。
TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射。
与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。
作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。
因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。
TOF相机优缺点分析
TOF相机优点：
1、相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景；
2、深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用；
3、经过进一步深化处理，可以完成三维建模等应用；
4、能够快速完成对目标的识别与追踪；
5、主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利；
6、借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效；
7、无需扫描设备辅助工作。
TOF相机缺点：
1、相对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率；
2、相机本身仍然受到硬件发展的限制，更新换代速度较快；
3、测量距离较常规测量仪器短，一般不超过 10 米；
4、测量结果受被测物性质的影响；
5、大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰；
6、分辨率相对较低，
7、系统误差及随机误差对结果影响明显，需要进行后期数据处理。
通过以上概述，大家对于其工作原理已经是非常的清晰。
TOF应用领域
TOF技术具有丰富的应用场景，在汽车、工业、人脸识别、物流、安抚监控、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。
汽车：TOF传感器可以用于自动驾驶，通过TOF技术对行车环境进行感知，从而获取环境信息以增加安全性，此外TOF还可以用于汽车内的乘客离位检测。
在汽车应用中，ToF可以被用于自动驾驶、防撞自动刹车和OOP等等。在此方面深深耕耘的厂商也有很多。下面给大家举几个具有代表性的案例。
首先是Infineon与科世达推出的机遇英飞凌3D图像传感器芯片的摄像头驾驶员辅助系统。
在飞行时间（ToF）原理支持下，该系统可精确检测驾驶员身体和头部位置，甚至在其戴眼镜或太阳镜的情况下捕获其眨眼动作，以判断驾驶员是否注意力足够集中、是否正疲劳驾驶，从而启动相应对策。譬如，通过振动座椅或警告音。驾驶员注意力越不集中，汽车就越会提起注意。为了快速和准确地做出响应，辅助系统和紧急制动系统可在潜在紧急情况发生之前自动激活。
此外，该技术还可以通过手部运动或身体姿势控制车载娱乐系统或车用空调，甚至在车外实现全新的辅助和安全功能，比如开门辅助设备，在停车场或家用地库时防止车门打开后撞上其它车、墙壁或天花板。英飞凌方案设计合作伙伴GesTIgon在大会上现场演示了英飞凌ToF传感器如何实现车用物体跟踪与手势识别，以达到“三维虚拟现实”。
另一个比较有代表性的案例是Melexis的ToF传感器MLX75023，它与3-D 视觉及手势识别解决方案供应商SoftKineTIc 公司提供的软件绑定在一起。在自动驾驶实现的最初阶段，车辆控制模块需要判断驾驶员的注意力是否集中在驾驶上。一旦发现驾驶员注意力分散，系统要能够很快地启动高级驾驶员辅助系统进行干涉。“ 舒适感是切入点，”Melexis 产品线经理Gaetan Koers 说道。“当驾驶员或乘客的手靠近空调或收音机控制键时，系统会有反馈。旋转的手势还可以用来调整空调温度和收音机音量。”“在车辆系统进行干涉之前，比如刹车，首先要知道驾驶员目光是在前方道路上，还是在乘客身上，或是在看收音机控制面板。
工业领域：TOF传感器可以被用作HMI(人机接口：Human Machine Interface)，在高度自动化的工厂中，工人和机器人需要在很近的距离下协同工作，TOF设备可以用于控制各种情形下的安全距离。
人脸识别系统：TOF相机的亮度图像和深度信息可以通过模型连接起来，迅速精准的完成人脸匹配和检测。
物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；
安防和监控：利用景深进行人数统计（ Peoplecounting）俗称“数人头”，确定进入某区域的人数；通过对人流或复杂交通系统的人数统计，实现对安防系统的统计分析设计；以及敏感地区的检测对象监视；
机器视觉：工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备；
机器人：使用深度视觉进行导航、识别外界的环境、规划路径、实现避障工作等；
医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助；
互动娱乐：动作姿势探测、表情识别、娱乐广告；在制作影视特效时，TOF相机可以将深度信息附加在视频图像中，精确确定场景中每个像素的空间位置。通过简单的后期处理，就能将特效道具插入影片的任何位置。
此外，无论是固定式还是移动式的，TOF设备都可以作为一个性能优异的输入设备。TOF相机的手势识别能力特别适用于消费电子领域，例如游戏、手持式设备和家庭娱乐，以TOF设备为第一人称游戏提供了直观的接口，完全可以代替远程控制，鼠标和触摸屏。
图6：TOF 应用多种多样
意法半导体(ST Micro electronics，简称ST)生产的世界上最小的飞行时间(TOF)测距传感器--VL53L1X 。新产品基于新的硅专利技术和模块级架构，首次在模块上引入光学镜头。镜头的加入可提升传感器内核性能，同时开启许多新功能，包括多物体检测、远距离玻璃盖板串扰抗噪和可编程多区扫描。这些先进特性将机器人、用户检测、无人机、物联网、穿戴设备等传感器性能提高到新的水平。
图为：意法半导体影像产品部技术市场经理 张程怡
将TOF测距长度扩至4米 测距时间只需5ms
VL53L1X是ST推出的第三代FlightSense技术，其4.9 x 2.5 x 1.56mm封装内集成一个新的镜头系统和940nm VCSEL不可见光源、处理器内核和 SPAD光子检测器。新增的光学镜头系统可提升光子检测率，从而提升模块的测距性能。内部微控制器负责管理全部测距功能，运行创新的数字算法，最大限度降低主处理器开销和系统功耗，使移动设备的电池续航能力得到最大限度提升。意法半导体影像产品部技术市场经理张程怡笑着表示：“去三亚海滩，再也不担心为强光下或是吃烛光晚餐的时候拍不好照片而烦恼了。”
同第二代产品“VL53LOX”相比，VL53L1X将TOF测距长度扩至4米。而且测量速度较上一代产品更快，测距时间只需5ms。与其它测距传感器技术相比，意法半导体的新专利算法和直接飞行时间架构能够耐受更远距离的串扰，让VL53L1完全兼容更多的玻璃盖板材料和设计样式。为方便用户快速集成，基于I2C的VL53L1模块配备一整套软件驱动器和技术文档。
新产品VL53L1创新的高性能设计架构可侦测同一个场景内存在的多个目标，还让设备厂商能够把SPAD传感器阵列再细分成数个子区，为这些小感测区客户应用提供双摄像头立体视觉计算以及简单深度图应用所需的空间测距信息。
VL53L1X芯片
使用意法半导体VL53LOX的应用场景
VL53L1X是ST推出的第三代FlightSense技术，其4.9 x 2.5 x 1.56mm封装内集成一个新的镜头系统和940nm VCSEL不可见光源、处理器内核和 SPAD光子检测器。新增的光学镜头系统可提升光子检测率，从而提升模块的测距性能。内部微控制器负责管理全部测距功能，运行创新的数字算法，最大限度降低主处理器开销和系统功耗，使移动设备的电池续航能力得到最大限度提升。意法半导体影像产品部技术市场经理张程怡笑着表示：“去三亚海滩，再也不担心为强光下或是吃烛光晚餐的时候拍不好照片而烦恼了。”
同第二代产品“VL53LOX”相比，VL53L1X将TOF测距长度扩至4米。而且测量速度较上一代产品更快，测距时间只需5ms。与其它测距传感器技术相比，意法半导体的新专利算法和直接飞行时间架构能够耐受更远距离的串扰，让VL53L1完全兼容更多的玻璃盖板材料和设计样式。为方便用户快速集成，基于I2C的VL53L1模块配备一整套软件驱动器和技术文档。
新产品VL53L1创新的高性能设计架构可侦测同一个场景内存在的多个目标，还让设备厂商能够把SPAD传感器阵列再细分成数个子区，为这些小感测区客户应用提供双摄像头立体视觉计算以及简单深度图应用所需的空间测距信息。
两款对比两款来自不同厂商并且不同应用的ToF传感器。
一款是TI的ToF传感器OPT8241，此款传感芯片属于TI 3D ToF图像传感器系列，主要的应用是深度感测，例如3D扫描、手势控制等等，其终端应用在ATM、人数统计等等。
另一款则是ST的ToF传感器VL53L0X，此款传感芯片是ST推出的第二代FlightSense技术，声称封装尺寸在同类产品中最小，且已知应用在了华为P10智能手机的后置ToF相机上。
封装平面：
TI的ToF传感器OPT8241的封装尺寸为8.75mm X 7.85mm X 0.70mm。封装信息如下图。
ST的ToF传感器VL53L0X的封装尺寸为4.40mm X 2.40mm X 1.00mm。封装信息如下图。
封装X-Ray：
TI的ToF传感器OPT8241的X-Ray图片如下图所示。
ST的ToF传感器VL53L0X的X-Ray图片如下图所示。
芯片Die Photo：
TI的ToF传感器OPT8241的OM正面照如下图所示，芯片尺寸为6.98mm X 6.03 mm。
ST的ToF传感器VL53L0X的OM正面照如下图所示，芯片尺寸为3.01mm X 1.22 mm。
芯片Die Corner：
TI的ToF传感器OPT8241的Die Corner如下图所示。
ST的ToF传感器VL53L0X的Die Corner如下图所示。
芯片Die Mark：
TI的ToF传感器OPT8241的Die Mark如下图所示。
ST的ToF传感器VL53L0X的Die Mark如下图所示。
芯片Die Pad：
TI的ToF传感器OPT8241的Die Pad Size如下图所示。
ST的ToF传感器VL53L0X的Die Pad Size如下图所示。
