TOF相机基本知识

TOF是Time of flight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后利用传感器接收从物体返回的光，通过探测光脉冲的飞行时间来得到目标物的距离。TOF的深度精度不随距离改变而变化，基本能稳定在cm级。

1 TOF相机的特点：

• 相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景
• 深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用
• 经过进一步深化处理，可以完成三维建模等应用
• 能够快速完成对目标的识别与追踪
• 主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利
• 借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效
• 无需扫描设备辅助工作

TOF相机缺点：

• 对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率
• 相机本身仍然受到硬件发展的限制，更新换代速度较快
• 测量距离较常规测量仪器短，一般不超过 10 米
• 测量结果受被测物性质的影响
• 大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰

• 分辨率相对较低，如PMD Camcube 2.0 型号相机，为目前分辨率最高的 3D 相机，其分辨率仅为 204×204像素

2 深度相机比较

目前的深度相机有TOF、结构光、激光扫描等几种。主要用于机器人、互动游戏等应用。其中较多的是指TOF相机。目前主流的有TOF相机厂商有PMD、MESA、Optrima、微软等几家，其中MESA在科研领域使用较大，相机紧凑性好，而PMD是唯一一款能够在户内、户外均能使用的TOF相机，并且能够具有多种探测距离，可用于科研、工业等各种场合。而Optrima、微软（还不是真正的TOF技术）的相机主要面向家庭、娱乐应用，价位较低。

1）MESA Imaging AG成立于2006年7月，致力于生产销售世界领先的3D 飞行时间（TOF）深度测绘相机。该相机采用的图像芯片技术，能够实时采集三维数据列（通常称之为深度图像），并集成于一个紧凑的固件内。MESA 在此领域荣获过SwissRanger技术创新奖，众多的成功经验可以为客户带来定制相机解决方案。MESA的产品能够进行单相机3D成像。它采用飞行时间法（Time of flight），通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光、探测光脉冲的飞行（往返）时间来得到目标物距离。相比于其它立体成像方式，这种方式具有实时性好、无死区等特点。MESA的芯片由专门的厂家生产，并引进了CCD/CMOS生产工序，保证了光电功能模块的独立性以及优化配置。由此保证了MESA使用的芯片的底层噪声和随后的距离测量能力大大优于基于标准CMOS工艺制造的芯片。其型号是SR4000

SR4000 3D测距相机能以视频帧速率实时输出3维距离值和振幅值。基于时间飞行原理（time-of-flight TOF），相机包括一个内置的激光光源，发射光经场景中的物体反射后返回相机，每个图像传感器中的像素点都分别精确测量该时间间隔，并独立算出距离值。设计用于户内环境，SR4000可轻易经USB2.0或者以太网（Ethernet）接口连接到电脑或者网络中，快速生成实时深度图。代表着MESA公司第4代时间飞行原理相机，它可输出稳定的距离值，外形美观、坚固，体积小（65 X 65 X 68mm）（USB版）。 SR4000随机包括驱动和软件接口程序，用户可以通过接口程序创建更多的应用。

2）Camcube3.0是全球第一款可应用于室外环境的高精度深度相机，这为汽车辅助驾驶、移动机器人等应用带来了便利。在汽车等交通工具中，停车、开车运行等都一直通过驾驶员的直接观测和经验来完成，由于人的经验误差或精神状态影响，在实际过程中，难免会出现各种状况。而通过TOF相机3D探测，可以很方便的对外界环境进行探测，并对驾驶员起到提醒和辅助驾驶的作用。

PMDTec公司是一家德国公司，其原身是德国锡根大学一个研究传感器系统（ZESS）的中心实验室，2002年从德国锡根大学分离出来组建了公司，后被另一家公司收购组建了现在的PMDTec公司。该公司研究3D TOF Imaging（时间飞行技术）超过了10年。2011年，Omek Interactive和PMDTechnologies宣布达成了战略合作伙伴关系，以提供姿态识别和身体跟踪解决方案，这为今后的商业应用打下了坚实的基础。该公司的产品已经开发到了第三代 - CamCube3.0。3D摄像头的分辨率为200*200，可以以每秒40帧的速度获取场景的深度信息和灰度图像。CamCube3.0具有非常高的灵敏度，它可以在较短的快门时间内获得更高精度和更远的探测距离。由于其独家的SBI技术，TOF是少有的既可以用于室内，又可以用于室外的TOF相机，并可以探测快速运动目标。不过缺点就是价格不菲，不含税的话，要12000美元。所以只适合搞科研，对于民用还有很长的路要走。

PMDTec 公司网址：http://www.pmdtec.com/

PMDTec Wiki：http://en.wikipedia.org/wiki/PMDTechnologies

3）Natal并不是基于ToF的原理，PrimeSense为微软提供了其三维测量技术，并应用于Project Natal。在PrimeSense公司的主页上提到其使用的是一种光编码（light coding）技术。不同于传统的ToF或者结构光测量技术，light coding使用的是连续的照明（而非脉冲），也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。Light coding，顾名思义就是用光源照明给需要测量的空间编上码，说到底还是结构光技术。但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑（laser speckle），是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也 Kinect就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。在PrimeSense的专利上，标定的方法是这样的：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设Natal规定的用户活动空间是距离电视机1米到4米的范围，每隔10cm取一个参考平面，那么标定下来我们就已经保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的30幅参考图像依次做互相关运算，这样我们会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。

4）今天最常见的影像捕捉设备是数码相机。数码相机输出一个像素矩阵，每个像素代表一个色值。这是一种二维（2D）视觉技术。3D 视觉是指除了捕捉目标的空间位置（x 轴和 y 轴）和颜色之外，还能捕捉目标的深度（又称 Z 轴、范围、距离）及其周围环境。一个 3D 视觉系统同时输出每个场景的地形视图和色彩视图。PrimeSense是一家无厂半导体公司。他们的技术赋予电视、机顶盒、客厅电脑等消费电子产品自然互动能力。他最得意的两个字就是:深度。他们的 PrimeSensor 产品包含 Reference Design 和 NITE 中间件。PrimeSensor Reference Design 是一款成本低廉、即插即用、靠 USB 供电的设备，可以放在电视机或显示器的顶部或旁边，也可以嵌入其中。ReferenceDesign 能够实时生成客厅场景的深度、色彩和音频数据。它能在各种室内照明条件下工作（包括一片漆黑和非常明亮的房间）。它不需要用户佩戴或手持任何东西，无需校准，也不需要主机处理器做任何运算。PrimeSensor 的设计中包含一个先进的视觉数据处理中间件，它针对面向大众市场的 CE 产品——NITE进行了优化。NITE 为开发丰富的自然互动应用程序提供了算法框架。NITE SDK（软件开发工具包）提供了一个文档详细的 API 和框架，既能完成 GUI（图形用户界面）的设计开发，又能完成游戏开发。

TOF相机相关资源链接：

[1]http://labs.manctl.com/rgbdemo/index.php/Main/Download RGBD标定

[2]http://www.ee.oulu.fi/~dherrera/kinect/

[3]http://nicolas.burrus.name/index.php/Research/KinectCalibration

[4]http://www.rgbdtoolkit.com/

本文参考链接：http://blog.csdn.net/glb562000520/article/details/17264151