作为人类观察和认识世界的重要手段，视觉在生产和生活中扮演着极其重要的角色。而计算机视觉技术则试图利用计算机模拟人类视觉的功能,通过对图像的获取、处理、分析和理解以实现对外部世界的感知。模型重建与目标识别作为计算机视觉的核心任务,被广泛应用于智能监控、智能机器人、遥感分析以及导航制导等领域。
得益于成像传感器的飞速发展和计算能力的不断提高,过去几十年间针对可见光图像、红外图像、合成孔径雷达图像以及高光谱图像等二维图像的研究已取得了丰硕的成果。然而，现实世界中的目标大多为三维目标，二维图像的成像过程涉及从三维真实世界到二维图像空间的映射，该映射不可避免地导致了部分目标信息的丢失，从而使得二维图像难以有效地实现对三维空间信息的表达。
近年来，随着激光雷达等远距离传感器以及结构光编码等近距离传感器的发展，三维点云的获取变得越来越便捷，从而使得针对点云的研究成为计算机视觉与模式识别领域新的研究热点。点云实际上是对场景表面在给定坐标系下的离散采样，其在数学上可表示为三维点坐标的集合。相对于二维图像，三维点云的主要优势包括:
(1)能获得目标三维几何形状信息
二维图像只能获得目标的表象信息，而点云能够直接获取目标表面的三维几何形状，因而能为模型重建与目标识别任务提供更加丰富的内容。
(2)不存在三维空间到二维成像平面的投影变换
点云获取是从三维空间到三维空间的映射过程，一般只存在旋转和平移变换,没有二维图像成像过程中的投影变换，因而极大地降低了成像视点变化对成像结果的影响。
(3)受外界光照变化和成像距离影响较小
激光成像雷达和结构光传感器均采用主动照明方式成像，因而点云的获取过程不受外界环境光照变化的影响。此外,由于点云实质上是对目标表面几何信息的离散采样，因此成像距离变化只影响所获取数据的分辨率及精度,而并不影响图像中目标的固有几何尺寸，因而没有二维图像成像过程中存在的尺度变化问题,更易于提取具有优良不变性的特征。
图1.1加德纳技术成熟度曲线
综上所述，三维点云有望克服二维图像存在的诸多问题，因而具有十分诱人的研究和应用前景。近年来，为推动基于点云的三维模型重建与目标识别技术的研究,本学科领域的顶级国际期刊(如IJCV 等)已多次开辟相关主题特刊，而顶级国际会议(如ICCV2013和ECCV2014等)亦举办了多场相关技术研讨会。此外,依据全球领先的信息技术咨询机构加德纳(Gartmer) 公司于2014年发布的45个新兴领域技术成熟度曲线(图1.1) 可知，有四个新兴技术领域与三维点云数据处理密切相关(如图1.1中矩形框所示)。其中，三维扫描技术和商用三维打印技术目前正处于稳步爬升期，并将在未来两到五年内达到生产力成熟期，而消费级三维打印技术和三维生物打印技术将在未来五到十年内达到生产力成熟期。目前，美国斯坦福大学、美国卡内基.梅隆大学、英国帝国理工大学、加拿大女王大学、澳大利亚西澳大学和中国科学院自动化所等全球顶级科研机构，以及微软和谷歌等跨国企业巨头均对三维点云获取和处理展开了大量的研究。基于点云的模型重建与目标识别在军事和民用领域均具有非常广泛的应用前景，部分应用案例列举如下:
(1)精确制导自动目标识别
采用激光雷达获得的点云可有效实现高分辨率的目标成像，实现对小树林和伪装网遮挡下的目标检测与识别。在美国国防先进研究项目局(DARPA) 以及美国空军等的资助下，麻省理工学院(MIT) 开展了“七巧板(JIGSAW)项目等一系列研究，并进行了机载激光雷达对坦克和装甲车等地面目标的检测识别外场实验。该研究成果将成为美国陆军未来战场系统(Future Combat Systems,FCS)的一部分。此外,瑞典国防研究局、西班牙国防部以及德国光子与模式识别研究所等亦开展了大量相关研究。
(2)灾难救援与应急响应
采用激光雷达可获得城市场景的真实三维模型，实现地物分类以及应急响应。在2010年海地地震后，麻省理工学院首次利用其ALIRT机载激光雷达成像研究试验平台对太子港进行了三维成像，获得30cm分辨率的城市三维图像，用于评估道路和桥梁状况、分析水淹情况、选择直升机降落场以及规划难民安置等。
(3) 无人系统自动导航
点云传感器被广泛应用于各种无人自主系统中（无人机、无人车等）。无论是谷歌无人车、还是国防科大开发的无人车，均采用激光雷达或立体视觉获取点云以生成车辆周围环境的三维地图，并结合其它传感器实现车辆、建筑物、行人以及路牌等的检测识别，最终完成态势感知。此外，在欧盟第七框架计划(Seventh Framework Programme, FP7) 资助下，德国弗莱堡大学、英国牛津大学、比利时天主教鲁汶大学以及瑞士苏黎世联邦理工学院等联合开展了用于室外和室内等场所的机器人自动导航研究，该研究亦将点云传感器作为其主要传感器之一。
(4)*物文**三维数字化
采用，点云传感器对*物文**进行扫描进而构建三维模型有利于重要*物文**遗产的长期保存和修复。德国NavVis公司于2014年完成了德意志博物馆船舶展厅的三维全数字化建模并构建了网上三维展厅，国内相关单位亦开展了对秦始皇兵马俑等艺术作品三维数字化的探索。
此外，基于点云的三维模型重建与目标识别技术研究在战场侦查、城市数字化、遥感测量与分析、三维制图、等其它领域同样具有十分广泛的应用前景。因而，基于点云的三维模型重建与目标识别技术研究有望为国民生产和国防建设产生巨大的经济和社会价值。
以上分析了那么多，那么我们来来看究竟什么是点云获取技术：
点云获取技术可分为接触式扫描仪、激光雷达、结构光、三角测距(Triangu-lation)、以及立体视觉等多种。最近二十年来，点云获取设备获得了突发猛进的发展。
(1)接触式扫描仪
图1.2点云获取设备示意图
接触式扫描仪通过与物体表面的物理接触获得表面点的坐标，典型设备如图1.2(a)所示的Faro Arm。这类设备的测量精度高，并被广泛应用于零部件加工、逆向工程等工业部门。但是，这类传感器采集数据的速度慢，且需要物理接触,因而应用范围受限。
(2)激光雷达
激光雷达通过发射激光脉冲并测量激光传输时间计算传感器到目标表面的距离，其作用距离可达数公里。激光雷达主要分为扫描式与面阵式激光雷达两类,而扫描式激光雷达又可进一步划分为移动式( 机载、车载和船载等)激光雷达以及静态激光雷达两个子类。扫描式激光雷达主要用于遥感、测绘和制图等民用领域，其技术已相对成熟。目前，Optech、RIEGL以及Velodyne 等公司都有比较完整的产品系列，其中图1.2(b)所示为Optech公司出品的ILRIS-LR静态激光雷达。面阵式激光雷达可一次性获得场景的三维点云，主要应用于军事领域。据公开报道，MIT林肯实验室于2005年开发了32x32单元的面阵激光雷达，并已在2014年获得了128x128单元的面阵激光雷达。国内科研单位如哈尔滨工业大学以及西南技术物理研究所等已针对面阵激光雷达持续开展了大量研究，但目前仍有部分关键技术亟待突破。
（3）三角测距
这类传感器首先将一束激光发射到物体表面上，并采用一个相机记录光斑的位置，通过解算激光发射器、光斑以及相机三者构成的三角形，可以获得物体表面上光斑的三维坐标。这类传感器的作用距离只有几米，测量速度较慢，且在测量过程中物体必须保持静止，但其测距精度相对较高。目前，依此原理开发出的传感器产品包括Cyberware 3030以及Konica Minolta Vivid 910 ( 如图1.2(c)所示)等。
(4)结构光
这类传感器将一个具有固定模式的光斑投影到物体表面，通过测量光斑模式的形变从而解算出表面点的位置信息。这类传感器可实时获取目标点云，但其数据质量通常不高，包含大量的孔洞和逸出点。典型设备包括InspeckMega CapturorII 3D以及Kinect (如图1.2(d) 所示)。
(5) 立体视觉
这类传感器采用两个或更多相机获取同一个物体的二维图像,通过寻找两幅图像间的对应点解算出其空间坐标。这类传感器可实时地获得目标的点云，但其数据质量通常不高。典型设备包括3DMD动态三维立体视觉系统以及BumblebeeXB3 (如图3(e)所示)。
目前，点云传感器正朝着小型化和商业化的方向发展，应用领域逐渐从军事及工业应用转移到消费级应用。继微软公司于2010年底推出Kinect传感器以来，华硕公司于2011年推出了类似的Xtion传感器,微软和创新公司又于2013年分别推出了Kineet 二代和Senz3D传感器。而谷歌公司则在2014年推出了带点云传感器的Tango手机和平板电脑，目前已提供给全球开发者开展相关研究。此外，因特尔公司的RealSense 3D相机也将在近期面世，从而进一步推高点云研究的热潮。
了解完点云获取技术，我们再看看看点云特征提取、三维模型重建及三维目标识别等处理技术：
基于点云的三维模型重建与目标识别技术的研究大致起步于上世纪70年代,并在上世纪80-90年代取得了部分阶段性成果。之后一段时间， 受传感器技术及点云数据来源的限制，相关研究进展较为缓慢。近十年来，随着传感器技术的突破和计算能力的提高，三维模型重建与目标识别技术受到了学界和业界广泛关注，并取得了一系列新的进展。
在点云特征提取方式上，现有算法可以分为基于全局特征的方法和基于局部特征的方法两类。全局特征利用点云上所有点的信息构建特征描述子。然而,由于复杂场景下的物体遮挡、数据分辨率变化、噪声干扰、背景影响以及视点变化等，使得获取的点云具有显著的多样性。这些多样性使得局部特征比全局特征更加胜任现实世界中的点云表示。局部特征提取通常包括关键点检测和局部特征描述两个步骤，其构成了三维模型重建与目标识别的基础和关键。在二维图像领域，基于局部特征的算法已在过去十多年间取得了大量成果并在图像检索、目标识别、全景拼接、无人系统导航、图像数据挖掘等领域得到了成功应用。类似的，点云局部特征提取在近年来亦取得了部分进展。
在三维目标识别的对象方面，最初研究主要针对立方体、柱体、锥体以及二次曲面等简单形体构成的三维目标。然而，这类形体对现实世界的表达能力有限，绝大部分目标难以用这些形体或其组合来近似。后续研究主要集中于三维自由形态目标的识别，所谓自由形态目标，即表面除了顶点、边缘以及尖拐处之外处处都有良好定义的连续法向量的目标(如飞行器、汽车、轮船、建筑物、雕塑、地表等)。由于现实世界中的大部分物体均可认为是自由形态目标，因此三维自由形态目标识别算法的研究大大扩展了识别系统的适用范围。在过去二十余年间，三维目标识别任务针对的数据量不断增加，识别难度不断上升，而识别率亦不断提高，然而如何在包含遮挡、背景干扰、噪声、逸出点以及数据分辨率变化等的复杂场景中实现对感兴趣目标的检测识别与分割，仍然是一个富有挑战性的问题。
在三维模型重建方面，最初的研究集中于邻接关系和初始姿态均已知时的点云精配准、点云融合以及三维表面重建。在此，邻接关系用以指明哪些点云与给定的某幅点云之间具有一 定的重叠区域，该关系通常通过记录每幅点云的扫描顺序得到。而初始姿态则依赖于转台标定、物体表面标记点或者人工选取对应点等方式实现。这类算法需要较多的人工干预，因而自动化程度不高。接着,研究人员转向点云邻接关系已知但初始姿态未知情况下的三维模型重建，常见方法有基于关键点匹配、基于线匹配、以及基于面匹配等三类算法。在实际应用中，很多时候并不知道点云之间的邻接关系。针对此，研究人员开发了最小张树算法和连接图算法以实现邻接关系的计算。总体而言,三维模型重建算法的发展趋势是自动化程度越来越高，所需人工干预越来越少，且应用面越来越广。然而，现有算法依然存在运算复杂度较高、只能针对单个物体、且对背景干扰敏感等问题。研究具有较低运算复杂度且不依赖于先验知识的全自动三维模型重建算法，是目前的主要难点。
其实随着三维重建作为当前研究热点，很多研究者已经发现对于三维重建方面的研究，并不再仅限于点云技术。还可借助已经SLAM研究平台，对三维重建、图像识别、自动导航进行更系统的研究，包括SLAM平台中介入可以三维点云获取技术，发挥其更大的价值。有兴趣的朋友可以一起了解一下：
已经开发好的视觉SLAM研发平台，开发体系由视觉开发平台、信息交互与任务控制平台、无人机系统等组成。
视觉SLAM的位姿估计模块实时获取到双目相机的图像信息和IMU的位姿信息，然后通过视觉惯性融合算法计算出相机的深度信息、位置信息和运动姿态信息，并转换为实时位姿信息，最后通过无人机位姿解算算法将相机的位姿信息转换为无人机的位姿发送给无人机，实现无人机的自主定位。同时，视觉SLAM算法支持GPU加速技术，大幅提升运算速度与精度。基于词袋技术，构建视觉slam回环检测模块，使视觉SLAM所计算出来的位姿信息更加准确。由相机发布的三维点云信息获取无人机与障碍物之间的距离，并应用自主导航避障算法生成可执行路径，实现无人机自主导航避障功能。
系统组成方面：
1) 无人机平台
飞行平台集成光流、激光定高等传感器，均可稳定悬停。飞行平台均提供完善的二次开发接口，支持C++、Python、ROS、Matlab等多种开发接口。
2) 视觉传感器
支持Intel D435i、小觅等多种双目视觉相机。
可根据客户需求选配可见光相机、激光雷达、红外相机等多种其他类型的传感器。为客户提供完善的驱动程序支持和二次开发接口。
3) 机载计算机
可搭载TX2、树莓派、Intel NUC等多种机载计算机。
4) 开发工作站
提供双目视觉slam实时状态可视化界面和自主导航避障轨迹显示界面。
平台主要优势：
1) 紧扣研究热点
紧扣目前无人机研究的热点，提供视觉导航、SLAM、视觉避障、人工智能等领域最新的技术。
2) 完善的课程支持，便于教学
该系统提供全套的学科教学课程以及示例算法等，可快速展开相关课程设计，进行实际教学应用阶段。因为视觉SLAM平台由硬件平台和软件平台组成，所以可实现SLAM理论教学和硬件实操。平台配有全套基于平台的SLAM原理讲解教材和实操试验指导书，并包括课程PPT及例程操作指导视频。
可开设实验课程如下：
⦁ SLAM教学；
⦁ 飞思视觉slam硬件平台介绍；
⦁ 飞思视觉slam软件平台介绍；
⦁ 相机原理、点云原理、GPU加速原理简介；
⦁ 飞思视觉slam平台支持的视觉slam架构，包括VINS，ORB_SLAM和Rovio，降低学校教师或学生学习SLAM的门槛；
⦁ 视觉slam主流技术介绍，包括多传感器融合算法，KLT光流算法双目VIO；
⦁ 视觉词袋技术介绍；
⦁ 回环检测技术介绍，包括重定位技术、全局位姿估计技术；
⦁ 无人机通信技术，包括Mavlimk介绍和Mavros介绍；
⦁ 自主导航避障算法介绍；
⦁ 视觉slam平台应用实例介绍；
⦁ 航线飞行实例，自主导航避障实例。
3) 一体化的视觉开发环境
提供全套的机器视觉与视觉导航的开发环境、仿真环境、硬件平台，所提供的硬件均提供完善的二次开发接口和实例代码，省去用户从头搭建开发平台的繁杂工作。
4) 提供完整的开发框架和实例
提供完整的无人平台控制、通讯链路、视觉图像采集、图像识别、三维重建、定位解算等软件算法解决方案。提供了VIO、LocalPlanner等多种实例程序，用户只需要简单配置即可实现完整的自主定位、自主建图、自主导航、自主避障等功能。
尽管针对点云表示、目标三维模型重建与识别等方面的研究已取得了部分成果，但依然面临着许多挑战。如，三维点云领域，类似的评估体系构建对本方向的发展进步同样具有非常重要的意义，但目前相关的研究成果依然较少且很零散。因此，建立点云局部特征评估体系具有极为重要的作用。
