编者序：本文是2017年发表的一种基于深度学习的多目标跟踪方法，在SORT的基础上加入了外观信息提高了性能，在长时间遮挡时仍可跟踪目标，跟踪帧频很高。
推荐指数☆☆☆☆☆
一、引言
随着目标检测技术的飞速发展，通过检测跟踪（Tracking by detection，TBD）在多目标跟踪中成为主流。在处理流程中，目标轨迹通过对整个视频流的全局优化处理计算，如flow网络、概率图模型等。然而，由于批处理，这些方法不适用于需要实时目标辨识的在线场景。传统方法有多假设跟踪（Multiple Hypothesis Tracking，MHT）和联合概率数据关联滤波（Joint Probabilistic Data Association Filter，JPDAF），这些方法一帧帧的处理数据关联。JPDAF通过用关联似然加权测量生成单状态假设；MHT跟踪所有可能的假设，但为了降低运算量需要剪枝。这两种方法最近都被改进为TBD方式，取得很好效果，然而却增大了计算量和部署复杂度。
简单在线实时跟踪（Simple online and realtime tracking，SORT）框架更简单，在图像空间执行卡尔曼滤波，使用Hungarian方法实现帧间数据关联，关联指标是测量边界框的重叠，该方法以很高帧频获得高性能。在MOT数据集上，带有state-of-the-art的SORT排名比标准检测的MHT高，这不止强调了目标检测器性能对整个跟踪结果的影响，也从实际应用角度给出了重要洞察。
在获得很好的跟踪精度和准确性的同时，SORT返回了相对高的identity switches，这是因为采用的关联指标仅在状态估计不确定性较低时较精确。因此，SORT在有遮挡时跟踪性能较低，而这在前视相机场景中很常见。我们通过将数据关联指标替换为结合运动和外观信息的指标，使用在大数据集上训练好的行人检测CNN，通过集成该网络，提高了对丢失和遮挡的稳健性，保留了系统的容易部署、高效和处理在线场景的能力，本文代码和预先训练的CNN模型已公布源码。
二、本文算法
我们采用传统的单假设跟踪方法、递归卡尔曼滤波和帧间数据关联。
2.1 跟踪处理和状态估计
跟踪处理和卡尔曼滤波框架和SORT原始公式几乎一样，我们假设一般跟踪场景，相机未标定，并且没有可用的自身运动信息。这使得滤波框架非常有挑战，在多目标跟踪数据集上需要考虑。因此，跟踪场景定义为8维状态空间（u,v,gama,h,dx,dy,dgama,dh），依次为边界框中心(u,v)，宽高比gama、高度h及其在图像坐标系的速度（导数）。我们使用匀速运动和线性观测的标准卡尔曼滤波，边界框坐标是目标状态的直接观测。
对于每个跟踪k数下帧数，因为最后成功测量关联ak。这个计数器在预测时递增，当跟踪关联上测量时清零。跟踪超过最长时间Amax认为是离开场景，从跟踪集合中删除。每次检测不能关联已经存在的跟踪时初始化新的跟踪假设，这些新的跟踪使用前三帧尝试，我们希望每次都能成功测量关联，否则删除。
2.2 分配问题
传统的关联预测卡尔曼状态和新到来的测量的方法是构建使用Hungarian算法求解的分配问题，在该问题公式中我们通过连接两个合适指标集成了运动和外观信息。
运动信息使用预测状态和新来测量的Mahalanobis距离，对于4维测量，我们设置相应的Mahalanobis门限为9.4877，Mahalanobis距离根据运动提供了可能的目标位置信息，对短时间预测有用。
第二个测量指标是外观空间第i次跟踪和第j次检测的最小余弦距离，我们使用预先训练的CNN计算边界框外观描述，余弦距离考虑了外观信息，对长时间遮挡后恢复尤其有用，此时运动区分度很低。
关联问题通过这两个指标加权求和获得。
2.3 级联匹配
本文并没有以全局分配方式解决测量到跟踪关联问题，而是通过级联解决一系列子问题。当一个物体长时间被遮挡，后续卡尔曼滤波预测增加了与目标位置关联的不确定性，概率函数分布在整个状态空间，观测似然峰值很低。因此，我们引入了级联匹配算法，观测频率越高的目标优先级越大，如下图所示。
2.4 深度外观描述
使用简单最近邻查询而没有额外的学习参数，本文方法在离线训练时需要区分度较高的特征，我们使用在1100000图像1261个行人的识别数据集上训练好的CNN，网络结构如下图所示。网络共2800864参数，32个边界框在NVIDIA GTX1050上需要30ms，适合在线跟踪。
三、实验
我们在MOT16上评估算法，评价指标有：多目标跟踪准确率MOTA、多目标跟踪精确性MOTP、大多数跟踪MT、大多数丢失ML、分裂FM。实验结果如下图所示。
英文名称：SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC
链接：http://pdfs.semanticscholar.org/ba1c/f2d0493f25da61bd816f92712291999c0ef6.pdf
死磕自律，遇见更好的自己；自斩双臂，方能长出强两翼。
败而不弃，潜龙勿用待时机；执着坚毅，飞升上神创奇迹！
关注该公众号，一起创造奇迹。