文丨小奇有点怪
编辑丨小奇有点怪
在阅读此文前，诚邀您点击一下“关注”，既方便您进行讨论与分享，又给您带来不一样的参与感，感谢您的支持
前言
人脸识别广泛用于安全和访问控制。在处理高色素肤色时，其性能受到限制，这是由于现有数据集中深色皮肤个体的代表性不足造成的训练偏差，以及深色皮肤吸收更多光线，因此在可见光谱中反映不太可辨别的细节这一事实。
为了提高性能，这项工作结合了电子传感器感知的红外光谱。使用可见光、红外和全光谱捕获的高度色素沉着的个体图像来增强现有的数据集，并对现有的人脸识别系统进行微调，以比较这三个系统的性能。
当包含红外光谱时，接收器操作特性曲线的准确性和AUC值显著提高，对于高度色素化的面部，性能从97.5%提高到99.0%。不同的面部方向和窄裁剪也提高了性能，鼻子区域是识别的最重要特征。
数据的影响：人口统计影响和训练数据偏差
人脸识别供应商测试中评估了CNN技术之前的算法3,13并在算法开发者所在的人群中表现出更好的性能。他们欧洲国家和美国开发的算法对欧洲人的表现更好，而亚洲国家开发的算法对亚洲人的表现更好。
探讨了人口统计数据在CNN之前的人脸识别算法中的作用。他们仅针对同一组进行训练时，种族/民族和年龄组的表现通常会有所提高。
发现非洲裔美国人的错误匹配错误率高于欧洲人。他们为了实现可操作的错误匹配率，每个人群需要不同的相似性阈值。
一般来说，神经网络需要大量数据才能产生准确的识别结果。这样做的缺点是在创建或改进系统时需要密集的数据收集过程。所使用数据的性质也会影响系统的性能，从而导致实验室中进行的测试与使用实际数据进行的测试之间存在巨大的性能差异。
在流行的人脸数据集中，例如“野外标签脸”中，浅色皮肤个体的比例过高和变形，当用于识别肤色较深的个体时，会对算法的性能产生影响。最近的研究确保了不同肤色的个体在新数据集中得到均匀的呈现。
这些研究都揭示了不平衡数据集造成的性能影响并增强后续算法的性能。总结了研究中使用的一些流行的、公开的数据集。
迈斯纳和布里格姆17号回顾了人们识别面孔时出现的众所周知的“本种族偏见”现象的研究，人们比其他种族的面孔更擅长识别自己种族的面孔。人们发现这种偏见是人类使用一小组特征来识别人的结果。
由于这些特征因种族而异，与其他种族的人接触有限，因此很难准确识别他们。他们在对CNN之前的人脸识别算法的研究中发现了类似的偏见。算法在其起源的人口群体上表现更好。
试图展示在使用CNN时是否以及在何处对这种偏差进行编码以进行人脸识别。他们的目的是了解神经网络编码什么以及它们是否学习类似于人脑的特征。他们当神经网络接触有限的人口群体时，确实表现出相同的“自身种族偏见”。
他们的分析使用了两组，A组为欧洲个体，B组为非欧洲个体。在A组上训练的CNN在A组上的准确度为79.2%，在B组上的准确度为28.9%。在B组上训练的CNN在A组上的准确度为34.3%，在B组上的准确度为84.4%。
他们指出CNN根据用于训练的人口统计数据对不同的感兴趣区域进行编码。A组的激活图在眼睛周围表现出较高的激活值，而B组的激活图在鼻尖和嘴顶部周围表现出较高的激活值。
在具有不同人口分布的大型数据集上进行预训练的网络具有很高的泛化能力。特别是预训练的ResNet50模型在A组上获得了98.7%的准确率，在B组上获得了96.3%的准确率。他们表明，此类网络的特征图在整个面部具有均衡激活，这使得可能会带来更高的泛化能力。
微调此类网络会产生有趣的副作用。使用有限的人口统计数据集执行此操作会导致特征图恢复为根据所使用的人口统计仅关注面部的特定区域。
光的影响：动态范围
仅训练数据集的偏差并不能解释现有方法在检测HPS个体面部时表现不佳的原因。物理学也在发挥作用，较暗的表面比较亮的表面反射的光更少。
来自全光谱光源的光量根据皮肤色素沉着的程度而被不同地反射。在相同条件下，HPS个体的面部反射并因此被传感器捕获的光能比LPS个体的面部反射的光能少。
在相似的照明条件下，HPS个体面部的动态范围小于LPS个体面部的动态范围。这反过来限制了算法辨别HPS个体面部特征边缘的能力，同时也减少了面部自然阴影传达的信息量。人眼和捕获可见光谱的相机只能感知到反射光谱的一部分，即可见光谱中的部分。
在这个频段之外，存在着更宽的电磁频谱，可以被各种传感器捕获。数码相机中的典型互补金属氧化物半导体传感器具有超出红外截止滤光片设置的750nm截止波长的显着灵敏度。
红外光谱位于700nm-2000nm可见光波段之外，在人脸识别领域特别受关注。李等人。19表明方向、强度和阴影等照明效果可以改变脸部的外观。与传统的可见光图像不同，红外图像表现出改进的照明不变性，减少了此类影响。
红外图像提供更好的对比度，并且可能包含可见光图像所缺少的丰富纹理细节。幸运的是，一些相机可以感知可见光谱以外的红外、热和紫外线范围。
数码相机中的大多数CCD和CMOS传感器都可以检测NIR光谱范围的光线。19通常，红外截止滤光片用于阻挡标准相机中的这些成分。
利用这一扩展频谱可以提高HPS个体的面部识别能力。通过从数码相机中移除红外截止滤光片，他们获得了包含可见光和近红外光的“全光谱”图像，并发现这改进了人脸识别，实现了78%的准确度，而单独可见光的准确度为56%。
他们还发现可见光图像的蓝色通道可视化不如全光谱图像清晰。从之前的图中，可以推断这是由于蓝色通道的光谱响应增加所致。这暗示可见光图像中传递的信息较少。
识别高度色素沉着的面孔
2采取了*管双**齐下的方法。他们基于预先存在的LFW数据集创建了一个平衡的测试数据集，称为RFW。RFW具有相同比例的非洲、亚洲、印度和欧洲个体，提供了一个基准来测试基于皮肤色素沉着的表现变化。
第二个贡献是在人脸识别算法中使用深度信息最大化适应网络。其目的是通过学习HPS和LPS个体之间不变的面部特征来缓解HPS识别的不良性能。通过这种方式，组级别的表示可以更相似地匹配全局或源分布。
16在其分类器的损失函数中引入了惩罚项。这迫使不同种族的表现分布相似，从而确保来自不同群体的个体具有相同的表现。他们测量了每个亚组的真阳性率与所有亚组的平均真阳性率之间的平均绝对偏差。
23提出了一种种族偏见损失函数，该函数在训练过程中为不同种族得出不同的最佳裕度。他们发现不同种族的人脸识别性能之间的标准差有所下降，而且性能总体有所提高。
最先进的模型在RFW数据集上的性能达到了96.36%±0.78%，而他们的RamFace模型达到了96.43%±0.68%。
创建了一个完全由HPS个体图像组成的数据集，称为CASIA-Face-Africa。22这样做的目的是为HPS个体上的人脸识别系统的性能提供基准数据集。它还可以充当增强数据集，以增加人脸识别系统研究人员和开发人员可用的HPS个体图像数量。
该数据集还包括红外图像，可以分析不同光谱对HPS个体面部识别的影响。该论文并未包括训练模型对其数据集的影响；相反它仅用于基于现有模型的预定义权重进行测试。数据集不包括这里考虑的全光谱图像，并且论文没有提及用于捕获图像的光谱的影响。
贡献
上述综述表明，HPS个体的人脸识别领域仍有两个问题有待解决：许多训练集和用它们训练的算法中的数据偏差以及HPS个体图像中由于光照而导致的动态范围减小。
使用自己的包含542名HPS个体的数据库，其中包含3,000多张在南非开普敦地区拍摄的图像。注意到，这与之前的一些研究处于相似的范围。
这些图像是在三种不同的光谱中捕获的，并且包含各种姿势或方向。使用现有的人脸识别算法来评估包含红外的效果，无论是单独使用还是与可见光谱结合使用。
使用预先训练的网络和自己的数据集，研究了包含IR的效果。进一步评估了窄裁剪、各种面部方向以及全日照和阴影照明条件的效果。
建议遵循的最佳实践，以帮助提高人脸识别系统的性能和稳健性。还评估CNN生成的激活图，以确定感兴趣的面部区域以及微调模型的效果。
光谱比较
第一个考虑的比较是跨三个光谱的比较。本节使用的测试集包含289张图像。很明显可见光谱图像的性能最差。
在未调谐情况下，可见光谱图像的VGG16SGD准确率为98.5%，而红外和全光谱图像的准确率为99.3%和99.7%。在微*情调**况下，准确度从可见光谱图像的97.6%提高到红外和全光谱图像的99.7%和99.1%。
可见光谱图像的精度稍低和曲线下面积值较小的趋势在所有优化器和可调模式中都是一致的。这些图像的接收者操作特征曲线也不太尖锐，对应于较小的AUC值，因此当最大限度地减少不正确匹配的数量时，分类精度会较差。
红外图像和全光谱图像的性能差异更难辨别。尽管ROC曲线比较显示全光谱图像的AUC值稍大，但它们的准确度非常相似。这些结果强烈表明，对于HPS个体来说，红外和全光谱图像比可见光谱图像表现更好。
微调的模型不一定比未调整的模型表现得更好。这在可见光谱情况下最为明显，准确度从98.5%下降到97.6%。红外和全光谱情况的变化较小，红外情况下的准确度从99.3%增加到99.7%，全光谱情况下的准确度从99.7%下降到99.4%。
当输入图像来自不同光谱时，微调模型似乎受益最大。这符合微调的推理，因为模型需要更多地调整其权重才能正确处理不同的图像。可见光谱情况下的糟糕表现暗示的训练方案不如曹等人的那样强大。
使用每个光谱的图像训练的模型的真实分布曲线。完全可训练的模型表现出更高的预测分数，这可以允许使用更高的阈值。在不可训练模型的情况下，优化器的选择更为关键，因为预测分数和潜在阈值变化很大。由于准确性很高，冒名顶替者很少，未显示冒名顶替者分布。
现在考虑可以提高人脸识别模型性能的其他参数。这些参数是训练数据库中人脸的方向、训练图像中的裁剪范围以及捕获的图像中是否存在阴影和非阴影照明条件。
结论
本研究评估了单独使用红外光谱或与可见光谱结合使用红外光谱对高色素皮肤个体的面部识别性能的影响。
该研究还评估了面部方向、裁剪图像和照明条件的影响。使用经过微调的最先进网络VGGFace来执行人脸识别。对于的测试集，仅使用了289个人的正面图像，而不是训练集中的图像。
使用红外光可以提高识别精度和减少误报方面的性能。使用多种面部方向比仅使用单一方向产生的性能稍好，即使测试集仅包含正面方向。
在人脸检测过程中对图像进行窄裁剪显示出性能的提高。将耳朵包含在狭窄的方形作物中作为研究人员的选择。如果背景相似性不是问题，这可能会带来好处。
可以将这些视为最重要的分类特征，正如严格裁剪表现最佳所证实的那样。还微调模型更广泛地关注面部的所有区域，而具有预训练权重的未调整模型则专注于较少的特征，但在这些区域上产生更高的激活强度值。这会导致正确和错误分类图像的预测得分更高。
参考文献
1.布奥拉姆维尼J.格布鲁·T.性别深浅：商业性别分类中的交叉准确性差异。见：公平、问责和透明度会议。2018年
2.格罗瑟·P.颜M.花冈K.人脸识别供应商测试(FRVT)第3部分：人口统计影响。
3.库克CM霍华德·JJ西罗汀YB蒂普顿JL维穆里AR面部识别中的人口统计效应及其对图像采集的依赖：对11个商业系统的评估。IEEE传输。比奥姆。行为。身份科学。2019；1：32-41
4.克里希纳普里亚·KS阿尔比罗V.万加拉·K.王MC鲍耶·KW与人脸识别准确性相关的问题因种族和肤色而异。IEEE传输。技术。苏克。2020；1：8-20
5.德罗兹多夫斯基P.拉特格布C.丹切娃A.达默·N.布施C.生物识别技术中的人口统计偏差：对新兴挑战的调查。日期：2020年