随着图像传感器在 ADAS 和其他关键市场中发挥越来越大的作用，降低噪声的方案也在不断发展。
Semiconductor Engineering 发表了一篇关于处理图像传感器中的噪声的文章：
随着图像传感器在汽车和医疗设备等安全关键型应用中的应用和重要性不断扩大，噪声已经从一个令人烦恼的问题变成了一个危及生命的问题，需要实时解决方案。
在消费类相机中，噪声通常会导致图像出现颗粒感，这通常与光线不足、图像捕获速度或传感器故障有关。通常，事后可以对图像进行清理，例如减少自拍时的眩光。但在汽车中，ADAS 图像系统中的眩光会影响刹车速度。在车辆或医疗设备中，系统非常复杂，外部效应会影响图像，包括热、电磁干扰和振动。这在支持人工智能的计算机视觉系统中是更明显的问题，因为该系统需要以极高的速度处理大量数据此外，由于介电击穿或电迁移引起的信号路径变化而导致电路老化也会对上述问题产生影响。
噪声容限阈值因应用而异。 Keysight 高级应用工程师 Brad Jolly 表示，与用于拯救生命的医疗环境中使用的 CT 扫描仪或 MRI 系统相比，动物园里的简单运动激活安全摄像头或动物运动检测系统可以承受更多的噪音，并且以低得多的分辨率运行，“[噪声]可以指在获取任何形式图像的组件或系统中造成误差的任何事物，包括可见光、热、X 射线、射频 (RF) 和微波。”
OmniVision 首席技术官办公室新型图像传感器系统高级经理 Andreas Suess 解释道，容差也由人类感知决定。 “当信噪比 (SNR) >20dB，理想情况下 >40dB 时，人类会认为图像令人愉悦。但是，通常在 1dB 或更低的低 SNR 水平下就可以看到物体。对于计算成像来讲，为了推断可以接受的噪声水平，需要了解其应用程序级质量指标，并仔细研究这些指标对噪声的敏感性。”
成像传感器的噪声基础知识
没有噪声是理想状态，是一个不切实际的目标。西门子数字工业软件公司高级营销总监 Isadore Katz 表示，对于图像传感器来说，噪声是不可避免的，“当像素值超出预期范围时，就会产生噪点，无法将其从传感器中设计脱离出来，这只是图像传感器工作方式的一部分。唯一能做的就是对其进行后处理。你会对自己说，‘这不是预期的值。应该是什么？’”
西门子数字工业软件公司高级营销总监 Isadore Katz 说道：“对于图像传感器来说，噪点是不可避免的。当像素值超出预期范围时，就会产生噪点，你不可能通过设计使其脱离传感器。这只是图像传感器工作方式的一部分，你唯一能做的就是对其进行后期处理，你会对自己说：‘这不是预期值，应该是什么？’”。
噪声主要分为固定模式噪声和时间噪声，两者都解释了为什么工程师必须应对其不可避免性。Suess说：“时间噪声是基于光（光子）和电荷（电子）量化的基本过程，当在给定曝光下捕获一定量的光时，人们会观察到不同数量的光子，这被称为光子散粒噪声，是所有成像设备中存在的基本噪声过程。”事实上，即使没有光存在，暗信号（也称为暗电流）也会表现出散粒噪声。
更糟糕的是，即使只是热量也会产生噪音，这可能会给极端条件下的 ADAS 传感器带来困难。Flex Logix 营销和业务开发副总裁 Jayson Bethurem 表示：“图像传感器必须在最亮和最暗的条件下工作，还必须在 -20℃和高达 120 ℃的温度下工作。当天气变热时，所有 CMOS 传感器的运行速度都会变慢并且噪音也会更大；当天气寒冷时，它们运行得更快、更干净，但仅限于一定程度，当天气变得太冷时，就会开始产生其他负面影响。大多数 IC 在运行时会自热，因此也会产生噪声，摆脱这种情况的唯一方法就是通过数字方式将其过滤掉。”
固定模式噪声源于工艺不均匀性以及设计选择，可能导致偏移、增益或稳定伪影。固定模式噪声可以表现为量子效率、偏移或增益以及读取噪声的变化。减轻固定模式噪声需要在工艺、设备、电路设计和信号处理等层面做出努力。
图 1：噪音问题和解决方案。来源：Flex Logix
此外，噪声还会影响数字和模拟系统。Jolly 说：“数字系统总是从对某些模拟源的数据进行数字化开始，因此数字系统首先会遇到与模拟系统相同的噪声问题。此外，数字系统必须处理量化和像素化问题，每当某些模拟信号值转换为比特串时，这些问题总是会出现。如果随后对这些位进行有损压缩算法，则会引入额外的噪声。而且，诸如双倍数据速率存储器 (DDRx)、正交幅度调制 (QAM-x)、不归零 (NRZ) 线路编码、脉冲幅度调制 (PAM) 等高速数字技术和其他复杂调制方案的增长，意味着反射和跨通道耦合会将噪声引入系统，可能达到位滑动和位翻转的程度。其中许多问题可以通过数字协议固件或硬件内的纠错机制自动处理。”
噪声可能会出现在成像链的任何地方，并产生一系列问题。Jolly 解释道：“例如，被成像的物体可能有阴影、遮挡、内反射、非共面问题、视差甚至细微地振动，尤其是在制造环境中。在这种情况下，噪音会使检查变得复杂。例如，如果电路板的顶部和底部有重叠的网格阵列组件，则使用 X 射线技术成像的多层电路板可能会出现焊点阴影。”
图像传感器和图像主体之间对准的变化（旋转或平移偏移以及平面倾斜）可能会增加变化。物体和传感器之间间隙的热梯度可能会产生噪声，例如炎热道路上的热闪烁，光线不足和过快的图像捕捉也可能会引入噪声。
还有其他需要考虑的问题。Jolly补充道： “成像链中的镜头可能会引入噪声，包括色差、球面像差以及与微观灰尘或镜头缺陷相关的误差。镜头控制图像的焦点、景深和焦平面，这些都是图像采集的关键环节。即使在指定范围内运行，成像传感硬件本身也具有正常的制造变异性和热响应，低分辨率或低动态范围的传感器也可能使图像失真，传感器供电线路中的电源完整性问题可能会在图像中显示为噪声。最后，相机的光电转换功能（OECF）将在图像质量中发挥关键作用。”
外部噪声源还可能包括闪烁，需要解决该问题才能获得清晰的视觉效果。
图 2：LED 交通信号灯或交通标志的闪烁对 HDR 解决方案构成了严峻的挑战，导致驾驶员辅助和自动驾驶系统无法正确检测发光的交通标志。来源：豪威科技
ADAS 成像基础知识
虽然噪声对于 ADAS 传感器来说似乎是一个关键问题，但考虑到潜在的伤害或损坏，它实际上比消费类相机等产品的问题要小，因为在消费类相机中，超出范围的像素可能会毁掉图像。ADAS 不注重美观，更侧重于二元决策——刹车或不刹车。事实上，ADAS 算法是在较低分辨率的图像上进行训练的，并且忽略了可能成为消费类相机杀手的噪声。
例如，要在图像中间找到一只猫，首先要对图像进行“分割”，即在潜在感兴趣的对象周围绘制边界框的过程。然后将图像输入神经网络，并对每个边界区域进行评估。图像被标记后，算法可以自我训练以识别显著的内容。“那是一只猫，我们应该关心它并刹车；这是一只臭鼬，我们不关心它，撞死它” ，Katz说道。这听起来像是一个糟糕的笑话，但实际上经过训练的ADAS 算法，会为某些动物分配较低的价值。
卡茨：“这归根结底是安全问题，而不是道德问题” ，“即使有人不关心驼鹿，汽车也必须刹车，因为这会对乘客造成危险，在任何情况下踩刹车都可能带来风险”。但是，猫和狗的价值要高于臭鼬和松鼠。
如果一个物体完全或部分被另一个物体遮挡或被耀斑遮挡，则需要更先进的算法才能正确分辨，从相机接收到帧并经过基本图像信号处理后，图像将被呈现给神经网络。
Katz 说道：“现在你已经离开了图像信号处理领域，进入了计算机视觉领域，该领域从已清理并准备好呈现的帧或帧序列开始，”， “然后你将打包这些帧并将它们发送给人工智能算法进行训练，或者你将获取这些图像，然后在本地神经网络上处理它们，神经网络将首先在每个帧周围创建边界框框架内的伪影，如果人工智能无法识别正在检查的帧中的物体，它将尝试在后续或之前的帧中识别它。”
在危险情况下，自动制动系统大约有 120 毫秒的时间做出响应，因此所有这些处理都需要在车内进行。事实上，甚至可能没有时间从传感器路由到汽车自己的处理器。 Katz表示：“这里有一些需要考虑的数字，汽车以 65 英里/小时的速度行驶时，速度为每秒 95 英尺，需要大约 500 英尺才能完全停止。因此，即使汽车的时速为 32.5 英里，它也会在 1 秒内行驶 47 英尺。如果从传感器到人工智能再到制动的总往返行程需要半秒，那么您在道路上 25 英尺处仍然需要制动。现在请记住，传感器以每秒约 30 帧的速度捕获图像。因此，每隔 33 毫秒，人工智能就必须做出另一个决定。”
为此，各家公司正在使用高级综合技术来开发智能传感器，在传感器旁边加上一个额外的芯片，该芯片具有图像信号处理器 (ISP) 的所有传统功能，例如降噪、去模糊和边缘检测等。
Katz：“它现在开始包含计算机视觉功能，可以是算法或人工智能驱动的，你将开始看到一个内置神经网络的智能传感器。它甚至可以是一个可重新编程的神经网络，因此一旦它变得更智能，你就可以更新不同的权重和参数。”
如果这种方案获得成功，就意味着传感器可以在本地执行操作，从而实现实时决策。它还可以重新打包信息，在云端或汽车中进行存储和处理，以供后续训练，从而提高准确、快速的决策能力。事实上，许多现代 ISP 已经可以动态补偿图像质量。 “例如，如果从强光突然变为弱光，或者反过来，ISP 可以检测到这一点并更改传感器设置”，Katz说道， “这种反馈发生在图像进入人工智能或物体检测阶段之前，这样后续的帧就可以更清晰地进入人工智能或物体检测阶段。”
已经存在的一个应用是驾驶员监控，这给设计人员带来了另一个关键的噪声问题。Bethurem说道： “汽车可以让阳光照在你的脸上，让一切达到饱和，或者完全相反，在完全黑暗的情况下，唯一的光从你的仪表板发出。要构建一个模拟传感器和相关的模拟设备，使其具有如此大的动态范围和所需的细节水平，这就是噪声的挑战所在，因为你无法构建一个具有如此大动态范围的完美传感器。在亮度很高或饱和度过高的边缘，画质会下降，必须得到弥补。而这些时候有时是最危险的时候，你要确保驾驶员在做他们应该做的事情。”
人工智能与噪声
噪声的挑战和传感器日益智能化也引起了人工智能（AI）界的关注。
Alphawave Semi 的首席技术官Tony Chan Carusone表示：“现在已经有人工智能系统能够填充数字图像的遮挡部分。这在 ADAS 方面具有明显的潜力。然而，要在边缘实时执行此操作，需要新的专用处理元件来提供安全关键系统所需的即时反馈。这是一个完美的例子，我们可以期待看到新的定制芯片解决方案。”
Quadric的首席营销官 Steve Roddy 指出，这条道路已经被开辟出来。 “看看 Android/Google 手机中的‘魔术橡皮擦’功能——快速删除照片*弹炸**和其他背景对象并填补空白。在汽车传感器上执行相同的操作以消除遮挡并‘填补空白’是一个已知的已解决问题，实时执行是一个简单的计算扩展问题。在当今的 5nm 技术中，约 10平方毫米就能实现完整的 40 TOP 完全可编程 GPNPU 功能。这只是目前正在设计的大型 (> 400 平方毫米) ADAS 芯片的一小部分。因此，可能有足够的可编程 GPNPU 计算能力来处理这些类型的用例。”
分析噪声
分析图像传感器中的噪声是一个具有挑战性且活跃的研究领域，其历史可以追溯到 50 多年前。供应商的一般建议是直接与他们交流，以确定他们的仪器是否符合项目的特定需求。
Synopsys 的模拟/射频仿真产品经理 Samad Parekh 说道：“噪声是客户非常关心的问题，处理这些问题有很多不同的方法，其中一些很容易理解。你可以用封闭的表达式来表示噪声，能够非常准确地预测噪声曲线。而其他机制则没有那么容易理解，也不是线性的。因为这些机制更加随机，所以需要付出更多的努力来表征噪声，或者在设计时就要考虑到这种限制因素。”
最佳实践
Keysight 的 Jolly 为减少和管理图像传感器项目中的噪声提供了日常建议：
- 明确定义传感器的目标作为整个系统的一部分。例如，缓慢、低分辨率的热成像仪或矢量网络分析仪可以揭示有关皮下或硬膜下疾病或损伤的信息，而这些信息对于高分辨率、高速可见光传感器来说是不可见的。请与组件和模块供应商合作，了解他们已经完成了哪些噪声分析和去噪，你将学到很多东西，并能够利用许多已经完成的出色工作。此外，在整个产品生命周期中都要考虑图像噪声问题，并在设计阶段尽早使用仿真工具，以最大限度地减少因信号完整性或电源完整性不够理想而造成的问题。
- 从最终用户的角度分析问题。他们的目标是什么？他们关心什么？他们具备哪些技能？他们能否做出适当的干预和修改？他们的预算是多少？例如，对某些应用来说，具有较高噪声的全自动系统可能比可噪声较低的复杂系统更合适。
- 熟悉现有的相机、光学和成像标准，例如 ISO 9358、12232、12233、14524 和 15739，以及欧洲机器视觉协会 (EMVA) 1288。
- 研究高等数学、统计学和人工智能在去噪中的最新研究。其中一些技术包括期望最大化估计、贝叶斯估计、线性最小均方误差估计、高阶偏微分方程和卷积神经网络。
未来的方法
虽然当前的 ADAS 系统或许比其他成像形式能容忍更多的噪声，但未来的情况可能并非如此。更多种类的使用案例将推动图像传感器向更高的分辨率发展，这反过来又需要更多的局部处理和降噪。
Katz表示：“过去的许多图像处理都是 VGA标准，但像舱内监控这样的应用程序，例如对驾驶员和乘客进行眼球跟踪以识别机舱内发生的情况，包括监控驾驶员的警觉性或是否有人被落在后座上——将开始推动我们采用更高分辨率的图像。反过来，这将开始要求我们提高降噪水平，处理图像障碍以，并能在本地处理更多数据。当分辨率从 VGA 变为 720、1020 乃至 4k 时，需要处理的像素数量翻倍，每一个像素都需要越来越多的局部化处理，这就是我们的最终目标。”
原文链接：https://semiengineering.com/dealing-with-noise-in-image-sensors/