在更快的连接速度、更高的自动化程度和更智能系统的推动下，工业4.0加快了视觉技术在制造业中的应用，并将智能化引入到以往简单的数据采集系统中。上一代视觉系统负责捕捉图像，对其进行封装以供传输，并为后续的FPGA、ASIC或昂贵的SoC等器件提供图像数据进行处理。如今，工业5.0更进一步，通过在整个数据通路中融入人工智能（AI）与机器学习（ML），实现大规模定制化。摄像头变得智能化，具备在应用层面处理的图像数据，仅输出用于决策的元数据。
这两代之间的关键发展是关注边缘端发生的变化。我们世界本质上以模拟为主，许多帮助我们日常生活的电子与机电（EEM）系统都是由各类感知输入驱动的。视觉（光）、温度（热）、音频（声）、距离与位置、压力（触觉）等系统边缘端的电子传感器采集这些物理输入，并将其转化为处理后的数据，以实现智能化并方便决策制定。
工业4.0提出了对这类传感器智能和高效的需求。如今，非工业及商业应用领域的众多传感器不断发展，从基础类型发展到符合工业自动化流程和标准的增强版本。
在大规模采用传感器的同时，人们也在推动更低功耗的电池驱动智能设备广泛应用。功耗给视觉系统带来了不同的挑战，而图像传感器如何以创新的方法解决这些挑战，同时提供卓越的性能，将成为视觉系统的差异化因素。
图像传感器--视觉感知的输入机制
视觉感知已成为在边缘端采集数据的重要方式之一，收集到的图像数据能够被快速且高效地用于决策制定。例如，若无视觉传感器，场景中的物体需要无数个特定的传感器来传达场景的构成。这会产生大量数据并需要庞大的处理工作，或许还得靠好运气，才能得到场景的真实呈现。另外，在高效的系统中，一张图像就可以在一帧数据中传达场景中的所有信息。
这种简便的数据表现形式使图像传感器得以加速发展，为智能手机等消费类移动产品提供支持，其分辨率超过一亿像素，在硬件和软件的支持下，为静态图像和视频流提供卓越的细节特征。由于移动产品主要服务于娱乐和个人应用，因此其制定决策的目标略有不同。然而，面向汽车、工业和商业应用的视觉系统服务于高度以目标为导向的需求，其中许多系统使用（传感器）输出进行基于机器的决策，并要求在分辨率、帧率和功耗之间达到精细平衡。
随着边缘智能的重要性日益增强，这些应用必须适应不同用例需求。现在，许多应用都需要更高的分辨率和更出色的整体性能，以辅助计算机视觉、机器视觉和自动化决的策系统。
很多情况下，人们非常渴望获得更丰富的细节，因为这些细节有助于减少错误决策。随着分辨率的提高，图像传感器中的像素数量也会增加，相应地，传感器向图像信号处理器（ISP）或系统芯片（SoC）提供的图像数据量也会增加。传感器产生的大量图像数据以及ISP/SoC对这些数据的处理会导致高功耗，从而给视觉系统设计带来巨大负担。
图1 图像传感器产生的数据随分辨率和帧速率成指数增长
现在，设计人员需要应对高功率电子元件带来的高功率传输、功耗和系统物料清单（BOM）成本等问题。虽然降低功耗是大势所趋，但热管理也是一个挑战，因为大多数视觉系统都依赖对流气流来散发系统中产生的热量。图像传感器对热量高度敏感，如果不能选择适当的设计并有效管理上述因素，就会产生不可靠的视觉系统。
一切始于量子效率
图像传感器的量子效率（QE）是指光电二极管最大限度地将入射光子转换成电子的能力。众所周知，QE越高，图像亮度越好。更高的QE值在弱光条件下非常重要，这通常通过使用更大的像素尺寸或在场景中添加可见光或不可见光来实现。无论哪种方法，都会增加视觉系统必须支持的成本、功耗和空间，并可能会根据图像传感器的性能和场景条件呈指数级增长。
图2 不同波长下可比较像素尺寸的归一化量子效率曲线
这在通常使用红外发光二极管（IR LED）的不可见照明情况下尤其严重，其产生的光波长为850nm和940nm。这些波长能被图像传感器探测到，但人眼无法察觉。在行业中，这通常被称为"主动照明"。红外发光二极管需要供电并产生功耗，占用大量空间，并显著增加系统BOM成本。在近红外光谱中具有高量子效率的图像传感器能够在不牺牲图像质量的前提下，减少其使用数量、降低光照强度以及总体BOM成本。
图像质量更高，总体拥有成本更低
重要的是要确保图像传感器像素提供的高QE不会受到数据通路其他部分噪声的影响，从而影响整体图像质量。例如，如果像素结构没有足够的像素间隔，像素间串扰就会降低调制传递函数（MTF）和对图像的对比度/清晰度，最终影响图像质量。另一个可能造成损害的因素是读出电路性能不佳导致的高读取噪声。
图像质量不佳会给ISP/SoC带来不必要的负担，使其需要处理更多的数据，从而降低视觉系统的整体帧率，或者以更高的时钟频率运行来维持相同的端到端时序。在前一种情况下，视觉系统的效率会大大降低，而无论哪种情况，系统最终都会产生更多的功耗。为了应对处理负担，可能需要配备更先进资源的ISP/SoC，这将进一步增加总体BOM成本。而优秀的图像输出质量能够缓解上述种种不足，降低视觉系统的总体拥有成本。
子采样模式
安森美公司的图像传感器（例如HyperluxTM LP产品系列）已经意识到这些操作需求，并集成了多种子采样模式。这些模式，如合并（Binning）、裁剪（Cropping）和跳采（Skipping），能够大大减少生成和传输所需的带宽。
这些功能使视觉系统变得非常智能，能够根据用例需求选择最优的功耗/性能配置。例如，在生物识别扫描仪中，现在可以利用配备500万像素传感器阵列的单个系统，以逐渐增强的扫描方式，完成子采样模式下的单个指纹扫描到全分辨率面部扫描。最重要的是，ISP/SoC接收到的数据量减少，从而降低了其自身及整个视觉系统的功耗。
缩减数据规模
高分辨率图像传感器会占用大量带宽来输出数据。例如，以60帧/秒速度工作的2000万像素传感器将传输12 Gbps图像数据，这些数据不仅需要在传感器内部的高速接口中妥善处理，还需要由接收这些数据的ISP/SoC进行处理。处理如此庞大的数据需要在这些处理引擎中投入昂贵且专用的资源和电力，并可能导致大量的功耗/热管理问题。此外，接口速度的限制也增加了这一挑战。
在大多数应用中，可能只有小部分时间需要在全分辨率下全速运行，其余时间则仅需较低分辨率。虽然子采样模式可以降低带宽并有其自身优势，但在分辨率选择或场景完整性方面会受到一定的限制。
传感器内的缩放器有助于克服这些限制，有效满足低分辨率操作的需求。它们能够在源头控制带宽，而不是由ISP/SoC 管理。它们能够在最大程度上提供精细的粒度控制，同时保持完整的视场角（FOV）。
安森美AR2020 图像传感器（Hyperlux LP 产品系列的2000万像素成员）的图像缩放算法非常复杂，即使在分辨率大幅缩放的情况下，也能提供出色的图像质量。举例来说，虽然获取远距离物体的细节确实需要2000万像素，但可能只需要图像的某个特定区域，而不是整个图像。通过对这一动态定义的区域进行裁剪或缩放，就可以获得2000万像素传感器的优势，而无需持续处理相当于2000万像素的数据。
图4 scaling比binning产生的伪影更少，从而提高图像输出效果
尽可能休眠，按需唤醒
传感器可以处于极低的工作状态，在大多数工作时间内以低分辨率、最低帧速率运行。当检测到运动时，它会切换到预定的配置--运动唤醒（WOM）模式。图像传感器有能力处理这些变化，并让ISP/SoC将其切换到所需的模式/配置。它还能进一步屏蔽与应用无关的运动区域，从而使传感器和视觉系统更加精准、高效。以前，这一功能是在处理器中完成的，但在传感器上实现这一功能可减少系统资源和功耗。
图5 运动唤醒等功能使视觉系统具有高度的目标驱动性
我们可以看到这些功能在电池供电的应用、智能门禁系统、零售扫描仪、医疗监测系统等类似应用中产生的深远影响。电池供电的应用从这些传感器中获得了最大的好处，因为它们可以最大限度地降低系统功耗。
在4K视频门铃应用中，像安森美AR0830这样的800万像素图像传感器在满负荷状态下会传输6G数据，但现在它可以在WOM模式下运行超过98%的工作时间。在预检测阶段，它产生/传输的数据量极低，整个视觉系统的运行功耗仅为全工作模式下的一小部分。
迄今为止，图像传感器作为数据捕捉和数据传输器件一直表现出色。正如安森美Hyperlux LP产品系列中所展现的那样，上述趋势和进步使这些传感器成为内置智能应用的强大边缘器件。通过集成更好的像素技术、可配置的智能关注区域、运动检测等功能，现在可以被设计用来满足特定的用例需求，从而打造出性能卓越且功耗极低的差异化高效视觉系统。
