精美影像背后的技术玄机

精美影像背后的技术玄机

安捷伦科技公司传感器解决方案战略营销经理 Feisal Mosleh

影像是如何生成的？

在使用普通的传统相机时，光学系统把捕捉到的光打在胶卷上，随后人们就可以通过一个化学过程对其进行曝光和冲洗。而在使用数码相机或摄影手机时，光仍然要通过由多个单元镜头和一个镜桶组成的光学系统，不同的是，现在光是打在由行和列组成的数字传感器阵列上，这一阵列由几百万个微小像素组成。例如，1280 1024像素的传感器为1.3 Mp（百万像素） 传感器。图1为带有三个单元镜头的定焦摄像手机示例。

当光打在像素阵列上之前，它要通过彩色滤光片，确保只有红、绿或蓝色光到达每个像素上。光打在每个像素上，首先生成一个模拟信号，该模拟信号再通过模数转换器（ADC）转变为数字信号。这一数字信号然后被发送到称之为成像管道（Image Pipe 或I-Pipe）的地方。成像管道由一系列过滤处理器组成，经过过滤处理器处理后会使影像信号看起来更加逼真。

成像管道可调节白平衡和颜色，并用“捕获方式”改变图片所带的某些异常情况，例如：镜头阴影、影像几何变形、偏离镜头中心时图片清晰度下降以及数字传感器噪声。处理器或成像管道也可以压缩影像，使用JPEG格式生成可以快速写入存储介质的影像，这一压缩影像文件较小，但很。临时存储区也称为缓冲区，图片在被压缩以实现终存储之前保存在缓冲区里。摄像手机中使用的基本功能模块有镜头、图像传感器、Post processing、存储器等。

光线预处理

红外线滤镜的作用是挡住超过780nm的红外线并使光谱的可见光部分通过，从而确保传感器仅聚焦于肉眼所看到的事物，并优化色彩整合。这就好像在音响设备中，对大于22 kHz的声音不做处理一样，因为人们根本听不到这些声音，所以音响组件根本不需要对这些会降低效率或使可听到的声音失真的超量信息进行处理。如果不以这种方式将红外线挡住，这些红外线会使影像变得模糊不清，并会降低镜头所形成影像的清晰度。红外滤镜分为吸收型和反射型两种。

在这个过程中，还使用了显微透镜对昏暗的光线进行预处理，使光线以尽可能垂直的方向准确折射成像。显微透镜可以增强像素的光学灵敏度，通常位于色彩滤镜阵列（CFA）之上。

色彩滤镜阵列——Bayer滤镜

光电二极管只能感应光线亮度，不能感应色彩信息。因此，必须使用某种机制以人工的方式增强它对不同色彩的灵敏度，从而向人眼呈现不同的颜色。色彩滤镜阵列的作用是确保每个传感器像素只会收到一种颜色的光：通常是红、绿、蓝三种颜色。色彩滤镜阵列可以使用不同的模式。由于人眼感应色彩的方式和人眼对绿色的灵敏度是其对红色和蓝色灵敏度的两倍这一事实，要模仿人眼的感应方式，相机需要使用更多的绿色像素来表现会被人们认为是正确颜色的影像。

Bayer 模式交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素之和。用Bayer滤镜制作的原始输出是红、蓝、绿三种颜色像素的相互镶嵌，但各种颜色像素的强度不同，这主要取决于光线照在某一特定像素上的角度。图2所示为数码相机中显微透镜和滤镜结构与传感器阵列结合使用的方式。

Demosaicing算法

在用色彩滤镜阵列生成影像时，有四种不同的像素决定着每个像素的颜色。这就形成了一个不同色彩的组合，但看起来还不像一个真正的影像。为此，使用了一种算法。这种算法使用距离目标像素近的像素的平均色彩值来尽可能完美地模拟目标像素的真正颜色。这种插入缺失值的方法称为demosaicing。有多种demosaicing算法，例如双线性内插法。图3所示为使用Bayer色彩滤镜阵列模式对影像进行马赛克化的方式。图4所示为通过demosaicing算法将同一个影像表现为真正影像的方式。

白平衡

在用胶卷摄影时，可根据拍摄光线的类型调整白平衡设置，例如：室内日光灯、钠灯、卤钨灯、室外晴天和室外阴天。如果不进行校正的话，例如，在日光灯下拍摄的图片会偏绿，而在室外晴天的情况下拍摄的图片可能又有点偏黄。自动白平衡校正可以确保影像中的白色与观察者看到的真正的白色一样。图5中左侧的影像是在2856K卤钨灯照明的条件下拍摄的，但是对它进行了标准的自动白平衡处理。一个的自动白平衡（AWB）系统，可根据影像拍摄的照明条件，使影像几乎呈现为真正的白色。图5中右侧的影像为经过改进的自动白平衡处理后的影像。

影像还原：消除不必要的人为因素

在胶卷世界中，可以与噪声划等号的是胶卷的颗粒度。因此，ASA400胶卷要比ASA 100胶卷的颗粒大。在CMOS或CCD传感器中，有好几种不符合要求的噪声源。必须消除这些噪声源或减轻它们的影响。

（1）固定模式噪声（FPN）：这种噪声会在每张拍摄的照片中产生同样的噪声模式。减轻这种噪声的具体方法为：在“黑暗”中读取照片（在无光的情况下曝光），然后用标准读数（正常曝光的情况下）减去这个结果。黑暗级的输出电流是指在没有照明的条件下所产生的平均输出级别。因此，它包含光电二极管的泄漏电流。人们常常用视觉黑像素作为参考像素，来查找黑暗电流并对它进行相应的校正。视觉黑像素是指不参与感光的像素。 （2）随机噪声。随机噪声是指周围环境产生的噪声。温度越高，离开轨道的电子就越多，同时还会在传感器中产生随机噪声信号。传感器电路散热或者环境温度升高都会加剧这种噪声。在夏季，用放在车内的摄像手机所拍摄的照片比将它放在凉爽的大楼中拍摄的照片要差很多。
在某些用于天文观测的复杂数码SLR和相机中，为了将热噪声降低到程度，甚至会将传感器封装在迷你冰箱中。一些高端天文照相机使用液氮来降低传感器的温度。在开氏零度或摄氏 273度，从理论上讲，电子中不存在动能，因此，也就没有噪声。在光线较弱的情况下，信噪比较低，影像中的噪声较多。 （3）像素干扰（pixel cross talk）。像素干扰是指通过一个像素的光线交叉进入邻近的像素所产生的一种混乱状态。例如，一个红色的像素让“红色的”光进入邻近的蓝色像素，引起蓝色像素中信号增加而红色信息中影像信息丢失。

在比较高端的传感器中，可通过使用另外一个显微透镜通过再次曲光来进一步降低像素，这样就可以将光线交叉进入邻近像素引起像素交叉干扰的机会降到的程度，见图6。

有时，用分辨率较高的传感器拍出的影像比用较低分辨率的传感器拍出的影像的质量还要差。这是因为像素数量只是进行信息采集的一个方式。像素大小还决定着信噪比的大小。总的来说，较大的像素尺寸要比较小的好，这是因为像素尺寸较大，收集光线的面积较大，因此，可以捕获更多光子，与存在的所有噪声相比，这会产生较大信号。这也就是有些5 Mp 数码相机所生成的图片不如3Mp相机质量好的原因。

相对于一个特定的半导体生产工艺而言，不论像素有多大，所产生的噪声几乎是相同的，而且信号随着像素尺寸的增大而增强，所以，对一个类似的过程来说，像素越大，影像越好、越清晰。

实时缺陷校正

在传感器上总是有一些不尽人意的有缺陷的像素和区域。在生产过程中，传感器中可能会带入了一些光学污点或电路故障。这可能会产生非常不理想的视觉效果，导致与入射光不一致或非线性反应的产生。有时，像素还可能出现一些电子异常，如某些像素输出较高，而其他像素则输出较低，从而产生比可以接收的平均水平要低的输出。

I-Pipe可以通过测量像素的输出并将其与邻近像素的平均值进行对比来确定是否某个像素存在缺陷。如果该像素输出与邻近像素输出的平均值之差大于某个容许极限值，该像素将被标记为坏像素，它的输出不再有效。可以用内差值法替换那个目标像素所在位置的输出值，具体方法如下：获得邻近像素的输出值，并求出它们的平均值，这样就可以得出坏像素的“模拟”输出。这种缺陷校正存在的问题是：有时它会降低整行的线分辨率，除非以保守的方式使用。此外，还可以使用其他专用方法和算法来减轻这种缺陷。

增强降质影像的分辨率或清晰度

现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何使用demosaicing、插值（interpolation）、消除黑角、缺陷校正等方法重现影像。进行这么多人为的电子处理会使的影像比它原本的颜色要暗。这就要求使用另一种过滤处理器，比较有代表性的是一种可以恢复影像表面清晰度的平滑影像边缘技术。通过向经过校正的影像添加部分高通（high-pass）信号（仅是高频信号）就可以获得所需的清晰度。噪音锐化的程度取决于所添加高通信号的多少。

消除黑角

黑角是指由于镜头和镜桶的原因在图片边缘生成的阴影或黑影。消除黑角技术可以校正这种异常，通过将黑角的照明比校正为影像中心的照明比，影像看起来就好像没有不正常的阴影了。

后期处理增强效果

图7所示为改进的demosaicing技术如何提高影像质量的方式。左侧的影像使用了典型demosaicing算法进行了处理。在这张影像中有一种称为圣诞树灯光效果（Christmas tree lights effect）的影像缺陷，带有彩光。改进的demosaicing算法可以大大降低甚至消除这种效果，如右图所示。

图8所示为通过增强明暗区域对比来增强影像效果的示例，通过提高明暗对比度，可以提高影像的丰满度和色彩质量。在CMOS影像传感器内使用自适应色调调整（adaptive tone mapping）技术，通过扩展动态范围来产生更真实、更丰富的色彩。图8中下面的影像使用了自适应色调调整技术，并通过自动调节色调分布图提高了影像的亮度和对比度。这样就提高了明暗区域的对比度，改变了曝光不足或曝光过强的影像，并且，产生了更明亮、更生动的色彩再现效果。

图9为安捷伦公司提供的整个成像系统结构图。从这张图可以看出，I-Pipe影像处理阶段是在将信号净化、锐化并增强后，但还没有输出为显示或存储在内存中之前进行的。

总结

现在，我们已经了解了光线通过光学镜头、Bayer矩阵以及一个或多个显微透镜的方式以及如何通过定型以及调整重现精美影像的过程。随着摄像手机从低端产品发展为带有较好分辨率和影像质量的中端数码相机，不但需要极好的影像后期处理技术，而且还需要今天数码相机中已经采用的基本功能。

光学变焦、自动对焦和photo strength 闪光等功能需要进行内部影像处理以及I-Pipe早期阶段不需要的支持功能。I-Pipe的神奇之处在于可支持类似于数码相机的功能，但是这又带来了另一层复杂性。它面临着双重挑战，一方面要确保自己强大的功能，另一方面是以如今价格高度敏感的摄像手机市场中令人心动的价格始终如一地提供一流的影像质量。