彩色描述子SIFT的研究的新突破

 

　　随着互联网的发展，信息交换也从初的以文字开始逐渐发展到了文字、图像、声音、视频的多媒体信息交换。可以毫不夸张地说，图像在整个信息交换中的重要性，仅次于文字。由于以往图像的体积很大，加之网络带宽的限制，使得图像的传输技术的发展速度很快。SIFT算法提取图像局部特征，成功应用于物体识别、图像检索等领域。该算法由DAVID G.L.于1999年提出[1],并于2004年进行了发展和完善[2],MIKOLAJCZYK[3]对多种描述子进行实验分析，结果证实了SIFT描述子具有强的鲁棒性。然而这些描述子仅利用图像的灰度信息，忽略了图像的彩色信息。为了提高光照不变性，获得更高的识别率，研究者提出了基于颜色不变特性的SIFT彩色描述子。目前彩色描述子主要分为基于颜色直方图、基于颜色矩、基于SIFT三类。本文对彩色SIFT描述子进行了深入的研究，阐述了彩色SIFT描述子，给出了每种彩色描述子的性能评价。

　　1 SIFT算法分析

　　SIFT是一种基于特征的配准方法。SIFT特征匹配算法是 DAVIdG.Lowe在2004年总结了现有的基于不变量技术的特征检测方法的基础上，提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法。该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。Mikolajczyk和Schmid针对不同的场景，对光照变化、图像几何变形、分辨率差异、旋转、模糊和图像压缩等6种情况，就多种代表性的描述子（如SIFT,矩不变量，互相关等10种描述子）进行了实验和性能比较，结果表明，在以上各种情况下，SIFT描述子的性能。

　　SIFT描述子对图像的局部特征进行描述，当图像进行旋转、平移、尺度缩放、仿射变换等，SIFT特征具有很好的稳定性。SIFT算法主要分为四个步骤：检测尺度空间极值点、定位极值点、为每个关键点指定方向参数、关键点描述子的生成。

　　SIFT算法的特点：

　　1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；2. 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；3. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；4. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；5. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

　　1.1 检测尺度空间极值点

　　计算SIFT描述子的步是搜索所有尺度和图像位置，它通过使用高斯差函数识别对尺度和方向不变的潜在兴趣点来实现。关键点就是多尺度高斯差的极大值/极小值。

　　对输入的图像进行尺度变换，利用高斯核与二维图像做卷积运算：

    高斯核定义如下：

　　实际计算中，是在特征点的领域内采样，创建梯度方向直方图。直方图每10度分为一柱，共36个柱。然后将领域内的每个采样点按梯度方向Φ归入适当的柱，以梯度模m作为权重。选择直方图的主峰值作为梯度的主方向，能量值达到主峰值80%以上的局部峰值作为辅助方向。

　　1.4 关键点描述子的生成

　　以特征点为中心取8×8的采样窗口，在4×4的小块区域上计算其梯度方向直方图。绘制好每个方向梯度累加值，形成了一个种子点。每个特征点由4个种子点构成。在实际计算过程中，通常使用4×4共16个种子点来描述特征点。这样总共产生了4×4×8共128维的特征描述子向量。

　　2 基于彩色的SIFT研究进展

　　SIFT描述子对图像的高斯梯度进行编码，该描述子在空间模式下描述了灰度图像16个种子点及每个种子点8个梯度方向。由于SIFT算法只是利用图像的灰度信息，不能很好地区分形状相似但颜色不同的物体。光照的变化很大程度上影响着彩色物体识别的效果。在物体描述与匹配中，颜色可以提供更加有用的信息，物体的颜色信息被忽略，致使一些物体会被错误地分类。在图像处理中彩色图像能够表达更多的信息，彩色信息可以获得更高的辨别率。针对这一问题，研究人员对基于彩色的SIFT特征点提取算法进行了深入的研究。

　　2.1 SIFT彩色描述子

　　彩色描述子主要分为基于直方图、基于颜色矩和基于SIFT三类。这三类描述子的选取依据其具体的环境。彩色直方图描述子丢失了颜色的空间分布，彩色矩包含了图像局部的光度信息与颜色空间信息分布。SIFT描述子包含了颜色局部空间信息分布。为了提高光照不变性，获得更高的识别率，基于SIFT的彩色描述子得到发展，例如： HSV-SIFT、HueSIFT、opponent SIFT、WSIFT、rgSIFT和transformed Color SIFT.

　　彩色SIFT描述子基于颜色不变特性。在尺度空间中，对彩色图像特征点进行检测，确定特征点的位置，在颜色空间模型下计算特征点相关种子点的颜色梯度，对每个特征点用128×3维的特征描述子进行描述。该描述子融合了特征点的颜色信息与几何信息。

　　HSV-SIFT HSV颜色空间中，H表示颜色的色调，S表示颜色的纯度，即表示一种颜色中加入了多少白光，V表示颜色值的大小。该颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集。BOSCH[5]计算HSV颜色空间三个通道为每个特征点生成彩色描述子。每个通道经过计算生成128维向量，这样总共生成128×3维的向量。

　　HueSIFT在HSV颜色空间中，色调捕捉了颜色的主要波长，描述了图像的彩色信息。VAN de Weijer[4]采用级联色调直方图的方法应用于SIFT描述子，计算三个通道为每一关键点生成128×3维HueSIFT描述子向量。

　　OpponentSIFT对立色理论认为人类视网膜上存在三种光化学物质-视素，每种视素都能发生同化和异化两种变化，在同化过程中，视素产生合成，异化过程产生分解。同化异化的发生完全是由于不同光谱组成的色光刺激的结果。而同化异化的结果使人产生相应的对立颜色感觉。即红-绿、黄-蓝、黑-白等六种不同色觉。基于对立色理论，对立色空间模型如下：

      

               
　　该彩色模型具有O1、O2、O3三个通道分量。O3通道包含了大部分强度信息，O1与O2通道包含了彩色信息。生成特征点描述子时，对模型中每一分量计算SIFT特征描述子，这样生成了128×3维的描述子向量，该描述子称为OpponentSIFT.W-SIFT在对立色空间模型中O1与O2通道分量仍然会包含一些强度信息，为使强度的变化不影响SIFT特征，GEUSEBROKE[6]提出了用于消除强度信息的方法。消除强度信息直观表示为在对立色空间模型中定义与，对O1、O2分量做除法，这样去除了强度信息变化的干扰，然后对每一分量计算生成特征描述子，该描述子称为W-SIFT。
rgSIFT rgb空间模型是一种归一化的RGB模型，定义如下：

　　r与g分量描述了图像的颜色信息。由于归一化的r与g分量具有尺度不变特征，因此不受其光照强度的变化、阴影与底纹的影响。计算rgSIFT特征描述子时结合了归一化RGB彩色模型中r分量与g分量。

　　Transformed color SIFT在RGB空间模型中，光照的变化对RGB直方图稳定性产生影响。光强度的变化引起颜色不规则分布，致使直方图产生偏移。为了消除偏移，在RGB模型中对于每个通道颜色的分布减掉其颜色分布的均值μ，除以该通道下分布的标准差δ。定义后的空间模型如下：

     

　　在该模型下计算每个通道分量的SIFT描述子，对特征点进行描述，该描述子称为Transformed color SIFT.

　　2.2 彩色SIFT描述子的性能评价

　　BURGHOUTS G J[7]在试验中对比彩色SIFT描述子与灰度SIFT描述子，当光照颜色变化与光散射时彩色SIFT描述子具有更好的性能。然而彩色空间的选择与光照的变化对彩色SIFT描述子的性能还是有一定的影响。为了得到各种彩色描述子的性能，Koea[8]在光强度变化、光强度偏移、光强度的变化与偏移、光色的变化、光色的变化与偏移等多种光照变化情况下对描述子进行实验与分析，可以得到每种彩色描述子的性能如表1所示。

 

　　SIFT算法是多尺度空间理论提出后产生的，对图像的局部特征进行提取，SIFT描述子对于旋转、尺度缩放、仿射变换、视角的变换具有很好的稳定性。对大多数图像尺度变换、旋转、仿射变换等具有很强的不变性。基于颜色不变特性的彩色描述子不仅保留了SIFT原有特性，可以获得更高的辨别率，而且对于光照的变化也保持了很好的不变性。

　　为了提高SIFT的一些能力和加快匹配速度，对标准的SIFT描述子改进的技能是：（1）在标准的SIFT上利用不同的直方图、不同区域的形状、HSV组件、使用 RGB 直方图等等； （2）利用降维方法（如主成分分析（PCA）），以减少SIFT的特征维数。