全局运动补偿在多运动目标检测方法中的实现

 

　　目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。

　　本文主要针对复杂动态广场背景下单摄像机对多个运动目标进行检测的情况，在传统方法的基础上，提出了一套更完善、实时性和鲁棒性更优的基于全局运动补偿的解决方案。该方法建立了摄像机全局运动参数模型，通过背景补偿将动态背景下的检测问题转化为在静态背景下的检测问题。

　　1 动态背景下的多目标检测

　　目前在动态背景下解决目标检测的问题主要有两大思路：（1）根据基于目标模板特征的方法。这种方法背景是否运动对其影响不是很大，但是在目标特征不明显的情况下难以做到准确地提取目标；（2）基于背景补偿的方法。通过全局运动估计得到的全局运动参数估算摄像机运动模型，在进行差分图像提取目标前进行背景补偿，消除全局运动带来的影响[3].本文采用基于全局运动补偿的方法实现目标检测。

　　1.1 全局运动估计

　　全局运动估计是计算机视觉、视频处理等领域广泛采用的手段之一。该文提出一种直接利用压缩视频码流进行全局运动估计的新算法。就运动模型而言，采用了复杂性与准确性较好均衡的六参数仿射模型。为了提高估计和计算效率。

　　图1为本文动态背景下基于全局运动补偿的运动目标检测的流程图。

　　首先通过全局运动估计和补偿将相邻帧间背景对准，再通过帧间差分消除动态背景，对差分图像进行二值化以及一系列后处理从而获取前景运动目标。

　　1.1.1 常用的摄像机运动模型

　　如图2所示，摄像机把三维空间点（X,Y,Z）映射到二维空间平面点（x,y）上。图像平面与Z轴垂直，中心坐标为（0,0,f）（f表示摄像机的焦距）。

    在笛卡尔坐标系里，如果三维场景中的物体的运动为

　　1.1.3 递归二乘法计算全局运动参数

　　二乘法（又称平方法）是一种数学优化技术。它通过化误差的平方和寻找数据的函数匹配。利用二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为。二乘法还可用于曲线拟合。其他一些优化问题也可通过化能量或化熵用二乘法来表达。对给定数据点{（Xi,Yi）}（i=0,1,…，m），在取定的函数类Φ 中，求p（x）∈Φ ,使误差的平方和E^2，E^2=∑[p（Xi）-Yi]^2.从几何意义上讲，就是寻求与给定点 {（Xi,Yi）}（i=0,1,…，m）的距离平方和为的曲线y=p（x）。函数p（x）称为拟合函数或二乘解，求拟合函数p（x）的方法称为曲线拟合的二乘法。

　　为了消除匹配不的宏块所得到的光流场的影响，需要对参数估计进行递归计算，将得到的六个参数重新计算各个宏块的光流场，并与宏块匹配算法得到的光流场进行比较，将光流计算误差较大的宏块进行剔除[6].利用剩余的宏块重新估计全局运动参数，如果递归反复，则直到（a1,a2,a3,a4,a5,a6）收敛至一个稳定的结果。

　　1.2 图像剪裁、纹理提取与宏块预判

　　为了提高运动估计的鲁棒性，本文采用了基于宏块匹配的方法计算参数。把分辨率为320×240的K+1帧图像分为20×15个宏块，对第K帧进行匹配。分割宏块后的图像如图3所示。

　　为了提高运动估计的实时性，本文从以下几个方面进行了优化。

　　1.2.1 图像剪裁

　　当摄像机运动时，相邻帧的背景不重合，由图4所示第K+1帧和第K帧图像的位置关系，第K帧中的S1区域背景在第K+1帧中消失，而第K+1帧中出现新背景S2,由于背景运动在各个方向上都有可能发生，假设相邻帧的运动范围不超过L1（>L2），以图4中所示，样本宏块只需在S3区域中选取，而不必全屏宏块匹配，以缩小计算量。

　　1.2.2 纹理提取与宏块预判

　　运用递归二乘法估计全局运动时，光流计算不准确的宏块不参与终的参数估计，但在计算光流场时，却花费了相当一部分的时间来匹配计算光流。而本文在计算光流场之前已提前剔除可能导致不准确光流估计的宏块，因此，很大程度上降低了计算量，增加了全局运动估计的实时性。

　　图5是原图像和canny算子纹理提取后结果。图像纹理提取后，对每个宏块进行预分析，通过设定阈值，剔除可能导致不准确光流估计的宏块，只留下纹理信息量较多的宏块参与光流估计。

　　图6为宏块预判后的实验结果，归一化后阈值T取值为0.2,其分辨率为320×240,4个边缘各去除掉10个像素后，将图像分为20×15个宏块，每个宏块尺寸为15×15.

　　宏块预判后，宏块数量得到减少，由原来的300个宏块减少为105个，约占原来总宏块数的35%.

　　1.3 宏块匹配与九点十字搜索法

　　1.3.1 宏块匹配

　　宏块模板匹配法原理图如图7所示。宏块模板匹配法以一个目标图像为模板，用目标模板与待匹配图像的各个子区域图像进行一定的匹配准则计算，找到和目标模板相似的子图像位置[7].本文即从图4的S3区域里找出宏块预判后保留的宏块与其匹配块之间的相对位移，即为该宏块的运动向量，参与后续的全局运动估计的计算，S3即为匹配相关区域。

   衡量两图像块间相似性的准则称为匹配准则。匹配准则的好坏直接影响到搜索过程的复杂性以及运动向量估计的性。其中均方误差定义准则为：

 

　　MSE利用差值的平方，可以放大微小差别，本文采用的就是MSE匹配准则。

　　1.3.2九点十字搜索法

　　在进行宏块匹配时，利用宏块在待匹配图像上的搜索区域内滑动，每滑动就进行匹配计算，以找到匹配。这种方法被称为全搜索法，度高，但计算量大，是一个相当耗时的过程。

　　近年来，出现了很多种快速的搜索算法代替全搜索法，比较常用的有：三步搜索法、对数搜索法、钻石搜索法和一些相应的改进算法。这些快速搜索法在候选的运动矢量位置的预定子集上评测准则函数，检测点数目会大大少于全搜索法[8].

　　本文结合三步搜索法和钻石搜索法各自的优点提出了一种九点十字搜索法（E3SS），如图8所示。搜索窗宽度为5,即搜索范围是（i±5,j±5）。

　　（1）搜索模板上的9个检测点，如果块误差MBD

　　（Minimum Block Distortion）点（MSE值的点），在搜索窗口的中心则算法结束。

　　（2）如果MBD点位于中心点的4个相邻点中，移动十字小模板到上一步的MBD点，继续搜索十字小模板中其他点，直到MBD点是十字中心的点或者十字小模板到达搜索窗口边缘为止。如图9（a）所示，点（0,-1）是步的MBD点，也是第二阶段的MBD点，且位于搜索窗中心，故终运动矢量就是（0,-1）。图9中每个点上的数字表示不同阶段搜索时的检测点。

　　（3）如果MBD点是大十字中的4点之一，搜索方法同三步搜索法类似，即将步长减半，中心点移到上一步的MBD点，重新在周围距离步长的4个点处进行块匹配计算并比较。重复此步骤，直到步长为1,该点所在位置即对应运动矢量。如图9（b）所示，（0,4）是步的MBD点，然后以（0,4）为中心点进行第二步搜索，此时搜索半径已经缩减为2像素，以当前MBD点（-2,4）完成第三步搜索，找到匹配点。

　　利用预测帧的峰值信噪比PSNR来度量搜索的准确性，同时选取多个不同性质的序列图像来检测算法的稳定性，选取全搜索算法FS、菱形搜索算法DS,以对比九点十字算法的各项性能，其结果如表1所示。

    从表1可以看出，相对FS和DS算法，九点十字算法(E3SS)在时间上的优势非常大,在提高了搜索速度的同时也保证了搜索，其除了比FS算法略低外，比目前流行的DS算法都有细微程度的提高。

 

　　双线性内插值法计算量大，但缩放后图像质量高，不会出现像素值不连续的情况。

　　1.5 运动目标区域提取

　　此时得到的K的补偿帧Kcomp与帧K+1的背景基本对准，对所得图像进行非线性平滑滤波消除噪声，然后通过进行帧间差分即可消除背景获得前景运动区域。但图中除了运动目标之后，还存在一些小面积的干扰区域以及一些小面积的空洞。本文先对二值化后的图像进行区域标记，对二值图像的每个不同的连通域进行不同的编号，通过对各个区域中像素个数的计算获得各个区域的面积。将面积小于设定阈值的区域剔除。对得到的二值图像先进行膨胀运算再进行腐蚀运算，从而获得运动目标的完整轮廓和区域，终检测出目标。

　　2 实验结果

　　图10为在原图像上的检测结果，从中可以看出，其中一个人体目标由于只有头部和腿部动作比较明显而被检测出来，被分成了两个目标，但是可以在跟踪过程中通过对目标的颜色特征和运动特性的分析和处理，区别目标，并将本为同一目标的部分合成（由于跟踪过程不是本文重点，在此处就不再鳌述）。图11所示为终的检测结果。

　　本文深入研究了动态背景下对多目标检测的一种有效方法。基于全局运动补偿消除了背景运动对目标检测的影响，在宏块匹配时提出了九点十字搜索法增强了检测的实时性，通过处理后的结果可以看出，整套算法是行之有效的，并且有很强的鲁棒性，为后续跟踪过程奠定了良好的基础。