基于显著性图的监所夜间监控方法

朱杰¹，王晶¹，杜婉音¹，张辉²，柴变芳²，吴树芳^3,4

基金支持: 2014年中央司法警官学院院级科研项目，基于显著性图的监所夜间监控方法，课题编号：XYY201402。2014年保定市科学技术研究与发展指导计划项目,项目编号:14ZS006。

监狱是国家司法体系的重要组成部分，担负着教育改造犯罪人员的重要职责。鉴于本身的功能要求，监狱对于安防系统在安全可靠性方面的要求要明显高于其他行业[1]。传统的视频监控模式，把视频存储在硬盘当中，只能于事后取证，无法起到预防、预警的作用。随着监控系统图像路数的增加，传统的依靠人工监控的方式就更难于即使发现并解决问题。

近年来安全监控应用日益广泛，如行人检测、车辆检测等，目前目标检测有多种方法，但多对白天光照情况良好的情况下的图像进行分析，极少针对夜间图像。夜间光源不足，图像的视觉质量会大大降低，拍摄到的监控图像画面昏暗、特征不清晰。如何在这种情况下准确的判断出犯人的位置是我们研究的重点。

针对上述问题，国内外研究机构提出了许多解决方法。本文提出了一种基于显著性图(saliency map)的视频分析方法。首先，我们把视频按照一定的时间间隔进行采样。然后，通过显著性图来提取对象的轮廓。最后，显著性图表示的区域表示出来，进行图像的动作判别。

2相关工作：

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，该文原载于中国社会科学院文献信息中心主办的《环球市场信息导报》杂志http://www.ems86.com总第577期2014年第45期-----转载须注名来源试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指夏农定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

对于一幅图像来说,用户只对图像中的部分区域感兴趣,这部分感兴趣的区域代表了用户的查询意图,而多数剩余的不感兴趣区域则与用户查询意无关。显著性图的构造综合考虑颜色、亮度、方向等多种特征。最后再根据显著图确定图像的显著区域。

Koch[2]等人基于生物视觉机制的启示提出“视觉显著图”的概念，利用拓扑结构图来表示一种场景的视觉显著性；Bruce等人[3]提出基于信息最大化来计算视觉显著性；Gao等人[4]基于判别式的显著性假设提出了一种新的视觉显著性判断方法。黄提出的方法建立了一个新颖的用于检测视觉显著性图像的模型，并且该模型可以应用在多种图像相关的应用场景中，但是当图像背景较复杂时，分类正确率较低。

3 算法介绍：

首先设定采样时间。视频可以看做是连续的图像，我们每0.5s对视频截图进行采样。其次，利用显著性图提取对象区域。然后通过无监督的方法分析对象动作，分析面部表情衣着等。最后，根据数据库中当前时间的正常动作对比来判断对象身份已经动作的合法性。其中数据库中动作的比对是难点之一。我们可以把对象动作的识别认为是一个简单的分类问题，即合法与不合法两类动作。我们用机器学习来处理这个问题。我们采用SVM分类器进行分类。图像表示的方法我们可以用直方图来表示，但是传统的直方图表示没有空间信息，所以我们在图像表示的时候融入了空间上下文关系，生成了有上下文关系的直方图。图像表示的时候我们采用了多特征融合的直方图表示方法，单独用一个特征表示出来的直方图往往不能准确的表示出对象的特征，多特征融合的表示方法可以从不同角度去表示图像，能够在更加广阔的特征空间对图像进行表示。在显著性图的帮助下，我们只需要提取显著区域内的特征。我们提取的特征有颜色，形状。其中颜色用CN和HUE两种颜色描述子，而形状我们用SIFT特征来描述。尺度不变特征转换(Scale-invariant feature transform 或 SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。我们将Bag-of-words模型应用于图像表示。我们用三个步骤来实现这个过程特征检测、特征表示和单词本的生成。在我们的模型中，首先提取SIFT和生成的patch的颜色特征，然后用K-means算法分别进行聚类，所生成的类中心就是字典。所谓早融合就是把patch的SIFT特征和颜色特征分别提取出来，把两种特征向量进行加权，然后连接在一起。晚融合的方法是首先对颜色形状分别聚类，然后生成颜色和形状的字典表示，最后对生成的两种直方图进行加权并且连接在一起。他们分别对自然物体和人造物体有着比较好的识别效果。

4实验对比：

图1：原图和生成的显著性图

以上图为显著性图提取的对象区域，实验比对可以看出我们有效的找到了对象区域。其中显著性越强即越亮的地方越有可能是对象所在的区域。通过对对象动作的分析比对，我们发现对象正在练习，通过对相关时间段的判断分析，在这个时间警察练习是正常的动作，所以视为合法动作。

5结论

本文提出了一种利用显著性图来分析夜间监所情况的智能算法，我们对图像进行分时间段采样，并用显著性图来描述对象区域和动作。完备的动作库用来对对象行为进行分析，结合时间序列和动作的变化最终确定对象行为的合法性。本方法结合了对象识别和机器学习的分类算法，能够为监狱监控智能化的实现提供良好的理论基础。

（作者单位：¹中央司法警官学院信息管理系；²北京交通大学计算机与信息技术学院；³河北软件职业技术学院；⁴河北大学管理学院 ^；