智能视频监控系统及其在Blackfin处理器上的应用

视频监控

智能视频监控系统及其在Blackfin处理器上的应用

1． 视频监控系统的现状

视频监控系统从最初的模拟闭路电视监控开始，经历了数字化，网络化的发展，正在向分布式、智能化的方向迈进。视频压缩技术的发展促进了视频监控系统的数字化，节约了大量的存储空间。

计算机网络的普及和带宽的增加使得城域网视频监控成为现实。而经过科研人员40多年的不懈努力，计算机视觉已经进入突破式发展阶段。得益于计算机视觉的研究成果，智能视频监控系统开始得到产业化应用。

从上世纪90年代中期开始，以卡耐基梅隆大学（CMU）和麻省理工学院（MIT）为代表的，多家美国高校所参与的，由美国国防高级研究项目署设立的视觉监控重大项目VSAM（Visual Surveillance and Monitoring），以及其它科研机构的研究成果，使得智能视觉分析取得了快速发展。2001年美国“911事件”，以及后来的西班牙马德里列车连环爆炸和英国伦敦地铁大爆炸等恐怖袭击后，全世界范围内对视频监控系统，包括智能视频分析系统的需求空前高涨。在英国全国范围内已经安装摄像机420多万个，平均每14人一个，一个人一天之中可能出现在多达300个摄像机前（英国《The Daily Mail》）。国内，2007年底广州市安装完毕25万个治安摄像机，北京在26.3万台摄像机的基础上，又在所有重点单位、人员聚集的公共场所、重要的交通枢纽、城市重要基础设施及法律法规规定的重点区域安装公共图像信息系统并且全部与警方监控网联网。上海2010年前将在马路上安装20多万个监控摄像机，全面建立“社会防控体系”。海量的监控图像需要视频监控系统智能地选择压缩、存储和检索内容。

当前，除了CMU和MIT，奥地利Graz理工大学的嵌入式智能摄像机研究组，IBM的S3(Smart Surveillance System)项目组，Intel的IRISNET（Internet-scale, Resource-intensive Sensor Network Services）项目组等，分别在分布式智能监控系统的不同领域处于领先地位。Object Video， Hisign，3VR等公司率先实现了智能视频监控的工业应用。在国内，中科院自动化所，清华大学电子工程系和自动化系等处于研究的前列。

2．智能视频监控系统的技术背景简介

智能视频监控的核心内容之一是对特定目标的自动跟踪。目标跟踪可分为5个步骤，包括运动检测、目标分类、目标（类型）跟踪、行为分析和目标（个体）跟踪。例如对人体

视频监控

的跟踪：首先从实时图像序列（即视频）中检测出运动物体，再判定运动物体中的人体，然后跟踪人体的运动轨迹，并分析和选定有异常行为的人，如在车站，机场等遗留包裹的人，最后对行为异常的人进行持续跟踪。

运动检测是从图像序列中将变化区域从背景图像中提取出来。运动区域的有效分割将大大减少后继过程的运算量。然而，背景图像的不稳定性，如阴影，光照，慢移动（如蜗牛的爬行），静移动（树叶的摆动）等等，也使得运动检测非常困难。

视频监控系统中的运动检测有两种不同的实现途径，一种是直接利用视频压缩算法的中间结果，比如ADI的第三方合作伙伴利用MPEG 4和H.264编码过程中的运动向量，在Blackfin处理器上同步实现了运动检测和视频压缩。另外一种是独立于视频编码的方法。 运动检测算法可按照不同分类标准分为多种。中科院自动化所把运动检测算法归纳为三种：背景消除法，时间差分法，光流法。背景消除法和时间差分法都可以看作是差分图像法。背景消除法是目前运动分割中最常用的一种方法，它利用当前图像与背景图像的差分来检测出运动区域。时间差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。基于光流方法的运动检测采用了运动目标随时间变化的光流特性，通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动的情况下也能检测出独立的运动目标。

目标分类的目的是从检测到的运动区域中将特定类型物体的运动区域提取出来。根据利用的信息的不同，目标分类可以分为基于运动特性的分类和基于形状信息的分类两种方法。基于运动特性的识别利用目标运动的周期性进行识别，受颜色、光照的影响较小。基于形状信息的识别利用检测出的运动区域的形状特征与模板或者统计量进行匹配。

目标跟踪是在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配。依据不同的跟踪方法可分为基于模型的跟踪、基于区域的跟踪、基于活动轮廓的跟踪、基于特征的跟踪等。

联合目标跟踪与分类（JTC）技术是信息融合领域新兴的一个研究方向。其基本思想是，通过在目标跟踪器和目标分类器之间进行双向信息交互，来同时有效地提高目标的跟踪精度和分类性能。

视频监控

在特定情况下需要对跟踪目标从类型细化到个体。这需要对目标的行为进行分析和理解。行为理解的关键问题是如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理在相似的运动模式类别中空间和时间尺度上轻微的特征变化。

3. 智能视频监控系统实施的难点和Blackfin的优势

尽管已经取得了巨大进展，智能视频分析领域仍然没有公认的最优方法。其自身研究内容的复杂性，使得研究方法和工具多样，算法复杂度高，适用范围有限，没有鲁棒性、准确度、速度都符合需求的普遍方法。同时，视频监控系统的网络化和分布式处理的要求，以及大规模工程安装对成本、体积和功耗的限制，使得运算能力和带宽都在不断提高的嵌入式处理器成为视频监控系统的主流选择。而非标准化的智能视频分析，正是DSP的用武之地。

Blackfin处理器是ADI与INTEL联合研制的会聚式处理器，它的MSA（Micro Signal Architecture）架构兼具MCU的控制能力和DSP的高速运算能力。MCU和DSP融入同一个内核，只需要同一套开发工具和同一套指令集。与DSP加ARM的芯片架构相比，具有软硬件实现简单的优势。Blackfin支持ThreadX，Nucleus，uCOS-II，uCLinux等十多种嵌入式操作系统，为客户提供熟悉的软件架构基础。Blackfin为高强度，高数据率的数字和媒体处理做了专门优化，是理想的视频处理器，而且具有极高的性价比。它的低功耗特性非常适合外壳体积小的IP摄像头产品。

Blackfin的几十个DMA通道和可灵活配置的Cache很好地满足了视频监控系统对大运算量，高数据吞吐率的要求。十级流水线使得Blackfin有很强的指令并行执行能力。零开销循环控制指令让系统中的大量循环跳转不再消耗任何处理器的时钟周期。利用这些优势，real解码器的idct4×4算法在Blackfin上速度提高了7倍。

视频数据有其自身的特性。在不同颜色空间，表示象素的每个分量通常都是8位宽度。Blackfin的4个视频算术运算单元和视频象素指令集大大加速了视频运算速度。一条视频象素操作指令可以在一周期之内完成4对视频数据分量的加法运算，减法运算，加减混合运算，取平均值，或者相减并求绝对值等11种视频象素运算。这些运算在编解码算法中的运动估计、loop filter和智能视频分析的各种算法中大量应用。在智能视频分析的一些基础算子中，例如直方图统计，中值运算，Sobel运算，形态学中的膨胀运算等都可以利用Blackfin的MIN, MAX指令来消除条件跳转，节省处理器周期。不仅如此，Blackfin还支持13种非视频数据的向量运算。适当设计数据结构，在前背景分离，阈值计算和更新等多个环节都

视频监控 …… 此处隐藏：4266字，全部文档内容请下载后查看。喜欢就下载吧 ……