基于可编程逻辑器件的实时视频处理研究
摘 要:针对目前视频监控的不足之处,提出以可编程逻辑器件为核心,可对活动视频进行无级缩放和视频叠加的一种实时视频处理装置。在详细阐述了对视频信号进行无级缩放和视频叠加的实现方法后给出了实验结果,这些方法不仅在视频监控领域有很好的应用价值,在数字电视领域也有很好的应用前景。
关键词:无级缩放;视频叠加;实时处理;FPGA
中图分类号:TP274 文献标识码:A
文章编号:1004-373X(2010)03-096-03
Research of Real-time Video Processing Based on Programmable Logic Device
YAO Saijie,YUAN Jie
(Nanjing University,Nanjing,210093,China)
Abstract:Aimming at disadvantages of the present video monitoring,a real-time video processing device with a core of programmable logic device is proposed,achieving a function of free zoom and video mixer of video signal.Experimental results are given after the detailed analysis of free zoom and video mixer of video signal.Not only in the field of video monitoring,but also in the digital TV,it has good application.
Keywords:free zoom;video mixer;real-time processing;FPGA
0 引 言
实时视频处理技术广泛应用于高速公路,治安卡口,十字路口等监控管理领域[1],对自动化和智能管理有着重要的作用,视频监控技术也正向智能化发展[2]。随着科学技术的不断发展,产品的更新换代也在加速,对监控装置的实时处理的要求也越来越高,针对各种需求,一些关键技术也相继问世[3]。
目前普遍使用的监控装置彩色显示,能够清楚地显示监控区域并保存数据,但不能对画面进行实时处理。如发生突发事件只能通过事后观看录像来解决问题,这必然会带来一些实质性的后果,针对以上问题设计这种实时视频处理装置。该装置不仅能够实时显示,而且能够实时处理突发事件,特别是这种无级缩放技术可对感兴趣的区域进行无级缩放处理,并且可以任意指定感兴趣的区域和缩放后的显示区域。
目前一些监控场合的监控系统并不完善,通常只能记录概况而得不到所需的细节。针对这一弊端,该装置将视频叠加技术应用于上述场合,成功升级了监控系统。该装置不仅能够正常显示概况,而且可以将所需要的细节通过另一台摄像机拍摄后叠加显示在同一个监视器上,即一个显示器可以同时显示两路视频信号,一路正常输出,另一路缩小一定比例后显示在某个区域,并且可以切换两路输入信号。
1 原 理
实时视频处理装置的结构框图如图1所示。实时视频处理装置主要构成部分为视频解码芯片,视频编码芯片,可编程逻辑器件,RAM存储器,控制器,电源模块和一些逻辑芯片。其中控制器通过I2C总线对视频编码芯片和解码芯片进行初始化以确定其工作状态。视频解码芯片将CVBS格式的模拟视频信号转换为YUV 4∶2∶2格式的数字视频信号并送至可编程逻辑器件,可编程逻辑器件通过外部按键信息来实现无级缩放或者视频叠加功能。对活动视频进行无级缩放处理时,可编程逻辑器件将需要处理部分的数字信号写入RAM存储器并根据缩放倍数从RAM存储器中重复读取并抽样,再与原画面叠加;对两路视频信号进行视频叠加处理时,可编程逻辑器件控制存储器对其中一路视频信号进行抽样,1/3抽样过程如图2所示。再与另一路视频信号进行叠加[4]。处理后的数字视频信号通过视频编码芯片转化为CVBS格式的模拟视频信号并输出。电源模块负责提供多路电源信号。
图1 结构框图
图2 1/3抽样示意图
活动视频的无级缩放,即有理数倍缩放,是指可将感兴趣区域的大小任意倍数地缩放[5]。如对图像进行M/N倍缩放,M,N都为整数,先做M倍放大,再做1/N抽样。假设感兴趣区域大小为80×60,缩放倍数为3/2,则先经过3倍放大,即先将每个点重复读取三次再对每一行读取三次,然后再对行和列分别做1/2抽样,这样输出图像的大小为120×90,YUV 4∶2∶2格式数据的缩放过程示意图见图3,放大两倍时序仿真图如图4所示。
图3 YUV 4∶2∶2格式3/2倍缩放示意图
视频解码芯片采用Philips公司的SAA7113,它可以切换输入4路CVBS视频信号或2路S-Video视频信号,输出为8位“VPO”总线,数据格式为标准的ITU 656,YUV 4∶2∶2格式。SAA7113内部具有一系列寄存器,可以配置为不同的参数,对色度、亮度等的控制通过对相应寄存器改写不同的值,寄存器的读写通过I2C总线进行。该芯片初始化后将视频信号转化为数字视频流、行场同步信号、视频格式信号(RTCO)和点时钟信号[6]。
图4 时序仿真图
视频编码芯片采用Philips公司的SAA7121。SAA7121内部具有一系列寄存器,可以配置为不同的参数,所有的控制都是通过对相应寄存器改写不同的值,寄存器的读写需要通过I2C总线进行。SAA7121通过8位数据总线接收数字视频数据,再由内置编码器将数字亮度信号与色度信号同时编码成模拟的CVBS和S-Video视频信号。
可编程逻辑器件采用Altera公司的CPLD(EPM1270),EPM1270共有1 270个宏单元。EPM1270通过读取外部按键信息来确定实现无级缩放或视频叠加功能,上述两种功能均通过CPLD控制RAM存储器实现。整个装置运行需要520个宏单元,占EPM1270的41%,考虑到二次开发时功能扩展后的额外开销,故选用此款CPLD[7]。
实时视频处理装置不仅能够清晰地实时显示监控区域,而且能够实时处理突发事件,总延时小于20 ns,实时性好。特别是这种无级缩放技术能对感兴趣区域进行实时无级缩放处理,并且可以任意指定感兴趣区域和缩放后显示区域,平滑效果好。实时视频处理装置还可将两路视频信号叠加显示在一个显示器上,并且可以切换两路信号。图5是本设备实际效果图。
图5 实际效果图
2 结 语
实时视频处理技术一方面广泛应用于高速公路,治安卡口,十字路口等监控管理领域,对自动化和智能管理有着重要的作用;另一方面,随着机顶盒的问世和数字电视的推广,实时视频处理技术在该领域中也扮演了相当重要的角色。实时视频处理技术还可与计算机,因特网技术相结合,能够满足远程监控,远程医疗等要求,使其应用更加广泛,因而具有广阔的发展前景和巨大的市场容量[8]。
传统的监控装置功能单一,只能实时显示而不能实时处理,如发生突发事件只能通过事后处理视频录像来解决问题。实施视频处理装置解决了以上问题,视频图像局部实时无级缩放技术可对感兴趣的区域实时地进行无级缩放处理并显示,并且可以通过外部控制来指定感兴趣区域和缩放后的显示区域,这对反恐、刑侦、安防工作等都带来了极大的帮助。
数字电视在全国范围内的推广,促进了数字视频处理技术的进步,实时视频处理装置可以实时地对电视节目的局部进行无级缩放处理,用户可以任意指定感兴趣的区域进行细节观察,使得电视更加人性化,该技术通过独立外部设备或者内嵌在电视机控制电路中实现。
实时视频处理装置能够较好的升级现有的监控系统,并且已经申报国家发明专利,其中一项已经获得国家发明专利,专利公开号: CN101500093。
参考文献
[1]樊启宏.视频监控系统的发展及其实际应用[J].水利水电快报,2008,29(5):29-31.
[2]张季.未来视频监控系统的走向——智能化视频监控系统[J].中国安防,2008(11):58-61.
[3]张睿萍.视频监控系统关键技术研究[J].兵工自动化,2008,27(3):66-68.
[4]袁杰.采用大规模专用OSDC芯片的数字视频混合器研究[J].南京大学学报:自然科学版,2003,39(4):510-516.
[5]Tsai F S.Zoom Optics Design and Optimization with Digital Image Process[A].Novel Optical Systems Design and Optimization[C].2008.
[6]毛文安,张海峰.视频图像处理系统CPLD控制和EDMA数据搬移的实现[J].现代电子技术,2008,31(4):139-141.
[7]Lawal N,Thornberg B,O′Nils M.Address Generation for FPGA RAMS for Efficient Implementation of Real-time Video Processing Systems[A].International Conference on Field Programmable Logic and Applications[C].2005:136-141.
[8]Lopez J F,Tobajas F,Lopez S,et al.VLSI Video Processing Elements for Real-time Applications[A].IEEE 2002 28th Annual Conference of Industrial Electronics Society[C].2002:1 930-1 935.
