视频对象形状错误隐藏技术研究

　　摘 要：视频对象(VO)的形状信息对于正确解码至关重要，当VO的形状发生错误时，为了正确解码纹理和运动信息，需要对其进行错误隐藏。主要介绍VO形状错误隐藏的常用技术，并进行对比实验和讨论。结果表明：当相邻VO间运动较小时，时域法比空域法能更好地保持VO的形状；空域法性能稳定，不受VO间的运动影响，当帧间变化较大时，时域法的参考VO失去参考价值，只能选择基于空域的方法。可见，时域法和空域法各有利弊，一个好的解码器应能实现两种错误隐藏，根据具体情况选择或将两者相结合。最后指出形状错误隐藏今后的研究方向和前景展望。
　　关键词：视频对象；二值形状信息；错误隐藏；空域法；时域法
　　中图分类号：TN919.81 文献标识码：A 文章编号：1004373X(2008)1613003
　　
　　Research on Video Object Shape Error Concealment Technology
　　FU Xiang,GUO Baolong,YAN Yunyi
　　(ICIE Institute,School of Electromechanical Engineering,Xidian University,Xi′an,710071,China)
　　
　　Abstract：Shape information of Video Object(VO) is most important for correctly decoding.Shape error should be concealed to decode texture data and motion data correctly.Traditional technologies of shape error concealment are summarized in this paper,comparison and discussion are described.When the shape data does not change that much in consecutive time instants,the temporal methods outperform the spatial ones.The spatial methods are the only choice when the previous frame does not contain a shape tat is related to the current shape.Ideally,the decoder should have access to both types of techniques and choose between them or combine them,according to the situation at hand.Finally,the possible research directions of shape error concealment are pointed out.
　　Keywords：video object;binary shape information;error concealment;spatial method;temporal method
　　
　　MPEG4标准对每个Video object (VO)单独编码，每个VO由形状信息、运动信息和纹理信息3类信息来描述^［1］。由于编码的VO流对信道错误极其敏感，标准规定，如果是纹理部分出错，则只有纹理信息丢失，运动和形状信息可以由周围的信息恢复；如果是形状部分出错，则整个数据包(包含形状、纹理和运动信息)均丢失^［2］；并且现有的纹理和运动信息错误隐藏技术都是在正确获得形状信息的基础上得到的^［3，4］，可见VO形状错误隐藏的重要性。
　　在MPEG4中，VO的形状信息由二值alpha平面表示^［5］，用黑表示该像素点属于VO，而白表示该点属于背景。形状错误隐藏算法可以分为基于时域^［69］和基于空域^{［4,9，10］}的算法。时域方法可以利用前一帧的形状信息来隐藏当前帧丢失的信息，空域算法只利用当前帧的信息进行错误隐藏，适用于帧间场景变化较大，如场景变换的情况；空域算法也是静止图像的错误隐藏的惟一选择；一般情况下帧间变化较小，基于时域的方法可以得到更加好的隐藏结果。
　　
　　1 空域形状错误隐藏算法
　　
　　1.1 传统方法
　　传统空域形状数据隐藏方法主要有3种^［11］：最大后验估计法、基于模糊理论的方法以及Bézier曲线拟合法。文献［11］的仿真实验和性能比较表明，Bézier曲线拟合法的隐错性能较好。Chen^［9］和Luis^［10］分别采用二次和3次Bézier曲线拟合丢失轮廓，由于3次曲线的连续性和平滑性都好于二次曲线，因此Luis算法性能优于Chen算法，本文仅介绍和分析Luis基于3次Bézier曲线的算法。
　　Luis算法首先得到二值alpha平面的轮廓曲线，由于发生错误，轮廓曲线会变得不完整；然后采用Bézier曲线插值轮廓曲线的丢失部分。其关键技术如下：
　　(1) 轮廓断点配对。将轮廓曲线的偶数个断点两两配成一对，以便在下一步操作中将每一对断点连接起来，从而形成完整的轮廓曲线。Luis算法利用如下公式进行断点配对：F=∑i|δAi|+|δBi|， i∈P（1） 其中δA和δB如图1所示，表示2个断点A和B处轮廓曲线的切矢与AB连线间的夹角；P表示丢失区域内所有可能的断点配对的集合，选择使代价函数F为最小的配对组合，这种配对方法基于以下假设，即对象的轮廓方向变化较慢。
　　(2) 确定三次Bézier曲线的4个控制点。生成1段3次Bézier曲线需要4个控制点，需要连接的1对轮廓断点作为首尾控制顶点，因此需要在首尾控制点间增加两个附加控制点。Luis算法首先采用三次参数曲线拟合丢失轮廓两侧的已知轮廓，如图1所示中的SA和SB，减小SA和SB的长度，直到拟合曲线与原始曲线间的最大均方距离小于给定阈值。
　　图1 Luis算法示意图然后，以SA为例，利用式（2）确定SA对应的4个Bézier曲线控制点：［p1 p2 p3 p4］=
　　dx13cx+dx13bx+23cx+dxax+bx+cx+dx
　　dy13cy+dy13by+23cy+d.yay+by+cy+dy（2）其中ax,bx,cx,dx为拟合SA的3次曲线的系数；p1和p4为SA的2个端点；p4即为图1中的点A。为了使错误隐藏的轮廓曲线满足C<1连续，即曲线连接处切矢相同，取p3相对于点A的对称点，作为一个附加控制点，另一个附加控制点由SB用类似的方法求出。
　　(3) 根据确定的控制点，用3次Bézier曲线连接丢失轮廓。
　　1.2 基于水印的方法
　　有别于传统方法，文献［4］提出一种基于水印的VO空域形状错误隐藏算法，将形状信息或形状变化作为水印信息嵌入到人们关注较少的背景对象中，该方法对于形状信息严重丢失的情况，修复效果仍然很好。
　　
　　但是，根据MPEG4的码率分配原则，在网络带宽有限时，用较多的码率传输感兴趣的视频对象，用较少的码率传输人们关注较少的背景对象，甚至不传输背景对象。因此，将形状信息作为水印嵌入背景对象中的方法不实用。
　　
　　2 时域的形状错误隐藏算法
　　
　　2.1 基于块的形状错误隐藏方法
　　基于块的方法常用于纹理信息的错误隐藏，后来被扩展到形状错误隐藏中来。当1个块发生错误时，解码器试图从前一时刻复制一个块作为错误块的替代。常用的基于块的方法共有3种形式：
　　(1) 简单地复制前一时刻相同位置的形状信息；
　　(2) 利用误差块上方块的运动矢量，从前一时刻寻找错误块的替代，对错误块进行补偿；
　　(3) 利用错误块周围正确解码的块，估计错误块的运动矢量，根据运动矢量利用前一帧的信息对错误块进行运动补偿。
　　显然，第(3)种方式得到的错误隐藏效果较好，与此类似，文献［9］中提出一种称为WSM (Weightd Side Matching)的方法，方式(3)中的方法利用错误块周围的16×16完整块进行运动估计，而WSM法则利用错误块周围4个块的一半加权后进行运动估计，即上下取8×16的块而左右取16×8的块，离丢失块越近的行(或列)分配的权值越大。最后得到一个运动矢量，以此对丢失形状进行错误隐藏。
　　为了克服运动补偿形状差错掩盖法对局部运动的局限性，文献［7］中提出整体运动补偿与局部修正相结合的时域形状错误隐藏算法。首先对于已知轮廓上的每一点，利用块匹配的方法找出其运动矢量，然后求出alpha平面的全局运动矢量，对当前平面进行全局运动补偿。最后利用错误块周围的已知信息，利用块匹配的方法寻找错误块的局部运动矢量，对其进行局部修正。
　　2.2 基于轮廓的错误隐藏方法
　　基于块的方法对单个块丢失的情况可以取得较好的错误隐藏效果，当多个连续块丢失时，效果则不太好，而基于轮廓的方法可以克服上述问题^［8］。
　　Salama等^［6］将VO全局运动参数嵌入视频流，在解码端，如果检测到当前帧VO形状需要错误隐藏，则利用码流中嵌入的运动参数，将当前轮廓映射到参考轮廓，然后隐藏错误的轮廓信息。这种方法隐藏效果较好，但它会使码率增加5%，而且其通用性不好，必须要解码器和编码器都支持嵌入了运动参数的编码格式。文献［8］中的MC (Motion Compensated)算法同样基于轮廓，MC算法不增加码率，通用性好，适用于丢失多个块的情况，是时域形状错误隐藏效果较好的方法。
　　MC算法首先计算当前轮廓上每个点的运动矢量，每个轮廓点的运动矢量v始于前一帧的轮廓点，指向当前帧对应的轮廓点。设当前帧有N个轮廓点，则这些轮廓点的运动矢量组成的运动矢量场应该满足：v.*1,v.*2,…,v.*N=argminv1,v.*2,…,vN∈V1×V₂×…×VN∑Nj=2
　　‖vj－vj－1‖.2+α∑Nj=1‖vj‖.2（3）其中vj是从参考轮廓点指向当前轮廓点j的运动矢量；Vj是点j所有可能的运动矢量组成的集合。通过计算式(3)的最小值，可以得到2个轮廓间的最优匹配矢量场，即2轮廓间最平滑的矢量场，如图2(a)所示。
　　将当前轮廓与参考轮廓匹配后，可找到当前轮廓丢失段在参考轮廓上的对应部分，将该对应轮廓段映射到当前轮廓丢失部分，每个点映射的运动矢量vm可通过线性插值求得：vm=M－mM－1vstart+m－1M－1vstop（4）其中vstart和vstop分别表示轮廓丢失段的起始点和终止点与参考轮廓匹配时求得的运动矢量，如图2(a)所示；M是参考轮廓上对应于丢失轮廓的总点数；m表示当前要隐藏的点；当m从1变到M，即完成隐藏过程，隐藏后的轮廓如图2(b)。最后对隐藏的轮廓进行填充，得到隐藏的二值alpha平面，即VO的形状，如图2(c)所示。
　　图2 MC错误隐藏算法3 空域法和时域法的隐错性能比较
　　假设当前VO丢失一个包含轮廓的块，如图3(a)所示，其中灰色块表示丢失块。图3(b)是不完整轮廓，需要对其进行错误隐藏。图4(a)和图4(b)分别给出了MC算法得到的运动矢量场和隐藏结果。图5是空域法的隐藏结果，由图4和图5可看出，MC算法的隐藏结果更好地保持了VO的形状。
　　图3 视频对象发生错误不难看出，如果相邻VO间运动较大，对于MC算法，最平滑的运动矢量场无法映射当前形状到前一帧的相应部分，导致隐藏效果不理想甚至算法失败；而空域法只利用当前帧的信息，隐藏性能稳定，不受VO间的运动影响，这种情况下，只能选择基于空域的形状错误隐藏方法。
　　图4 MC算法隐藏结果图5 空域法隐藏结果4 结 语
　　相邻VO间运动较小时，时域法比空域法能更好地保持VO的形状；空域法只利用当前帧的信息，性能稳定，不受VO间的运动影响。当帧间变化较大时，时域法参考VO失去参考价值，在这种情况下，只能选择基于空域的形状错误隐藏方法。时域法需要图像匹配和运动补偿，一般计算量较大；空域法简单易实现。
　　可见，时域法和空域法各有利弊，一个好的解码器应能实现2种错误隐藏，根据具体情况选择或将两者相结合。在提高空域法的隐藏精度、提高时域法对帧间运动的鲁棒性及提高时域法的运算速度等方面，有待进一步研究。
　　
　　参 考 文 献
　　［1］ISO/IEC JTC1/SC29/ WG11 N3908.MPEG4 video verification model version 18.0［S］.
　　［2］Li X H,Katsaggelos A K,Schuster G M.A Recursive Shape Error Concealment Algorithm［C］.Proceedings of International Conference on Image Processing,Rochester:IEEE,2002:177180.
　　［3］Wang Y,Wenger S,Wen J,et al.Error Resilient Video Coding Techniques\.IEEE Signal Processing Magazine Special Issue on Multimedia Communications over Networks,2000,17(4):6182.
　　［4］付炜，丁倩，孟维娜等.基于水印技术的MPEG4形状错误隐藏［J］.现代电子技术，2007，30(11)：7173，76.
　　［5］Shirani S,Erol B,Kossentini F.A Concealment Method for Shape Information in MPEG4 Coded Video Sequences\.IEEE Transactions on Multimedia,2000,2(3):185190.
　　［6］Salama P,Huang C.Error Concealemt for Shape Coding［C］.Proceedings of International Conference on Image Processing,Rochester:IEEE,2002:701704.
　　［7］Luis D S,Fernando P.Temporal Shape Error Concealment by Global Motion Compensation With Local Refinement\.IEEE Transaction on Image Processing,2006,15(6):1 3311 348.
　　［8］Schuster G M,Katsaggelos A K.Motion Compensated Shape Error Concealment［J］.IEEE Trans.Image Processing,
　　2006,15(2):501510.
　　［9］Chen M J,Chi C C,Chi M C.Spatial and Temporal Error Concealment Algorithms of Shape Information for MPEG4 video［J］.IEEE Transactions on Circuits Systems for Video Technology,2005,15(6):778783.
　　［10］Luis D S,Fernando P.Spatial Shape Error Concealment for Objectbased Image and Video Coding［J］.IEEE Transaction on Image Processing,2004,13(4):586599.
　　［11］丁学文.MPEG4数字视频错误隐藏技术的研究［D］.天津：天津大学,2005.
　　作者简介 符 祥 男，1980年生，湖北鹤峰人，博士生。主要从事视频分割、错误隐藏和图像插值的研究。
　　注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文