基于综合特征和ＳＶＭ相关反馈的图像检索

　　摘 要：提出综合纹理、颜色和形状特征的图像检索方法。首先采用Gabor小波计算ROIs(Regions of Interest)的位置和数目；然后在ROIs中，使用Gabor小波提取纹理特征，采用YUV空间直方图和颜色矩表示颜色特征，使用Zernike矩提取形状特征。为了提高图像检索的准确度，最后采用基于支持向量机(SVM)的相关反馈算法。实验结果表明，提出的方法具有较好的检索性能。
　　关键词：图像检索；特征提取；Zernike矩；纹理分析；相关反馈；支持向量机
　　中图分类号：TP3914 文献标识码：B 文章编号：1004373X(2008)1614304
　　
　　Image Retrieval Based on Integrative Features and SVM Relevance Feedback
　　WU Kai,GU Shiwen,LIU Yinglong
　　(College of Information Science&Engineering,Central South University,Changsha,410075,China)
　　
　　Abstract：The main focus in this paper is on integrated color,texture and shape extraction methods for CBIR.Original CBIR methodology that uses Gabor filtration for determining the number of Regions of Interest (ROIs).In the ROIs extracted,texture features based on thresholded Gabor features,color features based on histograms,color moments in YUV space,and shape features based on Zernike moments are then calculated.At last,an algorithm of the support vector machine for improving veracity of image retrieval is applied.The result of experiment illustrate proposed method have a better retrieval performance.
　　Keywords：image retrieval;feature extraction;Zernike moments;texture analysis;relevance feedback;support vector machine
　　
　　1 引 言
　　
　　近年来，随着多媒体和网络技术的迅速发展，人们越来越多地接触到大量的图像信息。为了能够从这些大量的图像数据中快速准确地找到用户所需内容的图像，基于内容的图像检索(CBIR)技术已经成为一个研究的热点。其应用领域涉及多媒体数据库、电子图书馆、商标管理、卫星图像管理等方面^［1，2］。
　　图像包含丰富的内容，提取图像的一种特征往往只能表达图像的部分属性，对内容的描述比较片面；提取图像全局特征的方法，没有对图像目标重要区域信息集中提取，不能反映目标区域综合特征^［14］。在目标区域中使用颜色、纹理和形状特征描述一幅图像的特征^［5，6］，在图像目标区提取图像纹理，颜色和形状综合特征信息，然后进行图像检索，是本文研究的重点。
　　本文首先采用Gabor过滤器提取一定数量的POIs(Points of Interest)，围绕每个POIs选取一个适当大小的区域(ROIs) (Regions of Interest)作为特征向量提取的目标区域，使用基于阈值Gabor小波变换提取图像纹理特征，基于YUV空间的颜色矩和直方图提取颜色特征^［7］，和基于Zemike矩提取形状特征。为了进一步提高图像检索的精度，最后采用SVM的相关反馈算法. ［810］。实验结果表明，提出的方法具有良好的检索性能，系统具有较好的鲁棒性。
　　
　　2 Gabor过滤器和POIs的提取
　　
　　对于图像目标区域的提取，第一步检测图像的POI，通过POIs的辅助，来提取图像ROIs， POI的检测首先使用Gabor小波变换对图像进行分解，用到的二维的Gabor过滤器为：
　　ψ(x,y;σ,λ,θk)=expx.2θk+γ.2y.2θk2σ.2exp2πxθkλi(1)
　　式(1)中xθk=xcos θk+ysin θk，yθk=-xsin θk+ycos θk，σ是沿x和y方向的高斯包络线的标准差，γ是空间纵横比；λ和θk分别是波长和方向。这里仅使用信号的奇成分，通过在xy平面上变化角度θk，产生在角度θk上的Gabor过滤器，θk=π/n(k-1)(k=1,2,…,n),n∈N，n表示方向的数目。在本文的CBIR系统中，使用4个方向的角度：0°，45°，90°，135°。图像f(x,y)和二维的Gabor奇过滤器ψo(x,y;σ,λ,θk)进行反卷积，获得一个Gabor小波过滤后的图像Φo(x,y)表示如下：
　　Φo(x,y;σ,λ,θk)=∑η∑ζf(η,ζ)·
　　ψ(x-η,y-ζ;σ,λ,θk)dηdζ(2)
　　POI提取的算法如下，分为4个步骤：
　　(1) 将Gabor小波过滤后的图像Φo(x,y;σ,λ,θk)分成没有重叠的大小为a×a的块b.k(i,j)(k=1,2,3,4)(假设分为p块)；
　　(2) 计算每个分割块的V.k(i,j)(V.k(i,j)=1a.2∑ai=0∑aj=0b.k(i,j))；
　　(3) 在p块个分割b.kp(i,j)块中寻找最大值的V.k(i,j)的块，表示图像的轮廓；
　　(4) 在每个块b.kp(i,j)中寻找大于某个设定的阈值的V.k(i,j)，满足条件的坐标点是图像的POI。
　　
　　3 在ROIs中提取纹理、颜色和形状特征
　　
　　3.1 基于Gabor过滤器的纹理特征
　　通过找到的POIs确定ROIs，计算每个ROI中能量和熵，作为图像的纹理特征。对图像使用Gabor过滤器后，应用一个阈值函数获得图像的特征。公式表示为：To(x,y;σ,λ,θk)=χ(Φo(x,y;σ,λ,θk))(3)式(3)中χ(z)＝0 z<0
　　zz≥0。
　　在每个ROIs中计算熵和能量，在一个A×B尺寸的ROI中(A，B为目标区域的尺寸)，归一化的能量和熵能通过下列公式计算：Et=∑x∑yT.2o(x,y;σ,λ,θk)(A·B).2(4)
　　Entropy=-1(A·B)×∑x∑y{\×
　　log2\}(5) 计算的得到的纹理特征向量表示为：
　　Ftexture={Et1,Et2,…,Etp,Entripy1,Entropy2,…,
　　
　　Entropyp}(6)
　　式(6)中p是ROIs的数目。纹理相似度度量公式如下(Q为要检索的图像，D为数据库中的图像)：d.(Q)(D)p=E.(Q)tp-E.(D)tp+Entropy.(Q)p-Entroopy.(D)p(7)3.2 颜色特征提取
　　在ROIs中提取颜色特征向量，采用的是YUV颜色空间，Y表示颜色的亮度，U,V表示颜色的色度：Y＝R+2G+B4〗；U=R-G；V=B-G(8) 为每个A×B大小的ROI中构造直方图：Hx(j)=number of pixel with luminance jnumber of pixels in x(9) 按照式(9)计算在图像中每个ROI的颜色直方图(Ep)。另外，图像的颜色内容同时通过用颜色矩值(σp)表示：Ep=1A·B∑A·Bs=1Yps
　　σp=1A·B∑A·Bs=1(Yps-Ep).2 颜色特征向量定义为：Fcolor={HQ1,HQ2,…,HQP,E1,E2,…,
　　EP,σ1,σ2,…,σP}(10) 式(10)中p是ROIs的数目。图像的直方图的相似度度量定义为：d.(Q)(D)p(Dp,Ep,σp)=∑pd.(Q)(D)p(11)式(11)中：
　　d.(Q)(D)p=Hp(Q)-Hp(D)+Ep(Q)-Ep(D)+
　　σp(Q)-σp(D)(12)
　　3.3 形状特征以及Zernike矩
　　在ROIs中形状的特征的提取采用Zernike矩方法。在计算图像f(x,y)的Zemike矩时，把图像f(x,y)映射到一个单位圆，图像的中心是单位圆的圆心，在单位圆范围外的像素点在计算时忽略。从提取的p个ROIs中计算图像中的Zernike矩，计算方法在如下描述。
　　表1 Zemike矩多项式(部分)
　　(n,m)Rnm(r)(n,m)Rnm(r)(0,0)1(1,1)r(2,0)2r.2-1(3,1)3r.3+2r(2,2)r.2(3,3)r.3(4,0)4r.4+2r.2+1(5,1)5r.5+4r.3+3r(4,2)4r.4+3r.2(5,3)5r.5+4r.3(4,4)r.4(5,5)r.5
　　Zernike矩是一序列正交的Zernike多项式(如表1所示)，这些多项式定义域为单位圆。Zernike矩(ZM)多项式的次数由两个参数决定：n和m(如表1所示)，Zernike矩的Znm由图像f(x,y)决定，Zernike矩的Znm定义为：
　　Znm=n+1π∫.∞-∞∫.∞-∞\*f(x,y)dxdy(13)
　　式(13)中f(x,y)是图像在点(x，y)处的亮度，\为：
　　Vnm(x,y)＝Vnm(ρcos(θ),ρsin(θ))=Rnm(ρ)e.imθ(14)
　　n-|m|是一个偶正整数。式(16)中Rnm(ρ)的定义如下：Rnm(ρ)=∑n-|m|2S=0(-1).S\ρ.n-2SS!(n+|m|2-S)!(n-|m|2-S)!(15) 因为Zernike函数定义域为一个单位圆，所以要求计算时把方形的图像转换为圆形的图像如图1所示。
　　图1 方形图像到圆形图像转换在实际的计算中，必须把式(13)离散化：
　　Znm=4(n+1)(N-1)(M-1)π∑M-1k=0∑N-1l=0f(k,l)Rnm(ρk,l)e.-jmθkl
　　0≤ρk,l≤1(16)
　　式(16)中ρk,l= x.2k+ y.2l ;θkl= arctan(ylxk)。
　　其中xk=2M-1k+-12；yl=2N-1l+-12(17) 式(17)k=0,…,M-1和l=0,…,N-1。Zernike矩具有旋转不变的特性，Zernike矩能比较好的描述图像的形状特征，使用下面的特征向量作为图像的形状特征向量：SFV=(Z1m,Z2m,…,Znm)(18)
　　
　　4 支持向量机的相关反馈
　　
　　4.1 相关反馈
　　为了进一步提高图像检索的精确度，用户在是使用相似度计算进行检索后，对检索的结果进行评价，标记出相关和不相关的图像，然后提出基于SVM的相关反馈算法，将图像按相似度的大小返回给用户。系统的检索结构框图如图2所示：
　　4.2 支持向量机(SVM)
　　假定某个超平面w·x+b=0,可以2类分开,它所对应的分类函为g(x)=w·x+b。将g(x)归一化后,求解最优分类面的问题等价于最小化‖w‖,目标函数为:min φ(w)=12‖w‖.2=12w.T·w(19) 式(19)的条件为：yi(+b)≥1,i=1,2,…,n,最优解是下面定义Lagrance函数的鞍点：L(w,b,α)=12‖w‖.2-∑ni=1αi(yi(w·xi+b)-1)(20) 上式分别对w和b求偏导，并令它们等于0 ，这个最优解还必须满足约束条件：
　　αi(yi(w·xi+b))-1=0,i=1,2,…,n，最终可得到判别函数为：
　　f(x,a′,b′)＝sgn(∑ni=1yiαi′+b′)(21)
　　对于线性不可分的情况，目标函数φ(w)改写为：min φ(w)＝12w.T·w+C(∑ni=1ξ)(22) 利用核函数K(x,y)代替原来的点积，最优分类函数为：f(x,a′,b′)=sgn(∑ni=1yiai′K(xi,x)+b′)(23)图2 系统结构图5 实 验
　　基于上述思想，实现了一个图像检索系统，该系统在Windows XP下开发，运行在P43.0 G，RAM 1 G的PC机上对一个具有3 000幅的彩色图像数据库进行处理。检索的效果有2个度量标准：precision和recall。precision是被检索到的图像和在数据库中相关的被检索图像的总数的比率，recall是被检索到的图像和在数据库中相关的图像的总数的比率。Recall和precision定义如下：R=NT和P=NK(24)式(24)中，N是相关的被检索的图像数量；T是相关图像的总数；K是检索的图像的数量。
　　实验用本文的方法与其他3种其他不同的图像检索方法在检索性能上做了比较，本文的方法为基于相关反馈的在ROI中综合特征提取的方法。其他3种方法分别为：在ROI中的综合特征的提取方法、综合特征(color+texture+shape)的提取方法和只提取颜色和纹理的方法。实验结果对比如下：
　　图3 对比结果图4 综合特征提取的结果图5 基于相关反馈的在ROI中综合特征提取的结果
　　
　　6 结 语
　　
　　本文首先在ROIs中提取颜色、纹理、形状综合特征，然后对图像进行检索。在检索过程中，提出基于SVM的相关反馈技术，加强用户的交互，缩小底层特征和高层语义之间的语义鸿沟，提高了检索精度。由于系统仅计算的ROIs中的颜色、形状和纹理综合特征向量，增强了系统的有效性和鲁棒性，大大改善了图像检索的性能。实验结果表明，该方法提高了检索的效率，且具有良好的鲁棒性。
　　
　　参 考 文 献
　　［1］Smeulders A W M,Worring M,Gupta A,et al.Contentbased Image Retrieval at the end of the Early Years\.IEEE Trans.Pattern Anal.Machine Intell.,2000,22:1 3491 380.
　　
　　［2］Choras R.Contentbased Retrieval Using Color,Texture,and Shape Information.Progress in Pattern Recognition,Speech and Image Analysis,Springer,Heidelberg,2003.
　　［3］Howarth P.Rüger S.Evaluation of Texture Features for Contentbased Image Retrieval\.Image and Video Retrieval.Springer LNCS,2004.
　　［4］Flicker M,Sawhney H,Niblack W,et al.Query by Image and Video Content:The QBIC System.IEEE Comput.Mag.,1995,28:2332.
　　［5］章毓晋.基于内容的视觉信息检索［M］.北京:科学出版社,2003.
　　［6］Smith J R,Chang S F.VisualSEEK:A Fully Automated Contentbase Image Query System.In:Proceedings of the ACM International Conference on Multimedia,Boston,MA,1997:8798.
　　［7］曹莉华,柳伟,李国解.基于多种主色调的图像获取算法研究与实现［J］.计算机研究与发展,1999,36(1):96100.
　　［8］钟洪,夏利民.基于本体的图像检索［J］ 计算机工程与应用,2007,43(17):3740.
　　［9］边肇祺,张学工.模式识别［M］.北京:清华大学出版社,2003.
　　［10］Bach JR,Fuller C,Gupta A,et al.The Virage Image Search Engine:An Open Framework for Image Management.SPIE Storage RetrStill Image Video Database 1996:7687.
　　
　　作者简介 吴 凯 男，1980年出生，硕士，湖南岳阳人。研究方向为图像处理、模式识别。
　　谷士文 男，1944年出生，教授，湖南长沙人，博士生导师。研究方向为图像处理、模式识别。
　　刘应龙 男，1958年出生，湖南长沙人，副教授。研究方向为多媒体工业视觉(机器人视觉)检测。
　　注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文