船牌识别系统中的变形校正方法研究

　　摘 要:因摄像机角度而造成的图像倾斜和畸变,会给船牌的字符分割和识别带来不利影响。针对此问题,提出了一种新的变形校正方法。首先对定位后的船牌采用轮廓跟踪算法提取轮廓信息;然后采用一种基于Hough变换和K均值聚类直线拟合算法取得牌照的边框参数;最后通过双线性空间变换和灰度插值完成图像的校正。实验表明,这里提出的方法符合船牌图像的特点,具有较高的鲁棒性和工程实用性。
　　关键词:变形校正;轮廓跟踪;Hough变换;双线性
　　中图分类号:TP391文献标识码:A
　　文章编号:1004-373X(2009)10-087-04
　　
　　Study on Method of Distortion Correction in Ship License Plate Recognition System
　　GU Hui,WANG Yiyi
　　(College of Information Engineering,Zhejiang University of Technology,Hangzhou,310014,China)
　　Abstract:Distortion ship license plate induced by camera location had the bad effect on its character segmentation and recognition.To solve this problem,a novel approach for distortion correction is presented in this paper.Firstly it uses the contour tracing algorithm to extract the edge of the license image after location.Then the parameters of four borders of the license plate are obtained by a method based on Hough transform and K-means-based line fitting algorithm is proposed.Finally image correction is realized in bilinear space transform and gray interpolation method.The experimental result shows that this method is effective to the image of ship license plate,and has good robustness and practicality.
　　Keywords:distortion correction;contour tracing;Hough transform;bilinear
　　
　　船舶的船铭标志牌自动识别技术是内河航道智能控制系统的关键技术之一,可广泛应用于内河的交通控制、交通管理、航道网建设等邻域,对于实现内河航道智能交通系统功能具有重要的理论意义和实用价值。
　　
　　1 船牌校正
　　
　　理想情况下用摄像机拍摄的船铭牌图像是一个矩形,但是由于船只通过航道时,其位置的不确定性和摄像装置的放置因素所引发的摄像机与船铭牌之间的角度变化,不可避免地使拍摄的图像产生比较明显的畸变和倾斜现象,如图1所示。这种不同程度的图像变形会对识别系统带来不利影响,容易造成字符误分割,从而导致了识别率的下降。因此有必要在字符分割之前进行船牌的变形校正。
　　牌照的校正,实际上可以归结为文档的校正。目前主要的纠偏方法有:基于Hough变换的方法、基于投影的方法、基于Fourier变换的方法、基于交叉相关性的方法和基于K-最近邻簇的方法等[1]。
　　针对特定牌照图像的校正,研究者们也提出了很多的方法[2-4]。就目前来说, Hough变换是最常用的方法[5-7],主要是检测直线以及确定图像的边界区域,进而确定图像的倾斜角,通过旋转等几何变换达到校正目的。
　　在这些算法中,Hough 变换的应用是针对整幅图像的每一个点,由于受内存、运算量和速度的限制,这种算法达不到实时处理的要求。因此Hough变换进行牌照校正的瓶颈在于速度。在校正过程中真正有用的信息只有边框,而其他部分都是无效的冗余信息。
　　图1 船牌照原始图像
　　为此,先采用轮廓跟踪方法去除冗余信息,再结合Hough变换检测直线,以加快处理速度;然后利用一种改进的直线拟合算法来确定牌照图像的边框,求解牌照图像区域的4个顶点;最后通过双线性空间变换实现图像校正。
　　
　　2 面向校正的图像预处理
　　
　　牌照校正是在完成牌照定位之后进行的。为了加快校正速度,最大程度地减少运算时的冗余数据,在此采用轮廓跟踪算法,以获取车牌图像的外围轮廓特征。要想获得船铭牌的完整轮廓,就要求牌照边框的外围应当是封闭的。但由于拍摄条件和环境的影响,车牌二值图中边框部分可能出现间断,因此首先要对二值图像进行处理。这里采用数学形态学开闭的方法来处理,通过选择适当的结构元素,采用形态开运算对图像进行平滑,清除边缘毛刺和孤立的噪声点;采用形态闭运算对图像进行滤波,填补裂缝和空洞。定位后的牌照及形态学处理效果如图2所示。
　　2.1 轮廓跟踪算法
　　轮廓跟踪的基本方法是:先根据某些严格的“探测准则”找出图像轮廓上的某一点,然后根据该轮廓点的特征采用一点的“跟踪准则”找出图像上的其他轮廓点,直到找到所有的轮廓点。首先找到第一个轮廓点的“探测准则”是:按照从左到右,从下到上的顺序搜索,找到的第一个目标点必定是图像最左下方的轮廓点,即为O。
　　“跟踪准则”描述为:由于O是最左下方的轮廓点,因此它的右、右上、上、左上4个邻点中至少有1个是轮廓点,记为M;在M的8邻域内找出相邻点中的轮廓点N,如果N就是O点,则表明已经转了一圈,轮廓跟踪结束;否则从N点继续找,直到找到O为止。判断是不是轮廓点很容易,如果它的4邻域不都是目标点,则它即为轮廓点。
　　这种算法要对每个轮廓点8邻域内所有点的4邻域点进行判断,计算量比较大。为此本文采用一种改进算法。对于当前点P,其8邻域定义如图3所示。
　　图2 牌照定位及形态学处理
　　
　　图3 当前点P的8邻域
　　算法过程如下:
　　(1) 首先按照上面所述的“探测准则”找到最左下方的轮廓点O。
　　(2) 从当前点O开始,定义初始的搜索方向为沿左上方,即x0方向;如果x0是目标点,则x0为轮廓点,否则直到搜索到目标点,并记为当前轮廓点P;
　　(3) 对于当前轮廓点P,在当前搜索方向xi的基础上更新搜索方向xi+1。若xi+1是目标点,则为轮廓点,否则继续搜索xi+1,直到搜索到目标点,并记为当前轮廓点P;
　　(4) 若P与O重合,则轮廓跟踪结束,否则返回(3)。
　　图4为这一轮廓跟踪算法的示意图,其中箭头代表搜素方向。
　　图5给出了使用这一算法对图2进行轮廓跟踪的结果。
　　图4 轮廓跟踪算法
　　
　　图5 轮廓跟踪结果
　　
　　3 基于Hough变换的倾斜校正
　　
　　3.1 Hough变换
　　Hough变换[5]的基本思想是点、线的对偶性,图像变换前在图像空间、变换后在参数空间。
　　
　　直线y=px+q可以用极坐标的形式表示为:
　　λ=xcosθ=ysinθ(1)
　　式中:λ,θ定义了从原点到线上最近点的向量。
　　考虑一个以参数λ和θ定义的二维空间,x,y平面的任意一直线对应于该空间中的一个点。Hough变换就是将x,y平面的任意一条直线映射为λ,θ空间的一个点。对于x,y平面的一点p(x,y),过该点的直线会有很多,每一条都对应λ,θ空间中的一点,且这些点必然满足以x′,y′为常量的等式。在参数空间中与x,y空间中所有这些直线对应点的轨迹是一条正弦曲线,而x,y平面上的任一点对应λ,θ空间中的一条正弦曲线。如果有一组位于参数λ0,θ0决定直线上的点,则直线上的每一点对应λ,θ空间的一条正弦曲线,所有这些曲线必相交于点(λ0,θ0),因为这是它们共享的一条直线参数。为了找出这些点所构成的直线段,可以采用如下的Hough变换算法:
　　(1)根据参数λ和θ的可能取值范围量化参数空间;
　　(2)构造一个累加数组A(λmin:λmax,θmin:θmax),并初始化为零;
　　(3)扫描图像中的每一个目标像素点(x′,y′),对每一个θ的所有可能值θ′,根据公式(1)计算λ′;根据λ′和θ′的值累加A:A(λ′,θ′)=A(λ′,θ′)+1;
　　(4)在累加器A(λ,θ)中搜索最大值,则该最大值所对应的λ,θ即是图像中的直线参数;
　　在此,λ取值大小为图像对角线方向的像素数,即H2+W2(H为图像高度,W为图像宽度),θ的取值为0°~180°,步长为1,进行Hough变换。
　　3.2 边界直线拟合
　　由于Hough变换后对应的直线并不能够准确反映牌照的边框,且存在较多的干扰线段。为了更加精确地确定牌照的四条边框线段,在此采用一种改进的基于K均值聚类算法的直线拟合方法,同时为了除去一些非重要的干扰,只对λ大于一定阈值的线段进行拟合操作。
　　传统的K均值聚类算法[6]的工作过程如下:首先从n个数据对象任意选择k个对象作为初始聚类中心;而对于所剩下其他对象,则根据它们与这些聚类中心的相似度(距离),分别将它们分配给与其最相似的(聚类中心所代表的)聚类;然后再计算每个所获新聚类的聚类中心(该聚类中所有对象的均值);不断重复这一过程直到标准测度函数开始收敛为止。
　　考虑到系统的实时性要求,在此对传统的K均值聚类算法做了改进,具体算法描述为:
　　(1) 定义轮廓图像中的4个顶点为初始聚类中心(q0,q1,q2,q3);
　　(2) 对轮廓上的每个点,根据它们与初始聚类中心的距离相似度di,j,分别赋予最近的聚类中心;
　　(3) 计算各聚类的新聚类中心(该聚类中所有点的坐标均值)(q0′,q1′,q2′,q3′),以及每个聚类的总距离∑di和第一次聚类后的总距离D1=∑3i=0di;
　　(4) 把其中总距离最大的中心偏移一个单位,然后赋给四个聚类中心中距离最近的两个中心(qi,qj)中的一个中心点;
　　(5) 重复步骤(2),(3),计算第二次聚类后的总距离D2=∑3i=0di′;
　　(6) 取总距离最小的一次聚类结果为最终聚类结果输出。
　　经过实验,此算法能够精确确定出牌照的四条边框线。根据4条边框的参数,在图像空间中就可以方便地求出它们的交点坐标A′(xA′,yA′),B′(xB ′,yB ′),C′(xC′,yC′)和D′(xD′,yD′)。直线拟合结果如图6所示。
　　3.3 双线性空间变换
　　对图像进行双线性空间变换,就是把已知4个顶点坐标畸变了的矩形变换成已知4个顶点坐标的矩形,而可以产生一种能保持连续性和连通性的光滑映射[7]。假设船铭牌的畸变图像为f(x′,y′),校正后的图像为g(x,y),则作为变换的目标图像,其变换的任务是取遍目标图像里的所有点,然后根据目标图像和畸变图像之间的一一对应关系,求出g(x,y)的每一点。
　　图6 直线拟合结果
　　目标图像和畸变图像之间的对应关系称为双线性空间变换方程:
　　x′=k1x+k2y+k3xy+k4
　　y′=k5x+k6y+k7xy+k8(2)
　　由于船铭牌有规定的高宽比例标准,所以可以假设目标图像(矩形)的4个顶点为A(xA,yA),B(xB,yB),C(xC,yC)和D(xD,yD),而畸变图像的4个顶点A′(xA′,yA′),B′(xB′,yB′),C′(xC′,yC′)和D′(xD′,yD′),它们都已知,且存在一一对应关系。把这8个点坐标代入式(2),建立四元一次方程组,使用全选主元Gauss消去法[8]求解出相应参数k1~k8,最终得到目标图像和畸变图像之间的一一映射方程,对于目标图像中任意一点(x,y),根据此方程求得(x′,y′),最后采用双线性的灰度插值方法,得到目标图像g(x,y),从而准确而快速地完成了船牌的变形校正。
　　
　　4 实验结果
　　
　　在对船牌校正的实验中,首先采用基于CIE LUV均匀颜色空间的彩色分割方法完成对车牌的定位分割,然后采用本文提取的校正方法完成实验。通过对从河道现场拍摄的300张船牌图像进行的校正实验结果表明,本文提出的算法具有较好的性能,同时该算法还具有较快的运算速度。
　　实验结果如图7所示。
　　图7 牌照图像校正
　　
　　5 结 语
　　
　　针对船牌识别过程中,图像变形给字符切分和最终识别带来困难,提出了一种新的变形校正方法。采用轮廓跟踪提高Hough变换的速度,并采用改进的K-means聚类算法拟合牌照边框,最后采用双线性空间变换和线性插值完成图像的变形校正。实验表明,该方法可实现变形牌照的精确校正,且对光照、污迹等不敏感,为后续的字符分割奠定了良好的基础。
　　
　　参考文献
　　[1]何希平,李云峰,朱庆生.彩色文档图像的倾斜自动校正算法[J].中国图像图形学报,2006,11(3):367-371.
　　[2]芮挺,沈春林,张金林.车牌识别中倾斜牌照的快速矫正算法[J].计算机工程,2004,30(13):122-124.
　　[3]黄骥,吴一全.基于颜色对特征点主成分分析的车牌校正方法[J].中国图像图形学报,2008,13(4):642-646.
　　[4]吴一全,丁坚.基于K-L展开式的车牌倾斜校正方法[J].仪器仪表学报,2008,29(8):1 691-1 694.
　　[5]丁益洪,平西建,胡敏.基于随机Hough 变换的深度图像分割[J].计算机辅助设计与图形学学报,2005,17(5):
　　902- 907.
　　[6]Wen C Y,Yu C C,Hun Z D.A 3D Transformation to Improve the Legibility of License Plate Numbers[J].Journal of Forensic Sciences,2002,47(3):578-585.
　　[7]Wang Ping,Di Guangmin,Liu Ying.An Efficient Approach for Slant Correction of Vehicle Licenses Based on Hough Transform and Mathematics Morphology[A].Proceedingsof International Conference on Transportation Engineering\.2007:1 972-1 977.
　　[8]章毓晋.图像工程[M].2版.北京:清华大学出版社,2007.
　　[9]Duda R O,Hart P E,Stork D G.Pattern Classification[M].Second Edition.New York:Wiley,2000.
　　[10]Gonzalez R C,Woods R E.Digital Image Processing\.Second Edition.Prentice Hall,2002.
　　[11]谢志鹏,陈锻生.基于Gauss消元法的车牌图像变形校正[J].计算机技术与发展,2006,16(1):99-105.
　　[12]曾嘉亮.基于边缘检测的图像锐化算法\.现代电子技术,2006,29(12):33-36.
　　[13]孙东卫,朱程辉,丰义.基于主方向检测的畸变字符图像快速校正算法\.现代电子技术,2007,30(11):112-114.
　　[14]冯国瑜,刘雨,李进杰.基于相机投影模型的航拍图像几何校正\.现代电子技术,2007,30(23):7-9,12.