移动机器人视觉传感器的现场标定技术

　　摘 要：提出一种实用的移动机器人双目视觉传感器的标定技术。为解决非线性标定过程中解的不稳定性，根据透视投影的交比不变性和透镜成像的径向排列约束(radial parallelism constraint,RAC)，线性标定摄像机的内部参数。然后，假定内部参数不变，从双目成像机理出发推导出本质矩阵的分解形式，线性标定出旋转矩阵和与实际只相差1个比例因子的平移向量。最后，由已知两个控制点之间的距离，求出实际的平移向量。实验表明，该方法具有与传统方法相同的精度，并且可实现外参数的现场标定。
　　关键词：标定；双目视觉；交比不变性；本质矩阵；径向约束
　　中图分类号：TP391文献标识码：B
　　文章编号：1004-373X(2008)22-187-05
　　
　　On-line Calibration Technique of Vision Sensor in Moving Vehicles
　　ZHENG Banggui,DUAN Jianmin,TIAN Bingxiang
　　(College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing,100124,China)
　　Abstract：A practical approach for stereo calibration in moving vehicles is proposed.To solve the instability of solution in the nonlinear calibration,intrinsic parameters are computed using cross-ratio invariability and Radial Parallelism Constraint (RAC) linearly.Then,assuming that intrinsic parameters are invariable,the deduction on decomposition form of essential matrix based on stereo imaging principle is given,and it can calibrate rotation matrix R and translation matrix T up to a scale factor linearly.Finally,the real extrinsic parameters are estimated with knowledge of distance between two scene points.Experimental results show that this method has same accuracy as that of traditional methods and can calibrate extrinsic parameters in the field.
　　Keywords：calibration;binocular vision;cross-ratio invariability;essential matrix;radial constraint
　　
　　1 引 言
　　
　　移动机器人视觉导航的关键技术之一是通过二维图像提取出物体的三维信息，实现对场景环境的快速识别。如何获得物体的精确的三维信息一直是机器视觉研究工作的重点。而立体视觉传感器的标定是必不可少的步骤。许多学者提出了摄像机标定的多种方法，并得到了广泛的应用。传统的方法是通过观察摄像机前方的标定物，确立匹配像素对，求解相关的方程组^［1-4］。然而这类方法需要精确得到控制点的3维坐标，不得不做许多重复的工作，并且这些繁重的操作必须在实验室内精确地完成。
　　近年来，一些学者提出了各种简化的立体摄像机自标定方法^［5-7］。这些方法的特点是不需要控制点的绝对坐标，而通过几何约束关系来求解摄像机的参数。而有的方法需要加入额外的摄像机运动，或者标定精度不足。
　　双目立体标定不仅需要确定内部参数，还要确定摄像机之间的相对位置关系。传统的方法先分别标定左右摄像机的内部参数和外部参数，再计算两摄像机的相对位置和方向。但该方法外参数只能在实验室标定，只适用于静态的场合。这对移动机器人等动态环境来说是不适合的^［8］。
　　本文提出一种移动机器人双目传感器标定技术。首先利用透视投影的交比不变性和透镜成像的径向排列约束对单个摄像机的内参数进行精确标定；然后假定摄像机的内部参数不变，再利用本质矩阵的性质，对安装到现场的立体系统中两台摄像机的相对位置关系进行标定。
　　该方法不仅具有与传统方法相当的精度，同时双目标定不限于实验室环境，在标定外参数时不需知道标定物的空间坐标，仅需要某两控制点之间的相对距离即可，适合于机器人的“移动”特点，提高了标定方法的灵活性。对于智能车辆(即移动机器人)导航的双目立体系统，可以借助环境中的固定标识来标定双目外参数。
　　
　　2 成像模型
　　
　　对于单摄像机模型，如图1所示，设某一场景点在世界坐标系的坐标为(xw,yw,zw)，在摄像机坐标系的坐标为(xc,yc,zc)。摄像机坐标系的原点定义在摄像机的光心，其 z 轴为摄像机的光轴，x 轴和 y 轴与图像 X 轴和 Y 轴平行。图像平面和光心的距离为有效焦距 f 。
　　图1 考虑镜头畸变的摄像机成像模型
　　从场景点在世界坐标系的坐标(xw,yw,zw)变换到该点在计算机图像坐标系的投影点的坐标(u,v)的过程可分为如下3步^［2］：
　　（1） 场景点从世界坐标系到摄像机坐标系的变换：
　　xcyczc=Rxwywzw+t（1）
　　其中，旋转矩阵R及平移向量t为摄像机的外部参数，表示如下：
　　R=r11r12r13r21r22r23r31r32r33，t=t1t2t3
　　（2） 摄像机坐标系到成像平面坐标系的理想变换：
　　X=fxc/zc;Y=fyc/zc（2）
　　其中f为摄像机的焦距。
　　（3） 从成像平面坐标系到计算机图像坐标系的变换：
　　u=X/dx+u0;v=Y/dy+v0（3）
　　其中(u0,v0)是计算机图像中心的像素坐标；dx,dy分别是X和Y方向相邻两像素间的距离(mm/pixel)，可以通过预标定获得。
　　由式(1)~(3)可得：
　　zcuv1=A(Rxwywzw+t)（4）
　　其中，投影矩阵A=α0u0
　　0βv0001，有效焦距α=f/dx，β=f/dy。
　　双目模型的每个摄像机模型都符合上述表述。
　　
　　3 摄像机内参数标定
　　
　　对单摄像机模型，先标定主点及部分外参数，再确定镜头的畸变系数，对图像进行畸变校正，最后标定摄像机的有效焦距。
　　3.1 标定摄像机主点、R、t1及t2
　　单摄像机模型中，设标定模板位于世界坐标系中的zw=0的平面上，由式(1)可以得到：
　　
　　xcyc=r11xw+r12yw+t1r21xw+r22yw+t2（5）
　　由式(2)和(3)可得到：
　　XY=(u－u0)dx(v－v0)dy（6）
　　考虑摄像机成像的径向排列约束条件，如图1所示，向量OPu(或OPd)与向量pocp的方向相同，即：
　　xc/yc=X/Y（7）
　　将式(5)，(6)代入式(7)：
　　xwuywuxwvywvxwyw1v1T×r21/t2r22/t2－dy·r11/dx·t2
　　－dy·r12/dx·t2
　　(v0·dy·r11－u0·dx·r21)/dx·t2
　　(v0·dy·r12－u0·dx·r22)/dx·t2
　　－u0
　　－dy·t1/dx·t2
　　v0·dy·t1/dx·t2
　　 =－u（8）
　　由式（8）可知，选不少于9个控制点即可求出u0，v0，r21/t2，r22/t2，r11/t2，r12/t2和t1/t2，一般采用最小二乘法来解该多控制点的方程组。进一步可以根据旋转矩阵的单位正交性质来求解出R及t1和t2^［9］。
　　3.2 镜头畸变系数的标定
　　首先，如图2所示，空间共线4点A(xwA,ywA,zwA)，B(xwB,ywB,zwB)，C(xwC,ywC,zwC)和D(xwD,ywD,zwD)的一个交比J如下：
　　(xwA－xwC)(xwB－xwD)(xwB－xwC)(xwA－xwD)=J
　　(ywA－ywC)(ywB－ywD)(ywB－ywC)(ywA－ywD)=J
　　(zwA－zwC)(zwB－zwD)(zwB－zwC)(zwA－zwD)=J
　　（9）
　　其次，根据透视投影的交比不变性，其对应理想图像点A1(XA,YA)，B1(XB,YB)，C1(XC,YC)和D1(XD,YD)的对应交比表示为^［10］：
　　(XA－XC)(XB－XD)(XB－XC)(XA－XD)=J(YA－YC)(YB－YD)(YB－YC)(YA－YD)=J（10）
　　图2 交比不变性示意图
　　在实际的三维测量中，应考虑镜头的非线性畸变。理想图像点坐标(X,Y)和畸变后实际图像点坐标(Xd,Yd)的关系：
　　X=Xd+DX(Xd,Yd)
　　Y=Yd+DY(Xd,Yd)（11）
　　其中，DX(Xd,Yd)和DY(Xd,Yd)分别为X和Y方向的偏差：
　　DX(Xd,Yd)=k1Xd(X2d+Y2d)+
　　［k3(3X2d+Y2d)+2k4XdYd］+k5(X2d+Y2d)
　　DY(Xd,Yd)=k2Yd(X2d+Y2d)+
　　［k4(3X2d+Y2d)+2k3XdYd］+k6(X2d+Y2d)
　　根据式(11)，如果只考虑一阶径向畸变，则只需知道4个共线控制点即可求得其畸变系数k1,k2，这符合多数工业应用场合的要求。对于某些场合，还需考虑切向畸变或者离心畸变等因素，可以通过非线性最小二乘拟合的方法求得畸变系数。
　　3.3 标定镜头的有效焦距
　　利用式(11)对图像进行非线性校正，得到近似理想镜头情况下的图像，进而得到理想的计算机图像。
　　由式(1)，(2)和(3)，结合zw=0有：
　　(u－u0)dxf=r11xw+r12yw+t1r31xw+r32yw+t3（12）
　　进一步整理得到：
　　(r11xw+r12yw+t1)·f－(u－u0)dx·t3
　　=(u－u0)dx(r31xw+r32yw)（13）
　　此时，上式是关于f和t3的线性方程，可以通过线性最小二乘法拟合求得f和t3。
　　
　　4 双目外参数标定
　　
　　双目成像模型如图3所示，以左摄像机坐标系作为世界坐标系，矩阵R及向量t是右摄像机坐标系相对于左摄像机坐标系的旋转矩阵和平移向量。这里对用畸变系数校正后的理想图像对进行处理。
　　对左摄像机体系，有：
　　zcuv1=α0u00βv0001xcyczc=Axcyczc，
　　orxcyczc=zcA－1uv1（14）
　　同样，对右摄像机体系，有：
　　c1=ccc=(Rxcyczc+t)（15）
　　其中，c=r31r32r33xcyczc+t3，代入上式，得：
　　1(［r31r32r33］xcyczc+t3)－(Rxcyczc+t)=0（16）
　　图3 双目成像模型
　　将式(14)代入式(16)，并记－0→u-~，－0→v-~，u－u0α→和v－v0β→，化简后得：
　　zc(u-~r31－r11)+(u-~r32－r12)+u-~r33－r13
　　(v-~r31－r21)+(v-~r32－r22)+v-~r33－r23
　　=t1－u-~t3
　　t2－v-~t3（17）
　　消去zc得到：
　　u-~(r31t2－r21t3)+v-~(r11t3－r31t1)+
　　(r21t1－r11t2)+u-~(r32t2－r22t3)+
　　v-~(r12t3－r32t1)+(r22t1－r12t2)+
　　u-~(r33t2－r23t3)+v-~(r13t3－r33t1)+
　　(r23t1－r13t2)=0（18）
　　进一步简化式(18)，可得：
　　［u-~v-~1］SR1=0（19）
　　其中，S=0－t3t2t30－t1－t2t10。
　　由此可得本质矩阵E=SR。由文献［6，11，12］可知，本质矩阵E的秩为2，并且E的分解几乎是惟一的，最多只差1个尺度因子。由式（19）可求得与本质矩阵E只差1个比例系数p1的矩阵，需要不少于8个控制点。对进行奇异值分解=UDVT，令=UZUT，R=UWVT。其中：
　　W=010－100001，Z=0－10100000
　　则有=p2R，p2为比例系数。
　　因此，有E=p1=p1p2R=pR，p为比例系数，得：
　　S=p（20）
　　由式(20)求得向量t关于p的表达式，代入式(17)，求出zc关于p的表达式，再结合式(14)可推出，如果已知标定模板中某两控制点的距离，便可以求得比例系数p，就可以确定实际平移向量t。
　　综上所述，实验室内完成内参数的标定，在现场安装好双目系统。标定双目外参数需要不少于8个控制点的平面模板，还需知道模板上任意两控制点的距离。模版控制点分布力求均匀，数目越多，精度就越高。该标定模板也可以绘制在路平面上。对安装在智能车辆的双目系统，可以利用如斑马线等固定标识随时现场标定外参数，提高了标定的灵活性。
　　
　　5 实验结果分析
　　
　　标定实验用的摄像机是 CMOS 摄像机。其图像的分辨率为1 280×960。如图4所示，标定模板由 6×5个黑色方块组成，每个小方块的边长及边间距均为20 mm。标定模板制作简单，可以通过 600 DPI 的激光打印机用 A4 纸打印出。标定实验可分以下几部分：
　　
　　（1） 获取模板图像，进行摄像机内参数标定。对每一摄像机采样 16 幅图像，其中 1 幅如图4所示。考虑一阶径向畸变，首先标定射线机主点，确定镜头畸变系数，再标定有效焦距。其标定结果如表1所示。
　　表1 标定的内部参数
　　u0∕pixelsv0∕pixelsk1k2f∕pixels
　　左691.62442.890.007 450.007 142 156.7
　　右550.14515.330.006 420.007 122 185.9
　　（2） 进行双目外参数标定。这里获得8对图像，其中的1对图像如图5所示。先根据式(19)求出与实际E只差1个比例因子的矩阵，并且，由式(20)，(17)和(14)可以计算出比例因子p。最后，可求得旋转矩阵R及平移矩阵t。结果如下所示。
　　图4 左摄像机获取16 幅图像中的1幅
　　R= -0.854 7-0.017 6-0.518 8
　　0.061 5-0.995 8-0.067 6
　　0.515 50.089 7-0.852 2,
　　t=246.224 687.863 7-119.801 9
　　图5 由左右摄像机获取的图像
　　另外，也用传统的方法对双目外参数进行标定。首先，用单摄像机标定方法分别标定出每一摄像机的外参数，计算出左右摄像机的相对位置和方向。其标定结果如下所示。
　　R= -0.850 9-0.015 1-0.525 1
　　0.061 7-0.995 5-0.071 4
　　0.521 60.093 2-0.848 1,
　　t=251.543 891.940 6-128.256 2
　　（3） 特征点三维重建。通过左右摄像机获取模板的成像，对于每一控制点对，根据式(14)和(15)，可以得到4个关于xw，yw和zw的方程。解方程实际为求图3中2条射线的交点，可以先将射线投影到图中XOZ平面，解得xw和zw坐标，再得到yw坐标。图6所示为模板上30个方块顶点的实际三维坐标图。由图可知各控制点共面，且与实际模板位置相符。
　　表2和表3分别给出了实际模板上各小方块在u，v方向的边长测量值。其绝对值误差分别为2.65 mm和2.05 mm。从模板距离摄像机的位置来看，该测量误差可以接受。误差产生的原因主要是摄像机本身的成像效果、算法本身的计算误差和标定模板的远近等。如模板距离镜头太远或者太近，摄像机成像不清晰，导致控制点像素提取不精确。
　　表2 模板方块u方向边长的实测值
　　123456
　　120.111 321.198 421.783 222.468 722.771 322.550 1
　　220.589 721.343 122.204 822.552 422.582 922.131 5
　　320.646 821.525 122.084 322.619 722.653 922.404 7
　　420.571 321.33422.046 622.696 822.663 322.122 1
　　520.297 221.18121.675 822.060 421.957 321.925 3
　　表3 模板方块v方向边长的实测值
　　123456
　　119.998 620.086 620.760 221.088 821.308 321.332 6
　　220.566 520.968 121.349 821.511 421.865 821.694 8
　　321.129 821.502 321.644 121.726 622.052 721.836 5
　　421.036 521.447 921.381 121.638 921.678 521.69 3
　　520.537 620.811 720.659 421.193 320.835 621.04 5
　　图6 控制点三维重建
　　
　　6 结 语
　　
　　本文研究了一种实用的移动机器人双目视觉传感器的标定技术。该方法主要分2步：首先，根据透镜成像的径向排列约束计算出主点(u0,v0)，基于透视投影的交比不变性原理估计镜头畸变系数，再对图像进行纠正，并计算有效焦距f。该方法可避免非线性标定过程中的解的不稳定性。实验中只考虑了一阶径向畸变，若要考虑切向畸变和离心畸变，可采用非线性最小方差拟和的方法来求解畸变系数。然后，假定内部参数不变，对现场安装好的双目立体系统，从双目系统的成像原理出发，推导出本质矩阵的分解形式，根据两控制点之间的相对距离，可线性地标定双目外参数。双目外参数的标定模板选择比较自由，可以在地面绘制，也可利用环境中的固定标识等，只需知道某2个控制点间的相对距离即可。实验表明，该方法提高了立体标定的灵活性，具有与传统方法同样的精度，模板制作简单，可实现双目系统的现场标定。
　　
　　参考文献
　　［1］Faig W.Calibration of Close-range Photogrammetry Systems:Mathematical Formulation ［J］.Photogrammetric Eng.Remote Sensing,1975,41(12):1 479-1 486.
　　［2］Tsai R Y.A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Camera and Lenses ［J］.IEEE Journal of Automation,1987,3(4):323-334.
　　［3］Weng J,Cohen P,Herniou M.Camera Calibration with Distortion Models and Accuracy Evaluation ［J］.IEEE Trans.PAM I,1992,14(10):965-980.
　　［4］Ganapathy S.Decomposition of Transformation Matrices for Robot Vision ［A］.Proceedings of International Conference on Robotics and Automation［C］.1984:130-139.
　　［5］Maybank S J,Faugeras O D.A Theory of Self-calibration of a Moving Camera ［J］.International Journal of Computer Vision,1992,8(2):123-151.
　　［6］Hartley R I.Estimation of Relative Camera Positions for Uncalibrated Cameras ［A］.Proceedings of IEEE Conference on Computer Vision and Pattern Recognition［C］.1992:761-764.
　　［7］Zhang Zhengyou.A Flexible New Technique for Camera Calibration ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1 330-1 334.
　　［8］Dang T,Hoffmann C.Stereo Calibration in Vehicles ［A］.2004 IEEE Intelligent Vehicles Symposium［C］.2004:268-273.
　　［9］Zheng Nanning.Computer Vision and Pattern Recognition ［M］.Beijing:National Defense Industry Press,1998.
　　［10］Zhang Guangjun,He Junjie,Yang Xianming.Calibrating Camera RadialDistortion with Cross-ratio Invariability ［J］.Optics & Laser Technology,2003,35:457-461.
　　［11］Longuet-Higgins H C.A Computer Algorithm for Reconstructing a Scene from Two Projections ［J］.Nature,1981,293(10):133-135.
　　［12］Hartley R I.In Defence of the 8-point Algorithm ［A］.Proceedings of the 5th International Conference on Computer Vision［C］.London:Cambridge,1995:1 064-1 070.
　　
　　作者简介 郑榜贵 1972年出生，浙江江山人，博士研究生。主要从事机器视觉与智能检测方面的研究。
　　注：本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文