基于OpenCV的视觉手势识别
摘 要
随着计算机技术的快速发展，机器学习的不断进步与深入。在互联网+的当下，人们与计算机的交互还是停留在传统的利用机器（鼠标、键盘）进行交互。目前，人们正需要研发以人为中心进行计算机交互控制。本文正是基于这一点，利用OpenCV提供的各种图像处理算法，将从数学摄像头采集图像视频信息，通过灰度图处理，转化为计算机能识别的二进制图像信息，再对二值化图像进行图像滤波、分割，提取到手型后对其进行轮廓特征分析。
【关键词】图像滤波 特征提取 手势分析 OpenCV
近年来计算机性能的逐步提高和各个领域人们对计算机使用的不断深入，人与计算机的交互技术也日益成为计算机领域的研究热点。目前，这些研究主要包括人脸识别，面部表情识别，唇读，手势识别等等。手势识别作为一种新型的人机交互技术是以人为交互的中心，更加符合人与人之间的交流习惯。所以手势识别技术已经成为人机交互领域的一大研究热点。然而由于手势本身具有的多样性，多义性，以及时间和空间上的差异性等特点，加之人手是复杂变形体，因此手势识别是一个极富挑战性的多学科交叉研究课题。
1 图像处理
1.1 手势图像处理与背景分割
图像分割是实现自动图像分析时首先需要完成的操作。由于各样不同的背景、光线变化，会对手势的分割产生一定的干扰。
研究发现，人类皮肤在色度空间中的分布被证明了是聚类空间中的较小区域内，使用HSV空间来进行分割处理。由于HSV空间中，V代表了亮度，它对应于全部光能且可量化为光源的亮度。通过基于像素颜色的分割处理来实现前景与背景分离。
1.2 手势预处理
1.2.1 图像形态滤波
图像形态学包括开运算和闭运算，膨胀和腐蚀。他们本身具有多项特征处理特征。
1.2.2 图像平滑处理技术
利用OpenCV提供cvSmooth函数实现了图像平滑处理，该函数同时实现了中值滤波、高斯滤波、双边滤波三种滤波功能。
2 算法实现
2.1 算法思路
通过单个或者多个摄像头对手势进行采集，再对采集的手势图像或视频进行相应的处理提取出手势的特征，之后采用特定的方法对手势特征进行识别。
通过摄像头捕捉手势图像，图像预处理（分离HSV通道）获得手的二值图像，通过进一步的图像处理（腐蚀，高光补偿等）获得手的轮廓，然后针对手的轮廓图像对手进行特征提取，采用模板匹配的方式对手势进行识别。
2.2 总体系统图
2.3 手势运动分析
2.3.1 获取手形区域
利用阈值化，规定了0-100亮度为0，101--255为1，通过图像分割，获得了手型前景信息，对手形信息进行提取。
2.3.2 手势运动判断
在判断运动方向时，假如手形运动前，捕获中心点为A（X，Y），经过一定帧后变为B（X1，Y1），那么得到的水平偏移量为
A=X1-X
B=Y1-Y
根据运动规律，利用tanθ=B/A=（Y1-Y）/（X1-X）
2.3.3 实验数据
实验数据，如图1-图8所示。
2.4 手势特征分析
手形形状轮廓特征识别：轮廓有长度，面积以及轮廓的边界框等特征。手行在识别过程中，由于手与摄像头距离问题，手形轮廓的长度，面积等都将发生变化。
3 结论
手势识别实现了人与计算机的简单交互，使得人们操作计算机变得简单、易用。通过摄像头捕捉手势图像，通过图像预处理（分离HSV通道）获得手的二值图像，通过进一步的图像处理（腐蚀，高光补偿等）获得手的轮廓，然后在针对手的轮廓图像对手进行特征提取，采用模板匹配的方式对手势进行识别。
本论文最终实现了摄像头检测手型，利用OpenCV算法的矩形框函数检测出手势，采用阈值处理技术分割出手型移动区域，利用帧差错算法实行矩形框随着手的移动而移动，得到桌面手形左右上下移动变化。
参考资料
[1]Gray Bradski &Adrian Kaebler. Learning Opencv[M].北京：清华大学出版社，2009.
[2][美]Richard O.Duda & Peter E.Hart 模式识别[M].北京：机械工业出版社，2003.
[3].Milan Sonka & Vaclav Hlavac图像处理分析与机器视觉[M].北京：人民邮电出版社，2003.
[4][美]Donald Hearn & M.Pauline Baker Computer Graphics with OpenGL[M].北京：电子工业出版社，2008
[5][美]Tome M.Mitchell 机器学习[M].北京：机械工业出版社，2003.
[6]路凯，李小坚.手势识别研究概述[J].西安文理学院学报：自然科学版， 2006，9（02）：93-96.
[7]冯志全.运动人手的三维跟踪方法研究[D].山东：山东大学计算机科学与技术学院，2006.
[8]ALI E，GEOGREB，MIRCEAN，etal.Vision-based hand pose estimation：a review[J].Computer Vision and Image Understanding，2007（08）：52-73.
[9]ROMER R.Specialized mappings architecture with applications to vision-based estimation of articulated[J].International Journal of Computer Vision，2006，66（01）：83-101.
