视频大数据总体架构设计与研究

摘 要

自近年来，随着各地平安城市如火如荼的开展，所产生的庞大的视频数据给管理者带来了诸多不便。在面对海量视频大数据的结构化描述不够、智能分析程度不全、检索效率不高、应用与业务耦合度不深等特点，如何完成城市级视频大数据的分析应用并提供服务成为城市安全管理的瓶颈。

【关键词】视频大数据 CoreOS docker Hadoop 以图搜图 视频摘要和以图搜视频

1 视频大数据总体概述

本设计是基于视频大数据分析应用与服务系统的研发，实现一种云架构的海量视频摘要、检索与分析系统。该系统主要完成针对海量视频的以图搜图、视频摘要和以图搜视频等职能分析算法。通过将这些算法整合到视频大数据平台中，使得在视频大数据平台中能够根据用户的提供的相似图片，从海量视频数据库中快速搜索到相关视频及图片，或者用户通过其它的相关描述，快速地从海量视频库中搜索到相关视频及图片，克服单一文本检索方式的局限性，提高视频检索的精度，并使得系统能够对一些突发事件（例如交通事故、人群混乱、异常行为等）提供快速的自动预警和报警。

2 总体业务架构设计

业务架构图如图1所示。视频大数据总体业务架构分5层，自下而上分别资源层、存储层、计算层、接口层及应用层，资源层：主要研究GB/T28181-2011（国家标准联网接口协议）、ONVIF、PSIA等网络传输协议和H.264、MPEG-4等系列视频编解码算法，保证系统至少能够兼容20个国内外品牌厂家的摄像机。存储层：能够接入及存储多种数据来源，包括前端摄像机、NVR、DVR、其它厂家平台等，实现控制服务、录像存储服务、流媒体转发服务、管理服务。在此基础上，封装成API/OCX，供上层应用使用。达到系统能存储及管理视频数据规模达PB级。计算层：（1）搭建基于Hadoop的大数据平台框架，实现十亿级文本条目全文检索秒级响应。（2）搭建80个节点的云计算处理平台，采用CoreOS操作系统，构建底层运行环境。

在此基础上，采用docker技术，进行智能化部署智能分析算法。同时利用负载均衡、进/线程调度技术进行任务分配与调度。接口层：提供视频大数据的统一接口服务和应用服务，实现交通及治安安全行业中视频大数据的分权限共享与信息服务。应用层：在上述研究的基础上，形成一系列应用系统，包括功能和性能优化后的基础综合管理平台、实战平台、卡口管理平台、云计算大数据管理平台。其中基础综合管理平台至少能接入10万路的摄像机。最终形成视频大数据一体机产品。

3 总体技术架构设计

总体技术架构（如图2）主要由以下部分组成：

（1）前端。各类监控接入源，包括枪机、球机、卡口、HD-SDI等。

（2）存储。存储前端视频数据、录像数据以及其它厂家平台数据，提供设备管理、录像管理、域管理等管理服务，并能够进行信令控制和流媒体转发。

（3）基础支撑服务。利用Hadoop搭建大数据系统对卡口过往车辆数据进行存储，利用大数据组件对该数据进行分析。并在此技术上，搭建搜索引擎平台，供视频智能分析和卡口过往车辆二次分析使用。搭建云计算处理平台，采用CoreOS操作系统，利用虚拟化技术，构建底层运行环境。在此基础上，采用docker技术，进行智能化部署智能分析算法。同时利用负载均衡、进/线程调度技术进行任务分配与调度。采用IPSAN存储供智能分析后图片、视频片段存储。

（4）接口服务。提供多种智能分析接口，包括集群配置、视频调阅、设备管理、视频浓缩、以图搜图、以图搜视频、云管理服务等接口。

（5）应用服务。提供多种应用系统，包括基础综合管理系统、实战应用系统、卡口技战系统、云计算大数据管理系统。

参考文献

[1]城市监控报警联网系统系列标准.GA/T 669-2008.

[2]视频安防监控系统工程设计规范.GB50395-2007.

作者单位

1.安徽四创电子股份有限公司 安徽省合肥市 230088

2.合肥市公安局 安徽省合肥市 230000