浅谈海量数据处理技术在智能交通中的应用

摘 要

交通的拥挤问题已经成为了全球中大型城市的普遍现象，因此对交通海量数据的处理技术就提出了新的要求，怎么有效地实时采集、分析和处理的方法已经成为了当前人们需要立即解决的关键性问题。此文就是在比较和分析了当今流行的海量数据处理的技术和平台上，面对异构的交通数据源设计了满足实时处理和批处理的交通海量数据处理平台，并且再此基础上对交通的大数据进行了计算和测试。测试的结果就表明了此文当中提出的构架可以快速、及时、准确处理和计算交通海量数据各项要求和指标。

【关键词】海量数据 交通流处理 平台

现如今各样的交通信息收集技术（例如：视频，微波，环形感应线圈等等）都被广泛的运用在高速、城市、交通的卡口或者路段当中，而且这些交通因袭的收集系统天天都会有大量实时交通数据产生。实时的交通数据都是以数据流的方式记录着伴随着时间而改变的空间（区域、位置等等）信息，这有着连续、大量和不断变动以及要及时响应的特色。海量数据的处理对实时性有着非常高的要求，如何在海量的俗话叫当中得到可以支持决策的信息有着很大的挑战。怎样对佳通的数据进行高效和准确的处理、预测和分析，做出一个正确和及时的交通疏通和诱导，然后更加有效的改变实际交通的拥堵状态是现如今还有待解决的关键性问题。

1 在交通领域引进海量数据的处理技术

对于现如今对交通行业海量的数据处理要求，北京的博瑞凯诚等等一系列专业制造智能交通领域的高科技公司全都运用如今最先进的智能视频技术，设计并且研发了一套智能交通综合管理系统，这就解决了交通行业当今出现的数据处理的难题。这个公司设计的在恶劣网络、复杂业务处理和海量数据的情况下，完成车辆数据、大量图片和视频数据的实时网络传送并且可以快速持久化的储存，与此同时还可以对随意站点的图像进行显示，对随意的站点都可以清晰的播放视频，实时的进行对比报警，并且迅速进行多条件的检索，然后把各个车辆数据以及多媒体数据合并在一起。系统可以实现对现在的城市道路交通当中的异常行为进行自动报警和智能识别等等，进而减少了交通监管人员工作的负担，可以提升监管的准确性，进而使得交通的管理工作可以更有效率。

2 博瑞系统设计的应用

2.1 总体的设计以及优点

博瑞系统充分的发挥了前置摄像机的潜力，与此同时还可以提升传统以太网的运用效率，并且将前置摄像机的功能实现了多样化，与此同时还提升了大量出现的图片和视频数据的储存和传输效率。

（1）提升了前置设备的在线率，经过对前置设备的硬件和软件进行改进，提升了设备可靠性，实现前置设备的功能多样性。前置摄像机不仅仅具备视频采集的功能，还有车型的识别、车辆号牌的识别以及车辆超速检修还有车辆颜色识别，图片和视频的长期储存的功能。

（2）提升网络运送的效率，安放监控解决网络传输的瓶颈，以前的以太网有着网络宽带利用效率低的弊端，经过了改进，就使得网络的传输发生了本质的提高，并且保障了实施的图片和视频的传输，避免了再交通高峰时期带来的信息太多和网络堵塞的情况。

（3）采用分布式的数据储存，提升储存的容量，提升储存的性能，经过运用分布式的存储，就可以加快存储的速度，可以很好的避免储存瓶颈导致的储存压力，在加上快速的网络输送，就满足了数据短时间的持久化。

（4）平台的数据分流，运用分布式的数据库和储存的理念，可以增加数据库的快速反应，减少海量数据的过度集中带来的一系列数据问题。提升各个服务端的速度，进一步提高了整体用户的使用体验和反应速度。

（5）经过有效的提升前段设备的各个方面性能，就可以提升更多的识别功能，提升数据库的记录工效，实际上就是有效的减少了用户采购的成本，一个设备就可以实现多个功能，进而减少了平台的数量，减少了一系列的维护、采购、运行和后期的成本。

（6）经过提升已有的网络设备传输的效率，在已有的网络上面实现快速的输送，解决好网络的瓶颈问题，就可以带来更多快速运用体验，就可以 提升整体的基础数据服务的质量。

（7）经过运用分布式的储存来代替现在已有的中心节点储存，分散了储存压力，降低了数据的风险。这样就可以给延长数据的保存带来优势，与此同时也可以提升所有应用服务的质量，给用户提供一个更加快捷的应用体验，提升服务水准和工作的效率。

2.2 应用实现

2.2.1 增强前置设备的功能并且提高前置功能的设备稳定性

在从普清到高清转变的过程当中，海量数据的储存是智能交通行业都会面临到的一个问题。博瑞凯成最新研究和推出的嵌入式高清智能相机，运用的一体化的设计形式，在每一个相机当中都会放入一个1T的硬盘，以便于储存数据，前置机搭配一个大硬盘来解决储存的问题，不但可以保障数据的安全，与此同时还可以保障数据的调取高效性。

2.2.2 在网络的传输算法当中运用基于DNA包的网络传送算法解决网络的瓶颈

基于DNA包的网络传送算法的优势就是：解决了传统网络带宽的运用率低的问题。传统的TCP运用了反复连接、慢启动以及动态滑动窗口，定时的重传、拥堵的控制等等技术以便于保障数据的可靠传输，但是会严重的减少宽带的利用效率以及传输效率。可以运用针对网络的数据快速推送机制。独特的网络堵塞的自动调节，有时候网络就会很忙，所以就要发送大量的数据，网络的设备就会因为处理和接收大量的数据包而超负荷的工作，经过DNA信令包设备间的命令的传递，网络的设备就以此作为根据，运用高效的堵塞自动调节技术来避免网络的堵塞。

3 结论与建议

综上所述，上文在比较和分析了现在流行的大数据处理平台和技术的基础之上，面对异构的交通数据源设计了满足实时处理和批量处理功能的交通海量数据处理平台，并且在这个大框架里面对交通的海量数据进行了测试以及计算，最终结果就表明此文当中提出的是可以迅速、实时和准确处理以及计算交通海量数据的处理。

参考文献

[1]徐翔，邹富民，朱铨，廖律超.基于云技术的整体计算数据中心的构建[J].南方电网技术，2013.

[2]侯建，候文，帅仁俊.基于云运算的海量数据存储的模型[J].通信技术，2013.

作者简历

魏文普（1987-），男，河南省遂平县人。曾获得悉尼大学（The University of Sydney）研究生学历（计算机软件工程专业）。现供职于河南省交通运输厅高速公路三门峡管理处。 主要研究方向为高速公路设备大数据信息处理及运营维护。

作者单位

河南省交通运输厅高速公路三门峡管理处 河南省三门峡市 472000