大数据技术进展与发展趋势

摘 要 互联网的快速发展带动了信息技术的飞速进步，21世纪的到来使人类进入了信息化的时代。这是一个数据爆炸的时代，传统的数据存储模式已经远远无法满足现代人们生产、生活的需要。在这种背景下，大数据技术应运而生而且发展迅猛，已经迅速融入到人们生活的各个领域当中。目前国家已经将大数据的发展列为国家的重要战略，各個互联网公司也将大数据作为当前发展的主要目标应用到新闻、民生等领域。本文阐述了大数据的概念以及其特点，分析了大数据技术的进展以及未来的发展趋势。

【关键词】大数据 进展 发展趋势

1 大数据技术特点

1.1 大数据的概念

相比传统的数据概念，大数据可以说是一种全新的思维模式和数据运用方式。它不仅拥有庞大的数据量和种类繁多的数据集，而且它与传统的数据有着本质的区别。亚马逊科学家认为“大数据是任何一台超过了一台计算机处理能力的数据量”。大数据可以用4V特征来表述。第一个V是volume，指数据量大，而且还不断增长，难以预测；第二个v是variety，指种类繁多，来源广泛，包含网页、视频、音频等多种多样的信息来源；第三个v是velocity，指速度快，大数据不仅产生速度快，而且影响快，时效性高；第四个v是value，指价值性，大数据的价值密度低，但是整体价值和潜在价值高，需要人们不断去挖掘和开发。

1.2 大数据的系统架构

从大数据的系统观点来看，大数据的整体架构是通过分层结构来实现的，主要包括5个环节：数据准备、数据存储与管理、计算处理、数据分析和结果展现。数据准备阶段是从各种数据源例如：互联网、物联网、企业数据等采集和导入数据，对数据进行加载、提取、转换成统一格式的结构化数据。数据存储管理是将数据准备阶段转换好的数据导入数据库进行存储。计算处理是在数据库中通过批处理技术、流处理技术、交互分析技术等对大数据进一步地分析和整理。

2 大数据技术进展

2.1 大数据的采集和预处理

大数据主要通过集中采集和分布采集两种方式来对数据进行收集和整理。大数据通过两种采集方式从各个系统中采集数据，采集到的数据的存在形式也很多，包括表、树、文件等。需要对这些采集到的结构化和非结构化数据进一步地整合，通过转换生成一种新的数据集，便于后面地处理。这些采集技术包括系统日志采集、网络数据采集、其他数据采集等等。目前数据库继承、信息系统识别、集成融合技术都取得了突破性的进展，发展前沿的互联网公司已经开始推出数据清洗和质量控制工具。

2.2 大数据存储与管理

大数据时代的到来，使传统模式下的数据存储容量无法满足现代人们对其容量的需求。传统数据存储模式受时间和空间的限制，具有储存容量小，处理能力慢，无法应对大数据体量大、离散复杂的特点。而云计算采用分布式存储系统将不同属性的数据分类存储，通过属性查询来及时提取数据，这大大提高了数据处理的效率；与此同时，利用现代化的大数据计算机技术可以将一些数据压缩起来，使其占据内存变得更小，方便对其进行高效准确的管理。

2.3 大数据计算模式

大数据计算模式是指根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象和模型，虽然大数据计算模式应用到的技术比较多，但是大数据计算模式的应用并不是一蹴而就的，基本上无法用单一的计算模式来满足大数据的计算需求。现在主流是应用MapReduce来实现的数据的计算和处理，但是随着数据量不断地增长和处理数据问题复杂性以及难度的增加，其已经不能完全满足大数据的需要，目前人们正在不断研究新的大数据技术来更好的对数据进行计算和处理。

3 大数据的发展趋势

3.1 可视化推动大数据发展平民化

大数据的可视化技术基于大数据挖掘技术，将这些信息形象化，从而方便人们更直观地获取深层次的重要信息。大数据可视化技术从存储空间中将这些关键信息进行提取，通过图像、图形的形式将这些信息更直观地表达出来，并运用多种不同的分析手段来提取位置信息，将这些潜在信息通过图形图像等直观方式展示出来，从而帮助人们更好地理解、挖掘大数据下隐藏的信息，降低对数据检索的时间，提高对数据处理的能力。

3.2 大数据与云计算的关系越来越密切

大数据的未来正朝着智能化的方向发展，涉及到让机器用人的思维去思考，理解人类的行为模式，并对未来进行预测，这些智能化的实现都离不开云计算。云计算是一种基于互联网的计算方式，它意味着计算能力可以作为一种商品在互联网上流通。它对终端用户是完全开放的，其可以为各行各业提供计算服务，而且云计算效率高、速度快、成本低，不需要人们掌握专业的技术知识就可以使用，可以满足客户的各种需求，具有很强的灵活性。云计算的各项特性完全满足大数据存储、传输的需要，是大数据的最佳载体。云计算为大数据提供了无限制的存储空间和处理能力，满足大数据复杂计算的要求，改善了传统数据存储的缺点。

4 结语

综上所述，大数据的发展给人们的生活带来了翻天覆地地变化，通过对大数据的使用不仅能够使得我国的计算机技术得到进一步的提升，而且还可以使得我国各个行业经济发展搭上顺风车。因此，我国必须加快大数据的发展，加大对大数据技术的研发力度和应用力度，从而推动大数据的创新应用造福于社会。

参考文献

[1]方巍，郑玉，徐江.大数据：概念、技术及应用研究综述[J].南京信息工程大学学报（自然科学版），2014，6（05）：405-419.

[2]曾凌静.大数据系统架构及技术发展研究[J].石家庄学院学报，2015，17（06）：38-43.

[3]徐云.多通道数据采集系统数据预处理方法研究[D].浙江大学，2014.

[4]荀亚玲，张继福，秦啸.MapReduce集群环境下的数据放置策略[J].软件学报，2015，26（08）：2056-2073.

[5]何清.大数据与云计算[J].科技促进发展，2014（01）：35-40.

[6]顾荣.大数据处理技术与系统研究[D].南京大学，2016.

[7]柏柳.大数据技术进展与发展趋势[J].电子技术与软件工程，2017.

[8]常李艳.我国大数据技术研究趋势[J].电脑知识与技术，2017.

作者简介

王强（1982-），男，湖北省人。大学本科学历。工程师。研究方向为质量管理、大数据和人工智能。

作者单位

十堰市产品质量监督检验所 湖北省十堰市 442000