分布式存储技术在大数据时代中的应用

摘 要 互联网通信技术的不断发展，与计算机信息技术的普及，促进了传统数据模式的进化。为了改善传统数据模式应用局限性以及无法优化存储空间等缺点，衍生出了分布式存储技术。目前，分布式存储技术的应用逐渐成为各行各业发展的主要趋势。基于此，本文从分布式存储技术的概念入手，对现阶段典型的大数据分布存储技术的应用进行了深入分析，希望本文能够为相关人员的研究工作提供些许参考价值。

【关键词】分布式存储技术 大数据时代 应用与发展

从数据信息学的理论角度来看，大数据即一个数据集合。相比于传统的数据处理软件，该数据集合的处理范围更广泛。高速性、多样性与规模性是大数据最为显著的三个特征，在其不断发展的过程中，又将大数据的特征扩展为真实性、准确性、可变性与价值性。而海量的数据，是大数据最基本的核心特征之一，数据容量超过了存储空间的极限，容易发生数据管理失控问题。而面向大数据的分布式存储系统，具有极强的拓展性，能够对现有的存储空间进行优化，进而实现空间资源的优化配置，同时还能够降低数据储存的成本。

1 分布式存储技术概述

从本质上而言，分布式存储技术是一种相对于集中式存储技术而存在的概念，不同于集中式存储技术，分布式存储技术将数据存储在了虚拟的网络空间中，而非特点的节点之上。具体来说，分布式存储技术充分利用了网络的优势，把网络上相对比较零散的存储空间虚拟为一个整体，进而将这一空间作为数据存储的主体。而在实际中，数据已经分别存储于各个存储空间当中，而非传统意义上某些特定的节点。在分布式存储技术的发展过程中，衍生出了分布式存储管理系统，该系统能够将有效整合零散的网络存储空间，并且通过多台服务器实现载荷的分散存储，进而为系统的安全性、可靠性与实用性提供有效保证。对于分布式存储技术而言，“分散存储”与“集中管理”是其最为主要的特点，同时也是其得以广泛应用的主要优势所在。

2 面向大数据的分布式存储技术的应用

2.1 极限数据分布式存储技术

优质的数据存储性能是极限数据分布式存储技术的核心，其主要应用在数据处理量大，且操作繁琐的数据模式。例如，飞机车票的网站存储系统或者电子商务的存储系统等。极限数据分布式存储技术的核心设计理论是集散与扩展，其不仅具有极强的数据处理效率与数据处理能力，同时还可以保证数据处理的一致性。目前，应用最为广泛的分布式存储系统分为Hadoop与NoSQL这两种，其次还包括NewSQL技术，三者的核心理论是一致的，即优化分散的存储空间，实现资源的优配置。不同之处在于，NewSQL技术属于关系型数据库技术，具有较高的兼容性与扩展性，其最大的特点为主服务器模块常驻内存，是一种基于内存的分布式存储技术，处理数据的速度为传统系统的10倍。GemFire为典型的极限数据分布式存储技术，在该系统中，数据库采用的是横向扩展模式，不仅能够与现存的数据库之间进行无缝的连接，同时还能够将数据存储空间进行虚拟化，进而对存储空间进行集中的统一化管理。GemFire系统的应用不依赖读写磁盘，故其自身的稳定性比较高，能够有效保证数据的安全性。现阶段，该系统已经成功应用于我国铁路部门的12306购票网站，且取得了良好的应用效果，为客户提供了更加高效、优质的数据存储管理服务。

2.2 自定义分布式存储技术

自定义分布式存储技术在大数据时代下的应用，能够按照系统或软件的实际需求，为其提供更加个性化的数据存储服务，同时还能够按照软件的实际需求，对系统进行改进，进而满足数据的多样化特性。以Ceph系统而言，Ceph是目前最为典型的一种子弟李分布式存储系统，该系统中具有比较多的对外接口，能够为软件创造更为多样化的访问路径，主要包括文件与数据块以及对象的存储模式等。与此同时，Ceph系统也具有多种存储方案。例如，CephFS存储系统、Librbd存储系统以及RadosGW系统。其中，CephFS存储系统是支持Posix的，Librbd存储系统负责支持数据块，而RadosGW系统负责支持对象存储。需要注意的是，尽管Ceph系统涵盖了多样化的存储模式，但其不支持跨度比较大的规模布置。现阶段，面向大数据的分布式存储技术的发展已经发展到了重要阶段，且逐步衍生出了各种数据存储模式，在其实际应用中，需要按照客户的实际使用需求，选择最佳的存储热类型，进而为客户提供个性化的、优质的数据存储管理服务。

3 结论

面向大数据时代的分布式存储系统，充分利用了分布式存储技术的优势，创造出了一种低成本、高效率的数据存储模式。这种系统的本质，即分布式存储技术和内存数据库技术的有机整合，对象存储为该系统的核心所在。大数据下的分布式存储系统不仅简化了数据存储管理体系，同时扩大了系统的应用范围，打破了传统数据存储系统应用的局限性，同时极大的优化了存储空间，避免空间资源浪费。本文通过简单介绍分布式存储技术，对两种典型的大数据下分布式存储系统进行了分析，以期进一步提高我国数据存储技术的发展水平。

参考文献

[1]石春达，栾文魁，赵晓光等.电信运营商“互联网+”业务中的分布式存储技术研究[J].信息通信技术，2016，10（05）：59-66.

[2]文静，陈达，于璐.云计算环境下的分布式存储技术研究与应用[J].电信工程技术与标准化，2016，29（08）：57-61.

[3]陈克明.基于云计算的分布式存儲安全保护技术研究[J].无线互联科技，2016，16（10）：72-73.

[4]杨震乾，杨泳丹.面向大数据的分布式存储技术的发展与应用[J].电子技术与软件工程，2016，14（02）：201.

作者简介

周怡佳（1983-），女，四川省中江县人。硕士学历。高级工程师。研究方向为物联网，存储，对讲机，图像识别。

作者单位

西门子（中国）有限公司成都软件开发分公司 四川省成都市 610000