大数据应用在云计算平台的优化部署与调度策略研究
摘要：随着科技的发展与社会进步，大数据应用越来越广泛，与各行各业紧密结合，成为当代社会不可缺少的组成部分。近年来，基于云计算平台的大数据运用在资源配置层面实现了灵活性的有效提升，在进行大数据应用过程中，云计算平台能够根据大数据对平台的需求变化做出相应反映，同时，云服务下的收费大多以“按需获取”的模式进行，符合现代社会用户消费模式，尤其对于中小规模的用户，这一业务方式格外适用。应当注意的是，基于云计算平台的大数据运用也有着一些问题，大数据在云计算平台的性能即是其中较为核心的问题之一。文章以大数据在云计算平台的性能为核心展开探讨，对大数据进行分层优化与调度进行深入研究，并提出相应的优化部署与调度策略。
关键词：大数据；云计算平台；优化
1 大数据与云计算平台
伴随着互联网的兴起与广泛运用，21世纪进入了信息化时代，以社交网络、电子商务等一系列互联网技术与应用的普及，相应数据的处理与整合成为数据处理与应用亟待解决的问题。多样化的应用伴随而来的即是数据在规模与种类的飞速增长，数据处理及分析技术的改进势在必行。因而，各类大数据处理框架的开发与应用层出不穷，在一定程度上提高了对数据处理的效率，缓解了数据处理的压力。但这些数据处理框架往往对相应的软硬件要求较高，需要相应规模的计算机集群予以支持，这就对一些规模较小、资源有限的用户造成的一定困难。
为了解决这一问题，云计算平台为广大用户提出了一个最为经济、适用性最广的进行大数据应用的基础性平台。云计算平台主要是以服务为主，面向用户提供计算资源与计算功能，可以实现用户的“按需访问”，并以“按需付费”的业务模式进行，很大程度上同时解决了用户对资源的需求与硬件要求的矛盾。云计算平台可以实现大数据应用的迁移，弥补了传统大数据应用的运行缺陷：在技术层面上，云计算平台基于虚拟化技术，一方面，降低了大数据处理在软硬件的要求与成本投入，另一方面，云计算平台将地层平台资源与上层应用服务进行一定程度的耦合，提高了云计算平台中的资源调度的灵活性，在满足用户需求方面有着更大的空间；在业务模式上，云计算平台作为第三方，将大数据应用进行集中化，并提供专业的服务、维护与管理，以服务向用户收取费用，在这一业务运行模式下，用户无需对大数据应用进行维护与管理，只需按照自己的目的在云计算平台上接受服务，降低了用户成本，提高了用户的可用资源范围。
2 大数据应用在云计算平台的优化部署与调度策略研究
1.1 资源层优化部署策略研究
在资源层优化过程中，主要是针对云计算平台上虚拟计算资源性能的优化。在实际操作中，由于优化目标的差异，优化部署也不尽相同。从整体上看，主要可分为两类优化部署。其一是对虚拟集群通信性能进行优化，这一优化目标在于实现不同的虚拟机之间数据传输效率的提高；其二是以虚拟集群计算性能为核心的优化部署，其目标在对针对各个独立的虚拟机的数据处理性能的提升。
（1）资源层通信性能优化部署
在资源层通信性能优化中，主要针对云计算平台的数据通信性能进行，具体来说是针对云计算平台中的各项网络资源的配置、计算节点等的优化部署，其最终目的旨在实现云计算平台的虚拟集群的通信性能，优化内容主要是数据在虚拟机之间的传输时间。在传统的资源层分配中，虚拟机之间的通信耗时并不在研究范围之内，但在逐渐发展过程中，这一因素被加入其中并进行深入研究。例如，M.Li等人在研究MapReduce应用过程中，就数据本地化与任务本地化问题，对云计算平台数据节点、计算节点的部署与优化，设计出CAM这一基于MapReduce应用的优化部署策略。
（2）资源层计算性能优化部署
在资源层计算性能优化部署策略研究过程中，由于大数据作业框架及相关应用的差异及特性，在优化过程中，对云计算平台的虚拟机优化配置、位置部署、虚拟机群规模等参数差异较大，最终也是根据云计算平台的服务需要进行。
具体来说，是针对云计算平台上虚拟机分配、分布，虚拟计算节点与数据节点的位置等参数进行优化，以此达到资源层优化的最终目的。但就目前的优化部署来看，存在一定的缺陷。首先，资源层的优化部署目的明确，但过程过于片面化，仅仅局限于计算集群的计算性能与通信新能，而忽略了优化部署策略对整个云计算平台中大数据应用的影响，例如，是否会造成目前数据处理与传输需求的效率的降低问题。事实上，大数据应用在云计算平台上的优化并非是区域性的，而是会造成连锁反应进而影响全局，因此，片面地进行优化部署大多是不适用于整体性能优化的。其次，优化过程中成本问题的考量存在缺陷。
1.2 平台层优化部署策略研究
平台层的部署重点在于在云计算平台下，将不同的软件应用的镜像部署其中，并在资源层部署的基础上，将虚拟资源合理分配，共同形成能够执行特定任务的虚拟平台。在针对平台层进行优化部署的过程中，研究重点在于应用副本的优化部署策略。大体上看，部署模式存在差异，导致优化部署策略主要分为两个方向，分别为针对本地计算节点的优化与存储平台的优化。
（1）本地计算节点优化部署策略
在本地计算节点应用部署模式下，应用副本将被直接整合进入虚拟镜像，跟随虚拟机的工作进行相应的作业。在这一部署模式下，其优化重点在于针对软件应用的逻辑架构进行，应用组件的差异将导致与计算平台优化部署的不同，以此提高不同组件的优化效果及最终的可靠性。
（2）存储平台优化部署策略
在存储平台优化部署过程中，将以独立的应用副本在不同的存储技术构件下的云计算平台的优化为重点进行优化部署策略的制定。在这一部署模式下进行的优化，虚拟机可实现对相同应用的重复执行，只需将应用副本挂载至现有的虚拟机即可，提高了执行方式的灵活性，同时也提高了虚拟机作业的效率。
1.3 作业层调度策略研究
作业层的调度策略并非是对单作业执行方式的考量，而是需要对多作业性能的综合性优化，在多作业请求的场景下综合考虑相关应用及云计算平台的需求与特性，调度策略更加具有综合性，对多作业模式下的作业请求的执行顺序与分流方式进行合理規划，其目的在于从整体上提高作业流的效率与整体性能。目前，作业调度策略主要针对作业请求的执行顺序与分配策略两方面进行优化。二者在进行调度程度过程中，其优化目标所设定的参数各不相同，能够在一定程度上实现优化，但也存在一些不足。目前，作业层调度策略的优化缺乏两阶段调度共同优化理念，往往仅仅针对某一阶段设计优化，也因此导致作业调度性能的整体评估无法进行。因此，在进行作业层调度策略优化时，应当考虑其在不同场景下的两阶段组合调度策略的最优化选择。
3 结语
综上所述，基于云计算平台的大数据应用日益广泛，并将在未来的更多领域中起到重要作用，但就目前应用情况看，仍旧存在一些问题亟待解决。文章以大数据应用在云计算平台的优化为核心展开，探讨了大数据应用在云计算平台中资源层、平台层及作业层的优化问题及相关的一些建议，基于此旨在为我国未来云计算平台上大数据应用的优化提供些许参考。
参考文献
[1]徐聪.大数据应用在云计算平台的优化部署与调度策略研究[D].清华大学，2015.
[2]王宁.云计算环境下数据管理与任务调度优化策略研究[D].北京科技大学，2015.
[3]郭力争.云计算环境下资源部署与任务调度研究[D].东华大学，2015.
