大数据环境下动态数据仓库的应用研究

随着大数据时代的到来，动态数据仓库研究已将成为数据研究的一个重要方向。本文阐述了动态数据库的概念和基本理论。本文将重点介绍动态数据仓库的特点，探讨了动态数据仓库的体系架构及其应用场景。

【关键词】动态数据仓库 实时加载

在大数据时代，新的经济竞争环境决定了行业对信息数据掌握情况的高要求。动态数据仓库能够准确地捕获到实时变更的重要数据，将重要实时数据加载到数据仓库中，并将处理后得出的决策结果及时反馈给业务系统，用于企业高层决策。本文主要介绍动态数据仓库的特点并研究其应用。

1 动态数据仓库的概念及特点

动态数据仓库是一个集中的、全面的、集成的、逻辑一致的、易访问的企业级的数据的集合， 它不仅能像传统数据仓库那样支持OLAP和数据挖掘等应用分析技术，还增加了能实时监测、实时进行数据分析帮助企业决策的功能。动态数据仓库战术性的决策支持与企业事件的自动检测、处理功能，是异于传统数据仓库之处，更明确的说，是对传统数据仓库的补充与扩展。动态数据仓库不同于一项技术，它是一个处理过程，数据仓库中的加载方式也有多种，常见的为传统ETL批量加载、实时加载技术等。

动态数据仓库与传统数据仓库相比，具有数据实时加载、混合工作量、事件检测和处理的特点。

动态数据仓库的信息并不是在企业用户发出请求后才能使用。动态数据仓库可以在事件发生同时，根据最新的数据，同步及时的检测到事务，对数据进行企业战术性的分析与事件的检测处理，将结果自动反馈于用户系统。为了确保决策的有效性与及时性，要求数据必须实时或接近于实时的加载到动态数据仓库中。在满足业务需要的前提下，对“实时”的要求也就应具体情况而定了，所以，此处的“实时”，也并非绝对的“实时”。

混合的工作量数据仓库，与传统数据仓库工作量相比，除了能进行复杂的查询和批量的数据加载外，快速并且高效的，满足企业要求的战术性查询、事件检测、处理以及实时加载也是混合工作量数据仓库数据处理的特点。

事件的处理可以分作同步事件处理与异步事件处理。从字面上可以理解，同步处理则为按一定的顺序，依次完成数据处理的任务，其中必须等待上一步完成后，之后的事件才可以被提出处理，强调按顺序执行。异步处理则不一样，其处理过程中每一步都是独立的，不依赖于其他步的调用，所以其基于事件的各应用程序在设计上是松耦合的 。

2 动态数据仓库的体系架构

动态数据仓库的数据集成方式有多种，周期性的ETL方式、直接点滴导入、点滴翻转导入、导入实时数据缓存为常见的数据集成方式。所有数据集成方式都需满足不影响业务系统的事务处理，实时查询，接近零延时的基本准则。

若通过EAI，还可以将企业内的其他系统与动态数据仓库集成一体使用，不仅可以优化企业的业务流程，在实时传递战术性决策时，还能帮助企业的决策与业务流程完整结合，以实现并提高企业的运营自动化。

3 动态数据仓库的应用

动态数据仓库已用于多种工作领域，在帮助企业全面快速的掌握重要信息，提高竞争环境下企业的分析能力方面，动态数据仓库从中发挥着重要作用。

3.1 物流调度

动态数据仓库系统，可以将配送货车的最新请求在最短时间内呈现于车辆调度人员，调度人员根据货车行驶终点站、货物数量等等配送或安排货车送货。这就要求动态数据仓库将最新的数据于几秒内反映给总站，以用于驱动业务决策。同时，为保证货运的正常运行，动态数据仓库系统必须365天，每天24小时实时运作，该动态数据仓库必须100%可用。

3.2 商品库存管理

商品库存决定商家是否需要进存货物。商家可以从前端得到销售的详细数据，根据商品的销售趋势，库存情况，结合同比销售情况，判断是否需要进存货物，货物需要保证在销售完毕前库存得到补充的同时，不能多进货以造成库存积压，达到销售完毕时正好有货物进库的最佳零界状态，保证了资金的灵活性，实现销售商的利益最大化。因此，动态数据仓库必须实时获取最新销售情况的数据并做出及时的处理决策。

3.3 信息通信安全

越来越多的信息欺诈的出现，是目前信息通信安全面临的最大危机。不法分子通过电信行业中的后付费业务，实施欺诈。为了减少此类欺诈行为给用户带来的损失，建立反欺诈安全机制便成了重要任务。动态数据仓库可以根据用户的通话数据，通过实时查看用户产生话费是否大幅增涨，若有该情况发生，通信运营商将对比该用户平均通信时长、信用度、历史话费情况，综合判断是否有欺诈行为发生，以采取对应措施，减少用户损失。

3.4 银行客户管理

在银行业中可以根据用户的存款行为制定个性化的客户关系管理。客户关系管理部门可以寻找有规律的大量存款的客户， 基于这些客户的存款级别和近期消费行为， 为客户提供免费或打折的服务， 来加深、扩展与客户的关系。通过客户的近期的消费行为来拓展同客户的关系，有利于保留客户， 扩大市场份额。

参考文献

[1]Inmon WH， 王志海译.数据仓库（译2版）[M].北京：机械工业出版社，2000.

[2]姜智远.动态数据仓库的研究与应用[J].科技情报开发与经济，2008（09）：130-132.

[3]谭光玮，武彤.基于生产线质量控制系统的动态数据仓库解决方案[J].微型机与应用，2014（07）：7-8.

[4]Jiawei Han，Micheline Kamber， 范明，孟小峰译.数据挖掘概念与技术[M].北京：机械工业出版社，2001.

[5]陈京民.数据仓库与数据挖掘技术[M].北京：电子工业出版社，2002.

[6]陆剑峰，张浩. 数据仓库数据更新的研究数据库的开发与应用[J].计算机工程与应用，2004（06）.

作者单位

贵州江南航天信息网络通信有限公司 贵州省遵义市 563000