钢铁企业基于数据仓库的运营分析平台设计及开发
摘 要 数据仓库系统可用于企业决策分析，利用数据仓库、数据挖掘技术对业务数据进行系统地储存和管理，并通过数据统计分析工具实现对客户数据的统计分析。本文阐述了某钢铁企业（以下简称公司）利用已积累在业务信息系统中的海量数据，结合管理者及统计分析人员对系统的需求，建立企业运营分析平台的过程。
【关键词】OLAP 数据仓库 数据建模 数据转换 商务智能
随着计算机技术的快速发展及企业信息化进程的深度推进，如何利用信息系统累积的业务数据，从中提取有价值的信息成为了企业信息化深度应用的研究热点，通过搜集、管理和分析商业信息，可以形成决策参考，为企业各级决策者服务，使得企业经营管理更加有依据性，为企业经营管理提供更加快捷、高效、精确的决策分析。
目前商业智能已经被很多行业所采用，在大数据呈指数增长且日益成为企业决策依据的战略背景下，商务智能的需求开始越来越广泛，商业智能通过将数据建模、数据挖掘、数据清洗等技术，建立联机分析处理（OLAP）系统，从而辅助企业经营决策。公司以业务信息系统数据为基础，利用数据仓库技术，建立起企业运营分析平台，进一步发挥业务数据价值，为企业管理这和统计分析人员提供了有益的决策参考。
1 背景
2014年以来，公司对信息系统架构进行了改良性设计，并配套完成相关系统改造，建立起对接智能制造的全新信息系统五级架构，公司在企业资源计划管理、全流程质量设计、全局计划排程、全过程质量管理等方面取得了跨越式发展，公司借助全新信息系统架构支撑，加快了市场响应速度，提高了客户满意度。
在各个信息系统应用过程中中逐渐积累起海量的与生产经营相关的过程数据，在企业的经营决策管理的过程中，如何通过对这些海量数据的利用，使之转换为有价值的运营统计分析，真正为企业决策管理提供依据和参考，只有这样，信息化应用的效价值才能得到真正体现。这也是领导决策者和相关业务部门的迫切需求。
2 目标
利用数据仓库、数据挖掘技术，构建企业级运营分析平台，集成公司的项目，采购，库存，成本，财务，人力资源，销售以其他第三方系统数据。利用各相关系统的业务数据，并对数据进行整合，建立起为面向企业运营业务的关键绩效指标体系，从而实现面向多维度、及多层级的关键绩效价值数据分析统计展示。为公司提供一个规范化、透明化、价值化的公司KPI体系分析。
3 系统功能
功能包括采购管理、设备管理、销售管理、财务管理、人力资源管理等5部分内容。其中采购管理主要包括公司采购量价趋势分析，采购情况分析，日常库存管理，生产领用与消耗分析，进销存资金占用分析等分析主题；销售管理包括销售情况分析、资金占用情况、营销日报；设备管理主要包括主要包括设备点检绩效、设备档案分析、设备试验检验分析、设备采购资金统计、计划合同分析、合同综合分析、设备维修费用分析、消耗统计分析、设备库存积压分析、设备库存分析；财务管理包括库存分析、资产负债情况、现金流量分析、总账、资产费用、成本分析；人力资源管理包括人员情况分析、薪酬保险统计等。
4 平台搭建
4.1 平台架构
平台总体架构包括数据获取、数据存储、数据展示三部分，如图1所示：
4.1.1 数据获取
数据获取，包括数据的抽取、转换及加载，数据抽取、转换及加载的作用是在运营分析平台与作为数据源的ERP系统、MES系统、设备在线诊断系统、设备点检系统间，搭建一座桥梁，使以上系统中新发生的业务数据，以预先设计好的数据传送方式，加载至数据存储介质中。由于数据源系统中的所属数据来源不同、数据格式不同、需获取的业务数据需遵循抽取规则约束、转换逻辑控制、加载条件限定才能进入数据仓库系统。
4.1.2 数据存储
数据存储包括数据抽取准备区PSA（Persistent Data Staging），主要用于完成对从数据源抽取过来的明细级的数据进行存储，数据仓库系统为每个数据源自动生成结构相同的PSA二维表，其中的数据结构与数据源系统的数据结构完全对应，一般不对其中数据不进行逻辑转换。利用定义好的信息包（Infor Package）并建立触发规则，完成數据从数据源到数据仓库中PSA的数据抽取；运营数据存储ODS（Operation Data Storage），主要用于存储经过转换后的明细级的数据，并用于生产经营业务的统计分析；同时，ODS也是实现数据集成，围绕特定主体，可实现特定主题的日常决策分析 。运营数据存储对数据时效性要求比较高，数据往来频率较高，其中的数据是通过数据传输过程DTP（Data Transfer Process）完成数据的转换及加载，在执行数据加载时，将通过实际业务需求，对数据进行逻辑转换处理；企业数据仓库包括信息立方体和多信息立方体，两类信息立方体均为面向主题的多维度数据存储模型，主要用于存储整合过的、历史明细数据。模型按照按业务主题进行归集，通过数据源系统的数据进行校验及统一，将不同来源的数据进行转换，最终将数据整合建立统一的数据分析应用平台；数据集市层的数据主要面向业务部门，通过数据整合、数据转换，形成具有多级汇总特性的多维分析层。这层的数据进一步进行不同维度的汇总，可提供针对不同汇总级别的，按照不同主题进行联合查询的功能。
4.1.3 数据查询及展现
数据查询及展现实现平台要求的查询分析功能。其功能是以在信息立方体基础上建立的多信息立方体为数据基础，通过查询设计器，根据具体应用逻辑，设计出查询。实现通过电子表格及图表的数据展示。
4.2 平台建设
下面以主营业务明细报表的建模过程为例，该报表将多维度展现材坯（包括钢材及钢坯）、其他产品（包括不合格产品、外矿、水渣、水电费、气体）的营业收入、营业成本、各项费用、销售利润。首先按照数据类型进行数据模型的设计，在需求分析时要确定数据逻辑规则，以材坯和产品的营业收入为基准，对公司各项费用进行分摊。确定基础数据为交货项目数据、销售利润数据、库存资金占用数据。
将交货项目数据作为数据基础，通过第一层转换，对销售数据进行汇聚。通过第二层转换，将销售交货数据与销售利润数据与库存资金占用相关联，按照成本及半成品，完成财务数据模型和成本数据模型关联，同时按照销售收入占比情况，完成营业收入、营业成本、销售利润计算及各项费用的分摊。
数据模型中设计并定义了三个信息立方体：主营业务数据模型、销售明细数据模型、库存占用资金数据模型，及一个多信息立方体营业利润数据模型，三个信息立方体为相互关联的多个事实表，多信息立方体与以上三个信息立方体关联，并不包含数据。信息立方体内容包括所需数据指标、关键值及维度。通过对数据源数据的抽取、加载和转换，将数据按照既定的逻辑关系加载至数据模型，在处理完成之后，通过数据展示层完成报表展示。报表提供对营业收入、营业业成本、销售费用、营业税金及附加、管理费用、财务费用、销售利润按照不同维度的统计分析。
5 结語
该项目利用数据仓库，通过数据抽取加载及转换，完成了供应业务、设备管理业务、销售业务、财务管理业务、人力资源业务相关的300多个技术经济指标的数据展示和统计分析工作，设计并实现了多信息立方体数据模型，作为数据展示基础，设计并实现了相关数据模型的数据抽取、转换和加载策略；设计并实现了产量相关数据模型数据抽取和数据加载策略。设计并实现了统计分析系统的数据展示功能。该运营分析平台可为企业管理层和统计分析人员掌握企业生产经营状况提供更加有力的支持，能够适合公司管理者和统计分析人员的工作需求，有助于公司精细化管理迈上了一个新的台阶。
参考文献
[1]陈永杰. SAP商务智能完全解决方案[M].北京：机械工业出版社，2016：4-28。
[2]林杰斌，刘明德，陈湘.数据挖掘与OLAP理论与实务[M].北京：清华大学出版社，2014：46-47.
[3]w H.IBmon.数据仓库[M].北京：机械工业出版社联社，2008：231-238.
[4]陈京民著.数据仓库原理设计与应用[M].北京：中国水利电力出版社，2004：88-90.
[5]w H.IBmon.数据仓库[M].北京：机械工业出版社联社，2005：231-238.
[6]Eric Sperley. 企业数据仓库[M].北京：人民邮电出版社，2008：90-102.
[7]李拥军，高学东.钢铁企业营销分析数据仓库主题、维、粒度的确定方法[J].冶金自动化，2005（05）：16-20.
作者简介
孙双（1976-），女，高级工程师。
作者单位
河钢唐钢信息自动化部 河北省唐山市 063000
