|
2016年6月初，国家电网公司下发了《国家电网公司关于印发公司全业务统一数据中心建设方案的通知》，国网浙江电力作为建设的前锋和主力单位，通过完善企业统一数据模型，实现了公司级数据定义、数据管理、数据交换的标准化和规范化，打通了业务与技术之间的壁垒。本文将详细介绍国网浙江电力数据模型管理实践的全过程。 企业数据模型不统一会带来一系列问题通常企业数据模型包括业务模型、逻辑模型和物理模型三个层次。 概念模型是一种高层次的、高度抽象的数据模型，基于对企业业务的分析，抽象出主要业务领域及相互关系。 逻辑模型是对概念模型的进一步分解和细化，明确概念模型中业务对象类的属性，描述业务对象及属性的业务含义。 物理模型是在逻辑模型的基础上，结合具体数据库特性，考虑数据存储的基本要求，把逻辑模型转化为可实际运行的数据模型，用于支持具体业务应用。 图：数据模型的三个层次 国家电网SG-CIM模型已经发展到了CIM3.0版本，通过SG-CIM3.0模型能够辅助业务、技术人员快速了解相关业务，并能够指导企业进行业务创新。同时，国网大数据平台参考SG-CIM模型梳理设计了数仓模型，已经完成了客户域、人资域等多个主题域的设计，并在大数据平台中进行了落地。国家电网实际数据模型建设与三层模型的对应情况如下图所示： 图：数据模型的三个层次与国家电网实际模型对应关系 那么若各层数据模型不统一，会出现哪些问题？ 1、业务理解不一致对业务的理解不一致的现象在企业中非常普遍。对业务术语理解的不一致让员工无法交流，产生误会，降低沟通效率；在会议决策时，领导对业务理解不一致有可能导致错误决策；在部门统计时，对业务定义的理解不一致将会导致统计方式不一致，造成统计不准确，甚至会影响到企业多个指标和KPI的统计结果。
例如：电量结算单位跨系统存在差异，在采集系统以采集表计为单位，在营销系统以营销户号为单位，在财务系统以财务结算单元为单位，各单位间结算方式不统一，造成数据共享困难。 2、查找信息很困难大数据时代，企业数据量呈爆发式增长，业务人员查找数据越来越像“大海捞针”。据统计，企业员工每天要花费15%——35%的时间在海量信息中查找需要的数据，只有少于50%的搜索结果是满足需求的，大多情况下的查找结果都不尽如人意；因为查找不到已经存储过的信息，企业经常会做一些不必要的重复工作。 图：查找信息很困难 例如：财务管控系统报表数据存储结构逻辑复杂、涉及表数量庞大（约6000张后台表），后台表数据经过重组或转换后形成前台报表数据项，报表项数据与后台数据表之间的业务关联认知度不高，造成数据查找非常困难。 为避免以上一系列问题的出现，企业需将数据模型统一管理起来，促进数据的共享，加快企业发展的步伐。 通过元数据管理工具管理企业数据模型企业数据模型是企业元数据的一部分，普元的元数据管理工具的设计符合MOF规范，可将SG-CIM模型、数仓模型、物理模型统一存储在元数据仓库中，通过管理元数据，实现企业数据模型的管理。具体可以从业务元数据和技术元数据采集、业务元数据和技术元数据对应、数据模型展现和查询三方面入手。 1、 自动采集业务元数据和技术元数据从一定程度上来说，可以把SG-CIM模型看成是业务元数据，将数仓模型和物理模型看成是技术元数据，通过元数据管理工具的全自动采集，将SG-CIM模型、数仓模型和物理模型统一纳入到元数据仓库中，为各类模型的在线统一管理提供基础。
各层模型的采集步骤相似，我们以SG-CIM业务模型的采集为例，要对SG-CIM业务模型进行管理，首先要定义SG-CIM的元模型，需要使用元数据管理工具的元模型管理功能，因普元的元数据管理工具符合MOF规范，支持元模型的灵活扩展，所以具备定义SG-CIM元模型的能力。下图是对SG-CIM元模型的定义：
图：SG-CIM元模型的定义 SG-CIM元模型设计完成之后，就可以使用定制开发的EA采集适配器进行元数据采集了。元数据管理工具分别提供了数据源管理、采集任务管理、采集日志管理三项功能，辅助元数据管理员进行SG-CIM 模型的导入。类似的，数仓模型和物理模型都可采用以上两个步骤采集，纳入到元数据仓库中。 图：普元元数据管理工具自动采集能力 2、 自动对应业务元数据和技术元数据充分释放数据价值的前提是让业务人员能自助查询和获得数据，但业务人员了解业务模型，不了解物理模型，为了让业务人员能够通过业务模型直接获取数据，需要建立起业务模型与最终落地的物理模型之间的关系，来实现业务和技术的关联。 目前大部分企业还是依靠人工梳理的方式来对应业务模型与物理模型，需要业务人员来填写各种各样的数据项，增加业务部门负担的同时，也很难保证时效性。 国网浙江电力通过建立企业级的元数据管理平台，自动完成了业务模型与物理模型的映射，实现了对技术元数据和业务元数据的统一管理，通过技术元数据管理实现了对数据实体和数据处理过程中的技术细节和处理规则管理，业务元数据管理实现了对IT系统的数据实体和数据处理的业务化描述。 图：技术元数据和业务元数据自动关联 3、 可视化方式管理企业数据模型（1）数据模型展现采集各类元数据并做好自动对应之后，工具可以通过类拓扑图、模型导航树和主题星空图等方式对数据模型进行展现。在类拓扑图上可以查看实体间的关系、实体基本信息、实体的数据项信息等，通过导航树，还可查询节点详细信息。 图：数据模型展现 同时，为了便于管理员对各类模型的数量进行统计分析，数据模型工具提供了统计看板的功能，管理员可以直观的查看SG-CIM、数仓模型各主题下实体的数量和物理模型的数量。另外国网总部的用户可以通过全国地图，查看各省公司数仓模型、物理模型及数仓模型和物理模型关系的情况。只需要在地图上，点击省分区域，各项统计数据便可以在右侧统计区域显示。
（2）数据模型查询为了方便用户快速定位、查到到所需要的模型，工具提供了模型检索功能，输入要查询关键字、设置筛选范围（SG-CIM模型、数仓模型、物理模型、全部），要查询的元数据类型（实体、数据项）等条件，符合查询条件的元数据会展现到检索结果框中，还可以从业务属性、技术属性和运行属性三个方面查看模型的详细信息。
总 结对于企业来说，业务与技术本就应该是紧密联系在一起的，但由于专业的分工，懂业务的人不是很了解技术，而搞技术的IT人员，又不是很了解业务，于是业务与技术之间的鸿沟越来越深…… 而企业业务创新必然是业务和技术的结合，找到二者的结合点才能创造更多价值，通过数据模型管理，建立业务模型和技术模型之间的映射，国网浙江电力为业务与技术之间紧密结合创造了条件，为业务创新打下了坚实的基础。
相关文章： 2、《面向业务的企业元数据管理》（可关注公众号“EAWorld” 搜索阅读） 3、《业务元数据管理——洞悉数据背后的业务含义》（可关注公众号“EAWorld” 搜索阅读）
|
|
|
来自： 昵称40456796 > 《技术文章》
