分享

元数据管理与企业数据运营!

 awoziji 2021-07-17

元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是关于数据的数据。


— 01 
企业数据治理的现状与问题
企业架构理论体系中,数据架构始终是企业架构的核心组成部分。TOGAF企业架构框架定义了数据架构位于业务架构与基础技术架构之间,通过数据架构的治理实现的业务和应用的有效斜街。
图片
数据架构基线
  • 数据架构梳理

  • 数据架构优化

  • 数据实体关系

  • 概念数据模型

  • 逻辑数据模型

  • 物理数据模型
数据架构关系
  • 业务流程与数据流向

  • 业务功能/数据关系矩阵

  • 应用/数据关系矩阵

  • 数据架构展现与变更管理平台
数据管理
  • 数据分布管理
  • 数据质量管理
  • 数据容量管理
  • 数据迁移……
企业数据资产管理的常见问题
  • 数据架构失控

  • 元数据管理混乱

  • 数据标准缺失

  • 数据质量参差不齐

  • 数据增长无序

  • 数据安全问题突出


问题集中于系统变更频繁、积木式迭代、烟囱式建设:
一、企业的IT系统经历了数据量高速膨胀的时期,但大多数据企业最初没有对数据架构重视,导致企业海量的、分散在不同角落,企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统,系统与系统之间的关系、标准数据从哪里获取都无从知晓。
二、传统企业的数据资产问题归根到底是由于企业中对企业数据缺少统一而有力的组织、制度、流程的管控,引起的“数据孤岛”问题。

— 02 
企业数据运营的常见问题
企业数据运营中经常遇到的各种各样问题,如下图:

图片
  • 怎样快速找到想要的数据:已存在系统,有哪些关键业务数据?它们在哪里?报表A指标值怎么算出来的?原始数据从哪得到的?
  • 数据标准如何定义:关键业务数据在不同系统的业务定义?它们的数据结构是怎样的?同一实体在不同系统中的命名规则及其他属性一致?同一实体与本系统或其他系统对象是否存在依赖关系?具体的依赖关系描述是怎么样的?
  • 如何梳理出上下游关系:随着业务快速发展,数据生产链路逐渐变长,生产关系越来越复杂,如何准确高效的梳理出数据间、任务间的血缘关系,识别出关键生产链路?
  • 数据治理靠什么来驱动:如何驱动资源治理、规范治理等,以及如何衡量治理效果?
  • 数据资产的管理问题:海量的数据资产的归属、分级分类,识别隐私数据等管理问题如何解决?一旦对象定义发生变化,其他开发团队会不会有影响?数据实体所有者是谁?谁作过修改或变更?

这些问题,或许元数据管理能够帮助到您!

— 03 
元数据管理对数据运营的重要性

元数据管理是数据治理工作是重重之重,为什么企业内部的数据质量总是不高?其实只要有数据存在就有数据质量问题存在。但是也可以通过一个有效的管理流程来提高企业数据质量,其中最核心的核心就是元数据的管理

图片

数据运营之元数据的重要性

元数据是企业中用来描述数据的数据。它可理解为比一般意义的数据范畴更加广泛的数据,不再仅仅表示数据的类型、名称、值等信息,它可以进一步提供数据的上下文描述信息,比如数据的所属域、取值范围、数据间的关系、业务规则,甚至是数据的来源。在数据分析中,元数据可以帮助DW管理员和DW开发人员非常方便地找到他们所关心的数据。
元数据提供企业数据DNA
  • 有用的数据在哪里

  • 提供一份数据结构定义和元素的详细示意图

  • 数据来龙去脉、关系

  • 数据质量审计

  • 减少数据冗余性,增加数据共享,

  • 使应用开发过程更有效

  • 参照性、引用性、血缘分析、影响分析、变化分析...

  • 利用数据解决企业问题的能力
— 04 
元数据管理范围和目标
一般而言,就数据仓库或者大数据平台中的元数据可以按不同的维度分为技术元数据、业务元数据、操作元数据等,元数据管理的范围大致如下三个方面:
元数据源:元数据源数据仓库和数据平台中的数据实体定义和结构信息。
数据接口:生产系统和操作型系统中采集到数据仓库或者数据平台中的各中数据接口信息。
报表展现(BI):报表展现的相关指标和统计口径。
数据集成(ETL):数据汇总、处理和分析的数据集成相关信息。
元数据管理目标
图片
— 05 
元数据管理系统
元数据系统整体分为接收层,服务层,存储层和应用层。左右两侧分别是主要接入方和应用方,接入方主要包括了大数据引擎、管理工具、开发平台及工具,应用方主要包括数据地图、开发平台、治理平台等。
  • 接入层:适配不同元数据生产方,转换成标准定义,输出全种类实体、关系变更消息。

  • 服务层:基于存储层提供单点、复杂查询服务,基于分析引擎提供分析服务。

  • 存储层:基于图模型的实体、关系的存储与查询,支持统计与分析能力。

  • 应用层:提供数据资产地图、数据搜索、全链路血缘等功能。

图片

图:元数据管理架构(来源:快手)

基于元数据系统的数据资产搜索能力对各类数据建立数据索引,方便搜索引擎快速找到这些数据,同时搜索引擎提供了根据相关性、元信息完善度、依赖数量、运营规则进行智能排序,帮助用户用户快速找到所需数据。
图片

图:数据搜索的原理(来源:快手)

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多