24张架构图把数据治理核心内容讲透了

晴耕雨读天 2021-09-30

展开全文

前言

随着信息革命和信息化的飞速发展，计算机数据量的急剧增长，数据利用和管理的重要性与日俱增，数据逐渐在信息化这个大舞台上扮演着越来越重要的角色。数据治理是企业大数据基础，企业级数据平台助力企业数字化转型。

在目前数字化转型大趋势的推动下，企业数据治理的需求迫在眉睫。为了促进企业有序开展数据治理工作，进一步厘清企业转型升级的主要痛点和关键需求。本篇文章根据《数据治理：工业企业数字化转型之道》核心内容整理，希望在数据治理方面的理论介绍及实践经验，能为众多企业在数据治理的研究和实践中提供参考和借鉴价值，以期达到少走弯路，减少探索，打好基础，快速取胜的效果。

数据治理背景和挑战

数据治理知识体系涉及管理、技术等多个学科领域，是一个非常复杂的系统工程，如何全面而系统地构建较为完整的数据治理体系，是企业实施数据治理的关键课题。

从宏观角度，数据治理是指全球治理，即在大数据时代，以国家、国际组织、多利益攸关方等为主体，对数据权利、流通、管理等方面的治理。

从中观角度，数据治理是指公共治理，即区域和国家对其主权范围内的数据质量、权属、流动机制等方面的宏观管理。

从微观角度，数据治理是指对数据资产行使权力控制的活动集合。

不同的行业信息化发展水平不一样，其对数据的依赖程度不一样，数据治理水平也不一样。

1、各国的大数据状况

根据国际数据公司（IDC）2018年年末的测算，2025年，中国将成为全球五个分区中，最大的数据资源拥有地区（占比为28%，数据总量为49ZB），其数据总量将是美国（排名第四，占比18%的1.56倍。这五个分区是：1）中国；2）欧洲、中东、非洲地区（EMEA）；3）亚太国家，指除中国之外的、包括日本在内的亚太地区所有国家（APJxC）；4）美国；5）世界其他地区。

实际上，2019年，中国的数据总量已经超过了美国。但是，中国工业企业的数据资源存量普遍不大，宝贵的数据资源由于缺乏科学的数据管理而随意流失；工业企业数据总量低下，与企业规模极不相称；半数以上的工业企业仍在使用纸质或更原始的方式进行数据的存储和管理；数据孤岛几乎是所有工业企业都面临的困境。此外，无论是数据管理还是数据治理，中国工业企业的状况也不容乐观。调查显示，仅有37.84%的大型工业企业、46.67%的中型工业企业、13.64%的小型工业企业开展了数据管理工作；大多数工业企业缺乏专门的数据管理部门，投入数据管理的人、财资源也非常有限，更谈不上顶层规划和战略管理。

2、工业企业数据治理面临的挑战

工业领域信息化起步相对较晚，工业数据也更为复杂，涉及研发、生产、管理、运维、服务等多个环节，因而数据管理工作的推进也相对滞后。

（1）数据基础薄弱。我国工业企业的数据资源存量普遍不大，调查显示，66%的企业数据总量都在20TB以下；管理手段比较落后，51%的企业仍在使用纸质或更原始的方式进行数据的管理。数据孤岛几乎是所有企业都面临的困境。

（2）数据治理滞后。数据管理缺失，技术手段落后，导致企业数据质量难以得到保障，数据共享困难，数据的价值不能得到充分的挖掘和变现。

（3）数据价值难以量化评估。数据治理投入大，短期内很难看到成效，而数据价值的评估又很难量化。因此，很多企业投入数据治理的意愿不大，这反过来又影响了企业数据的使用。

3、数据治理是工业大数据的基础

工业大数据区别于其它行业大数据是由智能化时代需要人机协同的特点所决定的。它不仅有企业经营数据、人的行为数据，更重要的是来自于传感器采集的设备海量数据。其主要特点如下：

数据来源的多样性，既有经营管理的数据，也有客户行为画像的数据，更有多种设备状态、控制数据。数据的实时性，生产现场的数据具有连续性、实时性、数据海量的特点。这就要求数据的采集、清洗、存储和处理的技术不一样，尤其是需要实时分析。

工业机理的复杂性对知识图谱的构建提出了很高的要求，相应地数据之间的相关性分析非常重要。要围绕产品全生命周期、企业全价值链甚至产业链去构建。

4、国家层面对数据治理越来越重视

中共中央、国务院《关于构建更加完善的要素市场化配置体制机制的意见》首次将“数据”作为新型生产要素，与土地、劳动力、资本、技术等传统要素并列为要素之一，提出要加快培育数据要素市场，对企业数字化转型有着极其重要的意义。国资委《关于加快推进国有企业数字化转型工作的通知》,明确提出构建数据治理体系，加快集团数据治理体系建设，明确数据治理归口管理部门，加强数据标准化、元数据和主数据管理工作，定期评估数据治理能力成熟度,为国有企业数字化转型指明发展方向，描绘数字蓝图，规划转型路径,提出具体要求。然而随着信息技术的发展，目前在数据治理方面存在数据定义不规范、数据血缘关系不清晰、数据冲突、数据质量不高等问题和不足，亟需加快解决和完善。

二、数据治理的框架和核心内容

不同层级的人对数据治理的关注点不一样，因此各自的视图也不一样，下面分别从管理者视图、技术者视图、数据资产管理者视图逐一介绍。

数据治理的的管理者视图可以概括为“五域模型”，分为“管控域”、“过程域”、“治理域”、“技术域”、“价值域”

图1、管理者视角-数据治理五域模型

管控域：在数据治理战略指导下制订企业数据治理组织，明确组织的责、权、利，岗位编制及技能要求。

治理域：是数据治理的主体，明确数据治理的对象和目标。

技术域：数据治理的支撑手段，指的工具平台。

过程域：是数据治理的方法论。

价值域：数据治理的目标就是通过对数据资产的管控挖掘数据资产的价值，并通过数据的流动、共享、交易变现数据资产。

图2、技术视角：企业大数据治理实践指南框架

工业数据治理体系，包括数据战略、数据治理管控体系（数据治理组织、制度、流程、管控机制、绩效体系及标准体系）、数据架构、主数据、元数据、指标数据、时序数据、数据质量、数据安全、数据集成与交换、数据开放和共享、数据资产管理能力成熟度评估以及数据价值、数据共享、数据变现等许多方面。

图3、工业企业数据治理车轮图

本文重点从数据战略、数据管控（组织管理、制度体系、流程管理及绩效）、三个核心体系（数据标准体系、数据质量体系、数据安全体系）和工具等重点介绍。

图4、工业企业数据管控和三个核心体系

1、数据战略

数据战略是整个数据治理体系的首要任务，是企业开展数据治理工作首先应该考虑的事。数据战略应由数据治理组织中的决策层制定，需要指明数据治理的方向，包括数据治理的方针、政策等。

数据战略能力域关注整个组织数据战略的规划，愿景和落地实施，为组织数据管理、应用工作的开展提供战略保障，组织的数据战略需要和业务战略保持一致，并且要在利益相关者之间达成一致。

数据战略已成为企业精细化数据管理不可或缺的基础，只有切实落实好数据战略工作，才能提升企业数据质量、实现企业数据价值升华，为企业数字化转型奠定基础。

数据资产顶层设计不仅仅是一个报告、一份文件，更是企业系统性设计未来的大胆假设、小心求证、集体沟通、达成共识、形成机制、颁发军令状的过程。

图5、数据资产顶层规划设计方法论

正确的顶层设计是企业家对未来形势的正确判断，对机会和战略，治理与架构，资本和模式，供应链和数字化，品牌和营销，产品和客户等整体一盘棋的布局。如果说商战就是没有硝烟的战争，那么顶层设计则是整体战的部署

2、组织管理

建立合适的数据治理组织是企业数据治理的关键。数据治理的组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。数据治理是一项需要企业通力协作的工作，而有效的组织架构是企业数据治理能够成功的有力保障。为达到数据战略目标，非常有必要建立体系化的组织架构，明确职责分工。

图6、某集团数据治理组织架构设置范例

图7、某央企数据治理组织架构设置范例

3、制度体系

企业的数据治理必须要有相关制度，否则无法可依，再好的技术工具也没有用。因此，建立完善的数据治理制度很重要。

保障组织架构正常运转和数据治理各项工作的有序实施，需要建立一套涵盖不同管理粒度、不同适用对象，异覆盖数据治理过程的管理制度体系，从“法理”层面保障数据治理工作有据、可行、可控。数据治理制度框架分为政策、制度、细则、手册4个梯次。

图8、数据治理制度框架

企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定，往往包含数据质量管理、数据标准管理、数据安全管理、数据绩效管理等制度，以及元数据管理、主数据管理、交易数据管理、数据指标管理等办法及若干指导手册。

图9、数据治理制度框架体系

图10、数据资产管理规定目录

4、流程管理

制定数据治理的流程框架也是数据治理的重要工作。

数据治理流程主要包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤，以及元数据管理、主数据管理、数据指标管理等流程。

图11、数据治理流程框架体系

5、绩效管理

数据治理考核是保障数据治理制度落实的根本，是一种正式的员工评估制度，通过系统的方法、原理来评定和测量企业员工在一段时间内数据治理相关的工作行为和工作效果，进一步激发员工的积极性和创造性，提供员工的数据治理责任心和基本素质。

图12、数据治理绩效体系

要使数据治理的体系运转好，必须要有好的激励体系。数据绩效管理包括数据管理指标、数据认责机制、数据考核标准、数据管理的奖惩机制，以及绩效管理过程的一系列活动集合。

6、标准体系

数据标准是实现数据标准化、规范化的前提，是保证数据质量的必要条件。

数据标准一般分为元数据标准、主数据标准、交易数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。数据标准管理是规范数据标准的内容、程序和方法的活动，分为标准制定、标准实施和控制、标准修订等。

图13、数据标准化体系

7、质量体系

数据质量是指数据的适用性，描述数据对业务和管理的满意度。数据质量主要指数据的准确性、及时性、完整性、唯一性、一致性，有效性六个方面。

数据质量管理是对数据的分析、监控、评估和改进的过程。包括规划和实施质量管理技术，以测量、评估和提高数据在组织内的适用性，提高数据对业务和管理的满足度。重点关注数据质量需求、数据质量检查、数据质量分析和数据质量提升的实现能力。

图14、数据质量框架体系

数据质量管理贯穿数据生命周期的全过程，除了明确数据质量管理的策略，还要善于使用数据质量管理的手段及工具，覆盖数据质量需求、数据探查、数据诊断、质量评估、数据监控、数据清洗、质量提升等方面。

8、安全体系

数据安全管理是为了确保数据隐私和机密性得到维护，数据不被破坏，数据被适当访问。通过采用各种技术和管理措施，保证数据的机密性、完整性和可用性。

数据安全体系框架通过3个维度构建而成，包括政策法规、技术层面和安全组织人员。数据安全治理体系框架在符合政策法规及标准规范的同时，需要在技术上实现对数据的实时监管，并配合经过规范培训的安全组织人员，构成了数据安全治理整体架构的建设。

图15、数据安全治理体系

数据安全治理能力建设并非单一产品或平台的构建，而是建设一个覆盖数据全部生命周期和使用场景的数据安全体系，需要从决策到技术，从制度到工具，从组织架构到安全技术通盘考虑。

图16、数据数据全部生命周期

9、平台工具

搭建云数智一体化数据平台，满足前台应用准确性、快速性和多样性的数据需求，缩短研发周期、降低技术成本，将数据中心逐步由成本中心向资产中心转变，提升数据价值，实现五个打通：

（1）横向打通：破除部门壁垒，打通专业。横向跨专业间的分析挖掘融通；

（2）纵向打通：内部多层级数据打通，形成统一资源目录。上下级数据共享交换；

（3）内外打通：消除内外数据的鸿沟，实现内外部数据的关联分析；

（4）管理打通：建立企业标准，实现统一管理统计口径；

（5）服务打通：数据中台统一对外提供数据服务和应用构建，与业务系统和数据应用充分协同。

图17、两体系两平台一服务的数据平台总体框架

面向数据全生命周期，提供的一站式数据规划、集成、开发、治理、服务、应用等产品。数据平台能力框架：5个维度（采、聚、理、用、保），7个功能层次。

图18、数据平台能力框架

从数据接入整合能力、数据共享应用能力、数据综合管理能力、基础组件支撑能力四方面，全面建设数据能力，培育能力体系，实现数据接入、存储计算、数据分析、数据服务、数据资产管理、运营管理等功能，以多类型大数据量的汇聚为基础，以统一模型为标准，为前端应用提供灵活的统一数据服务。

图19、数据平台四大支撑能力

数据平台是通过企业内外部多源异构的数据采集、治理、建模、分析，应用，使数据对内优化管理赋能业务，对外可以数据合作价值释放，成为企业数据资产管理和服务中枢。

大数据治理需要多种数据治理工具软件的支撑，包括以主数据为核心的套装软件、以数据资产目录为核心的数据资源管理工具、以元数据和数据模型为核心的数据中台，此外还有时序数据、数据交换等。这些工具互有侧重，需要根据实际需求予以剪裁。

数据治理管理工具包括数据架构工具、元数据管理工具、数据指标管理工具、主数据管理工具、时序数据管理工具、数据交换与服务工具、质量管理工具和安全管理工具等。

图20、数据治理工具集

图21、以元数据治理为核心的数据治理工具

主数据服务业务视图包括8个业务域、32个业务子域及相关业务活动，主数据管理工具是主数据全生命周期管理的平台，也是主数据标准、运维体系落地的重要保障。本章从主数据标准管理、主数据代码管理、主数据清洗校验、主数据生命周期管理、主数据质量管理、主数据应用评价、主数据全景图，主数据应用需求管理、业务需求等。

图22、以主数据治理为核心的数据治理工具

主数据治理平台是企业数据规划、数据标准落地的载体，实现数据治理统一标准、统一规则的支撑

主数据治理平台是有效实施主数据、元数据、数据指标管理，提供规范统一的主数据服务的平台

主数据治理平台是实现数据从产生到应用，分层协同、全面治理的核心

图23、主数据管理工具-逻辑架构

四、人工智能是大数据治理核心方向

“无治理、不分析”，没有高质量的数据，就不会有可信的AI。数据治理是人工智能基础，能够为人工智能提供高质量的数据输入。而人工智能是一种技术，它不仅仅是在数据应用端产生作用，在数据的管理端同样需要人工智能。有了人工智能加持，数据治理将变得更加高效和智能。相信未来，人工智能和数据治理将会擦出越来越多的火花。

人工智能技术在数据采集、数据建模、元数据管理、主数据管理、数据标准、数据质量及数据安全等领域有着深入的应用。