数据治理成熟度模型——建立管理企业数据的人员、规则和技术

本文翻译自DataFlux下述关于数据治理的白皮书，仅供大家学习参考。

The Data Governance Maturity Model-Establishing the People, Policies and Technology That Manage Enterprise Data

 

未来两年内，《财富》杂志排名前1000位的企业中超过25%的关键数据仍将继续存在信息不准确、不完整或重复等问题。

如今，企业意识到他们的成功与信息质量越来越息息相关。企业基于这些数据做出的重大决策将影响到客户留存、供应链效率以及法律合规性。随着企业收集到的客户、产品、供应商、库存和财务信息越来越多，在一个可用的逻辑框架中准确维护这些信息变得越来越困难。
 

当前业务所面临的数据治理挑战源于IT系统的演进方式。企业数据通常分布在跨部门、跨地区的不同应用系统中，应用网络未打通所造成的混乱导致了糟糕的客户服务、冗余的营销活动，不准确的产品出货，并最终带来更高的业务成本。

为了解决数据传播问题、消除信息孤岛，许多公司实施了企业层面的数据治理计划，试图在整个组织内编纂制定规章制度，开展数据治理最佳实践。尽管目标很明确——必须提升信息质量以支撑核心业务——但启动这些项目并没有明确的路线图。

对于任一组织而言，解决企业数据质量和价值的第一步都是对数据管理基础架构进行诚实的评估。通过数据治理成熟度模型，组织可以精准地识别和量化他们所处的位置以及下一阶段的努力方向，从而创造一个可以提供和维持高质量信息的环境。本文探讨以下内容：

• 企业层面实现更好数据的主要问题。
• 利用现有人员、业务规则和技术实现跨多个部门的更有效数据质量策略。
• 如何评价一个组织的数据管理能力成熟度，并找到适合该组织的数据治理策略。

 

 

 

 

 

 高质量数据的影响 

过去，业务部门仅仅只关注输入和跟踪数据，以满足特定部门的需求。企业得到的结果是积累了一堆冗余、不一致、且经常相互矛盾的数据，这些数据分布在组织从一端到另一端一个个彼此孤立的部门的应用程序中。

然而，两股重要力量使得各家企业的数据驱动型项目变得复杂化。首先，数据量逐年增长。据IDC预测，到2010年，全球数据将达到1ZB字节（即1000EB或100万PB）。其次，所有企业的数据都有很大一部分是有缺陷的。

大量不良数据可导致惊人的负面影响。作家和信息质量先驱Larry English写到“流程故障以及信息缺陷造成的信息报废和返工，仅在美国就造成超过1.5万亿美元的经济损失”。

低质量数据带来的影响最早体现在专注客户信息的应用中：数据库营销、数据仓库和客户关系管理（CRM）。数据质量和数据集成技术如果在本地或部门应用，可以在应用层面解决一些问题。然而，这种做法只会导致若干个局部数据一致、准确且可靠的“数据孤岛”。我们的目标是超越这些孤岛，找到一种跨部门、跨应用、跨业务单元和分区管理这些数据的途径。

全局统筹考虑的好处是显而易见的；更好的数据可以推动组织中各个层面更有效决策。通过一个更统一的企业视图，经理和高管可以制定更能赢利的经营战略。一个成功的企业战略通常包括三个主要因素：

• 人员——有效的企业数据治理需要管理层支持，以及业务和IT人员的坚定承诺。
• 规则——数据治理程序必须通过使用指导数据收集和管理的业务规则来创建并强制执行被视为“可接受”的数据。
• 技术——除了数据质量和数据集成功能之外，有效的数据治理程序还使用数据同步技术、数据建模、协作工具和其他组件来帮助创建一致的企业视图。

 

 

 

 

 

 数据治理成熟度模型 

最佳的数据质量程序不是一次性措施（清理然后继续）… 为实现这些结果，成功的计划确定了数据质量背后的组织流程。就像常规的IT工作一样，从病毒扫描或性能监控到数据备份，数据质量程序成为日常IT例行工作的一部分。

数据治理成熟度模型可以帮助组织了解其当前所处的阶段。更重要的是，该模型可以指明未来的发展方向。虽然实现单一、统一的企业视图是一个渐进的过程，但组织朝着这一终极目标迈进总是不约而同地遵循着一条已知的既定道路。四个不同阶段分别是：

1.缺乏规范（Undiscipined）

2.被动（Reactive）

3.积极主动（Proactive）

4.得到治理（Governed）

重要的是要明确当前组织处于哪个发展阶段，以及搞清楚背后的原因。相比那些因外部事件而被迫改变的公司，以系统方式规划其发展的公司更能受益。数据治理成熟度模型可以通过确定哪个阶段适合业务发展，如何以及何时进入下一阶段来帮助控制这种变化。

图1显示了数据治理成熟度模型，以及其四个不同阶段中每个阶段共有的企业应用程序的典型用法。每个阶段都需要在内部资源和第三方技术方面进行一定的投资。但是，随着组织在每个阶段中不断取得进展，数据治理计划带来汇报不断升级，与此同时风险会降低。

该模型描述了经常发生数据整合和集成的技术类型。公司通常试图从较小的项目（例如数据库营销）中获取数据的价值，然后转移到较大的项目。模型的阶段是连续的，从一个级别到下一个级别的移动不会一下子发生。在第二阶段和第三阶段之间也存在鸿沟（稍后将更详细阐述），组织会发现，要想从被动阶段进入到主动阶段，所需的资源和承诺需要在高管支持和企业支持方面进行关键变革。

图 1 | 数据治理成熟度模型

在流程结束时，公司已经通过主数据管理（MDM）实现了"企业单一视图"，从而有机会将高质量数据与业务流程管理（BPM）系统集成在一起。在这个阶段，组织可以将高质量数据用于不需要或不应该需要人为干预的日常自动化流程中。

本文将检查模型的每个阶段，并定义以下要素：

• 人员——谁参与其中，他们必须做出哪些贡献？
• 规则——必须执行哪些行动？必须制定哪些业务规则才能正确管理数据？
• 技术——需要哪些必要的技术投入？
• 风险和回报——组织在当前阶段面临哪些风险，以及从进步中可以获得什么？
• 进入下一个阶段——从一个阶段进入下一个阶段，需要执行哪些操作？

 

 

 

 

 

 阶段1-缺乏规范 

（本地思考，本地执行）

在数据治理成熟度模型的初始阶段，组织在数据质量和数据集成方面几乎没有明确的规则和策略。相同的数据可能存在于多个应用程序中，冗余数据通常存在于不同的源、格式和记录中。处于这一阶段的公司，高管层面几乎没有或根本没有洞察不良或集成不良的数据的成本。毫不奇怪，大约三分之一的组织处于缺乏规范阶段。

表 1 | 缺乏规范型组织的特点

进入下一个阶段

组织在第一阶段面临的风险通常会导致单个事件或一系列事件，这些事件显示出低质量数据的影响，例如客户流失增加、供应链中断或其他事件。在这一点上，公司认识到数据完整性问题（通常在部门或业务单元层面），并开始量化组织中数据质量差的影响。当这种认识激发变革时，组织可以达到成熟度的更高一个级别。

要想进入被动阶段，公司必须建立数据治理目标，从初始评估开始，为整个企业的数据成熟度建立基线。过渡阶段需要组织确定数据治理工作的规模和范围（这是基层工作还是有高管助力？）。此外，在进入下一个级别之前，组织应明确将要涉及的关键数据资产（客户、产品等）。

支持这种成长的技术要素必须能够支撑跨职能团队完成数据质量和数据集成任务。更复杂的数据概要分析、标准化和验证功能提供了一种跨部门边界优化信息的方法。此外，将核心数据质量功能的业务规则集中到单个存储库中的能力，以及跨应用程序使用同样规则的能力，是促进成长的关键因素。

 

 

 

 

 

 阶段2-被动 

（全局思考，本地执行）

被动型的组织只有在数据的问题发生后才能定位并面对这些问题。企业资源规划（ERP）或 CRM 应用程序执行特定的任务，组织存在不同级别的数据质量问题。虽然某些员工了解高质量信息的重要性，但缺乏企业管理层的支持。研究表明，处于这一阶段的组织数量最多，约占45%至50%。

表 2 | 被动型组织的特点

进入下一个阶段

在被动阶段，应用程序仍然处于没有集成的状态、一个一个单点的解决方案。进入积极主动阶段时需要经理和高管创建一个新的战略愿景，以确保流程到位从而实现数据的纠正和整合，进而带来有形的业务成果。

进入积极主动阶段并非易事（如图 1 所示的鸿沟）。在复杂的 ERP 或 CRM 系统上连续多年投入时间和资源之后，通过客户数据集成 （CDI） 或产品数据管理 （PDM） 解决方案迁移到更统一的企业视图需要跨部门和部门的共同努力。习惯于维护自己的应用程序和数据结构的业务部门，可能很难接受企业层面的数据治理策略。因此，进入下一阶段需要高管的大力支持，以及由此产生的文化转变，以创建更统一的组织视图。

一旦建立了愿景和战略，向积极主动阶段转变就需要创建和编纂数据治理团队（发起人、利益相关者、领域专家和数据管理员）。该团队——尤其是负责数据质量程序日常监督的数据管理员——建立与已明确数据完整性级别相对应的跨职能业务规则。这些规则通常基于在ERP或CRM实施过程中有效使用的既定最佳实践。

从技术方面来看，数据质量和数据集成能力成为跨企业IT平台的核心组成部分。组织更依赖于 SOA 将数据管理流程与操作应用程序联系起来，这使得数据质量成为所有系统的关键功能。最后，转向主动阶段的公司，在问题出现之前，使用数据监控技术发现不合标准的数据。

 

 

 

 

 

 阶段3-积极主动 

（全局思考，合作执行）

进入到成熟度模型的积极主动阶段，意味着企业有能力避免风险和减少不确定性。在这个阶段，数据从一种被低估了的产品，变成一种可以用来帮助组织做出更明智决策的资产。

积极主动的组织实施和利用CDI和PDM解决方案——对MDM工作采取特定于领域的方法。CDI或PDM的选择取决于每个数据集对整个业务的重要性，零售和金融服务型企业明显以客户数据为主；制造业企业和分销商将采取以产品为中心的方法。尽管CDI和PDM市场近年来持续增长，但只有不到10%的企业达到了这一水平。

表 3 | 积极主动型组织的特点

进入下一个阶段

在积极主动阶段，组织开始统一特定领域（通常是客户或产品）的企业视图。下一个阶段将面向企业所有信息创建统一的方法，最终实现可以支持业务流程自动化的信息质量。

要进入最后阶段——得到治理——企业需要拼装整合诸多已经就绪的零散工作。一个整合企业内部多个数据管理工作的“卓越中心”（或相似的框架）成立。业务分析师开始把控数据管理流程，IT部门发挥辅助支撑作用。CDI和PDM计划提供的主数据为业务流程自动化奠定了基础，因为这些数据已经足够强壮可靠，足以支持高端流程管理。

达到最后一个阶段所需的技术还聚焦实现业务流程自动化的能力。MDM的核心组件已经到位，通常组织需要集中精力将主数据作为核心组件，而忽略原始的应用程序和数据类型。高质量数据为全面的BPM集成提供了基础。

 

 

 

 

 

 阶段4-得到治理 

（全局思考，全局执行）

在治理阶段，企业在组织内部采用统一一套数据治理策略。数据质量、数据集成和数据同步作为重要组成部分，贯穿所有业务条线，同时组织从单一的、统一的企业视图中获得显著成效。

表 4 | 得到治理型组织的特点

在成熟度模型的最后一个阶段，企业建立了一个复杂的数据战略和框架，同时企业文化也发生了重大转变。这些企业不再将数据质量和数据集成问题视为一系列实战项目，而是建立了一套全面计划用来提升关键业务数据的管理流程。有了执行管理层的支持以及所有业务部门的参与，项目蓬勃发展，并创造出更一致、更准确和可靠的信息进而支持整个组织发展。更重要的是，企业可以将那些曾经需要较少人工干预（但不可或缺且耗费时间）的流程进行自动化。在这个阶段，BPM成为现实，企业系统可以努力满足员工需求。例如，到达这一阶段的企业可以专注于优质客户服务的提升，他们可以凭借一个涵盖所有信息的存储库从而了解客户交互的方方面面。企业还可以使用MDM存储库推进其他举措，例如通过更好的产品和库存数据的利用使得供应链购买力得到充分释放。

 

 

 

 

 

 总结 

企业数据量和复杂性都在不断增长。跨企业、跨区域之间的数据共享不断增多。无论现在还是将来，企业能否取得成功最终取决于是否具有维护数据视图一致性的能力。

对于任何想要提升自身数据质量的企业，至关重要的是要理解实现最高水平的数据治理是一个渐进的过程。如果一家公司已经形成了一个充满低质量、彼此脱节的数据网络，就不能指望一蹴而就迅速进入到下一个阶段。基础设施（从IT角度，以及从企业领导力和数据治理策略来看）也无法支持一家公司迅速从无治理阶段迅速进入到治理阶段。

尽管如此，数据治理成熟度模型显示，例如数据质量、数据集成、CDI、PDM或MDM，并不是“孤注一掷的、全部或一无所有的”工作。例如，企业通常以为CDI或PDM是解决他们问题数据的灵丹妙药，认为应该立即部署实施一个新系统。但是大规模ERP和CRM实施的教训（大多数是失败或效果不佳）表明CDI、PDM、MDM和BPM的目标不仅仅是技术问题。失败的典型结果就是缺少来自企业各环节的支持。

为改善企业的数据健康状况，组织必须调整企业文化——从员工如何采集数据到管理这些信息的技术，再到以数据治理为中心的方法。尽管这听起来让人望而生畏，但随着组织逐渐成熟，一个组织在早期阶段取得的成功可以被大规模复用。过往已经取得显著成效的策略将最大程度降低失败风险。其结果是一套伴随组织发展而不断渐进的数据治理方法，并为企业范围内可靠的数据管理计划提供了最佳机会。

 

来源：DAMA数据管理

作者：王义