数据治理的核心所在，一文讲清数据治理体系化框架

随着组织数据收集和存储的增长，所有业务流程都将受益于数据驱动型。随着组织数据收集和存储的增长，其决策也会随之增长。当然，数据量的增加带来了新的问题。公司积累的数据资产越多，遇到的数据困难就越多。

随着越来越多的数据项来自数十或数百个不同的来源，公司经常失去对数据生命周期过程的控制，扩展以满足数据最终用户的期望变得越来越困难。因此，了解并为公司建立数据治理框架迫在眉睫。

01

什么是数据治理框架？

数据治理框架是成功管理大量信息所需的人员、过程和规则的模型。

各种业务驱动因素是公司持续成功的关键方面或程序，指导着每家公司的运营。组织的特定业务驱动因素决定了作为数据管理计划的一部分，必须严格控制数据的程度。

例如，医疗保健组织的业务动机之一可能是保护与患者相关的数据资产的隐私。这就需要在敏感数据在组织中传输时对其进行安全管理，以保持对相关政府和行业标准的合规性。但是，患者的医疗保健专业人员必须能够同时轻松访问他们的医疗记录。这些要求是提供商数据管理策略的基础，也是其数据管理系统的基础。

精心规划的数据治理框架包括战略、战术和运营层面的角色和职责。您可以放心，您的数据是可信的、有据可查的，并且易于在您的业务中发现。它还保持安全，符合法规，并防止泄露。

02

数据治理框架示例

开发数据治理框架的传统方法分为自上而下和自下而上。这两种方法源于截然相反的哲学观点。一个优先考虑数据控制，以最大限度地提高数据质量。另一个，优先考虑数据的可访问性，以优化所有业务部门的最终用户的数据访问。

1、对于数据控制：自上而下的方法

此方法集中了数据管理。它基于一小组数据专家，他们使用定义明确的程序和众所周知的最佳实践来实现他们的目标。此方法意味着数据建模和治理具有最高优先级。随后，数据被更广泛地提供给组织的其他部门进行分析。

尽管此策略有效，但它存在严重的扩展问题。在此概念中，数据生产者（通常是 IT）和数据使用者（通常是业务用户）之间存在明显的区别。只有数据供应商才有权对他们收集的信息行使任何控制权。在云计算出现之前，这不是一个问题，因为需要监管的数据较少，需要访问这些信息的团队也更少。

然而，这些小型数据生产者团队现在无法跟上数据消费者的需求。目前，公司要求向需要数据的每个人提供干净、完整和不折不扣的数据。为了使这些团队继续作为看门人运行，有太多的业务用户代表他们发出太多请求。

2、对于数据可访问性：自下而上的方法

在数据管理方面，自下而上的方法提供了更大的灵活性。与从数据建模和治理开始的自上而下策略不同，自下而上的方法从非结构化数据开始。引入原始数据后，可以在数据之上构建结构（这称为“读取时模式”），并添加数据质量控制、安全规则和策略指南。

这种结构在大数据中越来越受欢迎，比集中式方法更具可扩展性。它提出了一系列全新的数据挑战。由于数据管理直到流程后期才应用，并且任何人都可以提交数据，因此更难保持控制。此外，如前所述，缺乏数据管理可能会导致监管风险增加，利益相关者对组织数据失去信心，以及由于必须管理的数据资产集合混乱而导致数据管理成本更高。

我们需要一种现代化的数据治理框架方法，在访问和控制之间取得健康的平衡，以实现这一目标。我们必须在流程的早期建立控制，同时不影响用户和主题专家承担数据所有者和策展人角色的能力。

03

如何建立数据治理框架

步骤 1：确定数据治理框架和数据管理功能的范围

所需数据管理功能的范围因公司而异，并取决于许多因素。关键规则是定义的范围应满足公司的需求和资源。公司在建立正式的数据管理功能时应考虑的因素是：

业务驱动因素：

 

业务驱动因素是公司启动此类计划的原因。公司应考虑来自外部和内部环境的业务因素。

 

最常见的驱动因素是各种法规（即GDRP）和业务变革（即数字化转型和实施AI/ML解决方案以改善客户体验）。

 

各利益攸关方的需求：

 

业务驱动因素确定利益相关者。利益干系人可以是外部的，也可以是内部的。不同的利益相关者对数据管理计划有不同的需求和期望，有时甚至是有争议的需求和期望。假设一家公司决定启动数字化转型解决方案。一次将所有业务流程数字化是不可能的，因为需要大量投资。金融和商业部门将有不同的动机。财务部门希望提高效率和生产力，而商业部门则专注于通过改善客户体验来增加收入。

 

“企业”范围：

 

公司可以开始在整个组织中实施数据管理功能，也可以仅为某些业务部门实施数据管理功能。最佳方法取决于所选的业务驱动因素。

 

一组必需的数据管理功能：

 

数据管理是一门多功能学科。为了满足特定驱动程序的要求，公司可能需要不同的功能。常见的基本数据管理功能包括数据治理、数据建模、数据和应用程序架构以及数据质量。

 

第 2 步：执行初步成熟度评估

每家公司都以一种或另一种方式管理数据。这意味着公司内部已经存在一些数据管理功能，即使它没有正式的数据管理功能。初步成熟度评估允许评估现有能力并确定潜在差距。

步骤 3：设计数据策略和路线图

根据步骤 2 中的差距分析结果，公司应确定其中长期数据管理的战略愿景。

步骤 4：设计数据功能

根据所选框架，公司应设计所需的功能。每个数据治理功能由六个维度组成。

设计从确定所需的可交付成果开始。为了产生可交付成果，公司应该有政策、标准和其他规范性文件。流程有助于遵守法规。需要角色才能执行流程。工具支持流程。而且，当然，公司必须有预算来建立能力。

步骤 5：实施数据治理框架

实施数据治理框架的最佳方法因公司而异，取决于公司的业务驱动因素、规模和可用资源。有集中式、分散式和混合式，每种方法都有其优点和缺点，适用于不同的情况。

步骤 6：执行详细的成熟度评估

公司应在能力维度和项目的粒度级别（例如，在流程、策略等级别）执行详细的成熟度评估。这种方法允许制定详细的短期规划。它还有助于建立关键绩效指标 （KPI） 系统。

步骤 7：设置 KPI

公司应设置两种类型的KPI：一种用于衡量建立数据管理能力的进度，另一种用于衡量运营效率。可以在各种抽象级别设置 KPI。

04

数据治理框架最佳实践

1、确保便捷的数据访问

能够访问大量信息的数据科学家和业务分析师可以做出更好的预测。因此，他们掌握的数据越多越好。通过更好地访问数据，可以更轻松地快速发现哪些数据点最能预测特定结果。因此，全面的数据治理框架可以通过提供丰富的本机数据访问功能来提供帮助，这些功能使与来自各种来源、格式和结构的数据进行交互变得简单，这些来源、格式和结构的数量不断扩大。

2、设备齐全的框架

理想的数据治理框架包括集成到ETL流程中的高级统计分析功能。例如，数据的频率分析可用于发现可能扭曲其他指标（如平均值、平均值和中位数）的异常值和缺失值。

数据并不总是像许多统计方法所假设的那样有规律地分布。因此，汇总统计可以帮助分析人员了解数据集的分布和方差。相关性根据预测能力强度揭示哪些变量或因素组合最有用，根据哪些变量可能相互影响以及在多大程度上相互影响，以及哪些变量可能相互影响以及在多大程度上相互影响。

3、减少不相关的数据

高达40%的战略程序由于信息不足而失败。使用基于最佳数据管理标准构建的数据质量平台时，可以将数据清理直接合并到数据集成流中。通过将进程下移到数据库级别来提高性能。它还会根据您使用的分析方法删除错误数据，并通过将数据与相关信息装箱来增强数据。

05

结论

由于能够利用、存储和分析数据，组织在全球业务环境中可能更加敏捷和更具竞争力。尽管这种能力具有巨大的力量，但它也带来了巨大的责任：维护存储数据安全的任务。

数据泄露继续成为头条新闻，尽管法律法规已经提高了整体数据安全性和合规性。这也促使企业加强数据安全工作。公司可以增强安全性，同时还可以从使用数据管理策略中获得众多优势。

作者：Grace  来源：帆软数据应用研究院