2022-12-25 07:30 浏览量:425
数据治理是管理公司数据的可用性、可用性、完整性和安全性的过程。
数据治理被定义为帮助组织管理其内部和外部数据流的数据管理流程和程序的集合。它使人员、流程和技术保持一致,以帮助他们理解数据,从而将其转化为企业资产。本文介绍了数据治理的定义、它在后 COVID19 世界中的重要性以及 2022 年的最佳数据治理实践。
01 什么是数据治理?
什么是数据治理
数据治理是帮助组织管理其内部和外部数据流的数据管理流程和程序的集合。它使人员、流程和技术保持一致,以帮助他们理解数据,从而将其转化为企业资产。
数据治理是基于内部数据标准、策略和规则管理企业数据的可用性、可用性、完整性和安全性的过程。有效的数据治理可确保数据是一致的、可理解的、正确的、完整的、可信赖的、安全的和可发现的。
数据治理涵盖各种主题,例如数据架构、数据建模、数据存储和操作、数据安全、数据解释和互操作性、文档和内容、参考和主数据、数据仓库和商业智能、元数据和数据质量。
数据治理建立了标准化、集成、保护和存储公司数据的流程。数据治理的主要目标包括:
将数据安全风险降至最低
建立数据使用的内部规则
实施合规要求
改善内部和外部沟通
增加数据的价值
通过风险管理和优化为公司的持续存在奠定坚实的基础
数据治理计划影响企业的战略、战术和运营层面。因此,为了在公司环境中有效地组织和使用数据并与其他数据项目协调,数据治理计划必须被视为一个持续的和迭代的过程。
02 数据治理的关键要素构成
数据治理流程的关键组成部分
数据治理是所有数据管理程序的基础。它提供了一个框架、工作流程和决策权,以正确管理组织的数据。数据治理有十个关键组件,可以满足企业在每个知识领域的数据管理要求。让我们详细看看这些组件中的每一个。
1、人
数据治理专业人员、数据管理员以及其他关键业务和 IT 人员是数据治理计划的骨干。他们建立和开发工作流程以确保满足企业数据治理要求。
2、数据战略
数据治理团队在组织企业数据战略的开发和实施路线图中发挥着至关重要的作用。数据战略是一个执行文档,它提供了对数据的高级企业要求并确保满足这些要求。制定企业数据战略是组织数据管理过程中的重要一步。
3、数据治理流程
数据治理计划需要为数据管理建立关键数据流程。其中包括数据问题跟踪或解决、数据质量监控、数据共享、数据沿袭跟踪、影响分析、数据质量测试等。
4、数据治理策略
数据策略是一组高级别的声明,这些声明陈述了数据的期望和预期结果,这些数据影响和指导企业级别的数据习惯。数据治理计划为数据管理建立数据治理策略。政策包括出站数据共享、法规遵从等。
5、数据标准&数据规则
数据标准提供了确保遵守数据策略的框架和方法。数据标准的一个例子可以是使用ISO 3166标准来定义国家、附属领土、特殊地理区域及其主要细分的名称的代码。
数据规则指导或约束行为以确保遵守数据标准,从而提供对数据策略的遵守。数据规则的一个示例是仅允许 ISO 3166 标准中列出的国家/地区代码的组织。通常,组织将寻求为主数据和参考数据、数据定义和域开发、元数据管理、分类、可访问性等建立数据规则。
数据治理计划可以利用许多数据标准。一些比较著名的数据标准包括:
国际标准化组织 (ISO):3166、19115、11179
Dublin Core:一种基本的、与领域无关的、使用最广泛的元数据标准,易于理解和实施。
6、数据安全
数据安全涉及保护数字数据(例如数据库中的数据)免受破坏性力量以及授权和未授权用户的有害行为。这些不受欢迎的用户活动是指间谍活动、网络攻击或数据泄露。
7、数据治理沟通
数据治理沟通包括与需要了解数据治理团队活动的协会受众的所有书面、口头和电子交互。 沟通计划包含所有沟通的目标、目的和工具,从一开始就应该成为治理计划的一部分。该计划确定了如何向各个利益相关者和组织的其他成员展示治理和管理方面的挑战和成功。沟通计划突出了正确的商业案例并展示了他们的结果。
8. 数据治理社会化
数据治理的社会化是任何治理计划中的一项重要活动。数据治理社会化计划是帮助将数据治理活动整合到组织的政策、内部文化、层次结构和流程中的计划。该计划对组织来说是独一无二的,因为它是根据其文化和行为标准量身定制的。
9. 数据治理指标/KPI
建立业务指标和关键绩效指标 (KPI) 以监控和衡量数据治理计划的整体业务影响对于计划的成功至关重要。指标和 KPI 必须是可衡量的,随着时间的推移进行跟踪,并且每年都以相同的方式持续衡量。
10. 数据治理技术
数据治理计划需要使流程无缝和自动化的各种技术。较小的数据治理程序通常使用他们在企业中已有的技术堆栈。 同时,更大的数据治理购买特定于数据治理及其所需功能的软件。它简化了捕获所需元数据、元数据管理、自动化数据管理工作流、决策树、协作和许多其他数据治理功能的过程。
今天,企业每天都在生成和存储越来越多的数据。在疫情之后,随着大部分员工继续在家工作,员工经常远程访问和处理敏感数据。如果管理不当,这种“偏远情景”可能会导致声誉受损和潜在的经济处罚。
根据 Mordor Intelligence 2021 年的一项研究,数据治理市场预计在 2021 年至 2026 年的预测期内复合年增长率将超过 21.44%。预计到 2026 年将达到 52.8 亿美元。
根据最近的一份报告,2019 年物联网设备的数量达到 266.6 亿,而连接到互联网的人数为 41 亿。麦肯锡表示,每秒约有 127 台新的物联网设备连接到互联网,按照这个速度,物联网设备的总数估计将达到 306 亿台。
将所有这些数据存储在一个地方是极不可能的。新兴的“边缘计算技术”允许在收集点存储数据。但是,这需要协议来确保数据来自受信任的来源并用于同意的目的。
因此,随着 COVID 疫情期间和之后数字化的不断发展,如果没有适当的数据治理计划,组织可能会遭受重创。糟糕的数据治理可能会对以下方面产生重大影响:
a) 与存储客户数据的组织的客户信任关系
b) 法规或立法合规性(例如 GDPR)
c) 报告和决策受损
d) 数据管理成本增加。
考虑到这些因素,企业需要确定一个数据治理评估和补救方法,以关注最重要的东西,并有针对性地进行支出。
下一代数据治理的路线图 公司可以采用以下策略进行有效的数据治理:
a) 调整企业和数据战略。
b) 重新调整当前的组织角色和责任、流程和工具,以促进改善数据治理。
c) 确保数据治理被纳入现有的组织标准、政策和程序中。
d) 建立一个由行政领导团队认可的环境,促进正确的组织文化。
虽然不可能完全消除由于人为错误造成的数据风险,但从长远来看,实施上述方法可能会被证明对减轻数据风险很有帮助。此外,企业可以通过整合自动化和先进的工作流程工具以及分析功能来设计定制的数据治理解决方案。这可以证明有助于以经济的成本及时产生有意义的业务洞察力。
04 有效数据治理的主要挑战
今天,数据在推动业务增长方面的力量是众所周知的。有效的数据治理使企业能够从他们最宝贵的资产中获得最大的利益。有了高质量的数据,企业就能获得更好的商业决策的洞察力,并提高效率和生产力。
此外,数据治理还可以保护企业免受不良和不一致的数据可能带来的合规和监管问题。Gartner预测,到2022年,只有20%投资于信息治理的组织将成功扩大数字业务的治理规模。以下是组织在建立数据治理框架和政策时面临的一些常见挑战。
1、数据孤岛
数据孤岛是指由一个小组持有的数据集合,其他小组不容易或不能完全访问。数据往往是由内部部门组织的。这种数据系统往往阻碍了数据和信息在整个数字生态系统中的自由流动。这使得在组织内部分享、组织和更新信息变得困难。在孤岛式和无组织的数据下,建立数据治理可能是一个挑战。
2、数据质量
数据治理涉及对进入公司的数据质量的监督,以及在整个组织内的使用。数据管理员需要能够识别出数据的损坏、不准确、陈旧,或者在分析数据时脱离了背景。他们应该能够轻松地设置规则和流程,以确保公司的数据可以被信任。信任数据的能力是数据驱动型组织的基石,这些组织根据许多不同来源的信息做出决策。因此,在运行数据治理项目时,糟糕的数据质量会成为一个严重的问题。
3、数据不透明
数据治理要求公司实现数据透明。诸如组织所拥有的数据种类、数据驻留位置、谁有访问权以及这些数据如何被使用等信息都应该被说明。然而,遗留系统隐藏了这些问题的答案。因此,组织应该实施一个数据管理流程,建立策略和方法来访问、整合、存储、转移和准备分析数据。这可以帮助组织进行更好的决策。
4、不安全的数据
随着企业内部和外部数据源的激增,数据泄露也在增加。与成功的数据管理一样,数据安全取决于可追溯性。即:IT团队应该能够跟踪
数据起源于何处
它的位置在哪里
谁可以访问它
这些数据是如何被使用的
如何删除它
数据治理设定了规则和程序,防止敏感的商业信息或客户数据的潜在泄漏,使敏感数据不会落入坏人手中。然而,传统的平台创造了孤立的信息,难以访问和追踪。
5、对数据的控制
当企业需要遵守监管政策,如《通用数据保护条例》(GDPR)、《健康保险可携性和责任法案》(HIPAA)、《支付卡行业数据安全标准》(PCI-DSS)和美国《萨班斯-奥克斯利法案》(SOX)时,他们往往会潜心研究数据治理。
所有这些法规都要求企业拥有数据治理结构,显示数据从源头到目的地的可追溯性,数据访问日志,以及数据的使用方式和地点。有了既定的监管标准,公司可以保护敏感信息不落入坏人之手,并建立对数据的控制。然而,缺乏对数据的控制会对组织的数据治理计划构成严重挑战。
05 2022年数据治理7大最佳实践
在寻找数据治理最佳实践时,组织可以从已经通过各种流程和模板的其他人那里学习。每个组织都是不同的,需要根据其流程定制和调整数据治理实践。
组织可以将敏捷开发的思维方式应用于数据治理,从最小可行的部署开始,然后从这一点上进行迭代和发展。这可以带来长期的好处,并使组织的其他部分与你的旅程同步。
让我们来看看2022年的7大数据治理最佳实践。
数据治理最佳实践
1、大处着眼、小处着手
数据治理建立在三个支柱上:人、流程和技术。当一个企业从人员开始,建立流程,并最终将技术融入到流程中时,它就建立了大局。如果没有合适的人,就很难建立起数据治理的技术实施所需的成功流程。因此,为你的解决方案确定或雇用合适的人可以成为一个组织的起点。然后,合适的人可以帮助建立你的流程,并寻找技术来完成这项工作。
2、开发一个商业案例
在建立数据治理实践时,确保领导的买入和赞助是关键。但是,仅靠买入并不能完全支持这项工作,也不能保证成功。相反,通过识别数据质量带来的机会来建立一个强大的商业案例可能是有帮助的。改进可以包括收入的增加,更好的客户体验,或效率。领导者可以相信,糟糕的数据质量和糟糕的数据管理是一个问题。但是,如果领导层不致力于推动变革,数据治理计划就会落空。
3、用指标衡量目标
与任何目标一样,如果你不能衡量它,你就不能达到它。当做出任何改变时,你应该首先测量基线,以证明之后的结果。尽早收集这些测量数据,然后持续跟踪每一步的进展。你的衡量标准应该显示随着时间推移的整体变化,并作为检查点,以确保实用和有效的流程。
4、确保有效的沟通
无论组织在数据治理计划和流程中的地位如何,沟通都是至关重要的。始终如一的有效沟通对于展示该计划的影响、庆祝胜利和承认一路走来的挫折至关重要。在你的组织内建立一个利益相关者的名单,并实现易于访问和易于消化的沟通。这将确保正确的人知道他们需要知道的东西,同时避免意外和简化整体进展。
5、记住,数据治理不是一个一次性的项目
创建一个数据治理项目可能看起来像处理一个 "新项目"。一个组织的某些部门可能会感到被诱惑去组建一个团队来承担这个项目,而组织的其他部门则在等待它的完成。这就是许多企业目睹他们的数据治理战略放缓的地方。数据治理战略并不是一个一次性的项目。它没有固定的结束日期。相反,它是一个持续的实践,作为一个常规政策被引入。在实施数据治理计划时,要确保将其作为一项长期投资,而不是一次性项目。数据治理最终可能会成为你的组织中日常生活的一部分。
6、确定角色和责任
数据治理需要团队合作,所有部门都要交付成果。明确的角色对于每个数据治理项目来说都是至关重要的,而且在整个组织中分配所有权的级别也很重要。确定谁拥有权力和责任将有助于数据治理计划的社会化,并建立一个智能结构,作为一个团队来处理数据计划。数据治理的角色可能包括数据治理委员会、数据经理、数据所有者、数据监管者和数据用户,仅举几例。
7、注重运营模式
运营模式是一个资产模型,它概述了一个组织如何定义角色、责任、业务术语、数据领域等。这反过来又影响了工作流程和流程的运作方式。它影响到一个组织如何围绕其数据运作。运营模式是任何数据治理计划的基础。这里的想法是要建立一个企业治理结构。根据组织的情况,这个结构可以是集中式的(一个中央机构管理一切),分散式的,或联合式的(多个权力集团)。
06 关键点总结
每个行业的高管和高级领导人都知道数据的重要性。它可以带来数字化转型,推动组织超越其竞争对手。如果没有适当的数据治理,即使是一个简单的业务,也很难运行。
但是,要想让数据为这些举措提供动力,它必须是现成的,高质量的,并且与业务相关。高效的数据治理确保数据具有这些属性,使其能够创造价值。随着“新冠”对数字化的推动,数据治理将在任何组织在这个数字世界的成功中发挥关键的作用。在疫情之后,看看企业如何为更好的未来建立他们的数据治理框架将是很有趣的。
来源:大数据架构师
作者:Eden