数据治理的前世今生

全文目录

 

第一阶段  从MIT TDQM到DAMA

1.1 TDQM

1.2 DAMA

第二阶段 DAMABOK

2.1 DGI(国际数据治理研究所）

2.2 DAMA-DMBOK V1

第三阶段 DAMA-DMBOK 2

3.1 DMBOKV2

3.2 国内数据治理高速发展

3.3 数据治理面临价值挑战

 

 

    

数据治理有着非常成熟的体系，经历过三个大的发展阶段，如图1所示：

第一阶段  从MIT TDQM到DAMA

1.1 TDQM

     1988年，麻省理工学院的两名教授启动了全面数据质量管理(MIT Total Data Quality Management Program 简称TDQM)的计划，这应该是数据治理第一次在历史上出现，这个组织到现在依然存在并且还在不断更新，如下图2所示：
 

图2：数据治理的最早的雏形TDQM
 

TDQM非常系统化的梳理了数据质量管理的框架，提出了数据制造的概念，并且提出了数据质量的三大管理要素：度量体系，分析体系和改进体系，认为数据质量要从经济，技术和组织三个层面来管理，从而改进数据质量，如图3所示：
 

图3：TDQM数据质量视图
 

 

    TDQM体系同时梳理了数据质量管理的内外部数据源，我们会发现，40年前的数据体系和现在的差距并不是很大，如图4所示：

图3：TDQM描述的企业数据全景图

 

    在TDQM体系认为，企业的数据包括内部数据和外部数据，外部数据主要是用户的信息，一些EDI（电子数据交换）的数据，主要数据来自于内部，也就是财务系统，客户服务系统，管理信息系统，制造系统，交易处理系统等生产的数据。
 

    TDQM在这片论文里提出了数据质量提升过程的三大组成部分数据质量的度量和定义，数据质量的分析和数据质量的改进，如图4所示：

图4：TDQM的数据质量改进模型

    TDQM也在不断地更新和改进，后来在1994年，提出了数据质量的四个度量维度，如下图所示：
 

图5：TDQM的数据质量维度

    TDQM将数据质量分成四类度量维度：
 

    固有的数据质量

可信度（Believability）

准确度（Accuracy）

客观性（Objectivity）

信誉度（Reputation）

    上下文的数据质量

数据增值（Value-Added）

相关性（Relevancy）

时效性（Timeliness）

完整性（Completeness）

适量性（Appropriate Amount of Data）

    可呈现的数据质量

可解释性（Interpretability）

易理解性（Ease of Understanding）

可代表性（Representational）

一致性（Consistency）

简洁性（Concise representation）
 

    可访问的数据质量

可访问性（Accessibility）

访问安全（Access Security）
 

TDQM是一个相对非常完整的，从学术研究的领域定义的数据质量管理的框架，它的出现，确定了数据质量这个领域的价值。

 

1.2 DAMA

在同一年，在1988年，国际数据管理组织协会正式成立了，也就是今天大名鼎鼎的DAMA，全称The Global Data Management Community。当然，在DAMA的官网上，成立时间是在1980年，只是1988年正式选举出了管理委员会，如图6所示：

图6：DAMA的历史沿革

 

 

2002年，一篇从实际案例沉淀而来的数据治理论文《数据仓库治理》公开发表，如图7所示：

图7：数据仓库治理的论文

    这篇文章阐述了在一个数据仓库项目里是如何进行数据治理的过程，其中很重要的是，这是历史上第一次公开的记录系统化的对数据质量管理的文章，比如，如图8，是这个数据治理项目的组织结构：
 

图8：数据仓库治理项目的团队结构

 

第二阶段  DAMABOK

 

随着DAMA的成立，数据治理就进入了专业化发展的阶段，一般我们把2003年到2009年作为第二个阶段。

 

2.1 DGI(国际数据治理研究所）

2003年DGI（国际数据治理研究所）成立，创始人是GWen Thomas 也是国际数据治理框架的主要作者，DGI是datagovernance.com的域名的拥有者。

国际数据治理研究所开发了数据治理框架，如下图9所示：

 

图9 DGI数据治理框架

这个框架，把数据治理的过程分成12个步骤，如图10所示：

 

图10：DGI数据治理框架的十二个步骤

1. 调整政策、要求和控制

2. 建立决策权

3. 建立问责制

4. 执行管理

5. 管理变革

6. 定义数据

7. 解决问题

8. 指定数据质量要求

9. 将治理融入技术

10. 利益相关者关怀

11. 通讯

12. 衡量和报告价值

IDG的数据治理框架，一共包括十大关键组件，如图11所示：

 

图11：IDG数据治理框架的十大组件

1. 使命愿景

2. 目标，治理指标，成功举措和投资策略

3. 规则，定义和政策

4. 决策权

5. 问责制

6. 控制

7. 数据利益相关者

8. 数据治理办公室

9. 数据管理委员会

10. 主动，被动和持续的数据治理流程

 

2.2 DAMA-DMBOK V1

这个阶段，DAMA在数据管理领域累积了深厚的知识沉淀和丰富经验，出版了“DAMA数据管理的知识体系指南”（DAMA-DMBOK）第一版，如下图所示：

DAMA-DMBOK第一版形成了数据治理的一个核心和九大工作，如下图所示：

主要包括：

数据治理的六大核心要素

战略

1. 组织和角色

2. 政策和标准

3. 项目和服务

4. 问题

5. 估值

数据治理的九大工作：

1. 数据质量管理

2. 数据架构管理

3. 数据开发

4. 数据操作管理

5. 数据安全管理

6. 参考数据与主数据管理

7. 数据仓库和商务智能管理

8. 文档和内容管理

9. 元数据管理

 

DAMA-DMBOK是一个结构化的体系，下图很清晰的阐述了这些要素之间的关系：

 

自从DAMA-DMBOK推出以后，指导了大量的数据治理实践工作，因为它将数据治理的工作梳理成一套全面，体系化的标准，策略。

第三阶段  DAMA-DMBOK 2

3.1 DMBOK V2

2020年，DAMA推出了DAMA-DMBOK的第二版，这一版本更加体系化，结合相关新的需求，技术。

 

 

在这个版本里，原来的1+9的体系进一步进行了细化，归类，形成了DMBOK车轮，如下图所示：

 

将数据治理体系分成以下五大模块：

l 计划和设计

l 赋能和维护

l 使用和增强

l 基础活动

l 数据治理支撑体系

 

3.2 国内数据治理高速发展

数据治理现在是企业里备受重视的数字化转型的基础性工作，也是国家非常重视的战略工作之一。从2010年起，国家相关部位，机构就发布了众多个数据治理相关的文件。

 

2015 《数据治理白皮书》

2014年6月，ISO/IECJTC1/SC40(IT治理和IT服务管理分技术委员会)在悉尼召开第一次全会，中国代表团首度提出“数据治理”的概念，引发国际同行的兴趣和研讨。2014年11月，信息技术与标准化组织在荷兰召开的SC40/WG1(IT治理工作组)第二次工作组会议上，中国代表提出了《数据治理白皮书》的框架设想，分析了世界上包括国际数据管理协会(DAMA)、数据治理协会(DGI)、国际商业机器公司(IBM)、高德纳咨询公司(Gartner)等组织在内的主流的数据治理方法论、模型，获得国际IT治理工作组专家的一致认可。2015年3月，中国信息技术服务标准(ITSS)数据治理研究小组调研了中国的企业实践，形成了金融、移动通信、央企能源、互联网企业在数据治理方面的典型案例，进一步明确数据治理的定义和范围。

随着IT到DT的趋势认同，数据治理研究和应用变得越来越迫切。以此为基础，中国代表团于2015年5月，在巴西圣保罗召开的SC40/WG1第三次工作组会议上，正式提交了《数据治理白皮书》国际标准研究报告，经过讨论和表决，同意由中国国家委员会正式提出新工作项目申请，并作为ISO/IEC38505-2《信息技术IT治理ISO/IEC38505-1在数据管理的应用指南》的编辑。 

 

2018年，国家标准化管理委员会发布，《信息技术服务 治理 第5部分：数据治理规范》，标准号：GB/T 34960.5-2018。

 

 

2018年5月 银保监会发布了《中国银行保险监督管理委员会关于印发银行业金融机构数据治理指引的通知》

 

全文共7章55条，强调了数据治理架构的建立，明确了数据管理和数据质量控制的要求，还明确了全面实现数据价值的要求，要求加强监管监督，与银行的监管评级挂钩，这里以顶层设计的战略规划、组织构建和数据治理域的数据标准体系构建为例来说明治理过程。

 

3.3 数据治理面临价值挑战

数据越来越重要，数据治理也跟着成为了所有企业都关心的话题，但是从上文可以看到，不论是DMBOK还是DGI的数据治理框架，整体都是非常庞大，精细化的体系，按照这样的框架体系做完，周期长，投资大，体系化清晰。

但是，同时我们也看到有众多的数据治理项目，工作面临很多挑战和质疑，尤其是业务部门对于数据治理工作的价值没有太多的感知和认可。这也是传统经典数据治理方法所面临的窘境。

如何能够让数据治理与时俱进，快速发挥业务价值成为了很多数据工作者都在思考和探索的问题。

 

 

来源：志明与数据

作者：凯哥