数据治理的成功要素2：数据架构设计

一、数据架构概述

 

关于数据架构其实还没有一个官方的、权威的定义，对于数据架构的理解和认知大多是源自于企业架构（EA），在EA架构中，数据架构是其一个重要的组成部分。企业架构一般包含：业务架构、数据架构、应用架构和技术架构。数据架构将企业业务实体抽象为信息对象，将企业的业务运作模式抽象为信息对象的属性和方法，建立面向对象的数据模型，数据架构实现从业务模式向数据模型的转变，业务需求向信息功能的映射，企业基础数据向企业信息的抽象。

 

简单点说：数据架构是对业务架构中的各项业务的关联关系的逻辑描述，并通过数据架构描述各个应用模块的数据构成、相互关系和存储方式，位于业务架构和应用架构之间，起到承上启下的作用。

 

而我们所说的数据治理涉及的数据架构，从功能上讲，包括：信息资源目录管理、主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理以及数据的全生命周期管理。

 

二、数据架构的设计方法

 

数据架构的设计是企业架构的一部分内容，对于企业架构的设计业界有很多成熟的模型和框架，例如：TOGAF、Zachman、FEA、DoDAF，在国内用的最广泛的是TOGAF框架。在TOGAF企业架构框架中，数据架构也是整个企业架构框架中的四个重要组成部分之一。

 

 

TOGAF框架将企业架构的规划设计分为了一个预备阶段和八个设计阶段，如下图所示。本次我们不对TOGAF框架如何使用做过多的探讨，事实上，没有那两家企业的业务、数据、应用系统，以及企业性质、管控模式、企业文化是完全相同的，所以我们在做数据治理架构设计的时候，任何先进的体系框架、最佳实践，都是只能作为参考，而不能照搬。最核心的，还是要结合企业的特点以及需求设计符合企业要求的数据架构。在这一点上，我非常喜欢TOGAF框架，它的每个阶段、每个步骤都是要我们围绕企业的需求进行规划和设计。

 

 

结合TOGAF框架，笔者认为数据治理项目中的数据架构设计，应有以下几个步骤：

 

1、战略理解。充分理解企业愿景和发展战略，对于企业战略的理解不光局限于愿景和使命等业务战略，还要企业的IT战略，同时需要考量企业对数据的定位、组织架构、人才战略等因素。

 

2、业务分析。理清企业业务主价值链，以主价值链为核心，充分了解各业务环节的协同关系和存在问题，找出企业业务需求的三点，即：痛点、痒点和兴奋点。这三点多用在营销领域，但多年经验告诉我，找到这三点并进行合理的设计，也是项目成功的重要保证。

 

3、架构设计。数据架构以解决业务问题和需求为目标，以应用功能为抓手，向上承接业务架构，向下对接应用架构。数据架构不仅需要包含相对静态的数据，例如：元数据、主数据、数据模型，还应包含相对动态的数据，例如：各类交易数据、ETL、应用访问数据、整合数据、移动数据等，同时还需要有数据标准、数据质量、数据安全以及数据的全生命周期管理的考量。

 

4、模型设计。基于对企业战略理解和业务的分析，设计数据模型。数据模型是现实世界的抽象，数据模型从抽象层次上描述了系统的静态特征、动态行为和约束条件。数据模型按分层设计的原理可分为概念模型，逻辑模型和物理模型。概念模型，面向用户和客观世界，用来描述现实世界的概念化结构。逻辑模型，面向数据库系统，描述了数据对象的结构和关系。物理模型，面向物理存储介质，描述了数据在储存介质上的结构。

 

5、数据标准。结合数据模型定义每个数据的业务含义、业务规则、数据结构、质量规则、管理部门、管理人员。值得注意的是，模型设计一般来说应包含数据标准的内容，数据标准出了数据模型描述的内容外，还包括数据分类标准、数据编码标准、数据质量标准和数据安全标准。

 

三、盘点当前流行的数据治理架构

 

以下结合笔者接触过的和了解的一些行业和企业谈一谈这些行业或企业的数据治理架构的特点。

 

1.元数据驱动的数据治理架构

 

新技术的发展给传统行业带来了挑战，就连我们一直艳羡的银行业也难以幸免。传统银行企业的信息化模式，也是先建设后治理，大量的烟囱式架构系统产生了大量的数据孤岛，业务的交叉、功能的重复、数据的冗余，数据质量不高、标准不统一、归集处理手段单一、存储分散，数据挖掘能力不足，数据割裂、共享不充分等问题在大多数银行企业还较为普遍。再加上互联网金融的冲击使得银行业面临了一个困难时期。

 

 

数据是企业的资产，对于银行业来说更是。特别是大数据在营销、风控和普惠金融等领域的广泛运用，数据已经从提高运营效率和监管效能的工具进化成为银行业最核心的资产和实现监管意图的重要依托。以元数据为驱动，理清企业数据资产，建立数据标准体系、数据质量管理体系，对企业实施数据治理，是银行业目前典型的数据治理架构。通过元数据管理平台, 实现元数据的采集、变更、删除及检索, 并在元数据的驱动下实现数据的抽取、转换、加载, 建立数据资源目录，盘点企业数据资产，结合数据标准管理、360°客户主数据管理和数据质量管理，实现统一、标准的对外数据服务，为企业的产品创新和服务创新提供支撑。通过数据治理，对优化银行业务，建立和保持与客户的良好关系，增加销售机会都起到了很大的支撑作用。

 

2、主数据驱动的数据治理架构

 

对于制造型企业来说，“降本、增效、提质”是企业永恒的追求的目标。在企业发展的进程中，业务关联越来越紧密，而割裂的业务系统，数据的不一致、不标准、不正确、不完整等问题对业务之间的协同、协作造成了很大的制约，进而影响了企业的“降本、增效、提质”目标。在制造型企业里，各部门、各业务之间线上沟通时，往往因为编码不统一，名称不一致，造成业务沟通不畅，增加沟通成本，影响业务效率。

 

 

通过对企业的数据资源进行统一的梳理和识别，建立主数据标准，包括：分类标准、编码标准、数据模型标准、数据质量规则标准、数据集成标准等。通过以主数据的为驱动的数据治理平台，打通各业务系统的数据通道，形成主数据的唯一数据源和统一数据视图，实现主数据的一物一码、统一管理、统一分发、统一应用。通过主数据的解决各异构系统的数据不标准、不一致问题，保障业务连贯性和数据的一致性、完整性和准确性，提升业务线条之间的协同能力，同时，高质量的主数据也为领导的管理决策提供了支撑。

 

3、微服务模式的数据治理架构

 

微服务——去中心化的信息系统架构，服务组件化、部署自动化、灵活敏捷的特点受到了互联网企业和一些开放性行业（2C业务）的推崇。随着微服务架构的落地，人们发现微服务架构虽然改进了开发模式，但同时也引入了一些问题，在这所有的问题中，最重要的就是数据的问题。在微服务架构中强调彻底的组件化和服务化，每个微服务都可以独立的部署和投产，很多的微服务有自己独立的数据库。这就带来了两个问题：1）业务系统对数据完整的查询，数据被割裂后如何来整合？2）如何对数据进一步的分析挖掘？这些需求可能需要分析全量的数据，并且在分析时不能影响到当前业务。

 

 

上图是某酒店基于微服务的数据治理架构，总体设计思路是采用三层架构模式，分为：数据层、服务层和应用层，将2C端业务微服务化，通过建立服务层将应用层和数据层隔离。微服务按照主数据的逻辑进行识别和划分，将共享程度较高的应用进行微服务化，同时将主数据应用进行微服务化，例如：会员中心、积分中心、产品中心、门店中心……。对于前端的业务系统，不能直接操作这些数据，而是通过调用服务层的各个微服务实现后端数据的获取。当需要对全量数据进行统计分析时，是通过数据移动的技术将相应的数据，移动并汇总到数据湖中，再按照统计分析的需要进行处理，实现分析。

 

4、基于混合云的数据治理架构

 

根据《中国混合云市场调查报告(2018)》混合云已经成为企业上云的主旋律，报告指出减少基础设施投资，并能够一定程度实现企业业务的定制和安全性的考量是企业选择混合云的重要原因。混合下的数据治理未来将是企业不得不考虑的问题。

 

基于混合云的数据治理模式，将将国家标准、行业标准的数据资源，形成公共数据资源池，部署在公有云端，并通过API接口服务提供出来供企业调用。每一个API接口可以看做是一个DSaaS服务，为了让公共数据资源池应用最大化，可以通过OpenAPI将数据开放，以供更多的应用开发者使用。对于企业而言，其数据治理的本质是提升数据质量，既然公有云有了高质量的标准数据，那么这一部分数据是完全可以引用到企业内部中使用的，使得公有云标准数据资源融合到企业的数据治理中来，一方面降低了企业数据管理维护的成本，另一方面提升了企业数据的可靠性。

 

5、大数据架构的数据治理体系

 

在大数据时代，数据分散在整个企业中。它是结构化的、非结构化的、半结构化的和各种其他格式。随着可用数据的数量、种类和速度都在以惊人的速度持续增长。此外，数据源不在需要管理的团队的控制之下。企业面临着两个紧迫的挑战：如何发现这些数据中的可操作的洞察力，以及如何保护它。这两个挑战直接取决于数据治理的能力

 

大数据环境下，如何实现数据的高效治理。以上是某电信公司的大数据治理架构，数据治理平台包含了元数据管理、数据质量管理、主数据管理、数据标准管理和数据安全管理。通过数据治理平台定义大数据平台的数据结构、质量规则和数据标准，实现大数据平台的数据管控和治理。同时，大数据平台的分析结果也可以反哺数据治理平台，形成更多的可信赖数据服务。大数据平台与数据治理平台各模块之间的关系如下：

 

四、总结

 

数据架构设计定义是整体IT系统资产蓝图，为企业数据资产的管理和应用奠定基础。数据架构支撑数据的存储、访问、整合和分析，数据架构设计要不仅要考虑到相对静态数据，如：元数据、数据模型、主数据、共享数据的标准化问题，还需要考虑相对动态的数据，如：交易数据、数据流转、大数据、ETL、访问应用和数据全生命周期的管控和治理。对于数据治理架构的设计，应紧密贴合行业特点和企业需求，设计符合企业需求和发展的数据架构，强化数据治理、数据全生命周期、数据安全等方面的管理，持续提升数据质量，保证企业的数据资产的可靠性，使数据成为引领企业战略规划和业务发展的核心竞争能力奠定坚实的基础。

 

来源：公众号谈数据

作者：石秀锋

链接：https://mp.weixin.qq.com/s/hAew_AdLmXnCPHA_gy63Ww