一文讲透主数据管理

主数据管理是数据治理的核心内容，最近大鱼对主数据管理的内容进行了系统梳理，如果你想对主数据管理有体系化的理解，那就读这一篇，本文共分为五个部分：

1、主数据基本概念：主数据定义、特征及概念辨析。

2、主数据管理概念：主数据管理定义及挑战。

3、主数据管理实施：主数据管理的7个阶段（项目规划、现状分析、治理保障、平台建设、存量清晰、数据集成、外围变更及运营分析）和25个实施步骤。

4、主数据管理成熟度：主数据管理的五个层次，包括提供列表、同等访问、集中总线处理、业务规则和政策支持及企业数据集中。

5、主数据系统其它：主数据管理系统与数仓、ODS系统的区别。

一、主数据基本概念

1、主数据定义

主数据（Master Data）是指在一个组织内部跨多个系统、应用程序和业务过程中共享、使用和维护的关键业务实体的核心数据。这些数据通常包括客户、产品、供应商、员工和其他重要的业务对象的信息。主数据的目的是确保数据在组织内的一致性、准确性和可靠性。

主数据可以根据不同的业务领域和实体进行分类。以下是一些主数据类别：

（1）客户数据（Customer Data）：包括客户的基本信息、联系方式、交易历史、信用评分等。

（2）产品数据（Product Data）：包括产品的描述、分类、规格、价格、供应商信息等。

（3）供应商数据（Supplier Data）：包括供应商的基本信息、联系方式、合同信息、评价等。

（4）资产数据（Asset Data）：包括组织的固定资产、设备、设施、软件许可等的详细信息。

（5）员工数据（Employee Data）：包括员工的个人信息、职位、履历、培训记录、绩效评估等。

（6）组织数据（Organization Data）：包括公司的部门、地点、业务单元、成本中心等相关信息。

下图是一个员工基本信息的主数据示例。

2、主数据特征

主数据具有一些特定的特征，这些特征使其在组织内具有重要的价值。以下是主数据的三个关键特征：

《主数据管理实际白皮书1.0》针对主数据特征给出了五个超越，是对这三个关键特征的完美诠释：

3、主数据与其它数据的关系

主数据与其他类型的数据有密切的关系，它们在组织内相互依赖并共同支持业务运营和决策过程。以下是主数据与其他数据类型之间的一些关系：

下图示例了主数据与元数据、交易数据（业务怇）的关系。

二、主数据管理概念

1、主数据管理定义

主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支持系统等。

主数据管理使得企业能够集中化管理数据，在分散的系统间保证主数据的一致性，改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从 IT 建设的角度，主数据管理可以增强 IT 结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的变化。

大多数的企业都存在主数据管理的问题，这是由于业务发展的渐进性以及IT技术发展的渐进性造成的，正是由于这种渐进性，各大企业的业务系统从经历了从无到有，从简单到复杂，从而形成了一个又一个的业务竖井，比如OA、HR、PLM 、CRM、ERP、MES等等。

从根本上来说，不可能只使用一个业务系统就能覆盖企业的所有业务，即便对一些国际大型的公司提供的套件来说也是一个不可能完成的任务(即便对套件来说，经常也存在一个跨国企业在不同的国家或地区部署多个实例的现象，也就是没有集中部署该套件，而是在很多地方分散部署了该套件)。

对企业来说，业务系统的构建更多是以项目为中心，从下而上的构建系统，而不是至上而下的构建系统，必然缺乏整个企业范围内的统一规划，从而使得一些需要在各个业务中共享的数据(主数据)被分散到了各个业务系统进行分别管理。

分散管理的主数据由于没有不具备一致性、准确性、完整性，使得各个企业普遍存在着产品管理不力、供应商管理不力、订单管理不力等现象。解决这一问题的根本方法就是引入主数据管理(MDM)，主数据不光指需要共享的数据，更包含需要共享的业务规则和策略。

先看示例，在没有对主数据进行管理的情况下是这样的：

在费用控制系统中向供应商海康威视公司支付货款，费控系统中该供应商的编码是PAYV000345，完成付款后，费控系统需要向ERP系统传递付款的会计凭证，但是，ERP系统中海康威视公司的编码是ERP00000123，如果费控系统直接把PAYV000345传给ERP系统，ERP系统是不能识别的，那么就需要建立一种对照表，把PAYV000345翻译为ERP00000123才可以。

在这种情况下，费控系统和ERP系统都需要有管理员维护各自系统的供应商数据（维护两次），同时还得维护两个系统之间供应商数据的对照关系，应用成本比较高，很不方便。这还仅仅是两个系统之间的情况，如果系统更多，这种使用方式就太复杂了。

于是就有了如下的新办法：

在一种叫做主数据管理系统（MDM）的软件中，由该系统的管理员统一维护供应商数据（维护一次），并且统一编制唯一性的编码（如海康威视公司的主数据编码是10002608），然后MDM再把这个供应商主数据推送给费控系统和ERP系统，这样所有系统中的海康威视公司编码都是统一的10002608，系统之间不再需要做编码的翻译，直接使用即可，大大的简单化和标准化了供应商这类数据的应用。

2、主数据管理的挑战

在实施和管理主数据过程中，组织可能会面临许多挑战。以下是一些主要的挑战：

要想将主数据管理做好，需要各层级领导足够重视、全员参与，同时，构筑起主数据管理的基础能力，包括：组织、流程、 标准和工具等等。在主数据管理基础能力中，组织、流程、 标准的建设80%决定了主数据项目的成败和建设效果。

三、主数据管理实施

大鱼认为，主数据管理实施共分为项目规划、现状分析、治理保障、平台建设、存量清晰、数据集成、外围变更及运营分析七个阶段，涉及25个实施步骤，如下图所示：

1、项目规划

（1）获得高层支持

对于公司的大多数主数据，虽然可能存在不一致，但大多时候问题并不严重，因为如果不一致问题已经严重影响到了生产，业务肯定是要强力介入并进行解决的，比如立个项，主数据的大多数问题在业务从0到1的建设过程中就已经基本解决了。

因此，很多主数据问题是业务当前还能容忍，但长远来讲成本可能很高的问题，也就是重要而不紧急的事情，考虑到各个部门屁股决定脑袋的特点，主数据存在着天然的驱动力不足的问题。那么谁最会考虑这种重要而不紧急的事情呢，谁又会考虑这种全局和局部的问题呢，显然是公司的高层。因此，主数据的业务驱动一定首先来自公司高层，只要高层不觉得痛，跨领域的长期积累的主数据问题就很难实质性解决，获得高层支持是主数据管理实施的第一推动。

（2）确定项目范围

一个企业主数据会有很多，如果一次把所有主数据都管起来，工作量会很大，周期会很长，通常主数据会分2-3年去完成，并持续优化。这时候，主数据范围确定就很重要，给每个主数据排个优先级，企业最需要统一的、标准化程度高，基础好的、数据一致性好的、数据量可控的都是排序依据，最终根据优先级，我们分步建设主数据，这样可按期看到阶段性效果，便于项目推进。

（3）组建项目团队

一般会设置公司领导小组，组长由管理层担任，副组长由各部门的数据责任人担任，领导小组负责主数据项目总体工作推进，制定总体工作思路和目标，协调各部门间项目推进过程中遇到的问题，确保项目的顺利执行。

领导小组一般会下设工作小组，工作小组组长一般由企业数据管理组织的相关负责人担任，成员包括企业数据管理组织人员及各领域的数据专员，负责主数据项目的具体实施，开展相关能力建设和运营。根据自己的经验，一般会设置几个专业组协同推进，以下是一个示例供你参考：

业务需求组：负责主数据相关业务流程梳理和业务管理规范的制定，明确主数据需求

系统架构组：负责主数据系统整体架构的设计，确保架构合理、满足各域生产应用需要

平台建设组：负责推进主数据系统建设工作，实现主数据库、对外数据服务、数据稽核等关键能力

数据架构组：负责推进各领域系统现有主数据的整合，形成一份统一的公司标准主数据

各领域改造组：负责本领域系统的改造工作，确保与主数据系统的顺利对接

（4）制定项目计划

主数据项目由于涉及到多部门协同，进度控制比较难，因此一定要通过项目启动会等形式明确项目计划，大量的主数据项目由于前期缺乏承诺导致后期扯皮的产生，除了事前的项目计划，事中也要采取通报等形式进行过程控制，及时发现问题并升级。

2、现状分析

（1）沟通需求痛点

第一、调研业务需求，包括哪些业务需要主数据支撑，对主数据有什么要求和期望，第二、了解业务流程，包括业务如何办理（如填表，工单），如何流转（如是否需要审批），第三、了解业务应用，基于主数据有哪些业务场景。下图显示了家宽业务受理流程中涉及的地址主数据查询和录入情况。

（2）评估系统数据

第一、调研主数据目前分布在哪些系统中，未来使用主数据的系统有哪些，第二、主数据有哪些属性字段，数据关系如何，数据质量怎样，第三、当前系统改造难易度，支撑哪种方式对接。下图显示了地址主数据查询和录入涉及的相关系统。

（3）确定改造内容

基于现状分析，可以确定存在的问题和改进点，分析出用户对主数据建设的需求，包括管理体系、系统架构、业务流程、数据标准、数据质量、数据平台等方面。

3、治理保障

（1）制定标准体系

主数据标准是主数据管理工作的核心内容。通过主数据标准，才能实现跨组织、跨部门、跨流程、跨系统的数据集成和共享。主数据标准也是打通企业横向产业链和纵向管控的数据基础。

主数据标准一般分为三类：数据标准，管理标准和服务标准，但主数据标准体系的建设要适合企业的业务，适应企业的发展。标准的建设不能“先入为主”更不能“直接照搬”。

数据标准：主要明确主数据的编码规则、分类标准、命名规范、编码颗粒度、属性规范、主数据模型标准等，下图示例了物料主数据模型和属性描述规则。

管理标准：主要明确组织、制度、流程、应用等管理规范及标准，比如明确各方职责，规范主数据的申请、变更及修改流程。

服务标准：明确主数据集成服务接口规范，包括集成技术规范、开发规范、外围系统接入规范等。

（2）建立组织保障

企业要建立主数据管理组织，确定主数据工作的相关各方的责任和关系，包括确定主数据过程中的决策、管理、执行等活动的参与方和负责方，以及各方承担的角色和职责等，如下图所示：

主数据管理组织目标是：统筹规划企业的数据战略；建立主数据标准规范体系、数据管理制主度和流程体系、数据运营和维护体系；依托主数据管理平台，实施主数据标准化落地、推广和运营。在明确了组织机构的同时，还要明确主数据管理岗位，主数据管理岗位可以兼职，也可以全职，根据企业实际情况而定。

（3）设计制度流程

制度章程是确保对主数据管理进行有效实施的认责制度。建立主数据管理制度和流程体系是需要明确主数据的归口部门和岗位，明确岗位职责，明确每个主数据的申请、审批、变更、共享的流程。

4、存量清洗

（1）明确清洗方法

基于主数据标准，对各来源历史数据进行分析，明确数据采集、标准化、内容清洗及合并等方法，比如下图示例了采用空间聚类、地址相似度等方法来实现相同地址合并。

（2）进行数据清洗

归集历史数据并实施数据清洗，通过数据清洗保证主数据的唯一性、准确性、完整性、一致性和有效性，然后通过系统校验、查重及人工比对、筛查、核实等多种手段对主数据代码的质量进行检查，最终形成一份高质量的主数据代码库。

（3）完成数据发布

完成主数据代码库评审并发布到生产环境，同时做好主数据代码库与源数据的映射，为外围割接做好准备。

5、平台建设

主数据管理平台是数据标准落地的载体，也是实现主数据统一标准、统一规则的支撑，还是有效实施主数据全生命周期管理和数据服务的平台，以及实现数据从产生到应用，分层协同、全面治理的核心。

（1）架构模式

主数据管理平台有多种架构类型，包括集中式架构、分布式架构、注册中心架构及混合架构，在选择主数据管理架构时，需要考虑企业的业务需求、技术基础设施、数据质量和安全性等因素。通常，一个好的MDM解决方案应该支持多种架构类型，并允许企业根据实际情况进行灵活配置和调整。

集中式架构（Centralized Architecture）：

在集中式架构中，所有的主数据都存储在一个中心数据库中。企业各个业务系统通过API或其他集成技术访问和更新这个中心数据库。这种架构便于实现数据的一致性和标准化，但可能存在性能瓶颈和单点故障的风险。

分布式架构（Distributed Architecture）：

在分布式架构中，主数据分布在多个数据库或系统中，这些数据库或系统可能位于不同的地理位置。数据通过数据集成技术（如ETL或消息队列）在各个节点之间同步。这种架构具有较高的可扩展性和容错能力，但实现数据的一致性和标准化较为复杂。

注册中心架构（Registry Architecture）：

在注册中心架构中，主数据依然存储在各个业务系统中，而MDM平台只维护一个包含数据索引和映射关系的注册中心。这种架构避免了数据迁移和同步的复杂性，但需要实时查询和整合多个数据源，可能影响数据访问的性能。

混合架构（Hybrid Architecture）：

混合架构结合了集中式、分布式和注册中心架构的优点，以满足企业的不同需求和场景。例如，对于关键和公共的主数据，可以采用集中式存储和管理；而对于分散和敏感的主数据，可以采用分布式存储和注册中心管理。

（2）管理数据模型

指基于主数据标准，提供主数据的结构、属性、关系、约束和规则的建模能力。

（3）进行数据整合

固化数据清洗方法，包括对接入的数据进行汇聚、清洗、转换、映射、去重、合并及加载，通过一系列的数据加工和处理形成标准统一的主数据。

（4）提供数据服务

指对外提供主数据的变更、订阅、查询、同步、分发、通知等服务。

（5）构建数据管理

指构建主数据管理流程，实现主数据的创建、变更、审核等运维功能。

6、外围集成

（1）变更业务流程

主数据建立后，各业务系统需要基于主数据的管理要求变更主数据录入、变更、查询等流程，重新明确相关角色和职责，并对相关人员进行培训，确保查询和录入的规范性，比如新的主数据管理系统提供了二种主数据的查询方式：

（2）进行数据集成

需要将主数据管理平台与各个目标业务系统进行集成，以实现主数据的申请、审核、分发等交互操作，从而最终实现主数据在多个系统之间的共享和统一。集成可以通过企业服务总线（ESB）方式，也可以通过Web Service和XML方式。

由于每个业务系统复杂性不一样，改造难度不一样，并不是每个系统都要按照一个标准去集成，比如历史数据各自如何清理、数据对照在哪里做、数据是主动推送还是订阅方式，最终往往通过多种集成方式，最终逐渐解决企业系统间的数据不一致问题。

下图给出了A系统（原来具备独立的地址管理能力）集成地址主数据的示例，共要做四个方面改造：

第一、A系统页面集成地址主数据系统的管理页面，调用地址主数据提供的API接口进行查询变更等操作，下线原来的地址管理模块。

第二、A系统新增与地址主数据系统的数据同步接口，保留一份地址主数系统的全量标准地址库副本，供A系统内部高效使用。

第三、由于地址主数据模型发生变更，A系统中原有的涉及地址数据的模型进行适配改造。

第四、A系统的下游要同步改造。

7、运营闭环

主数据管理项目的实施能够帮助企业初步建立起主数据的管理体系，但做好持续的运营工作，是发挥主数据价值的关键。有些项目实施过程很成功，但系统运行一段时间，比如半年、一年后，突然发现，主数据的质量已经回到了“解放前”。所以，实施主数据项目，只是数据治理的一个开始，企业要保持高质量的数据，必须持续的运营和不断的优化。

（1）确保标准执行

要建立主数据的运营管理团队，推动主数据管理相关制度的落地和优化，做到定岗定责、责任到人，对主数据新增、变更、使用等的流程进行监督和改进，确保规范执行到位。

（2）提升数据质量

主数据作为“黄金数据”是企业的核心数据资产，主数据质量的好坏决定了数据价值的高低，因此要建立一套主数据质量的运维体系，确保及时发现主数据的质量问题并闭环解决，如下示例了地址主数据的自动稽核流程：

（3）加强运营推广

主数据的应用接入无法一蹴而就，特别是对于集团型企业有很大难度，需要制定周密的推广计划，逐步推广到相关的业务系统中。

四、主数据管理成熟度

根据主数据管理实施的复杂程度，可以把主数据管理可以分为五个层次，从低到高反映了主数据管理(MDM)的不同成熟度，下面是IBM的一个评估模型：

Level 0 ：没有实施任何主数据管理(MDM)，意味着企业的各个应用之间没有任何的数据共享，整个企业没有数据定义元素存在。

Level 1 ：提供列表，Level1比Level 0的不同就是，各个部门虽然还是独立维护各自的关键数据，但会通过列表管理维护一个松散的主数据列表，能够向其他各个部门提供其需要的数据。Level 1依赖于人的协作，当数据量比较大时，数据维护的成本会变的很高，效率也会很低

Level 2 ：同等访问(通过接口的方式，各个系统与主数据主机之间直接互联)，Level 2与Level 1相比，引入了对主数据的(自动)管理。通过建立数据标准，定义对存储在中央知识库中详细数据的访问和共享，为各个系统间共享使用数据提供了支持，也就是说一个应用可以调用另一个应用来更新或刷新需要的数据。

Level 3 ：集中总线处理，与Level 2相比，Level 3打破了各个独立应用的组织边界，使用各个系统都能接受的数据标准统一建立和维护主数据(Level 2的主数据主机上存储的数据还是按照各个系统分开存储的，没有真正的整合在一起)。集中处理意味着为MDM构建了一个通用的、基于目标构建的平台。

Level 4 ：业务规则和政策支持，相对于Level 3，Level 4将主数据的业务规则进行集中管理，并跟各类业务流程进行集成，在确保数据准确性的前提下可以支撑规则的动态变更。比如，如果一个商店经理更新一个产品的价格，总线系统需要能够和一个可信系统(比如，商品管理系统)进行协商以便使规则生效，也就是”一点更改，全局生效“。

Level 5 ：企业数据集中，总线和相关的主数据被集成到独立的应用中，主数据和应用数据之间没有明显的分隔，他们是一体的。当一个有权限的应用系统更新一个数据值时，公司内所有的系统实时反映这个变更，也就是”一点更改，实时生效“。

五、主数据管理系统与数仓、ODS的区别

1、主数据管理系统与数仓的区别

首先，处理类型不同，主数据管理 (MDM) 系统是偏交易型的系统，它为各个业务系统提供联机交易服务，系统的服务对象是呼叫中心、B2C、CRM 等业务系统；而数据仓库是属于分析型的系统，面向的是分析型的应用，是在大量历史交易数据的基础上进行多维分析，系统的使用对象是各层领导和业务分析、市场销售预测人员等。

其次，实时性不同，与传统的数据仓库方案的批量 ETL 方式不同，主数据管理系统在数据初始加载阶段要使用 ETL，但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步。

第三，数据量不同，数据仓库存储的是大量的历史数据和各个维度的汇总数据，可能会是海量的，而 MDM 存储的仅仅是客户和产品等信息。

虽然主数据管理系统和数据仓库系统异同共存，但是二者却有着紧密的联系，并且可以互为促进、互为补充。举例而言，数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统，从而使 MDM 系统能够更好地为操作型 CRM 系统服务。

2、主数据管理系统与ODS的区别

首先，二者存储的数据内容是全然不同的，主数据管理系统主要存储客户、产品、供应商等核心对象数据，而ODS存储的数据包括事务数据、业务流程数据等。

其次，二者的目的不同，主数据管理系统主要关注实时或接近实时的数据处理，以实现数据的实时一致性，而ODS主要用于处理事务数据和业务流程数据，以支持实时业务决策和报表需求。

第三，主数据管理系统通常不存储数据的历史变化，只关注当前最新的主数据。而ODS可能会存储一定的数据历史，以便支持企业的短期趋势分析和历史报表需求。

希望对你有所启示。

来源：大鱼的数据人生

作者：讨厌的大鱼先生