数据模型与数据治理（一）

一些大型组织可能有数百个应用系统，上千个数据库，数万甚至数十万张表以及相当数量的处理程序，配套着成千上万的开发与运维人员。不同部门、不同团队往往使用不同的语言，包括专用术语、行业用语等等，导致大量发散的应用语义模型，很多数据库甚至只有结构，而没有清晰的模型，这与一般程序设计中用到的孤立的数据结构并没有大的差异，没有业务之间的联系，逻辑全部体现在程序代码中。

 

数据必须有可用的上下文即元数据才能转化为有价值的信息，那些没有上下文的非结构化数据，耗费大量资源经过漫长的加工路径，可能只有少部分能与既有数据建立起关系。没有清晰模型的结构化数据，本质上与非结构化数据一样都是没有上下文的数据，使用与治理都要付出代价。产生这些数据的一个主要原因是没有良好的数据建模与管理，这些是全面数据治理的对象。

 

目前数据治理中存在一些问题或误区

 

数据治理的定义是对数据资产的管理行使权威与控制（规划、监控和执行），对企业中使用的数据的可获得性、可使用性、完整性、一致性、可审计性和安全性进行全面管理。数据治理提供将数据作为资产进行管理并指导各级数据管理活动的原则、政策、流程、框架、指标和监督。数据治理的目的是确保根据政策和最佳实践对数据正确地进行管理，数据治理的驱动力通常集中在降低风险与改进流程上（DAMA-DMBOK2）。

 

一些深受数据混乱烦扰的组织已经尝试治理数据，严监管的行业组织已经积累了一些数据治理经验。无论解决方案，还是具体实施，如果没有抓住重点，治理工作很难取得实质改进效果。目前的数据治理工作或多或少存在以下一些问题：

 

• 把数据治理工作设计为一个或若干个Projcet，而不是Program，没有作为一项日常工作来做，数据治理往往随着项目结束而偃旗息鼓—数据治理本应是没有终点的系统性持续性工作。
• 数据治理的执法依据不完善。数据治理的立法与司法职能欠缺，使行政部门没有很好的行政依据。仅以所谓的数据标准为标准依据远远不够，数据标准所能表达的内容很有限，所能度量的数据质量维度也有限。银监会发布的《银行业金融机构数据治理指引》－是政策制度范畴，管理指引并不能直接转化为可以实施的细节与执行的依据。
• 缺少一种可以用于反复开发、实施和管理数据治理工作的工具，作为数据生产者、管理者和消费者之间的沟通协作支点，支持日常数据管理工作。
• 制定相关政策、制度、标准后束之高阁，没有执行力，没有权威，数据治理在业务发展面前让步，常受所谓的敏捷开发干扰，一边治理问题，一边制造问题，制造的问题远远超过解决的问题。
• 受过数据管理专业培训的人员很少，合格数据治理专业人员更少，没有形成数据治理文化与社区。

 

良好数据治理的要求

良好的数据治理工作需要设立具有高级管理层以及所有利益相关方代表参与的治理组织机构，需要有明确的数据管理职责，清晰的治理政策与战略，以及明确且易于理解的规程和规则来推动数据治理工作。除此之外，还需要：

 

• 设置和强制执行数据质量和数据架构标准。为了使数据用户建立对数据的信任，将其视为宝贵的、可访问的决策资源，首先需要一个企业信息的一致视图，便于最终用户衡量的标准和准则等，作为治理与行政的依据，确保数据在全企业范围内被准确、一致的定义、产生和使用。
• 提供一个易于理解与使用的程序或工具，能清晰展示数据，便于沟通，帮助最终用户轻松地从数据中获取价值，帮助数据治理相关人员获得数据资产状态信息。
• 将明确的、透明的、正式的责任和行为应用于现有和/或新的组织与流程的实践，建立责任分工与协作，提升数据治理实施的效率与绩效，这也是建立可信数据的保障。

 

数据治理部门并不产生直接的业务价值，如果能够敏捷与高效地执行数据治理政策、战略、标准和流程等，能够应对出现的挑战，并及时发现影响严重的数据问题等，从而产生实实在在的价值，数据治理部门就不会成为组织中制造障碍的成本中心。

 

企业数据模型的作用

 

模型是用于简化复杂概念的一组符号和文本，可以简化我们对现实世界的认知障碍。数据模型是一套反映相关数据需求和设计的数据规范和关系图，使复杂的业务与数据可视化。

 

企业数据模型是整体的、企业级的、与实现无关的概念或逻辑数据模型，可提供整个企业中数据的公共一致视图（定义跨整个组织的生产和消费必要的数据）。

 

数据架构与数据治理是数据管理体系中两项基本职能。数据架构描述应该如何组织与管理数据，是数据管理的基础，最详细的数据架构设计文档是一个正式的企业数据模型。管理数据资产时，数据战略（包含在数据治理中）和数据架构是 “正确地做事”和“做正确的事”之间协调的核心。企业数据模型和数据治理对发现哪些是重要的数据，为什么重要，以及如何保护和管理数据，提供了语义上的理解，这两项职能必须保持良好的协调一致性。

 

企业数据模型是鼓励数据驱动型决策带来价值的行之有效的方法，是组织内部真正一致协作的支点，它是可视的单一事实源，更直观友好，便于设计者的表达与使用者的理解，便于用户推演与验证，比Excel等更高效，更敏捷。

 

• 企业数据模型是未来系统开发的关键输入与数据需求和建模的基线。基于企业数据模型进行应用开发可以最大程度地减少数据冗余、差异和数据使用中的错误。
• 可以让从未接触过数据模型的人员能了解数据模型，帮助最终用户轻松地查看和理解，从数据中获取价值。
• 当给最终用户提供可靠的自助式可视元数据时，他们有机会更好地理解和信任他们的数据，从而做出决策，加快实现价值的时间。
• 一些熟练的业务用户甚至可以自己制作模型，并向模型设计人员提供反馈，用于改善数据模型，使开发过程更加透明，在更大范围内共享责任，从而使数据建模人员得以解放，可以专做更高价值的工作。

 

企业数据模型使数据治理真正成为现实。模型是反映现实的设施，可视化使模型得到了增强与提升，通过模型可以驱动数据治理工作，更好地应对挑战。模型驱动的治理流程可降低组织风险，产生更高的价值。

 

• 企业数据模型提供了数据的参考分类框架。对数据进行分类，是理解数据对数据进行治理的第一步。企业数据模型对数据安全管理也很重要，例如，美国国家标准技术研究院NIST风险管理框架的第一步是对所有企业信息进行分类。
• 企业数据模型作为元数据，是数据治理过程中设置和强制执行的数据架构组件标准，包含各种标准以及业务规则和要求，发布给组织数据管理社区有效利用，获取知识和洞察，所有这些作为支持数据治理利益相关者协作、自助服务和数据资产探索等基础设施，为明确数据治理目标，以及如何成功实施达到目标奠定基础。
• 基于企业数据模型安排明确透明的责任分工。确保它处于受控状态，保证每项数据治理任务都有明确的治理内容与责任人，形成透明与相互信任，并根据可视架构，以可视数据字典发布。
• 企业数据模型可以可视化反映现状，让用户轻松地查看和理解现实状况，哪些方面存在问题，哪些得到了增强和改进，作为最终用户跟踪、控制、判断是否符合数据治理要求的衡量参考标准。

 

因此，可以利用企业数据模型作为数据治理的主要工具，驱动数据治理工作。监管部门已经认识到了企业数据模型的作用。2月9日人民银行发布《金融业数据能力建设指引》，关于数据模型部分的工作措施，涵盖了关于企业数据模型的开发、维护与规范用途，包括：制定企业级数据模型开发规范，建立覆盖业务经营、管理和决策数据需求的企业级数据模型并持续优化，指导和规划应用级数据模型的设计、投资、建设和维护并同步更新以确保一致性，建立和系统应用级数据模型的映射关系，建立统一的数据资源目录统一管理维护等。

 

开发企业数据模型是扎实的数据治理工作的基本活动之一，使企业数据模型成为数据治理解决方案最关键的需求之一。遗憾的是，很多组织并没有认识到这一点，他们缺乏对数据及其价值的理解，在监管与业务压力下开始重视数据治理工作，还没有启动企业数据建模工作，从一开始就损害了他们的数据治理工作，注定许多数据治理实施工作的低效。

 

 

来源：DAMA数据管理

作者：山水模子