2021-11-13 21:18 浏览量:387
在数据治理中实现企业数据模型
纸上得来终觉浅,绝知此事要躬行。创建企业数据模型的过程与最终结果同样重要。构建企业数据模型,实施数据治理,一定不是做文档做出来的,如果仅仅建立组织、制度与流程,召集各类人员闭门造车,纸上谈兵,没有实际行动与具体操作,不可能有效果。也不应照搬其他组织的案例,需要通过实践探索发现确切存在的问题,对症下药,有的放矢,从根本上解决问题。
要使数据的产生与使用从混乱到有序得到有效的管理,必须先立法—建立数据治理的执法依据,因此开发统一的数据视图—企业数据模型应作为数据治理方案的需求。监管部门出台的治理指引,如同建筑施工管理的组织、制度、流程等,告诉你应该依图施工,但设计图纸应该是什么样子,如何设计以及如何依图施工的监管,则是组织内部的责任。建筑物,不能在交付用户入住之后才去检查质量是否符合要求,用户不满意所造成的返工代价太大。
1、认知障碍
对于数据治理与企业数据模型,很多组织存在认知障碍,有很多不同意见。
• 对数据治理与数据建模的认知。认为这两项工作都需要耗费大量的时间与资源,阻碍业务的创新和快速发展,没有必要花时间定义模型而不去解决紧迫的业务问题,这些都是对治理与模型工作的误解。业务发展与监管之间存在冲突,试图解决数据可信问题的组织通常会通过建立严格的控制措施和权威的治理方法来营造“不”的文化。良好的企业数据模型能可靠支持业务快捷、稳定的可持续发展,敏捷开发需要有数据模型原型来支撑。
• 责任方面,包括两个极端的态度。业务部门认为这只是IT在做IT工作,业务起不了作用,业务没有专业能力。IT部门认为,数据问题是业务没有明确的质量需求造成的。数据治理与企业数据模型都需要业务与IT之间的协作参与。数据治理失败的原因通常是由于很少或没有业务参与,业务必须拥有数据对业务的影响,业务利益相关者要在实际行动上把数据治理作为优先事项,并推动数据治理的投资。最有效的数据管理技能通常在IT部门,IT部门人员也制造了不少问题。数据治理项目PM应具有比较全面的数据管理技能,虽然IT部门某些人员对数据有很强敏感性,但是自我监督一般不会有很好的效果。因为IT技术的壁垒,业务很难提出科学完整的数据治理需求,而数据模型建立起了业务与技术的桥梁,打破了技术与业务之间的壁垒。
• 整合混乱的、冲突的脏数据的流程与方法,繁琐,缓慢,使很多组织望而却步,他们认为同样会耗费大量投资与时间,投资收益率很低或根本没有收益。整合数据的过程并不复杂,但剖析与解析数据及其关系需要投入很多的精力,耐心地执行很细碎的步骤。
企业数据治理与建模不应是一个负担,对企业业务发展而言,它是一个“加分项”。需要组织在组织、政策、战略、流程以及文化等方面采取行动,满足企业和利益相关者的需要,创造长期的价值。使用企业数据模型仍处于竞争优势阶段,而尚未处于竞争必要阶段,未来将成为竞争必要的工具。早启动,早受益,逐步扩展。如果问题得不到及时解决,同时又不断产生新的问题,未来要付出更大的治理代价。
2、在实践中建立与培养团队
通过有效的治理与建模实践,逐步建立与明确适合本组织的数据治理的组织、职责、流程等,培养数据管理的技能团队。跨数据建模和数据治理的专家可以从彼此的协作中受益匪浅。数据治理的传播者可以利用建模人员进行的探索和分析来确定当前的状况和改进的机会,并且可以在模型中实际记录和执行正在推动的数据管理策略和标准,跟踪与监控执行的进度。数据建模人员可以从数据治理工作中极大地受益,这些工作将建立强大的业务案例,这也说明了业务干系人为何必须关心数据、数据关系、业务规则的修正以及治理工作流的优化,以优化数据建模人员确定的最佳实践。
从事管理数据的人员可以发展自己的技能和知识,在治理工作中变得更好。“最好的数据管家是发现的,而不是制造出来的”。通过企业数据建模与数据治理,发现数据管家,训练更多的人成为数据管家,认清他们正在做的工作,将流程、策略、准则和职责合并在一起,正式制定他们的管理责任,使他们做出更多贡献。
3、数据治理与建模,持续交付,及早实现价值
很多组织没有企业数据模型,但并不是说没有完整的企业数据模型,就不能开展数据治理工作。大多数成功的企业数据模型都是以增量和迭代方式在不同的详细级别上构建的。组织的可用资源与能力影响初始范围,决定可以花多少时间、精力来构建和维护它,在数据治理中实现与组织能力一致的企业数据模型(如企业概念数据模型)。早期的高优先数据治理活动包括:定义满足高优先级目标所需的数据治理规程,建立业务词汇表、记录术语和标准,数据治理委员会发起和批准数据架构并控制保持模型同步—由数据架构师和数据管理专员开发、维护企业数据模型,通过数据建模实践开始数据治理。
构建企业数据模型分为三个大的阶段,分别实现主题模型、概念模型、逻辑模型三个不同层次的组件(有的甚至包括物理模型)。每个阶段对于整个模型的构建以及对组织控制下的数据的理解都很重要,使企业数据模型成为数据基础的重要组成部分,是数据治理的对象,也最终成为数据治理的参考依据。不要认为它必须完整才能有用,从确定企业主题领域模型之后,就可以指导数据的治理工作了。
主题模型是对企业主题领域的概念性概述,代表很有限的关键概念,定义组织的主要主题领域以及它们之间的关系,是呈现给高层管理人员的“草图”。在设计主题模型时,收集组织中存在的最高级别的概念(名词)以及连接这些概念的活动(动词),整合企业术语。主题域一般与中心业务实体用同样的名称。
最高管理层的直接参与和理解必须是治理的基础,一旦经组织高层认可与数据治理机构批准,即可以运用到数据治理工作中发挥作用。主题域列表是最重要的分类方法之一,这是对企业范围数据进行分类及关系管理达成一致共识的第一步。主题域是数据管理制度和数据治理的重要工具,定义基于主题域的数据管理制度的责任范围。
概念模型—每个主题领域都分解为主要业务概念,并显示这些概念之间的关系及该业务领域内的一些高级业务规则,对组织在整个企业中使用的关键数据有组织的了解,使组织的关键业务概念收敛而不发散。概念数据模型定义基本业务词汇的语义(名词和动词)。模型中的概念,如同CEO看待整个企业, 涵盖所有部门(不应采用分离的、有限的某个职位或部门视图)促进人们对业务的理解,有利于语义一致性。建成后的概念模型为治理工作提供组织基础结构与关系的表示形式。
逻辑模型—从概念数据模型的扩展开始,将数据属性添加到每个实体,它表示数据的单一集成定义,包括“次要”实体和更有限的业务规则,包含实体关键属性,创建实体之间关系,包括一些管理数据使用的业务规则。逻辑模型也不是一步到位的,不可能包含组织所有的实体与属性,根据实体的重要性逐步加入完善。
数据管理团队应分工负责关注逻辑模型(企业级实体),他们将掌握开发各自管理的实体所必需的实体级知识。
以企业数据模型指导数据资产盘点为例,首先对资产按主题分类,然后与概念模型实体映射,在概念级别,可以确定哪些是关键资产,哪些是需要治理的问题资产,哪些是要抛弃的垃圾资产,这样就不需要再投入大量资源去做字段级的梳理了。
4、实施路径
不同组织的成熟度不同,实施路径的选择不同。
1.少数组织已构建或初步构建为整个组织的企业数据模型,已经有良好的实践。可用于数据治理中,并在数据治理中持续优化、完善。
2.一些组织为其内部开发的信息系统和/或在其他商业智能环境中的数据进行反向工程,重用现有模型的组件来创建新模型,这些模型是为特定目的而构建的,覆盖的范围通常比企业数据模型小,需要站在更高的组织高度,达成组织范围的一致。
3.以数据仓库数据模型为基础升级。企业级数据仓库数据模型是偏向分析的企业级数据模型,已经包含了丰富的实体和企业大部分重要数据,可以很快确认关键数据(也包括需要治理的内容),是建立企业数据模型很好的起点,在企业数据治理委员会委托与授权之下,进行补充调整,经审批后发布,上升为全企业的数据模型。
4.如果没有企业数据仓库,可以购买预先构建的行业数据模型。由于开发企业数模型周期长,成熟的行业数据模型提供了开发企业数据模型很好的起点。根据组织的实际情况,行业数据模型提供了不同层级的组件,可以作为企业数据模型或作为企业数据模型的关键输入或作为参考目标以确定组织的差距。基于成熟的行业数据模型开发适合本组织的企业数据模型。
即便成熟的行业模型提供了很好的起点,可以跨越主题模型与概念模型,仍需要从头开始设计,主要工作是宣传、沟通、解释,使干系人达成一致共识,确保就为什么要建立企业数据模型以及可以满足企业数据模型目标的适当设置达成协议。在设计时要清晰理解,针对本组织可能有不同的侧重关注点,修改与加入本组织的要素,使之适合本组织的实际情况。可以从行业逻辑数据模型中选择主要业务概念,找到“主要”实体。
古人学问无遗力,少壮工夫老始成。数据治理与企业数据建模都没有捷径,企业数据模型与数据治理,从短期看可能是一种成本,但从长期来看,不仅能够降低企业的成本,还能够提高企业的资源利用效率,获取更高的经济效益,是企业可持续发展的必要,它将成为企业核心竞争力,甚至为企业带来直接的经济效益。与环境治理一样,数据治理不应再走先污染后治理的老路。
来源:DAMA数据管理
作者:山水模子