2022-10-02 20:42 浏览量:400
中台概念,2015年诞生,2019年爆火,在最火的时候被很多人当成了“无所不能”的“万能药”,只要是IT的问题,就一个药方——上“中台”!于是乎,很多企业都争先恐后,纷纷走上了上中台的路。
但似乎“好景”不长,2019年末“中台”的大潮还未退却,就已经传出了对中台的质疑声——“中台,我信了你的邪!”。到了2020年对中台的质疑、唱衰、乃至讨伐的声音更是此起彼伏,中台似乎彻底跌下了“神坛”。
而作为众多“中台”核心成员之一的“数据中台”,似乎成了“中台”家族的最顽强的那个,在经历过“追捧”和“质疑”等种种考验后,数据中台正在用事实验证其价值!
01 关于数据中台
数据中台可以看作是数据的“公共服务平台”,即通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准和口径,形成标准数据,再进行存储,形成大数据资产层,进而为客户提供高效服务。
在笔者看来,数据中台最重要的不是中台而是数据,但“纯粹”的源数据严格来说还也不是数据中台的一部分,需要将其加工、处理、标准化形成数据服务和数据产品,而这一过程中,离不开元数据的支撑。元数据——是数据中台的灵魂。
02 关于元数据
元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。
元数据与数据的不同之处在于元数据描述的不是特定的实例或记录,IT和业务都需要高质量的元数据来理解现有数据。元数据是一种数据类型,以数字方式描述企业的数据,流程,应用程序,资产,业务概念和或其他感兴趣的事物的人员,时间,地点,原因以及方式,元数据为企业数字资产的内容提供了上下文。更简单的说,元数据是对数据的结构化描述,使得数据更容易理解、查找、管理和使用。
我们也可以用5W1H模型来理解元数据:
表1:元数据定义
03 元数据分类
根据数据的性质特点,业内一般将元数据划分为三类:业务元数据、技术元数据和操作元数据。
业务元数据是描述数据的业务含义、业务规则等。通过明确业务元数据让人们更容易理解和使用业务元数据,元数据消除了数据二义性,让人们对数据有一致的认证,避免“各说自话”,进而为数据分析和应用提供支撑。常见的业务元数据包括:业务定义、业务术语、业务规则、业务指标等。
技术元数据是对数据的结构化,方便计算机或数据库之间对数据进行识别、存储、传输和交换。技术元数据可以服务于开发人员,让开发人员对数据的存储、结构更明确,从而为应用的开发和系统的集成奠定基础。技术元数据也可服务于业务人员,通过元数据理清数据关系,让业务人员能够更快速的找到想要的数据,进而对数据的来源去向进行分析,支持数据血缘追溯和影响分析。常见的技术元数据包括:存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、接口程序、数据关系等。
操作元数据描述了数据的操作属性,包括管理部门、管理责任人等,通过明确管理属性,有利于数据管理责任到部门和个人,是数据安全管理的基础。常见的操作元数据包括:数据所有者、数据质量定责、数据安全等级、数据访问权限,数据处理作业的结果等。
表2:元数据分类实例
04 数据中台元数据标准
以上我们回顾了数据中台和元数据的相关概念,接下来我们重点介绍下这份标准。
《数据中台 元数据规范》是由浙江省标准化研究院支撑、杭州玳数科技有限公司牵头起草的全国首个 《数据中台 元数据规范》团体标准正式批准发布,该标准作为我国数据中台领域第一个团体标准,填补了国内数据中台元数据的标准空白。
该标准通过了来自浙江大学、浙江省数字化与设计制造创新中心、阿里云等行业内专家评审,为推动数字行业标准化提供了样板,填补了我国数据中台元数据标准空白,也为困扰行业多年的“数据孤岛”问题找到了解决之道。
该标准规定了数据中台元数据的元模型、描述方法、扩展要求、校验等,适用于数据中台的数据集编目、建库以及数据交换、数据集成等。本标准的发布和实施,将为有关企业、部门建设数据中台提供支撑,实现数据互联互通、资源协调,打破“数据孤岛”,充分发挥各类数据价值,助力浙江数字经济高质量发展。
来源:数据治理体系