龙石数据
咨询电话: 0512-87811036,18013092598
联系我们
商务联系微信

商务联系微信

0512-87811036,

18013092598

咨询电话

视频演示>数据质量>DQMIS | 第三方数据质量管理模型和实践经验分享

DQMIS | 第三方数据质量管理模型和实践经验分享

视频简介

2024年01月13日,龙石数据创始人练海荣在深圳“2024第七届数据质量管理论坛”发布并解读了第三方数据质量管理模型。论坛聚焦数据质量行业趋势洞察与前瞻研判,连续多年站在中国数据质量管理探讨前沿。

视频内容

大家中午好,我是苏州龙石数据创始人练海荣,今天很荣幸能够在这里跟大家分享第三方数据质量管理模型与实践。
大家都知道,生活用水的加工过程是将水从干净的水源抽到水厂,加工成各类水产品供市民和企业使用。整个过程中,我们需要检测水源的工业污染和农药残留情况,水产品加工好后,针对生活用水,需要检测大肠杆菌情况;针对芯片制造场景,需要检测粒子和离子含量;针对工业水冷场景,需要检测酸碱度和软硬度,防止腐蚀和积垢;针对纯净水,需要检测矿物质含量对口感的影响。数据质量管理也是一样,需要对数据源头、数据治理过程,以及数据产品进行数据质量管理和监测。
从水质看数据质量管理

【图(1)】

与水质管理不同,数据行业仍然处于发展的初级阶段,数据质量管理的体系尚不成熟,也就导致了数据质量问题肉眼可见、标准规范形同虚设,甚至缺失,数据责任主体不明确,当数据质量问题被发现时,找不到修复责任人。
因此,我们从四个方面来解决数据质量问题,包括数据溯源、标准管理、质量管理和考核评价。数据溯源就是要找到每一个数据的源头,数据源头也就是数据责任人。数据标准管理就是在国家标准、行业标准和地方标准的基础上,制定组织内部的数据标准,指导我们的数据采集、数据治理和数据质量管理工作。数据质量管理则是在标准管理的基础上,发现问题和解决问题,如果只是发现问题,不能解决问题,数据质量的评测是没有意义的。考核评价则是对标准管理和质量管理的工作进行考核评价和晾晒,从而推动数据标准管理和数据质量管理的落地。
数据质量管理问题解决思路

【图(2)】

我们基于多年数据质量管理实践,将数据质量管理过程抽象成这样一个模型,包括“1个目标,3个准备,4个活动和N个相关方”,我们首先明确数据质量管理的目标,制定相关的数据质量管理制度,收集数据质量管理的需求,并且明确数据质量管理的范围。这里有一个重点,数据质量管理的投入较大,因此应当重点关注核心数据的数据质量管理。数据质量管理的具体工作则包括数据质量评估、修复和评价。这个过程中,主要的参与方包括数据治理团队和业务部门,需要通过沟通协调会、座谈会、培训会等方式加强沟通协调。因为,数据质量管理工作本质上是一个管理工作,因此管理制度的建立和各个相关方的沟通协调就显得尤其重要。
数据质量管理模型

【图(3)】

我们从19年开始实践数据质量管理,现在已经占到我们一半的业务量以上。我们经历了这5个场景来实践数据质量管理。第一个是高频共享数据质量管理,高频共享数据就是用得多的数据,所以,这一部分数据的质量提升,会立竿见影,效果明显,会大大提高业务部门的满意度。第二个是重点专题数据质量管理,重点专题数据包括重点项目相关的数据,也包括组织内部的核心数据,例如政务场景下的人口库和法人库,企业场景下的客户数据和产品数据。第三个是异议核实,用数部门在提出数据异议时,我们有一套机制来解决用数部门的问题。并且在发现一个问题时,我们则将同一类问题一起解决掉。这个场景的最大好处是有需求引领的,是由用数部门发起的,而不是由数据管理部门主动发起的,所以推动起来会更顺利。第四个是源头自评,由于数据质量管理的工作量非常大,我们希望能引入一套机制,让源头部门参与数据质量管理,从而降低后期的数据治理成本。最后一个是数据交易过程中的数据质量评估,我们之前也提过一个“基于支付宝模式的可信数据交易方案”,这里由于时间原因就不展开了。
从五个场景看数据质量管理生命周期

【图(4)】

最后,我们经常遇到一个疑问,第三方数据质量管理服务与现有大数据平台的关系是什么?我们总结下来,现有大数据平台主要负责归集、治理所有的数据,并将治理后的数据共享给业务部门使用。而第三方数据质量管理服务则侧重于监测源头的数据质量,发现源头问题,并推动源头解决问题。业务部门解决掉质量问题后,数据再归集到大数据平台。所以,数据质量管理做得越好,大数据平台的工作成效越好,这是一个相互监督、相互促进的关系。
数据质量管理平台与现有平台的协作关系

【图(5)】

谢谢大家!
微信公众号
苏州龙石信息科技有限公司
咨询微信
苏州龙石信息科技有限公司
电话咨询
0512-87811036,18013092598
方案获取
合作交流