回顾《数据资产入表百家讲坛》 | 第三方数据质量管理实践分享
视频简介
2024年7月4日，《数据资产入表百家讲坛》系列活动第十一期通过线上直播的形式召开。苏州龙石信息科技有限公司（简称龙石数据）数据质量业务总监杨毓慧女士在活动上分享了龙石数据针对数据质量的管理经验。杨总监分享了以'一数一源一标准'为核心的管理经验，通过摸底、规则的制定、旁路监测、问题分析、工单派发、源头修复和督办考核通过质量的七步法，来提升质量意识。
视频内容
【图（1）】
我开始今天我的分享，还是感谢平台让我们有机会来做这一次分享。我们龙石数据是专注数据管理领域，今天我分享的内容主要是第三方数据质量管理实践，这也是我们的一个特色业务。其实在数据管理中，数据质量是一个很细分的赛道，也是一个苦活累活，所以想先和大家聊一聊我们是怎么开始这一个业务的。开始我们主要业务是数据共享交换和数据中台。当时其实并没有客户有特别明确的质量管理需求。但从18、19年开始，我们就自己在研发数据质量管理平台，并且构思实施方案。所以我们为什么要默默的来做这个投入？
【图（2）】
数据管理痛点1：数据治理成效监管难
因为在建设过程中，我们发现想把数据管起来、用起来有两个痛点。一个是大家虽然投了人，花了钱在做数据治理，但是说不清做的怎么样。也就是缺乏数据治理成效的一个管理手段，来评估信息化系统运行的情况，数据生产的情况，还有数据共享利用的情况等等。不清楚这些基础情况，其实还比较影响相关的一些决策。
数据管理痛点2：数据治理制约了业务发展
另外一个痛点就是数据质量方面，用一位领导的原话就是说的是我们的数据质量问题肉眼可见。还有一些比较突出的质量问题，比如说缺失数据标准和相关的一些贯彻的机制，那就会导致数据采集和治理过程中无据可依，数据管理依然是一个无序的状态。再比如说数据责任主体和权威主体不明确，数据就会多头收集重复治理，没有实现谁采集谁负责这个基础的原则。所以如果数据还有那么多的质量问题，想要更好的去发展数据共享、开放授权运营、要素流通这些业务其实是缺失了根基的。
【图（3）】
举一些数据质量的案例，我们比如说通过对企业信息中的企业类型和法定代表人进行一些交叉比对的检查。发现同一个自然人设立了多个艺人有限责任公司，这就违反了公司法的规定。通过去比对食品经营企业的许可信息和营业执照信息，我们发现食品经营企业的营业执照已经注销了。但是它的许可证状态依然是有效的。那这些其实都是我们通过数据质量管理发现的一些业务风险，能给相关的监管部门提供一些线索。还比如我们发现同一个身份证号，他的医学死亡证明和火化证明上的死亡时间是不一致的，那针对这个问题我们继续深挖，就发现像卫健委、民政、公安、法院等这些部门都可能会开具死亡证明，但对于死亡日期的界定口径各不相同。一旦这些数据要融合应用，数据责任主体就不明确。
另外还有一些信息化发展不完善引发的问题，比如说个人信息方面，我们发现很多信息化系统收集的身份证信息都有质量的问题。大多数是录错了，那就需要去查找原始的一些材料来修复。其实身份证号是早在1999年就发布的国家标准。这类问题通过在信息化系统中增加身份证号的验证，就可以从源头去避免，节省后续大量的质量治理成本。
【图（4）】
所以我们现在其实有三块核心的业务。除了最初的数据共享交换平台建设和数据中台建设，通过理采存管用的实施步骤来实现数据管理。还有就是我们的第三方数据质量管理服务业务。通过质量的七步法，摸底、规则的制定、旁路监测、问题分析、工单派发、源头修复和督办考核来提升质量意识，提升最终的数据质量。
【图（5）】
当然作为一个技术型的公司，我们也有配套的产品体系。包括融合了整个理采存管用思想的中台管理。随着数据要素发展，我们也在拓展两个创新业务。一个是数据资产管理，还有一个就是公共数据授权运营。另外也配套了一系列的数据管理，制度的咨询服务。
【图（6）】
刚才是我们的整个业务体系，其实无论是在哪个体系里，质量都是重要的一环。接下来分享一下我们是怎么做的，主要的思路其实就是“一数一源一标准”。首先要理清数据的来源，然后梳理标准、补充标准。基于这些基础通过问题发现、问题分析、根源追踪，还有综合评价的闭合的质量管理体系来进行质量管理。就像最初提到的数据管理的痛点，得有手段来考评质量工作做的怎么样。所以最后也有评估的环节来评标准贯彻的情况和质量提升的情况等等。通过共享交换和中台建设，能基本实现有数可用。
【图（7）】
要想有好数用，其实基于刚才的质量提升思路和我们的一些项目经验，我们总结了五个数据质量的管理场景。还有这个数据质量管理的模型是可以总结为一个标准，三个准备，三个也就是需要确认质量的需求。基于需求去划定质量管理的范围，还有制定相关的保障制度，比如说管理办法实施细则等等。还有四个活动分别是评测活动、修复活动、评价活动和贯穿始终的一个协调活动。最后是N个相关方。
因为质量提升在不同的场景下涉及到了不同的角色。比如说数据管理团队、数据治理团队、供数部门、用数部门，还有系统供应商等等。五个场景其实都可以基于这个模型然后做一些裁剪调整。比如我们第一个场景，也可以算是一个入门场景，就是针对高频共享的数据来做质量提升。高频共享顾名思义就是平时用的最多的那些数据。把这些数据作为质量工作的切入点，能有效的让质量工作真正的落地。
【图（8）】
数据质量管理场景1：高频共享数据质量提升
我们发现质量提升一个难点，就是要把业务部门给调动起来，共同去分析问题，修复问题，解决根源上的一些比如说制度规范这样的问题。开始的时候其实业务部门他们配合度不高，他不理解为什么要做这些事情，那重点还给他们派了很多任务。我们选择这些用的多的数据都是部门平时用过的，其实多多少少都有一些质量问题，都被这些问题所困扰。现在我们是帮他们在解决这些问题，提高工作效率，所以能比较容易的得到部门的理解和配合。
另外一个就是问题，修复难，修复慢，我们评测出了质量问题，去推进源头部门修复的时候，他们经常会问这数据有人用吗？其实潜台词就是这数据没人用，我们修复了改了有什么用呢？所以我们选择这些用的多的资源就可以列举那谁会在什么场景用了这个数据，已经发现了业务应用上的问题，修复那就顺理成章迫在眉睫。
【图（9）】
数据质量管理场景2：重点专题数据质量提升
第二个场景是重点专题，高频共享的出发点是用的多。重点专题的出发点是关注的多，也就是把目前最重要的近期的工作最侧重的或者是领导最关心的一些专题数据作为质量提升的对象。通过数据溯源、规则共识、质量评测、稳定修复来推进。定期也会通过评价指标和专题分析报告来评价质量提升的工作。同时我们也会推荐有条件的一些客户，制定评分体系，把质量工作纳入到这个考核当中，这样就会更加调动大家的积极性。
在质量模型的四个活动里面，其实最关键的那就是协调活动。需要通过一些方式方法，不仅告诉大家为什么要做，更重要的是教他们怎么做。遇到一些问题大家一起来想办法共同解决，质量管理才能更好的常态化的开展下去。
【图（10）】
数据质量管理场景3：异议核实及处理
刚才介绍的两个场景是主动发起的质量管理。所以检查点其实都在贴源和治理层。希望在数据使用之前及时就发现问题，解决问题。但如果确实在是数据使用过程中才发现的问题怎么办呢？
我们以前做项目，在质量调研的时候会问数据部门有没有收到过数据使用方反馈的质量问题，他们说肯定有收到过。那再往下问具体有哪些问题呢？一般就答不上来了。有的客户就开始去翻聊天记录，那这种情况我们就知道他们没有去把数据使用过程中的一些问题收集起来。那每个问题处理了没有？处理后还有没有遇到过类似的问题，这些就更没有记录了。提出的问题就可能石沉大海。提需求提问题的这些使用方对待数据质量就可能会越来越消极。
遇到这种情况，我们第三个场景异议核实和处理就提供了一些解决方案。其实核心就是建立异议核实的机制，用数部门提出了异议数据，就有一套完整的可追溯的流程来核实异议处理问题。并且通过分析这一个问题来完善质量评测的规则。以点概面常态化的去解决一批问题，并且及时的去反馈给提供方，这样才会形成良性的循环。
【图（11）】
数据质量管理场景4：源头自评和标准共享
其实质量管理就像做体检，就早发现早治疗。所以最早就是在数据产生的时候，通过质量自评和贯标，真正的实现从源头规避问题和风险。所以我们第四个场景就是源头自评和标准共享。这样就会大大减少后续各个环节的治理成本。当然其实在所有的环节里面，数据质量管理的一个重要目标其实就是提升源头的数据质量。
数据质量管理场景5：数据质量评价
最后一个场景就是数据质量评价，主要是针对数据交易和资产入表这类业务。重点是评测评价环节，为交易和资产评估提供依据。
【图（12）】
我们无论是哪一种场景，数据质量管理都都应该是一个长期的过程，所以应该是一种运营。这套运营方案应该还有几个保障，所以第一个是机制方面了。首先要把质量工作融入到整个信息化建设过程中。在项目的实施建设阶段，数据部门应该提供数据标准规范和管理要求。业务部门来推进业务系统贯标。在验收阶段，业务部门会提交数据的成果，尤其是原数据采集方案和一些引用的标准规范等等。包括在最后的运维阶段，也应该进行一些常态化的质量评测和提升。
【图（13）】
另外一个保障就是工作流程，主要是需要数据部门、业务部门、数据治理团队，还有我们的质量团队来共同完成。其实在这个流程里面，一个很重要的环节就是和业务部门来共识质量规则。因为如果前期业务部门不参与，就直接在后面把问题抛给他们，其实不容易按照计划来推进。如果在制定评测规则的时候，就让业务部门来参与。一方面制定的规则的合理性和适用性其实能得到保障。另一方面后期部门修复的时候也会更加的顺利。
【图（14）】
另外就是我们组织保障。最好是包括数据部门、业务部门组成的质量专班，然后再加上第三方团队组成的数据质量的工作小组。另外是我们旁路监测的一个工作模式，和主流程并行的一条质量管理流程，和数据质量厂商一起来打造数据治理和标准质量并行的一个双循环。可以独立的运转，相互的监督，相互的促进，这样就不会去影响主流的这个业务流程。
【图（15）】
案例1：某城市大数据管理中心
我们数据质量运营的效果怎么样呢？因为我们在政务数据领域做的比较多，这里给大家举两个政务数据的案例。一个是某个城市的大数据管理中心，我们服务了两年，选了200多个高频共享的数据资源做质量管理。就发现了约590万个的技术问题，80万业务类问题。最终修复率目前达到了92.85%。
客户最初的需求是如何来提高源头的这些数据质量，其实最终是提高共享利用的活跃度。在各个过程里面，我们和各个部门沟通培训这种会议共计有52次，形成的质量报告有34份，最终也总结了14个知识库的案例。数据的合格率有提升了12.95%，数据资源的申请次数也提高了35%，这是我们第一个案例。
【图（16）】
案例2：某城市法人基础库
我们第二个案例是城市的法人库基础建设。其实这是一个重点专题的数据质量管理，涉及到六个部门会解决到了全部的技术问题和大部分的业务问题，修复率也达到了79%。客户后来和我们说，现在对于提供出去的这些法人基础库数据是非常有信心的。而且总结来看，数据质量提升的成效主要体现在完善管理制度，明确数据责任主体，制定和推动标准落地，还有提升数据质量和质量意识这个部分。
【图（17）】
结合现在数据要素的发展来看，数据质量不好，数据要素的发展其实就很有局限性。他们应该是相互促进，共同推动的。所以我们目前也是在和研究院、事务所共同探讨数据要素的管理和发展。希望能有一些落地方案来实现数据要素的最大价值和效用。今天我的分享就到这里，谢谢大家。
