龙石数据-数据质量管理平台及应用实践分享

 

尊敬的各位来宾、各位专家大家好，我是苏州龙石信息科技有限公司行业咨询总监孙晓宁，很高兴参加DQMIS2021第五届数据质量管理国际峰会，与各位专家共同研究和探讨数据质量管理的发展。

 

龙石数据一直致力于数据质量管理体系、评价体系以及标准体系的研究，并且自主研发了涵盖数据质量探索、问题管理、评价考核的全生命周期的数据质量管理平台。

 

下面给大家带来数据质量智能管理平台的分享，以及我们多年来在政务、金融、教育等行业的落地实践经验。

 

国家十四五大数据产业发展规划中提出了6项发展任务，为我国的大数据发展提供了指导方向。同时，也要求加强数据“高质量”治理，提高数据全生命周期的数据质量。

 

我国的大数据在经历了数据交换、数据汇聚和数据共享等基础建设工作之后，已经逐步向数据质量、数据生态和数据价值方面转变。在当前的深化发展阶段，如何提升数据质量，如何以高质量的数据促进数据共享和数据交易，是我们必须要面临和解决的问题。

 

那么在当前数据资产管理应用的深化阶段，在数据质量管理方面仍存在一些需要完善和进一步提升的空间。主要是表现在以下三个方面：

 

1，从数据提供方来看，源头数据质量意识薄弱，源头提供的数据质量有待进一步提高。

 

2，从数据建设方来看，在之前大数据发展的几个阶段，无论是政府还是企业在数据中心基础建设方面做了大量的投入，但是实际上，数据的建设效果尚未达到预期的目标。尤其是在面对复杂业务和海量数据方面，缺少必要的手段来衡量数据建设的成效和水平。

 

3，从数据管理部门来看，目前各个行业尚未形成完善的数据质量评价体系和管理手段，对数据质量管理缺少全局的指导和规划。

 

在实际的数据资产管理过程中，数据流通的各个环节都会产生数据质量问题，正是因为数据质量问题产生的原因千差万别，加上数据管理工作本身的复杂性，这也导致了数据质量管理一直是数据资产管理领域的难点。

 

通过对国内外数据质量管理理论的不断研究，结合数据资产管理的发展现状，以及我们在行业的落地实践经验，我们提出了数据质量管理四步走的解决方案，包括质量摸底、问题溯源、质量修复以及考核评价。

 

借此机会，龙石数据正式发布数据质量智能管理平台3.0版本。

 

数据质量智能管理平台历经了1.0、2.0、3.0三个大版本以及数10个小版本的迭代和优化，在1.0中重点实现了数据质量管理的支撑工具，在2.0中融合管理体系和闭环工作流程，3.0实现了数据质量管理的智能化和自动化，目前已形成技术突出、行业领先、经验丰富的数据质量管理平台。

 

 

平台遵循了我们提出的四步走解决方案，构建质量摸底、问题溯源、质量修复和考核评价的闭环工作流程，形成数据汇聚与质量提升的双循环，独立运转，相互监督，相互促进。

 

平台采用了基于hadoop体系的大数据技术和机器学习算法，深度挖掘数据质量问题，并依据不同的行业场景提供定制化的问题数据管理流程，将数据质量问题分派到责任人，实现数据质量问题的可控、可管和可追踪。平台采用“旁路监测”的技术实现方式，在不影响现有数据共享交换流程的基础上，将数据同步至大数据平台进行计算和分析，实现了千万级数据的分钟级监测，快速定位数据质量问题，实现数据质量的动态监测和实时感知。

 

 

数据质量智能管理平台在多年行业研究和实践经验的基础上，融合了12万个的国家标准、行业标准、地方标准，形成覆盖国标36344的数据质量评价体系，在实践过程中积累了7000多个核心规则。建立了数据质量规则的共识机制和反馈机制，同时平台结合行业场景，采用人工智能算法持续优化数据质量模型，在实际的使用过程中，只需一键接入评测数据源，就可以自动检测数据质量，发掘其中的问题。实现数据质量管理的自动化和智能化。

 

另一方面，数据质量管理工作需要相配套的管理体系和组织保障作为支撑，结合我们多年的实践经验，已形成科学、可行的数据质量管理体系，包括管理制度、工作方案、工作指南以及考核制度，保障数据质量管理工作有法可依、有章可循，推动数据质量管理工作的不断进步，提升管理能力。

 

平台采用“标本线”来衡量数据质量管理工作的工作成效，对存量数据治标，对增量数据治本，结合根因分析定位源头治理，推动源头业务系统和数据流程的优化，最终达到标本兼治的效果。

 

这里是我们平台的一些功能展示，平台支持5大类质量规则的可视化创建、问题数据管理以及质量综合分析。

 

下面分享一些我们在行业中的应用实践，案例一是大数据管理中心如何管理数据质量。大数据管理中心的主要职责是促进数据开放共享，而数据质量是上层业务应用和开放共享的前提条件。在实际的工作中，我们以管理制度建设和源头质量意识提升为抓手，制定数据质量管理体系、工作方案和评价体系，为数据提供部门、管理部门、数据应用部门提供工作依据。相对于目前的建设方、承建方两方工作模式，创新性的引入第三方数据质量管理，以第三方的视角科学、合理、客观的进行数据质量评价和管理工作，与数据治理团队亲密合作，形成数据汇聚与质量提升的双循环，独立运转，相互监督，相互促进，保障数据中心的建设成效，有效解决了大数据管理中心在数据质量管理工作中所面临的困境。

 

第二个案例是作为业务部门如何管理数据质量。对于一些业务条线多、系统多、数据复杂的部门，数据治理工作尤为困难，不仅要借助于先进的工具支撑，更需要精通业务规则和工作流程。因此，针对数据质量管理工作需要构建长效的工作机制，通过对现状梳理、核心数据确定、定岗定责等机制，按照谁登记谁负责，建立事前评测、事中控制、事后分析的改进流程，多源头、全方位、立体化的帮助客户解决数据质量问题，促进业务流程优化，提升业务风险预警能力。

 

数据质量智能管理平台自投放市场以来，受到了客户和行业的高度关注，也先后获得了多项荣誉，包括2020年信通院的数据资产管理优秀案例，以及多个省级、市级的荣誉奖项。我们也是一直秉承核心技术自主研发，目前已形成专利、软著等多项自主知识产权。 

 

多年来，龙石数据坚持核心技术研发，并将数据质量管理平台打造成我司拳头产品，同时基于DCMM和DAMA相关标准对数据资产管理平台进行了标准化重构和贯标，打造了以数据质量为核心的一站式数据资产管理产品体系。

 

以上就是本次分享的全部内容，欢迎各位同行交流和指正。龙石数据期待与各位同行精诚合作，共同探讨和研究数据质量管理的话题。