2024-07-23 09:32 浏览量:144
依据相关的国家标准、行业标准和地方标准,建立科学、客观的数据质量评价体系,充分运用大数据相关技术和机器学习相关理论,实现海量信息的异常探查和智能修复,实时监控数据质量波动,以数据质量通报和考核为抓手,建立数据状态可感知、数据问题可追溯、质量责任可落实的数据质量管理和运营体系。
1.确定范围
以核心数据资源和高频应用资源为基础,根据业务影响和业务需求识别关键数据和核心资源,确定数据质量的管理范围。
2.制定规则
依据国家标准、行业标准、地方标准以及项目建设规范,建立数据质量的评价标准,涵盖规范性、完整性、准确性、一致性和时效性五个维度,以及覆盖空值检查、数据缺失检查、交叉比对检查、数据量检查、唯一性检查、值域检查、逻辑检查、格式规范性检查、引用完整性检查、一致性检查、时效性检查以及关联关系检查等多种类型的数据质量规则。
3.共识规则
数据质量规则的制定涉及相关数据标准和业务规则,需要各数据提供部门对已制定的质量规则进行确认和反馈,保障质量规则的完整性和合理性,同时也与相关部门在数据质量管理工作上达成共识,为后续工作奠定基础。
4.评测质量
借助数据质量管理平台的“旁路监测”模式,在不影响现有数据共享流程的基础上,围绕已确认的数据范围和质量规则,进行数据质量评测,深度发掘数据质量问题。
5.管理问题
借助数据质量管理平台的问题工单派发功能,根据“谁提供,谁负责”的原则,将问题数据派发至数据提供部门,做到“一数一源”。
6.发布报告
基于数据质量评测结果,发布数据质量专题分析报告,报告包括质量概览及趋势分析、五个维度的质量分析、各类评测规则的质量分析、重点问题分析以及相关评测标准和依据等内容。
7.推进修复
问题数据派发至各责任部门之后,需要数据共享开放平台推进问题数据修复,协调各个部门修复问题数据,为各相关部门提供平台使用的支持和指导,保证各责任部门及时修复问题数据和已修复数据的重新入库工作。
8.定期评测
定期对周期内已修复的问题数据进行复评,保障数据质量工作的成效。同时,也对周期内新增的数据进行新一轮的评测。以此为基础,定期汇报数据质量管理工作的进展。