数据质量监控好，数据开发背锅少

背景

           数字化转型是业务、流程、管理和技术一次变革，随着企业数字化进程加快，各业务形态整合深入，相关业务系统迭代加速，数据多样性非结构化、半结构化和结构化数据涌现且数据量级呈井喷式增长。在信息时代，数据已和资本、土地、技术，知识和管理同样重要的生产要素存在，同时，数据消费者对准确性和时效性数据迫切需求与日俱增，如何提升数据质量方法很多，以后另做分享，此篇讲解数据质量监控的重要性，因为大数据技术暴露出的问题有可能超出开发同学的认知，有同学自信满满这写肯定没问题，实际上出现超出了其认知的问题出现了，就会发生数据故障，待发现时为时已晚，所以数据质量监控能不以人的意志为转移地识别超出认知的是否有数据质量问题，重要性不言而喻。

数据质量迭代流程：
 

强化数据质量意识

            首先，数据存在人为干预或加工的过程就会存在数据质量问题，为减少人为失误或系统故障，所以数据须对数据质量监控；

            其次，数据是公司的重要资产，需做好数据质量迭代计划，识别和发现各种形式数据质量问题，改进数据质量问题，形成闭环，最终提高数据质量，提升用户体感，加速公司数字化转型，从而服务于公司战略和愿景；

            最后，作为数据部门，是数据集成、存储、汇总、分析、呈现和服务的统一出口，有责任和义务对自己提供的高质量的数据负责，同样需对数据入口的质量问题及时发现，推动上游及时改进的责任，共同提高数据质量。

        数据质量产生因素有多种，如数据生产者或上游业务系统人为失误、系统硬件故障和系统逻辑变更信息不对称；数据加工者对数据加工过程人为因素造成数据问题；数据消费者对数据理解不准确导致误用等问题。

        因此，每周周会增加一个议题统计数据质量问题情况：数据质量监控计划、触发数据问题统计、数据问题修复迭代计划和数据问题复盘等，从监控计划、数据问题发现、数据质量问题修复跟进形成一个提升数据质量闭环。

识别数据质量问题途径：

• 配置数据质量监控规则，主动识别数据质量问题，及时响应修复，尽量避免或减少数据故障问题发生；

• 数据质量逐级下传由终端数据消费者识别，用户体验不友好。所以尽量主动完善监控数据质量覆盖范围和数据服务场景，让数据准确健壮武装到牙齿，无论是上游数据生产者业务系统还是数据加工者及时发现，让数据问题消逝于无形，提升用户数据使用友好体验。
• 确定数据监控数据范围

           数据监控范围参考两个指标：

• 核心业务主流程关键数据
• 业务长期痛点的数据

           各域需梳理出核心关键或长期痛点数据模型清单。

• 数据监控覆盖场景
• 离线报表
• 准实时报表
• 实时大盘
• 数据服务推送
• 算法依赖
• 数据分析依赖
•  其他（ftp file推送、olap下载，业务库数据推送）
• 数据质量QC监控规则覆盖

          必须任务级监控项:

• 任务失败电话告警
• 任务延迟启动电话告警
• 任务延迟完成电话告警

          其他监控项，根据实际需要数据监控，如易于漏数据的，做记录条数多少验证或记录数波动大小告警；稳定的枚举值个数、内容做完整性 包含 不包含等具体枚举值验证；门店清单完整性比较，如不按时日结完成，打电话告警门店负责人及全集图曝晒；维度表剔除重复处理；上游系统IP不通配置上游业务系统负责人及dba告警电话；关键字段非空告警监控。

      参考数据质量监控规则：

必配置监控规则：

• 数据质量监控统计指标   

         为了便于数据质量问题量化和跟踪直到修复，可从数据中台和各老平台数据质量元数据信息或电话告警元数据中，统计相关指标。

• DQ配置覆盖范围比例 
• 每周触发数据质量问题按类型统计
• 响应处理时效和问题统计
• 从告警系统拉取统计告警电话数
• 数据质量监控迭代计划跟踪
• 经常告警，执行定期迭代计划
• 数据生产者（上游业务系统）问题跟进
• 数据加工者修复迭代计划
• 数据消费者（数据误使用，引导）
• 数据问题引起故障定责
• 其他

            这里进行一些人性化或人文关怀，因半夜处理数据质量问题的，视情况可晚到等

总结

        数据是对现实世界中人、物、事件动作、时间和空间等在网路空间的一种记录描述，企业对这些事物动作的数据进行分析、呈现、管理、决策，总结过去，把握现在，预测未来。可见数据质量好坏是数据最要的属性之一，数据质量监控能不以人的意志为转移地识别超出认知的是否有数据质量问题，数据质量监控好，数据开发背锅少。

来源：BigDataplus

作者：后羿