数据质量管理体系与方法

数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。

数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段，进行数据的管理和控制，消除数据质量问题进而实现提升数据变现能力的目标。在数据治理过程中，一切业务、技术和管理活动都围绕这个目标和开展。

质量管理体系架构包括质量管理体系数据生命周期管理、质量管理体系组织制度、质量管理体系实施方法三个层次，如图1所示。

图1 质量管理体系架构图

有了完整的指导思想解和组织制度才可以制定出一个比较完善化的实施方法，指导思想可以参考比如GB/T19001-2000《质量管理体系要求》，组织制度一般根据指导思想做出微调即可，实施方法主要从业务，技术和管理三方面来进行设计解决影响数据质量的根源问题。

数据分析的前提就是数据的质量，好的数据质量是数据分析可靠性的必要保障。

数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是指不符合要求以及不能直接进行相关分析的数据。

脏数据包括以下内容：

缺失值的产生方式主要包括：

缺失值的影响主要包括：

通过简单的统计分析，可以得到含有缺失值的属性个数，以及每个属性的未缺失数、缺失数和缺失率。具体解决方法为：删除含有缺失值的记录、对可能值进行插补和不处理三种情况。

（2）3σ原则

如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值，如果不符合正态分布，也可以用原理平均值的多少倍标准差来描述。

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。

不一致数据的产生主要发生在数据集成的过程中，这可能是被挖掘数据来源于不同的数据源，比如说两张表格都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表格中的数据，那么这两张表就有了不一致的数据。

界定数据质量治理的范围，并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法，定义出数据治理的对象和范围。

企业数据质量治理对象一般主要包括两类数据：一类是操作型数据，例如：主数据、参照数据和交易数据；另一类是分析型数据，例如：主题数据、指标数据等。企业的数据质量问题80%是由于管理不当或业务操作不规范引起的。

图2  DMAIC 模型中数据质量分析定义的五个阶段

在定义出数据治理对象和内容后，需要选取以下若干个指标作为数据质量评价指标，建立数据质量评估模型，对数据进行评估和测量。

常用的数据质量评价指标就是：数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

基于数据质量评估模型，执行数据质量分析任务，通过数据分析，找到发生数据质量问题的重灾区，确定影响数据质量的关键因素。

数据治理和大数据分析是密不可分的，数据治理的目标是提升数据质量从而提高数据分析的准确性，而大数据分析技术也可反向作用于数据治理，通过大数据分析算法和大数据可视化技术，能够更准确、更直观地定位到发生数据质量问题的症结所在。

该阶段可用的大数据技术包括：回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

通过制定改进管理和业务流程、优化数据质量的方案，消除数据质量问题或将数据质量问题带来的影响降低到最小程度。

强调数据质量的优化和提升，绝不单单是技术问题，应从管理和业务入手，找出数据质量问题发生的根因，再对症下药。同时，数据质量管理是一个持续优化的过程，需要企业全员参与，并逐步培养起全员的数据质量意识和数据思维。

该过程主要用到方法：流程再造、绩效激励等。

固化数据标准，优化数据管理流程，并通过数据管理和监控手段，确保流程改进成果，提升数据质量。 

主要方法有：标准化、程序化、制度化等。

图3是 ISO9001 基于 PDCA 的质量管理核心思想，其重点强调以客户为关注焦点、领导作用、全员参与、过程方法、持续改进、循证决策和关系管理并形成一个闭环。

图3 ISO9001的PDCA图

依据ISO9001以及数据治理方面的相关经验，数据质量管理应从以下几个方面着手：

一个强有力的数据管理组织的建设是数据治理项目成功的最根本的保证。

其作业是两个层面：一是在制度层面，制定数据治理的相关制度和流程，并在内推广，融入文化。二是在执行层面，为各项业务应用提供高可靠的数据。

为了改进和提高数据质量，必须从产生数据的源头开始抓起，从管理入手，对数据运行的全过程进行监控，强化全面数据质量管理的思想观念，把这一观念渗透到数据生命周期的全过程。

数据质量问题是影响系统运行、业务效率、决策能力的重要因素，在数字化时代，数据质量问题影响的不仅仅是信息化建设的成败，更是影响企业降本增效、业务创新的核心要素，对于数据质量问题的管理，深度执行的总体策略是“垃圾进，垃圾出（garbage in，garbage out）”，采用事前预防控制、事中过程控制、事后监督控制的方式进行数据质量问题的管理和控制，持续提升企业数据质量水平。

关于质量问题的分析，推荐采用经典的六西格玛（缩写：6σ 或 6Sigma）。

六西格玛是一种改善企业质量流程管理的技术，以“零缺陷”的完美商业追求，以客户为导向，以业界最佳为目标，以数据为基础，以事实为依据，以流程绩效和财务评价为结果，持续改进企业经营管理的思想方法、实践活动和文化理念。

六西格玛重点强调质量的持续改进，对于数据质量问题的分析和管理，该方法依然适用。

数据质量评估具体检测的内容主要包括以下几部分：

准确性，用于描述一个值与它所描述的客观事物的真实值之间的接近程度，通俗来说就是指数据记录的信息是否存在异常或错误。

例如业务员在上报系统上填写客户信息时，手误输错了某一信息，造成了数据库里存在的信息与客观事实不一样。

数据准确性的检测较为困难，一般情况下很难解决。在某些特定的情况下，例如性别，年龄，出生日期，籍贯等信息可以通过校验身份证号来检测，前提是确保身份证号码是正确的。

有效性，描述数据遵循预定的语法规则的程度，是否符合其定义，比如数据的类型、格式、取值范围等。

数据有效性检测的步骤是用户选择需要进行有效性检测的字段，针对每个字段设定有效性规则。有效性规则包括类型有效、格式有效和取值有效等。

类型有效检测字段数据的类型是否符合其定义，例如可以通过求和来判断是否是数值型，通过时间操作来判断是否是时间类型；格式有效性检测可以通过正则表达式来判断数据是否与其定义相符；取值有效检测则通过计算最大最小值来判断数据是否在有效的取值范围之内。

时效性, 是指信息仅在一定时间段内对决策具有价值的属性。

数据从生成到录入数据库存在一定的时间间隔，若该间隔较久，就可能导致分析得出的结论失去了借鉴意义。

例如当天的交易数据生成后没有及时录入数据库或者源库与目的库之间的同步延迟，则会导致统计结果和真实结果存在一定误差。

把待检测的表作为主表，首先用户确定一致性检测的主表字段，然后选择需要给定检测的从表和从表字段，设置好主表和从表之间的关联项。

关联项可以是多个字段，但是关联项必须是拥有匹配值的相似字段。匹配关联之后检查主表和从表相同或者类似字段值是否一致。

数据质量的评估流程首先确定要检测的数据质量指标和评估规则，然后编写相应的 SQL 脚本来检测分析数据，最后计算满足各个规则的数据的百分比得分。

系统综合得分的计算可以通过把每条规则的得分计算出来，然后综合后取平均值，但更为合理的方法就是可以把每条规则的得分按照给定的权重进行评价，做出一个合理的数据质量评价等级。由用户规定每个检测规则的权重，做出一个权重方案，然后按照各个检测规则的权重进行整体的计算统计，得到一个合理的数据质量评估得分。

任何具有决策性的判断是基于数据质量及处理方法的合理性、逻辑性等。这些相关工作依赖于数据模型的质量。数据模型的质量直接能够影响围绕数据开展的所有工作的实际成果。所以针对数据模型质量的评价就显得具有很重要的意义。

图4 数据模型质量评价的10个方向

数据模型是否可以准确反应业务需求。如果数据模型不能够准确反应业务需求，会使整个数据模型及其实用性和价值大打折扣，很难达到预期效果。但准确性同样是所有评价要点中最难以实现的。

同理，不仅仅是关于数据模型的评价，任何一个应用、平台的建设业务需求方面的准确性都是重中之重。

具体评价准确性的方法有很多，需要从访谈、案例、用户报告、数据库等多个方面查找证据，加以分析。

数据模型是否完全覆盖业务需求的范围。所有业务信息是否得到完整的体现，所有技术信息是否已经完整的展现，是否存在未被响应的需求，是否存在含糊不清的需求有待澄清。

有一点需要注意，这种完整性的覆盖需要在原有的设计纸面上做适当延伸，具备一定的前瞻性。

确保模型可以符合第三范式等常见的模式。数据模型中包含概念模型、逻辑模型和物理模型。例如在概念模型中可以从业务需求、应用范围及实体属性对应关系等方面来进行规范化评定。

逻辑模型中可评价的方法较多, 如确保主键是唯一稳定强制的，逻辑模型中不应该存在可重复的索引等。

结构性可以确保创建的数据模型符合常见的数据模型准则。具备合理结构性的数据模型可以通过工具快速识别模型中的潜在风险。一般会通过一致性及完整性两方面进行判断。

抽象性是是扩展性及适用性的一个中间平衡，是数据模型的一个重要特征。增强抽象性意味着扩展性的增强，适用性的降低。取得平衡是一件重要的工作。扩展性意味着系统会更加灵活适应更广泛的业务范围。而适用性意味着模型与实际业务更加贴合，对解决业务面临的困难具有重要意义。

抽象性的评价需要从扩展性和适用性两方面开展寻求合理的中间点。

数据模型是否能遵循统一的命名规则。包括包名称、数据表名称、属性名称等等。

统一的命名规则能够规范模型，避免因为名称不一致造成的概念混淆，及内容标准程度、完整性等方面的确认。

数据模型是否方便查阅，布局是否合理，是否方便浏览查阅。评价从模型、实体、属性等方面开展。模型方面确保大而复杂的模型被分成多个子模型，模型中不包含过多层级的继承关系。

实体方面包括合理的颜色及布局，关键实体的重点标注等。属性方面涉及名称及归类。

数据模型中的实体、属性含义等是否定义清晰。包含清晰、完整、准确等小的评价方面。

数据模型是否和企业型数据模型一致。包含术语、标准、用法。具体一些包括实体名称及定义的一致性，属性名称、定义、格式的一致性。

数据模型中的元数据和数据是一致的。数据模型中的属性和业务规则能够是与实际情况保持一致。数据名称、数据属性、业务规则、属性格式及规则、外键与主键的关联均是数据性可以开展评价的方面。

数据质量作为影响决策的基础元素，已经成为当今全球经济一体化大潮下最具竞争力的工具之一。

可靠的数据是最具价值的资产，在数据质量管理上所投入的资金和时间，将会在现在和未来得到高额的回报。

因此，在整个组织内部，应建立科学有效的数据质量管理体系，对组织的数据质量实施全程、全域和全员管理，将数据质量管理以制度化、规范化的方式落实到数据生成、传递和使用的各个过程中。

作者：郑治国

来源：德拓数据智能研究院