2022-11-11 11:03 浏览量:3737
前言 主数据又被称为黄金数据,其价值高也非常重要。对企业来说,主数据的重要性如何强调都不为过,主数据治理是企业数据治理中最为重要的一环。主数据标准管理的内容包括主数据管理标准、主数据应用标准和主数据集成服务标准三大类。
本文主要讲述主数据代码体系、主数据标准体系和主数据标准制定及贯彻的方法和思路。
1
主数据标准体系概述
主数据标准包括主数据管理标准、主数据应用标准和主数据集成服务标准三大类;主数据质量、安全控制通常对主数据标准执行、宣传贯彻情况,主数据唯一性、一致性、合规性检查,主数据可追溯性版本控制这三个方面进行监督和考核。
因此,主数据标准制定是全面提升主数据的质量、实现主数据规范化及信息共享的前提。主数据管理的首要任务就是要制定主数据标准和规范,统一主数据的定义,定义主数据模型。
主数据标准修订是一个循环往复的过程,即通过不断地对主数据标准进行深化应用和质量监督,发现标准存在的问题且不断修订。
主数据标准制定过程
2
主数据代码体系
主数据代码库的建立是基于规范的主数据标准。企业想要标准化和规范化的主数据标准代码库,需要通过不断地完善主数据标准,依据主数据标准对数据进行清洗处理,然后通过高质量的数据清洗形成主数据标准代码库。企业经营范围内的数据要被认定为主数据,需要按照主数据的特征识别为主数据。
主数据是在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)之间共享的、高价值的数据,可以在企业内跨越各个业务部门被重复使用。从主数据的概念上看,主数据应具有以下特性。
在主数据架构设计中,通过研究影响主数据多个因素之间的关系,对具有这些因素的个体之间进行统计分析,确定主数据标准体系,可以指导未来企业各类主数据的建设。
主数据资产目录体系示例
在该体系中,一共划分了六类主题,包括人事类、运营管理类、财务类、决策支持类、通用基础类、板块专用类。
2.1
人事类
人事类主数据包括组织机构主数据和员工主数据。
2.2
运营管理类
运营管理类主数据包括客商类(供应商和客户)主数据、实物资产类(物料、设备\设施和产品)主数据、项目类(工程项目、投资项目和设计项目)主数据、合同类主数据、安健环类(安全、健康、环保)主数据。
2.3
财务类
财务类主数据包括会计科目主数据、固定资产主数据、金融机构主数据。
2.4
决策支持类
2.5
通用基础类
通用基础类主数据主要包括行政区划、计量单位、车站港口、经济分类、语种、币种等其他需要应用国家标准的主数据,该类主数据要严格遵循国标的要求。
2.6
板块专用类
在该示例中,板块专用类主数据包括新能源板块、交通板块、工程设计板块、金融板块、保险板块、地产板块、其他板块专用的主数据,该类主数据由板块提出申请,经主数据管理办公室批准后建设。
3
主数据标准体系
主数据标准体系分类
类型 |
标准与规范 |
主要内容 |
|
主数据管理标准及规范 |
主数据管理组织 |
企业内各类主数据的管理组织架构、运营模式、角色与职责规划 |
|
主数据管理制度 |
规定了主数据管理工作的内容、程序、章程及方法,是主数据管理人员的行为规范和准则,主要包含各种管理办法、规范、细则、手册等 |
||
主数据管理流程 |
包括主数据业务管理流程、主数据业务管理流程和主数据质量管理流程,保证主数据标准规范得到有效执行,实现主数据的持续性长效治理 |
||
主数据应用管理 |
包括三部分内容:明确管理要求、实施有效的管理、强化保障服务 |
||
主数据管理评价 |
评估及考核主数据相关责任人职责的履行情况,以及数据管理标准和数据政策的执行情况 |
||
主数据应用标准及规范 |
组织人事类 |
组织机构主数据标准 |
规定了组织机构主数据的技术属性、业务属性和管理属性 |
人员主数据标准 |
规定了人员主数据的技术属性、业务属性和管理属性 |
||
财务类 |
会计科目主数据 |
规定了会计科目主数据的技术属性、业务属性和管理属性 |
|
固定资产类主数据 |
参照国际标准编制 |
||
金融机构类主数据 |
参照中国人民银行下发的金融机构代码 |
||
物资设备类 |
物料主数据标准 |
包括物料分类、物料描述、物料编码标准 |
|
设备主数据标准 |
包括设备分类、设备描述、设备编码标准 |
||
客商类 |
客户主数据标准 |
规定了客户主数据的技术、业务和管理属性 |
|
供应商主数据标准 |
规定了供应商主数据的技术、业务和管理属性 |
||
项目类 |
项目主数据标准 |
规定了项目主数据的技术、业务和管理属性 |
|
合同类 |
合同主数据标准 |
规定了合同主数据的技术、业务和管理属性 |
|
安健环类 |
安健环主数据标准 |
编制安健环主数据代码 |
|
数据指标类 |
数据指标主数据标准 |
规定了指标主数据的技术、业务和管理属性 |
|
通用基础类 |
通用基础类主数据标准 |
参照国家标准 |
|
板块专用类 |
高速公路、轨道交通、工程设计、电力能源、房地产、财务金融等 |
根据需要由各板块专业部门编制 |
|
主数据集成服务标准及规范 |
主数据格式规范 |
主数据格式规范包含了参数格式、主数据类型规范、数据量约束及传输协议等 |
|
集成技术选择标准 |
主数据集成选型标准、集成技术标准、流程集成选型标准、界面集成选型标准 |
||
主数据集成技术规范 |
主数据集成规范、服务集成规范、流程集成规范、界面集成规范 |
||
主数据集成开发规范 |
命名规范、需求规范、架构规范、设计规范、实现规范、测试规范、部署规范、管控规范 |
||
目标服务系统接入规范 |
普通源系统接入规范、不对外提供目标源系统接入规范、FTP/SFTP协议源系统接入规范、单向系统接入规范、特殊源系统接入规范等 |
主数据标准体系建设要遵循“高层负责,机制现行”、“明确定位,合理规划”、“贴近业务,切合实际”、“循序渐进、成效说话”的基本原则,从而有效保证主数据标准体系建设符合企业业务发展的需要。
3.1
主数据管理标准
主数据管理标准及规范包括主数据管理组织与制度、主数据管理流程、主数据应用管理、主数据管理评价等。
主数据管理标准及规范
主数据管理标准及规范为主数据管理工作的开展提供了有效的依据和指导,是主数据管理与运营的重要保障。
主数据管理组织主要包括企业内各类主数据的管理组织架构、运营模式、角色与职责规划。通过组织体系规划可以建立明确的主数据管理机构和组织体系,落实各级部门的职责和主数据管理组织与人员。典型的主数据管理组织主要包含决策层、管理层和执行层。
主数据管理制度规定了主数据管理工作的内容、程序、章程及方法,是主数据管理人员的行为规范和准则,其中主要包含各种管理办法、规范、细则、手册等。可参考的主数据管理制度主要包含:
主数据管理流程是提升主数据质量的重要保障。通过梳理数据维护及管理流程,建立符合企业实际应用的管理流程,可以保证主数据标准规范得到有效执行,实现主数据的持续性长效治理。主数据管理流程主要包含以下三个方面的内容。
主数据业务管理流程:对主数据的申请、校验、审核、发布、变更、冻结、归档等进行全生命周期管理,满足企业对主数据在企业中深入应用的不同管理需求。
主数据标准管理流程:通过对主数据标准的分析、制定、审核、发布、应用与反馈等流程进行设计,保证主数据标准的科学、有效、适用。
主数据质量管理流程:对主数据的创建、变更、冻结、归档等业务过程进行质量管理,设计数据质量评价体系,实现数据质量的量化考核,保障主数据的安全、可靠。
主数据应用管理是保障主数据落地和数据质量非常重要的一环。主数据管理应用主要包含三部分内容:明确管理要求、实施有效的管理、强化保障服务。
主数据管理评价用来评估及考核主数据相关责任人职责的履行情况,以及数据管理标准和数据政策的执行情况。通过建立定性或定量的主数据管理评价指标,可以加强企业对主数据管理相关责任、管理标准与数据政策执行的掌控能力。
主数据管理评价指标由数据所有人与数据认责人共同确定,其中会定义一系列的衡量指标和规则:一方面落实和检查主数据的应用情况,另一方面考察和评估主数据管理、主数据标准、主数据质量的执行情况。
主数据管理评价指标
序号 |
考核方向 |
技术指标 |
衡量标准 |
1 |
及时性 |
及时率 |
满足时间要求的数据总数/总数据数 |
2 |
真实性和准确性 |
数据真实率 |
1-数据中失真记录总数/总记录数 |
有效值比率 |
1-超出值域的异常值记录总数/总记录数 |
||
流转过程失真率 |
数据传输失真记录总数/总记录数 |
||
重复数据比率 |
重复记录数/总记录数 |
||
3 |
一致性 |
外键无对应主键的记录比率 |
外键无对应主键的记录总数/总记录数 |
主数据一致率 |
一致的主数据总数/主数据总数 |
||
4 |
完整性 |
字段的空值率 |
空值记录总数/总记录数 |
信息完备率 |
能够获取的指标数/总需求指标数 |
3.2
主数据应用标准
(1)业务标准
主数据标准建设是针对业务开展过程中所使用的具有共同业务特征的基础性数据(即跨部门\跨系统共享、重复使用的核心业务实体数据)。通过制定各类主数据标准可以保证主数据在企业内部有效共享。主数据应用标准的主要内容包括主数据的分类标准、编码规则、属性描述规则、提报指南。
主数据的分类是将数据按照层级关系进行分类,让用户能够清晰地对数据进行描述,满足用户的快速查询和定位,以及统计分析和其他业务管理需求。
对于工业企业物料主数据分类,建议以物料的自然属性为主,将物料主数据分为大类、中类、小类。
物料主数据分类规则示例
物料分类示例
下文以工业企业为例介绍物料主数据的分类规范。
①物料主数据主要参考标准
本例的工业企业物料主数据主要参考以下标准。
②物料分类示例
某企业物料分类中各大类及概要说明
代码 |
名称 |
主要包含的内容 |
01 |
有色金属及冶金炉料 |
主要包含重有色、轻有色、贵金属、稀有、黑色、稀有放射性金属矿采选产品;稀有金属加工材、钢锭、生铁、合金铁、粉末冶金原料、铸铁件、铸钢、废黑色金属等 |
02 |
木材 |
主要包含原条、原木、小规格木材、锯材、木片、人造板、人造板装饰加工板、木材防腐制品、工业用木制品、竹材(不含竹制品) |
03 |
支护材料 |
主要包含单体液压支柱、锚杆、网片、锚固剂、金属支架、支护梁等 |
04 |
化学原料及化学产品 |
主要包含无机化学品、有机化学原料、肥料、胶黏剂、农药、煤炭化工产品、林产化学产品、动物胶、环境污染处理专用药剂材料、合成洗涤剂、香料、香精等 |
05 |
燃料 |
主要包含液体燃料、固体燃料、气体燃料。如煤炭、燃料气、汽油、煤油、柴油、燃料油等 |
06 |
原油加工及石油制品 |
主要包含润滑油、润滑脂、溶剂油、化工轻油、炼化中间物料、洗涤剂原料油、石蜡、凡士林、标准油、白色油、软麻油、石油沥青、石油焦、润滑油基础油、石油酸类等 |
07 |
建工材料 |
主要包含水泥、水泥熟料、水泥混凝土制品、水泥预制构件、纤维增强水泥制品、陶瓷、玻璃、砖、瓦、建筑砌块、砂、建筑用石料及石材加工品、石灰石及石灰、石膏及石膏制品、轻骨料、土、门窗、石棉及其制品、筑路材料、工业陶瓷制品、防水及保温材料、滤料等 |
08 |
轴承 |
主要包含滚动轴承、滑动轴承、直线运动滚动支承、轴承零件、其他轴承 |
09 |
机械类(紧固件) |
主要包含螺栓、螺钉、螺母、垫圈、挡圈、销、键、铆钉等 |
10 |
电工材料 |
主要包含裸铝线、裸铜线、铜电车线、钢芯铝绞线、铜包钢线、铜母线、铝包钢线、铝合金绞线、软铜绞线、铜电磁线、铝电磁线、电力电缆、控制电缆及信号电缆、通信电缆、石油专用电缆、特殊电缆、光缆、布电线、安装线缆、尼龙防水线、铁芯线、高压绝缘子、电工用碳素制品、云母制品、绝缘材料、送变电用金属制品、电工合金材料、电缆接头等 |
11 |
电气器具 |
低压电器元件:主要包含各种低压电器元件及附件(启动器、断路器、接触器、控制器、开关、端子等)、防爆电器及附件、干电池、蓄电池及配件等 |
日用电器:主要包含家用制冷电器、空气调节器及配件、电风扇、厨房电器具、卫生清洁器具、熨烫器具;民用灯具、建筑、工矿、农业、交通、医疗用灯具;灯泡灯管、普通镇流器、特殊照明电器、安装及配线器材、常用电器及配件等 |
||
12 |
专用仪器仪表 |
主要包含石油、石化、海洋、纺织、通信、船舶、医疗、水文、环保、电站、煤炭等行业专用仪器仪表及配件 |
13 |
通用仪器仪表 |
主要包含温度仪表、压力仪表、流量仪表、物位仪表、在线分析仪、变送器、控制室组合仪表、工业自动化系统及配件(含煤炭行业各种安全生产监控、保护系统)、控制阀及其执行机构、仪表盘柜箱及控制台、仪表专用阀门、仪表管件、电工仪器仪表、机械量仪、计量标准器具、试验机、实验室仪器及装置、光学仪器、电子测量仪器、校验仪器及设备、其他仪器仪表及配件等 |
主数据编码标准定义了数据的分类和编码规则,方便企业识别、统计汇总及建立主数据间的映射关系,是主数据标准化建设的核心内容。通过对主数据分类编码的标准化,可以杜绝自然语言描述下的不规则和理解偏差,便于信息系统数据管理,以提高数据质量和管理的效率。
以物料主数据为例,可以将物料主数据分类码分为大类码、中类码、小类码物料编码采用8位流水码,编码宜采用阿拉伯数字;编码应简单化,不宜用具有特殊含义的字符进行编码;各类物料编码规则和长度应保持统一,并且采用流水码——可以保证编码的唯一性,就是通常所说的“一物一码”。
物料主数据模型示意
物料分类示例
主数据属性描述规则是指对某一类主数据描述规则的定义,目的在于解决主数据属性描述的规范化问题,包括自然属性、取值范围和相互关系的确定。主数据属性描述规则主要由特征量及特征量相关关系(如连接符、前置符、后置符等)组成。主数据的属性可以分为基本属性、特征属性、业务属性。
物料主数据属性描述规则
物料描述范例
物料描述范例
主数据提报指南用于明确主数据分类原则、编码规则及描述规则的填写方法。为了规范主数据应用、提高主数据质量、缩短主数据提报和审核周期,需要组织代码审核人员结合业务实际,对主数据的分类原则、描述规则,以及填写主数据条目提报模板时的注意事项进行详细说明,并对审核过程中发现的问题进行归纳和总结,编制主数据代码提报指南。
主数据模型标准是用于确定数据唯一性的属性集合,通常由一个或多个业务属性、管理属性、技术属性共同构成。这些属性都具备客观性、稳定性和唯一性。例如一款商品的规格型号、某人的出生日期、企业的统一社会信用代码等,都可以被当作是某一类主数据的某一项描述属性。主数据模型标准建设随着业务标准的建设梳理过程而建立。相对于主数据业务标准建设过程,主数据模型标准建设比较简单。
以外部单位为例,外部单位主数据模型分为基本视图、银行视图和权限视图,具体介绍如下。
序号 |
字段名称 |
类型 |
是否必填 |
编辑/选择 |
选项值列表 |
备注 |
|
1 |
单位代码 |
VARCHAR2(50) |
Y |
系统自动生成 |
|||
2 |
单位全称 |
VARCHAR2(500) |
Y |
手工输入 |
|||
3 |
单位简称 |
VARCHAR2(500) |
N |
手工输入 |
|||
4 |
英文全称 |
VARCHAR2(500) |
N |
手工输入 |
|||
5 |
英文简称 |
VARCHAR2(500) |
N |
手工输入 |
|||
6 |
单位性质 |
VARCHAR2(10) |
Y |
只选 |
-1企业 |
||
7 |
是否三证合一 |
VARCHAR2(10) |
Y |
只选 |
0否, 1:是 |
||
8 |
统一社会信用代码 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
9 |
工商注册号 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
10 |
税务登记证号 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
11 |
组织机构代码 |
VARCHAR2(20) |
Y/N |
手工输入 |
|||
12 |
个人有效证件号 |
VARCHAR2(50) |
Y/N |
手工输入 |
如果是中国人填身份证号,否则填护照号 |
||
13 |
国家 |
VARCHAR2(10) |
Y |
只选 |
从通用基础主数据选取 |
||
14 |
省份/直辖市 |
VARCHAR2(10) |
Y/N |
只选 |
从通用基础主数据选取,当“国家”为中国时,该字段必填必选 |
||
15 |
城市 |
VARCHAR2(10) |
Y/N |
只选 |
从通用基础主数据选取,当“国家”为中国时,该字段必填必选 |
||
16 |
法人姓名 |
VARCHAR2(100) |
N |
手工输入 |
|||
17 |
注册地址 |
VARCHAR2(500) |
N |
手工输入 |
|||
18 |
邮政编码 |
VARCHAR2(100) |
N |
手工输入 |
|||
19 |
电话号码 |
VARCHAR2(100) |
N |
手工输入 |
|||
20 |
传真号 |
VARCHAR2(100) |
N |
手工输入 |
|||
21 |
电子邮箱 |
VARCHAR2(100) |
N |
手工输入 |
|||
22 |
备注 |
VARCHAR2(500) |
N |
手工输入 |
序号 |
字段名称 |
类型 |
是否必填 |
编辑/选择 |
选项值列表 |
备注 |
1 |
银行账号 |
VARCHAR2(50) |
Y |
手工输入 |
||
2 |
开户名称 |
VARCHAR2(100) |
Y |
手工输入 |
||
3 |
银行名称 |
VARCHAR2(100) |
N |
只选 |
||
4 |
分行名称 |
VARCHAR2(100) |
Y |
只选 |
||
5 |
分行行号 |
VARCHAR2(20) |
Y |
只选 |
||
6 |
银行国家 |
VARCHAR2(10) |
Y |
只选 |
来源于通用基础类主数据 |
|
7 |
省份 |
VARCHAR2(10) |
Y |
只选 |
来源于通用基础类主数据 |
|
8 |
城市 |
VARCHAR2(10) |
Y |
只选 |
来源于通用基础类主数据 |
序号 |
字段名称 |
类型 |
是否必填 |
编辑/选择 |
选项值列表 |
备注 |
1 |
内部单位代码 |
VARCHAR2(20) |
Y |
来源于主数据内部单位 |
||
2 |
创建时间 |
VARCHAR2(20) |
Y |
3.3
主数据集成服务标准
主数据集成服务标准包括主数据规范格式、集成技术选择标准、集成技术规范、开发规范、外围系统接入规范等。
包含了参数格式、主数据类型规范、数据量约束及传输协议等。
参数格式:原则上,主数据服务的每个操作都应该只有1个输入参数、1个输出参数和1个错误参数。输入参数和输出参数以XML标准格式进行组织。考虑到系统中很多服务并没有按照这种规范来实现,针对一些公共服务,比如HR相关的服务,由多个系统调用获取组织架构、员工信息的服务。为了使服务调用方的改动最小,这部分服务保持原有的方式不变。其余的服务,特别是在系统流程中的服务,按照此原则进行改造。
主数据类型约束:系统间的接口在交互时,为避免因数据格式产生不兼容,基本数据类型被统一为字符型和数字型两种。对于日期型数据,被处理为字符型数据,统一日期格式为:“YYYY-MM-DD HH24:MM:SS”(例如“2015-01-05 13:30:30”),日期格式的处理由各个系统的程序自己实现。
数据量约束:在实现系统间集成时,应当总是优先选择实时、增量的集成方式,尽力避免定时、批量的数据传输。
包含了主数据集成选型标准、集成技术标准、流程集成选型标准、界面集成选型标准。集成技术选择需要考虑到不同类主数据实际情况,例如:
包含主数据集成规范、服务集成规范、流程集成规范、界面集成规范。考虑到主数据集成方式,各种集成方式的适用场景如下:
包含命名规范、需求规范、架构规范、设计规范、实现规范、测试规范、部署规范、管控规范。
包含了源系统接入规范、不对外提供目标源系统接入规范、FTP/SFTP协议源系统接入规范、单向系统接入规范、特殊源系统接入规范等。
对于FTP/SFTP协议源系统接入规范,由于目标源系统的特殊性和局限性,致使系统只能使用FTP/SFTP协议与外围系统进行对接。因此集成时只能采用FTP/SFTP的方式进行集成,没有其他的集成方式可以选择。
4
主数据标准制定及贯标
4.1
主数据标准制定过程
主数据标准制定是一个漫长又复杂的过程,也是一个制度与人员协同配合的严密过程。主数据标准制定流程指导主数据标准的制定、实施过程,是实现高效主数据管理的基础和关键。
主数据标准制定过程
4.2
主数据标准贯彻策略
主数据贯标策略
策略 |
贯标后效果 |
优点 |
缺点 |
适用条件 |
主要工作内容 |
策略一: 完全一致贯彻标准 即所有系统采用同一套标准代码 |
各系统数据完全一致 |
(1)数据完全一致,为后续业务数据查询、统计分析奠定基础; (2)满足集中集成要求,辅助决策提供支撑 |
(1)贯彻标准,投入大、对现有业务系统冲击和影响较大; (2)贯彻标准,前后业务数据不连续 |
(1)年底财务年结完成后; (2)新系统改造上线; (3)业务人员成熟度高 |
(1)新旧编码转换; (2)人员培训; (3)未结业务清理,包括库存盘点、财务结转、合同改签等 |
策略二: 映射策略贯彻标准 即原有系统代码不变,采用与集团标准代码对照 |
各系统数据不一致,但映射对照关系清楚 |
(1)对现有系统业务冲击较小; (2) 贯彻标准 阻力小; (3)基本能满足常规的统计和分析要求 |
存在两套以上的代码,维护工作量较大,容易出错
|
系统有富余字段存放映射信息 |
(1)增加映射字段,维护映射信息; (2)统计分析报表中增加对照列 |
策略三: 择机贯彻标准 相对独立的业务系统暂时不动,择机贯彻标准 |
部分相对独立的业务系统维持现状,各系统数据存在不一致的情况 |
对现有系统无影响 |
部分业务系统信息代码不一致 |
业务孤立的异构系统,没有业务集成和数据交换需求;短期内系统要被改造或替代 |
无 |
主数据及主数据管理是企业数字化转型的坚实根基,是企业数据资产管理的核心。主数据是具备企业高业务价值的重要数据资产。与海量的数据相比,主数据描述了企业的核心业务实体,承载了企业的核心业务流程,它可以跨业务、跨系统、跨部门地被重复利用,其重要性不言而喻。主数据管理通过构建准确、唯一、权威的数据来源形成企业主数据管理体系,进一步提高企业数据质量和数据资产价值,全面增强企业核心竞争力。(鸣谢:蔡春久老师指导)
来源:数据工匠俱乐部
作者:杨青