带你一起窥探企业数据中台的秘密 NO.6 数据资源规划与建设

前言

 

随着时代的发展，全球性经济处于低速增长阶段，为了解决增长困境带来的问题，经济学界提出了新经济的概念。原因有两方面：一方面，传统产业与金融行业的发展模式迫切需要寻找新的突破、新的变革与新的增长点；另一方面，粗放式、无节制的生产经营方式与消费模式，让整个行业感到万分焦虑，使得整个焦化行业暴露出各种无节制问题，变成在无效益中空忙，从而导致社会资本的严重浪费。
 

 

如何在变局下的经济新探索中找到经济转型的突破口；如何在稳定基本盘的前提下找到新的增长点；如何在权衡资源的有效分配前提下提升公众福利，都变成了新时代社会变革的聚焦点。

 

新经济的目的是重新梳理规划现有的社会资产，再进行重新分配，不是为了追求所谓的“共享”，而盲目设立战略目标，盲目的去跟风、加大资源的投入。在新经济的推动上需要每个人都参与其中，通过借助数据资源注入的方式来平衡与实现。因为，数据资源是一个城市发展不可或缺的重要资源，只有像规划城市土地资源一样规划数据资源；像规划垃圾处理一样规划数据的处理；像规划供电能力一样规划计算能力，才能真正促进新经济的增长，所以说，数据资源是重塑未来城市发展的重要元素之一。

 

企业建立数据中台目的是也一样，为了能够快速的赋能业务进行落地实施、改造、试错、转型；快速提升组织之间的协同效率，降低系统成本，实现数字化-智能化转型。当数据汇集之后，企业在做数据治理、数据建模、数据资产管理等工作之前，一定要先对企业的数据进行数据盘点，然后再去做数据资源规划。

 

 

01

数据资源规划的目标

 

在问为什么要做数据资源规划，先和大家对企业信息化建设做个简单的梳理和分析。
 

 

目前，大多数企业的信息化建设还处于无序的状态，缺乏统一的流程与规范。每个部门都有建立自己烟囱式的IT系统、建立烟囱式独立的数据分析平台和数据仓库或引进各种外部应用软件再进行二次开发，它们彼此之间相互独立，采用单项引进的开发模式，只是一味地追求各自的功能实现，没有按照全局的思想去做资源协调与规划，没有统一的流程与规范，没有统一的数据标准化，都是自给自足的生产的模式各自采集各自的数据，所有数据库差不多都是按报表格式的方式建立，导致信息孤岛的产生，数据无法互联共享有章可循，造成在混乱的业务系统环境中，无序、矛盾、冗余的数据随处可见。

 

【信息化建设存在的问题图】

 

只重视制定总体规划，在制定规划方面存在很多问题，总结一下可以用两个词来概括：滞后与缺乏。

 

1、滞后

企业更加侧重于网络建设，在落地方案和技术选型等方面粒度过细，在数据资源开发利用方面的规划粒度过粗；管理层和决策层的应用滞后于数据应用层，没有形成以数据驱动业务的统一认知。

 

2、缺乏
 

一方面，数据资源整合目标相对泛化，缺乏总体数据规划的意识，没有整合信息孤岛的措施，数据中心建设和数据集中管理等规划缺乏可操作性，缺乏数据标准化建设方面的规划，更多的是在喊口号，说概念，没有真正的实际行动；

 

另一方面，应用系统规划没有重组优化的想法，缺少如何集成已有应用系统的方法，在新应用系统落地技术选型方面描述过于细，甚至形成错误的模式和观念，观念还停留在企业信息化就是网络加ERP系统的思想阶段。
 

 

实际上，企业信息数字化建设面临的瓶颈问题并不只是在网络搭建、设备或者应用软件的技术选型上面，而是如何运用科学的方法，将分散、孤立的各类信息汇集起来，消除信息孤岛，实现数据信息共享。
 

 

解决这一问题的关键就是做好数据资源规划。数据资源规划是一个企业发展战略规划的另一种延伸，是企业信息化建设的基础工程，只有在做到数据环境改造，应用系统集成的前提之下，才能做好数据资源规划，促进数据标准化的建设。
 

 

数据资源规划它的目标是通过规范化的方式来发现企业业务的状况；通过规范数据源，解决数据源一致性问题；通过规范数据模型，明确数据关系。

 

 

02

数据资源规划的内容

 

当企业业务系统逐渐增多，点对点的集成方案将变成一场灾难。主要有以下几个原因：

多对多系统的数据交换，牵一发而动前身，稍有不慎，系统可能就毁于一旦；

业务重合度过高，造成重复建设，浪费开发资源；

业务流程进行调整比较难，对业务变化的延展性、拓展性与适应性差；

研发质量难以保证与控制，系统开销太大，影响系统性能

 

为了解决以上问题，企业需要先梳理现状、确定组织、认识数据、数据呈现，从而清晰的了解认识到企业的真实情况，从中找到数据资源规划破局的方法。
 

 

【数据资源规划内容图】

 

1、梳理现状
 

通过从以下四个方面，梳理出企业现状，统计出数据来源，确定数据资源分类，做好数据评估，确定当前数据容量，结合业务运行频度，数据产生效率，预测数据成长规模。

业务角度：梳理业务流程、核心业务指标、业务数据应用，看是否可以找到业务新的创新点；

数据角度：梳理目前企业有什么数据，数据来自什么业务系统，数据用在哪里，数据如何存储，安全与否；业务还可以采集到什么数据；还缺什么数据；目前企业数据建设的情况；

技术角度：梳理目前各个业务系统的拓扑结构、技术架构、系统的开发语言和系统的开放性

组织中心：了解企业是否有完善的组织架构；明确知道各部门、各个业务系统的分工机制、职能边界与配合方式

 

2、确定组织
 

在认知上、在流程上、在业务上、在实践上形成统一的规范与流程，只有在规范和流程的前提之下，数据相关人员才能更好的相互协作；其次，对整个企业组织需求进行重新分析和调研，根据目前企业实际的数据规模、数据访问频度、数据存储等特性，规划数据资源的存储容量，设定不一样的数据存储架构

 

3、认识数据

基于业务模型，了解数据的分布特性，洞察数据的特征，检验数据的质量；分析各数据源之间的内在关联关系、相互依赖关系、数据变化的影响关系等，确定各数据源之间的数据流向，明确的知道企业目前的数据生态和数据之间的关联关系，为设计总体数据架构和模型提供有利的依据。

 

4、数据呈现

基于数据情况提供完整的数据资源分析报告；基于数据应用的使用，设计合理的数据共享和数据服务方式

 

 

03

数据资源规划的方法

 

1、构建数据体系
 

 

构建企业数据体系之前，需要先梳理清楚企业数据资源管理的业务体系，才能保证数据来源的可靠性。

 

【数据生命周期运维体系图】

 

数据的业务体系，首先从数据的整个生命周期来看每个阶段都需要什么数据做支撑，才能形成庞大的数据体系，然后再基于业务体系去划分数据体系，具体解决的思路、业务流程以及需要注重的功能点如下图所示：

 

【数据资源目录体系图】

 

2、建立数据标准体系

 

【数据资源体系架构图】

 

梳理汇总企业现有的各类业务的数据标准后，筛选出可直接参考和使用的标准与行业标准相互结合，制定出新的数据标准体系，形成一套标准化的数据规范，对具体数据项的定义、口径、格式、取值、单位等进行规范说明，提升数据质量，最终实现企业数据资源的统一管理和展现

 

3、数据资源整合

通过汇集企业全域级数据，做数据资源整合，为业务融合提供有利支撑

 

 【数据资源规划图】

 

★  构建数据画像，理清数据脉络

数据分类：基于业务体系进行数据分类，建立数据资源目录，对各类数据进行相应的描述

 

数据关系：明确数据之间的流转关系，设计出合理的数据流路径，统一数据的口径

 

责任主体：确定数据生命周期中每个阶段数据的责任主体和归属状态

 

★  构建数据管理，规范数据秩序

数据存储管理：基于集中统一共享，分层分级管理的思路原则，对于不同类型的数据，采用不同的数据存储方式

 

数据规整入库：对已存入数据库中的数据、未建库的数据以及各种纸质/电子文档数据进行统一规整，建立数据入库标准与秩序，保证数据有序存储和使用的便捷性

 

数据更新管理：在机制和工具上设置双重保障的前提下，保障数据更新管理的规范性、安全性和隐私性。建立完善的动态更新机制和操作规范流程，对数据进行统一管理，为数据入库更新提供有效的支持；同时，结合数据库更新管理系统对数据进行安全检测、入库更新、数据导出，提供全链路的保障机制

 

★  提供数据内外共享服务

在确保数据安全和数据隐私的前提下，设计合理的数据共享与数据服务

 

总结

 

本文从数据规划建设目的、内容和方法三方面，和大家聊一聊数据资源规划的若干事情。

 

数据资源规划是对数据建模、采集、加工、存储、应用等方面进行规划。首先，基于业务厘清数据流向、建立数据模型，形成数据资源应用与管理标准体系；其次，融合异构数据，建立数据安全管理体系，共建企业数据生态圈，为做好数据集成、数据共享与服务，提供有利的数据支撑和保障。

 

在数据资源规划的过程当中，需要从法规、数据标准、技术三方面做到“四要”，一起共同建设，合力破局。

要明确数据拥有者、数据使用者、数据流转者是谁，通过有效的技术支撑，确保数据全链路的可监、可控、可追溯；

要建立数据资源体系架构，制定相应的标准规范，确保基于业务的数据共享与服务；

要明确数据生命周期中每个阶段数据的责任主体和归属状态，解决企业数据信息孤岛的困境，提供数据共享交换平台；

要加快企业数据治理和数据资产管理平台的建设，以数据化的方式服务于各个应用场景。

 

来源：橙子解忧杂货店

作者：Evans