关于数据中台的几点思考

关于数据中台的几点思考

1:什么是数据中台？数据中台的特点？

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。
数据中台是一套可持续“让企业的数据用起来”的机制，通过有形的产品和实施方法论，构建一套持续不断把数据变成资产并服务于业务的机制，数据来自于业务，并反哺业务，不断循环迭代，实现数据数据可见、可用、可运营，通过数据中台把数据变成一种服务能力，其目标是提供普惠的数据服务。

数据中台的4个核心能力（最核心的竞争力）：汇聚整合、提纯加工、服务可视化、价值变现

数据中台的功能与定位：
1）数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。
2）数据中台的核心就是实现公共计算逻辑下沉，实现数据复用，提供给接口使用。
3）数据中台不是某一个单一的产品或者某个技术。本质上讲数据中台就是从数据中发现价值，赋能业务数据管理机制。
4）数据中台最核心的理念就是"OneData，OneEntity，OneService"
      Onedata致力于统一数据标准，让数据成为资产而非成本
      Oneentity致力于统一实体，让数据融通，而非孤岛
      Onservice致力于统一数据服务，让数据复用而非复制

2: 标准数据中台架构？

3: 数据中台包含哪些内容？

数据采集
数据集成
数据存储
数据模型管理
数据仓库/数据湖
数据计算/ETL
主数据管理
元数据管理
数据血缘
数据质量
指标管理
数据生命周期管理
数据安全管理
数据标准管理
自助分析平台
olap查询
BI可视化
统一数据服务
调度平台

3: oneData ？

One Data就是指所有数据只加工一次。
有以下五点需要保障：
      分主题域管理
      命名规范定义
      指标一致
      数据模型复用
      数据完善
oneData包含以下模块：数据同步/采集，数据目录，数据资产，数据模型，数据质量检查，元数据管理，数据治理，数据存储，数据计算，etl...      

4: oneEntity ？

oneEntity旨在连接数据孤岛，实现数据融通。其中包括：IDMapping,OneEntity统一实体,GProfile全域标签萃取,GBehavior全域行为。（用户画像标签平台，oneModle(多业务模型融合)

5: oneService ？

One Service即数据即服务，强调数据中台中的数据应该是通过API 接口的方式被访问。
有以下四点：
    屏蔽异构数据源
    把控数据网关
    提供面向用户的逻辑模型
    保证性能和稳定性
    
OneService体系方法论至少包括：主题式数据服务、统一但多样化的数据服务、跨源数据服务3个方面。
(1)主题式数据服务。举一个例子，假设用户想要看的是“会员”这个主题下的数裾.，至于“会员”主题背后有1000张物理表还是2000张物理表，他都不关心。而主题式数据服务要做的是，从方便用户的视角出发，从逻辑层面屛蔽这1000张甚至是2000张物理表，以逻辑模型的方式构建而非物理表方式。
(2)统一但多样化的数据服务。例如，双十一当天上百亿次的调用服务是统一的，但获取形式可以是多样化的，可以通过API提供自主的SQL查洵数据服务，也可以通过API提供在线直接调用数椐服务。
(3)跨源数据服务。不管数裾服务的源头在哪里，从数据服务的角度出发，都不应该将这些复杂的情况暴露给用户，而是尽可能地屏蔽多种异构数据源。  

oneService包含内容：统一查询API接口，集群性能监控，全链路监控，调度平台，网关服务，鉴权，安全认证，高可用建设，容器化...

OneService平台的第一个关键技术是API矩阵。API矩阵是指，平台面向不同的数据服务业务场景，而沉淀下来的API创建模板或者API类型。API类型非常多，我们将API类型从两个维度来划分，一是查询灵活度，二是查询速度，每个象限中都有API分布。用户在平台创建API时，可根据自己的需求，从对应象限中寻找符合自己场景的API。此外，针对单类API，面向不同的业务使用场景时，还可做到定制化，如设置数据压缩、热点数据加速等特性，从而更好满足业务需求。

本文选取三类典型的API类型介绍：

OneService平台的第二个关键技术是「配置即开发」的设计理念。早期快手建设数据服务依赖于手工开发，而「配置即开发」意味着，用户只需要配置好一个API，就相当于开发一个API接口。基于这个设计理念，用户通过平台创建API，主要包含三个阶段：

上述三个阶段中，对用户提效最大的是第二阶段，即自动生产接口。这也是「配置即开发」的核心落脚点。OneService 平台自动化生产包括三个主要步骤：

数据加速：由于数据资产主要存储于离线存储体系，读取速度较慢，因此需要进行数据加速，将数据以一次性或者周期性的方式加速到高速存储引擎，包括 KV 引擎或者 OLAP 引擎中。虚拟服务可直接从高速引擎中取数。

6: 统一存储

统一存储不仅仅在于架构简单，更主要是避免了跨源连接，复用性增强，统一管理起来，消除了数据孤岛，而且避免了多组件之间的兼容性和效率影响。也为后续湖仓一体提供了存储基石。

7: 统一计算引擎

统一数据计算引擎，降低传统实时计算与批处理技术不一致的问题，降低系统的管理成本。
后续可以采用批流一体，避免了维护两套代码，也简化了技术架构。

中台核心目的就是对外提供便捷、准确、高效的数据服务，前期包括数据集成与数据资产管理均为统一的数据服务提供保障。对外服务的主体包括但不限于数仓数据、指标信息、元数据信息。服务方式包括但不限于：数据接口、SDK开发包、搜索展示平台、数据地图、数据门户等。
统一服务出口的意义主要有以下几点：
    中台内部集成与治理后的数据，对外服务过程中可确保公司层面的数据一致性。
    通过可复用的数据服务出口，为后续应用开发减少了工作量。
    
提供方式
    数据接口：通过HTTP接口对外提供数据服务。
    可视化图表：将数据通过可视化图表进行展现。
    数据地图：在元数据基础上，通过多层次图形化的数据资产管理工具，将企业内各类数据进行展示，帮助业务人员、管理人员、开发人员更好更快地查找、理解、使用和管理数据。
    数据门户：通过配置导航菜单，自由组合报表、⼤屏、数据填报、外部链接等资源，形成⼀个可通过自定义地址统一访问的资源。数据门户可⽅便用户对多个关联⻚⾯进⾏集中查看。
    消息队列：将数据发送至消息中间件中，由下游进行统一消费。