数据中台（大数据平台）之数据集成平台建设

数据集成平台是对数据进行抽取、清洗、加工、转换等工作的支撑平台，是增量和全量数据抽取、传输、交换、同步以及整合的一站式解决方案。需要支持数据抽取、数据清洗等数据处理任务的编排能力，以及集群负载、智能监控的综合支撑能力。

 

 

1. 1.异构数据源集成

 

异构数据源集成提供各类异构数据源的接入和分类管理功能，实现数据源的统一管理和维护，支持关系型数据库、非关系型数据库、大数据数据库、国产数据库等常见的数据源。

 

 

 

 

1. 2.可视化数据归集流程设计

 

对批量数据归集流程，提供拖拽式组件，快速时间批量归集流程的开发。需要提供常用的数据输入、数据转换、数据输出组件，可基于拖拽式的方式进行流程开发和测试。

 

 

 

1. 3.实时数据归集

 

针对时效性要求较高的场景，能够支持Mysql、Oracle等数据源的实时数据采集，支持实时采集任务的新增、停止、编辑、删除的管理能力；可实时监测实时任务的数据插入、更新、删除的趋势，以及总插入、总更新、总删除的数量。

 

 

1. 4.数据清洗

 

以数据资源中心贴源层数据库为起点，经过数据清洗、数据比对，最终将贴源层的正确数据写入治理层，错误数据写入异常数据库的过程。提供清洗、加工、抽取、转换的数据处理，支撑数据资源中心建设，提供可视化设计和配置功能，快速实现整合流程的设计开发，以及任务管理功能。

 

 

1. 5.编排执行编排执行

 

支持基于WEB页面的拖拽式数据流程编排，对数据集成的全链路进行配置，串行或并行运行数据流程。流程编排过程支持撤销和回退操作，且支持页面触发运行测试，动态输出每个步骤的流程日志。

 

 

1. 6.多维度统计分析

 

针对集成任务以及数据，提供图形化的趋势分析，增强用户感知。同时提供针对不同维度的集成查询，如集成任务、源头部门、业务主题等，贴合实际，响应组织实际业务需求。

 

 

1. 7.智能监控预警

 

基于数据集成、清洗等任务的配置，监控预警助力实现数据归集长效治理，通过设定指标阈值、监控指标阈值的方式，实现全天候、全任务的集成监控覆盖。