数据中台产品体系简介：一文带你了解数据产品经理都忙什么

一、个人职业发展路径
 

毕业入行数据产品时这个岗位并不成熟，很多公司都不设这一岗位，也缺少数据产品经理相关的书籍理论。第一次职业生涯的迷茫期是工作的第三年，毕业前两年一直做数据可视化、数据报表产品经理，从单点的C端埋点、流量统计逐步拓展到管理驾驶舱、销售分析、商品分析、营销分析、画像标签、服务分析等更多业务板块，这个阶段每天忙于和各种业务指标、报表需求，为业务提供数据支撑，乐此不疲，以为数据产品经理的工作就是这些内容了，处于“愚昧山峰”之巅。第三年的时候随着数据可视化平台从0-1的逐步完善，指标覆盖健全，业务新增的需求数量明显降低，很难再挖掘出新的需求，每个版本可提前规划的需求紧急程度看起来似乎都无足轻重了，危机感顿生，担心自己即将失业，不知道还能做些什么，处于绝望之谷。所以在薪资、环境、团队都不错的情况下，选择了离职，想出去看看别人家公司都在做些什么。

 

第二阶段先接触的是用户行为分析系统，神策、GrowingIO等商用数据产品公司逐步兴起，这个时候发现，其实前几年一直做的定制化数据可视化产品，其实是可以基于工具化来自助配置可视化Dashboard的，基于底层的事件点击流量模型，产品和运营可以自助地进行拖拽式分析，事件分析、留存分析、路径分析、漏斗分析等。然后是直接深入底层，做开发套件相关的，数据集成、ETL开发和调度系统，这个时候开始知道，从数据采集到ETL清晰、到顶层数据可视化应用的数据流向，数据产品远不止于可视化报表或用户行为分析系统。

 

第三阶段是做数据中台，数据中台前几年火起来了，其实即使没有这个概念出来，很多企业一直做的也都是中台的事情，数据中台不是具体的产品，而是一种数据产品体系架构，就像Hadoop不是某一具体组件或技术，而是围绕大数据生态下各个组件搭建的大数据处理和应用的技术框架。这时，数据产品涉及的内容和应用场景就非常多了。那作为数据产品经理人，每天都在做哪些产品，或者还可以做哪些产品呢？本文围绕数据中台产品体系，宏观的介绍各个产品定位，后续各个产品会再做详细的介绍。

二、数据中台产品架构

数据中台的目标是：效率，成本，复用，业务数据化，数据资产化，资产业务化。降低业务创新过程所需数据的获取和使用成本，数据分析和大数据人工智能应用更便捷。很多文章里会讲，数据中台的输出是API，API即服务嘛，但一个API要更加快速高效的输出，要依赖于数据同步、数据清洗加工、资产沉淀等各个流转环节，木桶效应，任何一个部分出现短板，整体的效率都不会高。因此，我把数据中台的产品架构分为五层：

数据服务层：基于数据资产、平台工具输出的分析服务、数据查询服务，可视化服务、标签、算法服务等

数据资产层：包括数仓模型资产建设、数据治理、资产盘点

数据加工层：基于业务逻辑进行ETL的过程，包括批、流数据的开发、调度、搬运、运维

数据集成层：数据入湖第一步，把不同数据源数据同步到统一的数据仓库或数据湖

基础设施层：最底层是大数据集群服务，包括存储、计算、资源调度和Hadoop生态的各个组件管理

三、数据产品简介
 

1.数据采集

定位：提供企业内、外部数据采集解决方案，为大数据分析应用提高原始数据支持，是企业的“数据原油”，没有数据，大数据就是无源之水。

产品模块：埋点解决方案&埋点管理平台、爬虫系统、数据填报系统

2.组件管理

定位：大数据组件管理平台，以配置化的流程替代人肉命令行操作、运维大数据集群及各个组件。

产品模块：云平台、HDFS管理、Kafka管理、Hbase管理、ES管理

3.开发套件

定位：产品化、自动化数据采集、同步、加工到应用流程，提升数据开发效率，降低开发成本，缩短业务创新数据需求周期。

产品模块：数据集成、离线开发平台、实时开发平台、智能运维平台、机器学习平台

4.数据资产

定位：沉淀数据资产，公开资产目录，助力数据共享，并依制定数据稽核规则监控数据质量，从源头保证数据准确高可用，统一权限管控，保证数据安全。

产品模块：数据地图、数据血缘、指标系统、数据质量监控、模型建设平台、资产管理中心

5.数据治理

定位：治理低效或无价值的数据及任务，释放存储&计算资源，实现数据资产成本的精细化管理。

产品模块：成本优化中心、数据安全中心

6.分析应用

定位：聚合和治理跨域数据以产品化形式封装数据能力，将数据应用于业务决策、产品优化、精细化运营等环节,挖掘数据价值，赋能业务。

产品模块：

数据分析：Adhoc查询、用户行为分析系统、自助分析、敏捷BI、数据可视化平台、智能分析平台

产品智能：个性化推荐、用户画像与精准营销平台

7.数据服务

定位：基于数据中台思想，将数据快速输出API服务，同时具备服务监控及管理能力

产品模块：API服务平台、推荐平台、智能预警&数据订阅(从人找数到数找人)

 

8.通用功能

定位：抽象各数据产品通用模块，提供统一服务能力，减少各产品重复建设，降低开发成本

产品模块：工单系统、消息中心、帮助中心、统一权限、产品导航、需求中心

 

四、小结

对于数据中台产品，各家公司都在做很多相似的事情，作为数据产品经理的你，当前在从事哪一产品领域的工作呢？未来职业发展规划又想哪一模块的产品工作呢？希望本文可以对你有所启发，而不会像作者入行时那样迷茫。

 

来源：数据干饭人

作者：千冰仪