你有没有遇到过这样的数据困境：一个指标异常，却不知道问题出在哪里；一个任务变更，担心会影响到哪些下游；几百个数据任务盘根错节，想理清楚却无从下手... 这些让数据从业者头疼的问题，都指向了一个关键技术 - 数据血缘。 数据血缘技术：重塑大数据治理的未来 在超大规模数据驱动的时代，一个企业的数据规模可能达到数百PB，日均任务量轻松破万。数据血缘技术正悄然崛起，成为撬动企业数据资产的关键支点。 数据血缘技术革新正全方位重塑企业数据治理格局。传统数据治理模式下，企业面临着数据资产管理混乱、数据质量难以保障、数据资源浪费等痛点。数据血缘技术通过构建全链路数据关系图谱，让企业数据资产管理进入智能化新阶段。 在现代企业运营中，一个看似简单的数据报表背后，往往涉及复杂的数据加工链路。从原始日志采集、数据清洗、特征计算，到最终的指标呈现，动辄几十上百个任务节点相互依赖。任何一个环节出现问题，都可能导致数据质量受损。数据血缘技术正是解决这一复杂性的关键。数据血缘技术核心在于解析与追踪数据流转过程中的依赖关系。 从技术架构看，一个完整的数据血缘系统包含三层：数据源层负责采集各类数据源信息、处理层通过血缘解析引擎分析数据间的关联关系、应用层则基于血缘数据支撑数据开发、治理等场景 在工程实践中，血缘系统面临三大挑战： 全面性 需要覆盖从埋点采集到应用消费的全链路血缘关系。企业级数据体系涉及多种异构数据源，血缘系统要能适配不同类型数据源的解析需求。 准确性 血缘关系解析必须准确无误。任何解析错误都可能误导下游决策。这要求血缘解析引擎具备强大的解析能力，能正确理解各类数据处理逻辑。 实时性 血缘关系需要随数据处理逻辑变化而实时更新。大规模数据体系下每天都有大量任务变更，血缘系统要能快速感知并更新血缘关系。 数据血缘系统：架构设计与关键突破 解析引擎作为数据血缘系统的大脑，承担着识别和提取数据间依赖关系的重任。面对SQL、Python、Java等多样化的数据处理代码，解析引擎需要准确理解其中的数据流转逻辑。 业界主流方案采用Antlr和Calcite组合架构。Antlr负责词法和语法解析，将代码转化为抽象语法树；Calcite则专注于SQL优化，提供统一的关系代数模型。这种组合让血缘系统既能处理标准SQL，又能应对复杂的脚本语言。 血缘存储层采用图数据库技术，将数据实体和依赖关系建模为点和边。 考虑到海量血缘数据的存取效率，系统往往会同时维护两套数据模型：一套面向写入优化，一套面向查询优化。这种双模型设计既保证了血缘数据的实时性，又兼顾了查询性能。 在实际应用中，数据血缘技术正在重塑数据开发模式。开发人员通过血缘分析快速定位数据来源，评估代码变更影响范围。血缘系统甚至能基于历史血缘关系，智能推荐最佳数据处理方案，大幅提升开发效率。 数据治理领域，血缘技术让资源优化有了精准抓手。通过分析数据血缘图谱，系统能够识别出重复计算、低价值存储等资源浪费点。运维团队据此进行精准治理，既降低存储成本，又提升计算效率。 数据安全方面，血缘技术为敏感数据保护提供全新思路。系统通过追踪敏感数据的传播路径，及时发现潜在风险，并自动采取脱敏、加密等保护措施。这种基于血缘的主动防护，让数据安全管理更加智能和高效。 数据血缘优化：从评估到提升 衡量数据血缘系统的质量，需要构建科学的评估体系。业界普遍采用"三率"指标：覆盖率、准确率和时效性。 覆盖率关注血缘系统对数据全链路的把控能力。一个优秀的血缘系统应该覆盖所有关键数据节点，包括数据源采集、任务处理、应用消费等环节。当前头部互联网公司的血缘覆盖率普遍超过95%，有力支撑了数据治理工作。 准确率衡量血缘关系识别的精准度。血缘关系存在表级和字段级两个粒度，字段级血缘解析难度更大。解析准确性直接影响下游应用的可靠性。领先企业通过持续优化解析引擎，将准确率提升至99%以上。 时效性度量血缘信息的新鲜度。在敏捷开发环境下，数据处理逻辑频繁变更，血缘关系需要实时更新。通过流式采集和增量解析等技术，优秀血缘系统能将更新延迟控制在分钟级。 数据血缘技术正在向更智能、更精细的方向演进。 智能解析引擎将借助机器学习技术，提升复杂代码的解析能力。语义级血缘分析将帮助理解数据间的业务关联。知识图谱技术的引入，将让血缘系统具备推理能力，预测数据变更影响。跨域血缘是另一个重要发展方向。 随着企业数据规模扩大，跨数据中心、跨组织的数据协作日益普遍。构建统一的跨域血缘体系，将成为数据治理的新课题。 大数据时代，血缘技术正在成为连接数据资产的桥梁。通过持续创新和实践，血缘技术必将为企业数据治理带来更大价值。 来源（公众号）：大数据AI智能圈

现在提到数据治理，大家都觉得迷茫，行业里创造了太多的概念，弄得专业人士都说不清数据治理到底是个啥。 要让数据治理变得简单，可以从4个方面着手: 1、确定一个清晰的目标。 2、制定一个可行的机制。 3、找到一个简单的方法。 4、选择一个好用的工具。 目标和机制需要根据组织的情况来确定，这里不做赘述。 1.从方法上来讲，我们在19年将它定义为5个字，“理、采、存、管、用”： 理，就是弄清楚我们有哪些数据； 采，就是把分散的数据集中到一起； 存，就是把数据集中存储起来； 管，就是进行数据质量、数据标准和数据安全的管理； 用，就是通过数据标签、数据指标、数据共享、数据报表等方式将数据用起来。 目前，市场上大多数的数据治理项目只是做了“理、采、存、用”，也能将数据用起来，但如果不把管数也做起来，就不能建立数据治理的长效机制，无法统一标准、提升质量和保障安全，为持续用数保驾护航。 2.从工具上来讲，我们借鉴工厂流水线的方法来治理数据。例如针对新生入学这个场景，我们先确定数据来源，再创建数据模型，然后做数据归集、数据清洗和数据融合，同时，配套数据标准、数据安全和数据质量方面的保障，然后，再开发数据标签、数据指标和API接口，最后，建成主题库、可视化报表和业务系统。 这样一眼就可以看清楚数据治理的全部过程和数据成果，真正做到让数据好管好用，这也是龙石数据的愿景和使命。

什么是数据治理？就算是从业了20多年的人，也真的很难用一两句话讲清楚。前几天和一位专家交流的时候，突然发现数据治理与粮食加工特别像！ 数据也和粮食一样需要“收割、清理、储存、加工和防护”。下面这个表格中列出了数据治理和粮食加工的对应关系： 例如： 1.数据汇聚对应着粮食收割，把数据和粮食收上来。 2.数据清洗对应着粮食清理。 3.数据安全管理对应着粮食的防火、防潮、防鼠、防盗。 4.数据汇聚：从业务系统、传感器等渠道收集数据，类似于粮食收割，将粮食从田间收割上来。 5.数据清洗：对数据进行去重、转码、融合和标准化处理，类似于粮食清理，包括脱壳、晾晒和去除杂质。 6.数据标签：根据数据的属性和用途打标签，类似于粮食分类，按等级分为优质米、劣质米，按产地分为东北大米、泰国香米等。 7.数据仓库：将清洗后的数据存储到数据仓库中，类似于粮食存储，根据实际情况选择陶缸、地窖、棚仓或现代房仓进行存储。 8.质量管理：通过监控和修复数据问题，确保数据质量，类似于粮食质量监控，定期检查霉变、虫害等情况。 9.安全管理：对数据进行分级分类、访问控制、加密脱敏等保护措施，类似于粮食防护，包括防火、防潮、防鼠、防盗等。 10.数据开发：将原始数据转变为可用的数据资产，类似于粮食加工，将水稻脱壳成大米，小麦研磨成面粉。 11.数据利用：将加工后的数据用于决策分析、AI模型训练等，类似于粮食食用，将大米煮成米饭，面粉做成包子。 所以，粮食加工养活了人类，而数据治理则养活了AI，人类可以种粮食，AI可不可以种植数据，实现自给自足呢？ 欢迎大家前来讨论、交流。

数据中台、数据仓库、数据治理和主数据这些概念对于很多人来说仍显得抽象。用一些通俗的语言和生活中的比喻，深入解析这些关键概念。 一、数据中台：数据的“中央厨房” 想象一下，你是一家大型餐厅的厨师长，每天需要处理从不同供应商那里采购的多种食材。为了确保食材的新鲜、卫生与高效利用，建立一个中央厨房就显得尤为重要。这个中央厨房的角色就是数据中台在企业中扮演的角色。 数据中台整合来自不同业务部门、系统和渠道的数据，对其进行清洗、加工和标准化处理，然后再将处理后的数据提供给业务部门使用。就像中央厨房确保食材的质量和一致性，数据中台则确保数据的质量、一致性和可用性，从而更好地支持企业的决策和运营。 数据中台不等于大数据平台，数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。 数据中台的使命是利用大数据技术、通过全局规划来治理好企业的数据资产，让数据使用者能随时随地获取到可靠的数据。因此，数据中台一旦建成并得以持续运营，其价值将随着时间的推移将呈指数级增长。 数据中台建设是一个宏大的工程，涉及整体规划、组织搭建、中台落地与运营等方方面面的工作，本节重点从物理形态上讲述企业的数据中台应该如何搭建。一般来讲，企业的数据中台在物理形态上分为三个大层：工具平台层、数据资产层和数据应用层。 1.1 工具平台层 工具平台层是数据中台的载体，包含大数据处理的基础能力技术，如集数据采集、数据存储、数据计算、数据安全等于一体的大数据平台；还包含建设数据中台的一系列工具，如离线或实时数据研发 工具、数据联通工具、标签计算工具、算法平台工具、数据服务工具及自助分析工具。 以上工具集基本覆盖了数据中台的数据加工过程。 1.2 数据资产层 数据资产层是数据中台的核心层，总体来讲，可以划分为主题域模型区、标签模型区和算法模型区。 ①主题域模型 主题域模型是指面向业务分析，将业务过程或维度进行抽象的集合。业务过程可以概括为一个个不可拆分的行为事件，如订单、合同、营销等。 为了保障整个体系的生命力，主题域即数据域需要抽象提炼，并且长期维护和更新，但是不轻易变动。在划分数据域时，既要涵盖当前所有业务的需求，又要保证新业务能够无影响地被包含进已有的数据域中或者很容易扩展新的数据域. ②标签模型 标签模型的设计与主题域模型方法大同小异，同样需要结合业务过程进行设计，需要充分理解业务过程。 标签一般会涉及企业经营过程中的实体对象，如会员、商品、门店、经销商等。这些主体一般来说都穿插在各个业务流程中，比如会员一般都穿插在关注、注册、浏览、下单、评价、服务等环节。那么在设计标签的时候就需要充分理解这些业务流程，在流程中发现标签的应用点，结合这些应用点来搭建企业的标签体系。标签模型按计算模式一般分为客观标签和主观标签。 设计标签模型时非常关键的要素是标签模型一定要具有可扩展性。毕竟标签这种数据资产是需要持续运营的，也是有生命周期的，在运营的过程中随时可能增加新的标签。 ③算法模型 算法模型更加贴近业务场景。在设计算法模型的时候要反复推演算法模型使用的场景，包括模型的冷启动等问题。整个模型搭建过程包含定场景、数据源准备、特征工程、模型设计、模型训练、正式上线、参数调整7个环节。 以新零售企业为例，常用的机器学习算法有决策树、神经网络、关联规则、聚类、贝叶斯、支持向量机等。这些算法已经非常成熟，可以用来实现商品个性化推荐、销量预测、流失预测、商品组货优化等新零售场景的算法模型。 1.3 数据应用层 数据应用层严格来说不属于数据中台的范畴，但数据中台的使命就是为业务赋能，几乎所有企业在建设数据中台的同时都已规划好数据应用。数据应用可按数据使用场景来划分为以下多个使用领域：分析与决策应用、标签应用、智能应用。 二、数据仓库：数据的“图书馆” 假设你是一位图书馆管理员，每天的职责是管理和维护图书馆中的成千上万本书。你必须确保每本书按照类别、作者、出版日期整齐有序地摆放，以方便读者查找和借阅。数据仓库在企业中的作用就像这个图书馆。它存储了大量历史数据和结构化数据，并按照一定的规则和格式进行组织。与数据中台不同，数据仓库更注重数据的长期保存和查询分析，提供强大的数据查询和分析能力，帮助企业深入了解市场、客户和业务流程，从而发现潜在的机会和风险。 一般来说，数据仓库是一个面向主题的、集成的、相对稳定的，并反映历史变化的数据集合，它主要用于支撑管理人员的决策过程。 “面向主题”：意味着数据仓库是围绕企业的具体业务需求进行构建的，旨在提升管理效率； “集成”：则是指它能够将来自不同平台的数据进行汇总，打破数据孤岛，同时在整合过程中实现数据治理和编码的标准化； “相对稳定”：强调的是数据仓库不会直接连接到业务系统，而是通过从业务系统中提取数据来工作，以避免对业务系统性能造成影响； “反映历史变化”：则指的是数据仓库能够存储并反映业务系统的历史数据，为未来的大数据挖掘与分析提供重要依据。 接下来，我们明确“数仓”的概念： 数仓，即数据仓库，是企业决策支持体系中的核心组成部分。它从管理需求出发，整合各业务系统的数据资源，通过数据处理工具生成数据仓库，并应用于企业的各个业务领域。数据仓库的运用主要聚焦于优化企业的业务流程、监控时间、成本、质量等关键指标，从而助力企业实现更高效、更精准的管理决策。 三、数据治理：数据的“交警” 城市交通中，交警的职责是维护交通秩序，确保车辆和行人遵循交通规则，防止交通拥堵和事故发生。在数据世界中，数据治理就好比这样的交警。数据治理是对数据进行全面管理和规范的过程，确保数据的准确性、一致性、安全性和可用性，同时防止数据滥用和泄露。数据治理还负责制定数据管理的规章制度，监督数据的采集、存储、处理和使用过程，确保数据在整个生命周期中都得到妥善管理。 数据治理体系内容从两个维度来看： 1）数据治理难点痛点：数据脉络不清晰、数据汇聚能力不足、数据管控能力薄弱、数据治理体系不完善、开放形式不完善。 2）数据治理5个核心：理、聚、管、治、用。 数据治理是企业对数据资产管理行使权力和控制的活动集合（包括计划、监督和执行)，它是管理企业数据资源的一种方式、方法，旨在确保数据的质量、安全、合规和有效性。数据治理是企业实现数据战略的基础，是一个管理体系，包括组织、制度、流程和工具。 数据治理是一套复杂的管理体系，它无法通过单一的工具或产品来实现。数据的生命周期包含了源头、处理和消费这三个阶段，数据的问题也可能会出现在这三个环节中。 例如在数据源头环节，用户录入数据的规范性存在问题，导致了最终数据消费环节的数据质量低。这些表象问题的根源，可能来自于业务系统用户交互设计，乃至是底层数据库表结构设计上的缺陷。想要解决这些表象的问题，就需要解决深层次的信息化业务系统开发以及数据库表约束设计等问题。 例如为了保证用户录入数据的准确性，有三种方式去设计业务系统：其一是设计前端的检验验证，避免用户做出相同的选择；其二是通过程序编写过滤判断的逻辑，筛除掉前端误入的数据，作为第二层验证；其三是通过建立约束条件，例如唯一性约束、检测约束等等来控制数据录入准确性。 因此，企业的数据治理远非使用一款单一的工具或产品就可以实现的，它是需要回到源头，对企业的组织、流程制度、业务系统、底层架构等多个方面进行排查和重构的，它是一套复杂的管理体系。 四、主数据：数据的“身份证” 最后，我们来谈谈主数据。每个人都有自己的身份证，它是个人身份的证明。在数据世界中，主数据就像是数据的“身份证”。主数据是企业内部最关键、最核心的数据，描述了企业的核心业务实体，如客户、产品、供应商等。主数据具有唯一性和权威性，是企业内部各部门和系统之间共享和交换数据的基础。通过管理和维护好主数据，企业可以确保数据的一致性和准确性，从而提高业务处理效率和决策质量。 主数据是指满足跨部门业务协同需要的，反映核心业务实体状态属性的基础信息。举个例子，公司的员工信息，存在于很多业务系统里，比如人力系统、财务系统、OA系统，以及考勤系统等，但每个系统所需要的信息可能不一样，财务系统需要员工开放信息，比如从哪个银行开户，账号是什么，这样方便打款；人力系统可能只是需要员工的一些入职信息。这样的员工信息就属于主数据，它在很多企业业务系统被使用，同时还能反映这个员工本身的一些属性。类比下，还有产品、物料、客商、客户、供应商等主数据。 哪些数据是主数据？ 一家企业不只有主数据，还有一些其他数据，这里有一个金字塔结构的企业数据模型，包括关键的基础数据、主数据、业务数据、报表数据。 基础数据可以理解为基本不会发生什么变化的，比如国家货币计量单位，其他维表数据等，其数据就是一些取值范围，也称其为参考数据；主数据就是长期稳定的，能被多个系统使用的，比如组织机构人员、客商等；业务数据是指一些业务交易系统所产生的数据，包括订单的记录、还有一些考勤记录等，与主数据捆绑的比较紧；报表数据是基于下面三类数据做的一些分析呈现，报表数据的主要作用是通过结果呈现来做预测工作。 主数据、业务数据与元数据的区别 如图所示，表头就是元数据，这些字段本身描述了字段的一些属性信息；而主数据其实就是这样的一条记录，这条记录可以划分为两部分，一部分是主数据，描述核心业务实体属性的数据，另外一部分就是主数据在业务交易过程中由系统产生的数据，比如这块的订单数据就是业务数据。总的来说，所有这些数据作为企业的一部分，只要能产生价值，它都可以称之为数据资产，能去支撑企业上层的生产、财务、项目管理等。 主数据的4个特性 （1）唯一性：在一个系统、一个平台甚至一个企业范围内同一主数据要求具有唯一的识别标志（代码、名称、特征描述等），用以明确区分业务对象、业务范围和业务的具体细节。 （2）共享性：主数据特征会被作为业务流程的判断条件和数据分析的具体维度层次，因此需保证主数据的关键特征在不同应用、不同系统中的高度一致共享，形成统一规范 。 （3）稳定性：主数据作为用来描述业务操作对象的关键信息，在业务过程中其识别信息和关键的特征会被交易过程中产生的数据继承、引用、复制，但主数据本身的属性通常不会随交易的过程所被修改。 （4）有效性：只要该主数据所代表的业务对象仍然在市场中继续存在或仍具有意义，则该主数据就需要在系统中继续保持其有效性，通常贯穿该业务对象在市场上的整个生命周期甚至更长。 因此： 对于大数据平台来说，主数据是非常重要的一类数据，几乎出现在所有的数据处理和分析中，具体到批处理和实时处理又有所不同。 对于批处理来说： 主数据可以同步自主数据管理系统的数据库，在数仓（数据仓库）体系下，几乎所有的主数据都是维度数据，需要建立相应的维度表以支撑业务查询和分析； 对于实时处理来说： 在各种流式计算的过程中也需要获取主数据进行关联处理，而实时处理要求主数据的获取也必须是实时的，这对系统的架构设计提出了挑战。如果原始的主数据管理系统对外提供了获取主数据的 API，对于普通的应用系统这是很有利的条件，它们可直接通过API 实时获得主数据。但是对于大数据系统来说，情况就不那么乐观了，因为大数据处理过程中的巨大吞吐量和流计算处理中对主数据的使用频率都远远超过一般的应用系统。如果大数据平台通过主数据管理系统的API 获取主数据，无论是从并发压力还是从响应的及时性上都可能无法满足要求，还有可能给主数据管理系统带来过大的负载，导致其响应缓慢甚至宥机。 为满足实时计算对主数据的需求，有两种可选的技术方案。 （1）方案一： 如果主数据体量不大，变更也不频繁，可以考虑将这些数据通过 API 读取到大数据工作节点的内存中，在数据处理过程中直接使用，然后周期性地从主数据管理系统同步最新状态的主数据。 （2）方案二： 改造主数据管理系统，引入内存数据库，如Redis, 针对所有主数据，除常规 持久化的业务数据库外，再配备一个内存数据库的副本，将这个内存数据库开放给大数据平台使用。 方案一的优点是架构简单，易于实现，但是对主数据有预设条件，不能成为一种广泛使用的方案。方案二是一套很完备的技术方案，可以满足各种主数据获取需求，代价是架构比较复杂，如果企业正在构建的是一整套大数据平台，方案二是值得一试的， 从技术上讲，主数据管理系统是一个相对传统的Web 应用，负责维护主数据的增删查改，同时对外提供获取主数据的 API, 对于大数据平台，最好提供以内存数据库为依托的数据读取服务。综合这些因素，企业在建设大数据平台时应该结合现状灵活地选择方案。 五、定位与差异：协同作战的团队成员 通过以上的比喻，我们可以更好地理解这些概念的定位和差异。数据中台作为数据的“中央厨房”，负责数据的整合和加工；数据仓库作为数据的“图书馆”，负责数据的存储和查询分析；数据治理作为数据的“交警”，确保数据的规范和安全；而主数据作为数据的“身份证”，确保数据的权威性和一致性。这些概念在企业中相互协作，共同构成完整的数据管理体系。就像一支协同作战的团队，数据中台负责调度和整合数据资源，数据仓库提供数据存储和查询支持，数据治理确保数据的安全和规范，而主数据确保数据的准确性和一致性。这个团队共同为企业提供了强大的数据支持，帮助企业更好地应对市场挑战和抓住机遇。 来源（公众号）：数据学堂

当你每天面对万亿级数据、日均百万次查询请求时，你会怎么做？ 处理海量数据查询犹如在迷雾中寻路，方向稍有不慎就会迷失。数据负载高到屏幕只显示超时，查询速度慢到让你有时间泡一杯咖啡再来检查结果。 在这个数据井喷的时代，高效查询分析已经成为数据团队的必修课。

DeepSeek这次为中国科技赢得了国际声誉，也用实际行动回应了漂亮国对中国的算力封锁。它证明了，AI的发展不仅仅依赖于算力，更依赖于算法创新和高效的数据治理。 今天，我想和大家分享两个关于DeepSeek（人工智能）与数据治理行业关系的思考。 最近很多朋友关心我们，问人工智能会不会颠覆我们数字治理行业？我认为不会。 AI不会去颠覆任何行业，它只是一个工具。一个强大的工具而已。我们没必要将它神化。 可以从四个方面来理解这件事。 第一，AI是效率工具。 它能够帮我们来提高我们数据治理的效率，甚至呢我们也可以用AI来驱动数据中台来干活。 第二，AI是智能工具。 它可以自动化的帮我们生成一些数据质量检验的规则，也可以帮我们自动生成一些数据分析的脚本，降低我们数据治理的技术门槛。 第三，AI的训练和微调都离不开高质量数据。 原来我们做数据治理是为人服务的，但是现在不一样，我们现在也可以为AI提供服务，AI是我们数据治理的新用户。 第四，数据治理是构建知识库的前提。 现在大家都在接入DeepSeek,使用DeepSeek来构建自己的私有知识库，但是只有加工好的数据哎，才能成为知识库。那么数据治理天然就是做这个的，所以我们现在也在接入DeepSeek和数据中台，研发我们的知识库开发工具，希望能够帮助大家更快的更高质量的来构建自己的知识库。等我们打磨好我们再分享给大家。 所以一句话总结，我认为AI与数字治理之间是一个互相赋能的关系，它不是谁在颠覆谁，是双向奔赴。

龙石数据参与建设的苏州市数据治理创新应用实验室成功入选。

文 | 国家信息中心大数据发展部 于施洋，王璟璇 我国正处于大力发展数据事业的关键时期，近年来党中央国务院高度重视数据要素市场培育及公共数据资源开发利用。全国一体化公共数据资源登记平台（https://sjdj.nda.gov.cn）于2025年3月1日正式上线，标志着数据要素市场化配置改革迈出重要一步。 01 国家公共数据资源登记平台是构建全国一体化公共数据资源登记体系的重要信息系统 今年1月，国家发展改革委、国家数据局公开印发《公共数据资源登记管理暂行办法》《公共数据资源授权运营实施规范（试行）》《关于建立公共数据资源授权运营价格形成机制的通知》，构建起以《中共中央办公厅、国务院办公厅关于加快公共数据资源开发利用的意见》为核心的相关“1+3”政策体系。 其中，《公共数据资源登记管理暂行办法》明确，要构建全国一体化公共数据资源登记体系。登记机构执行全国统一要求，按行政层级和属地原则，提供规范化、标准化、便利化登记服务。直接持有或管理公共数据资源的党政机关和事业单位，需对纳入授权运营的公共数据资源登记，对未纳入授权运营范围的数据资源，以及利用被授权数据资源加工形成的数据产品和服务鼓励登记。公共数据资源登记平台是开展登记工作的信息化载体，实行“一个标准、两级平台”。国家登记平台与省级登记平台依托国家电子政务外网实现统一赋码、互联互通，逐步构建起职责明确、分工负责、运转有序的全国公共数据资源登记体系。 3月1日上线的国家公共数据资源登记平台是支撑全国公共数据资源登记全流程服务，构建全国一体化公共数据资源登记体系的重要信息系统。当前包括登记指引、登记公示、登记查验、资源查询、登记政策等核心内容，支撑全国所有公共数据资源登记采用统一编码机制，实现“一证一码”的登记确认单管理方式。国家公共数据资源登记平台的核心功能主要包括两项，一是支撑中央和国家机关及其直属机构、中央企业的公共数据资源登记业务开展，二是作为中央节点，实现全国登记信息的互联互通。 02 国家公共数据资源登记平台对数据要素市场建设意义重大 国家公共数据资源登记平台上线首日，已有医保、气象、自然资源等多类国家级公共数据登记上线，北京、天津、河北、内蒙古、辽宁、上海、广东、海南、四川、陕西、宁夏、新疆生产建设兵团等地依托国家平台开展了登记工作。此外，山西、江苏、浙江、安徽、福建、江西、湖北等省级平台实现与国家平台顺利对接，同步上线运行。未来将有更多省份登记平台陆续上线并实现与国家平台的互通。 在数据要素市场建设中，国家公共数据资源登记平台可发挥三方面积极作用。 一是明确数据持有和开发利用状态，规范公共数据资源授权运营。公共数据资源登记程序包括申请、受理、形式审核、公示、赋码等。登记信息向社会公示并接受公众提出合理异议，是完善授权运营披露机制的重要手段，促进公共数据资源规范、合规对外供给。 二是强化公共数据资源管理，构建全国公共数据资源“底账”。开展公共数据资源登记是中央与地方统筹公共数据资源开发利用，建立公共数据资源底账，筑牢数据资源底座的主要途径。 三是促进公共数据资源开发利用，加快公共数据价值释放。通过建立全国统一流程、统一标准、互联互通的公共数据资源登记体系，便于形成一体化的公共数据资源、公共数据产品和服务的目录体系。通过公示和开放登记目录查询，为数据需求方提供更加准确、全面的资源查询渠道，促进供需对接。 03 国家公共数据资源登记平台将推动全国一体化数据资源登记体系迈上新台阶 构建全国一体化数据登记体系对于落实党中央数据要素市场化配置改革决策部署、破解两级数据交易市场中数据确权难实现数据增值、夯实全国数据资源基础和激活数据要素潜能具有重要意义。国家公共数据资源登记平台为推动全国一体化数据资源登记体系提供了重要支撑。 下一步，一是持续优化平台功能，提升登记服务质量。进一步完善和丰富国家公共数据资源登记平台功能，更好满足用数主体的多元化需求，助力加快释放公共数据价值，赋能经济社会高质量发展；实现更多省份统筹本区域内登记平台建设，与国家平台实现数据互联互通，达到一地登记、全国通用的效果，为推动数据市场一体化发展奠基基础。 二是加快编制数据登记标准规范，实现各地登记流程的统一、规范。重点从登记流程、登记申请材料、登记审查内容、信息披露等方面明确业务标准，从统一身份认证、数字签名、区块链、登记确认单版式等方面明确技术标准，确保公共数据资源登记平台规范运作，实现中央和地方数据资源登记标准统一。 三是积极夯实中央地方数据登记机构，加强全国一体化的登记队伍建设。一方面，依托数据登记平台，通过开展公共数据资源登记工作，逐步建立中央、省、市多级登记机构，方便各登记主体按照行政层级和属地原则开展登记申请；二是通过线下或线上方式定期组织登记培训，加强登记人才培养，通过公共数据资源登记业务培养的登记队伍，未来可无缝衔接到企业数据和个人数据等社会数据的登记工作中。 来源（网站）：国家数据局

文 | 中国信息通信研究院副院长 魏亮 习近平总书记指出，数据是数字经济时代的基础性资源、重要生产力和关键生产要素。近年来大模型技术不断取得突破，其中大规模高质量训练数据的投入，起到了关键作用，也进一步将“以数据为中心的人工智能”推向一个新阶段。 近期发布的 Deep Seek 系列模型训练中大量高质量推理数据集的使用更加凸显了高质量数据的重要性，而大模型要与垂直领域深度融合同样需要高质量数据集的支撑。国家数据局围绕高质量数据集建设相关工作开展了一系列工作部署。2025年2月19日，高质量数据集建设工作启动会在北京组织召开，国家发展改革委、教育部、科技部、工业和信息化部等27个部门参会。下一步，高质量数据集建设工作将积极推进落实“人工智能+”行动，加快推动形成一批标志性成果，赋能行业高质量发展。 01 准确认识高质量数据集建设取得的进展和面临的挑战 高质量数据集构建是一项复杂而关键的任务，需要了解模型应用场景和需求，进而开发、构建和维护数据资源，提供持续有效的高质量数据集。当前，在顶层设计层面，国家数据局等17部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，强化场景需求牵引，带动数据要素高质量供给、合规高效流通，高质量数据集建设取得积极进展。在地方层面，湖北、江苏、浙江等多省市明确了建设高质量数据集的数量、时间及激励机制； 湖北省数据局发布首批10个高质量数据集，推动构建高质量“数据集市”；苏州市发布首批30个工业制造、交通运输、金融服务等高质量数据集。在行业层面，智源研究院发布全球最大的多行业中英双语数据集IndustryCorpus 1.0，包含3.4TB开源行业预训练数据，覆盖18类行业；中国信通院推出我国首个面向行业的人工智能数据集质量评估体系，为数据质量提供客观、公立的评价能力和方法体系；北京国际大数据交易所累计发布约300个高质量数据集，形成10余个应用领域数据资源地图。与此同时，还应看到目前高质量数据集建设还存在不少挑战。 一是政府和业界不清楚行业高质量发展需要什么样的数据。一方面，行业大模型数据具有需求多样性的特点。不同行业部门对模型场景数据的需求各不相同，涉及分析、决策和生成不同的任务需求，这种多样性要求在人工智能高质量数据集建设中，必须深刻理解业务场景。另一方面，行业大模型数据具有需求复杂性的特点。大模型涉及预训练、微调、反馈强化学习等不同阶段，不同阶段都涉及到数据训练构建和优化策略，需要多个数据源、多种数据类型融合对齐，这增加了数据处理和管理的复杂度。 二是行业企业不知道高质量数据集如何构建。构建大模型数据集主要包含数据采集、数据清洗、数据标注、质量评估等核心环节。各环节需要根据大模型数据集具有的规模大、多样性足、行业垂直属性强等特点进行针对性的技术研发和适配。但是，行业企业对于数据的理解程度不同，面向大模型的数据治理方法和经验不足，传统的数据处理工具和技术无法满足大模型需求，需要引入先进的数据处理技术和工具提高数据处理效率和准确性。 三是业界不了解行业数据集质量如何评价。不同行业、不同数据源的数据完整性和准确性可能参差不齐，严重影响大模型的训练效果和预测准确性，造成训练资源浪费。此外，训练数据获取往往需要耗费大量时间和经济成本，包括数据收集、清洗、标注等环节。在行业大模型的实际建设中，对于构建和采买的数据没有统一的衡量标准，造成无法有效获取高质量数据集资源。 02 分类推动高质量数据集供给体系建设 数据之于大模型就像石油之于汽车，汽车无法直接使用原油，原油只有经过一系列复杂的过程炼化成汽油后，才能给汽车使用。同样，海量原始数据需要经过“炼化”形成高质量数据集，才能真正有效地用于大模型训练。行业大模型训练所需数据集，既要覆盖行业通识，也要蕴含专门知识。其中，通识数据是通用大模型能力提升的基础，行业通识数据是行业大模型训练的基底，行业专业数据是企业推动行业大模型的应用、部署私域模型能力的底座。为此要根据急用先行、分类推进、合理使用的原则，推进高质量数据集建设。 一是加快通识类高质量数据集建设。通识类高质量数据集是指由政府机构、科研机构、开源社区或大型互联网企业等公开数据构建的数据集，具有广泛性和通用性，覆盖多个领域，如自然语言处理、计算机视觉、语音识别等，能够为企业提供丰富的训练资源和基准测试环境，有助于行业大模型快速验证算法、提升模型的基础能力。此外，公共数据集还有助于促进跨行业、跨领域的数据共享和知识融合，推动行业大模型的持续进步和快速发展。 二是加快行业通用类高质量数据集建设。行业通用类高质数据集，是指针对某一特定行业或领域知识的具有事实性数据集，具有高度的专业性和针对性。这类数据集通常包含某一特定行业特有的知识、术语、场景和业务流程等信息，对于训练出适用于行业应用的大模型至关重要，能够覆盖行业领域专业知识，提高模型在行业通识领域的泛化能力。 三是加快行业专用类高质量数据集建设。行业专用数据集，是指根据行业企业自身业务场景和需求收集的数据集。这类数据集通常包含行业企业内部业务流程、用户行为、产品信息等关键信息，具有针对性和定制化的特点，能够为行业企业提供高度个性化的训练数据资源，构建专属大模型。通过行业企业场景化数据集的训练，可以定制化地优化大模型算法和参数设置，深度挖掘内部数据价值，实现模型的定制化优化与业务高度适配，使其更好地服务于业务需求和发展战略，带来更加精准和有效的业务洞察和决策支持。 03 加快提升高质量数据集构建能力 推动高质量数据建设，是一项系统工程，核心是提升行业数据集管理与运营效率、提升数据集质量和数量、充分挖掘数据资源价值、保障模型数据安全可信，需要系统性地加强能力建设。 一是完善行业数据集管理体系。编制行业数据资源目录，细化数据集的分类与分级，明确结构化、半结构化及非结构化等多种数据类型，按照数据清洗处理程度（手动、半自动至全自动），开展数据集资源管理。构建高效协同的组织架构，确保从数据采集到模型应用的每一步都能够得到有效管理和支持，建立数据治理与模型开发的协同架构。围绕数据技术、平台、应用及安全，制定详尽标准，涵盖数据生产、服务、质量评估及数据集管理。培养跨学科、跨专业的数据工程团队，强化数据科学与模型训练能力，为大模型的成功部署与持续优化奠定坚实基础。 二是提升行业数据集开发维护能力。着力提升数据采集汇聚、数据预处理、数据标注等关键环节，以及指令微调、反馈对齐关键阶段的技术工具能力。数据采集汇聚需具备高效的数据抓取、清洗与整合能力，确保数据的全面性和多样性；数据预处理阶段涵盖数据清洗、去噪、归一化等技术，以提升数据质量；数据标注环节要求深入理解数据特性，掌握高效的自动化和智能化标注技术。行业大模型数据集主要应用于指令微调阶段和反馈对齐阶段，通过有标注的指令数据对模型进行精细化调整，增强其任务执行能力，利用用户反馈优化模型提升实际应用效果。此外，还需要制定详细的数据技术处理要求和方案，以保证不同阶段的数据分布一致性。 三是增强行业数据集质量控制。在质量管理方面，从流程管理、质量评估和组织规范三方面对大模型数据集生产到管理的各环节进行能力规范和等级评定，从源头上确保数据集高质量生产和管理。在质量评估方面，针对行业大模型对数据质量进行更多维度的要求，提升数据集在模型应用上的实用效果。设计具体规则和方法，采用自动化标注和人工抽样的方式对数据集自身质量进行前置检测，采用模型验证和消融实验的方式对数据集在大模型的应用效果进行后置检测，通过模型效果反馈进行数据集质量优化。 做实、做深、做细高质量数据集建设工作，就要深入贯彻落实党中央、国务院决策部署，做好系统谋划、加强统筹协调、做好部门协调。此次高质量数据集建设工作启动会，为推动相关工作发出了动员令、吹响了集结号。相信通过国家数据局协同行业主管部门的政策牵引和政、产、学、研、用多方协同，我国高质量数据集建设步伐将越来越快，也必将为人工智能赋能实体经济注入强劲动力。 来源（网站）：国家数据局

在全国两会的热烈氛围中，2025年的《政府工作报告》犹如一盏明灯，照亮了国家未来发展的漫漫征途。这份报告高瞻远瞩，精准锚定了低空经济、人工智能（AI）、数据要素及算力四大关键领域，它们宛如四颗璀璨的星辰，将在未来一段时间成为推动国家发展的核心驱动力，为经济社会的蓬勃发展注入源源不断的活力。万亿级赛道上，谁将在这场变革中脱颖而出，成为引领未来的关键力量？ 低空经济：战略性新兴产业的耀眼明珠 低空经济，作为近年来崭露头角的新兴领域，正逐渐成为全球经济发展的新焦点。它以低空空域为依托，涵盖了从低空飞行器制造、运营到相关服务的完整产业链。在《政府工作报告》中，低空经济被委以领衔发展的重任，这无疑为其发展按下了“加速键”。随着政策环境的不断优化和市场需求的持续增长，低空经济的应用场景不断拓展。从无人机配送、空中旅游到农业植保、城市空中交通、安全巡检等多个方面，低空经济正展现出巨大的发展潜力。据中国民用航空局预估，到2025年，我国低空经济市场规模将达1.5万亿元，到2035年有望达到3.5万亿元。 AI技术：赋能低空经济的核心引擎 人工智能作为新一轮科技革命的核心驱动力，其在低空经济中的应用正日益广泛。AI技术可以优化无人机的飞行路线和任务规划，提高飞行效率和任务执行能力。通过大数据和机器学习技术，AI可以根据历史数据和实时环境，智能调整无人机的飞行路径，确保其在复杂环境中的安全、高效运行。此外，AI技术还能为低空经济提供精准的市场洞察和决策支持。通过对大量用户数据的分析，企业可以深入了解市场需求和用户痛点，推动产品和服务的创新。例如，在无人机物流配送领域，AI技术可以帮助企业快速处理订单信息、规划最优配送路线，提高配送效率和客户满意度。 数据要素：低空经济的“新石油” 在数字经济时代，数据要素的重要性不言而喻。对于低空经济而言，数据如同深埋地下的石油，蕴含着巨大的价值。从飞行器的运行数据到市场需求数据，再到用户行为数据，这些数据都是低空经济企业制定商业决策、优化运营管理的重要依据。《政府工作报告》明确指出，要加快完善数据基础制度，包括数据的采集、存储、处理、传输等全生命周期的管理规范，以及数据权属、交易、安全保护等法律框架的构建。这将为低空经济的数据要素流通和价值挖掘提供有力保障。 算力：支撑低空经济发展的基础设施 算力是支撑数据处理和运算的关键能力。在低空经济中，需要处理大量来自飞行器、传感器、气象信息等多源异构的数据。强大的算力能够快速处理和分析这些数据，实现实时监控、航线规划、风险预警等功能。随着低空经济的不断发展，对算力的需求也将持续增长。因此，《政府工作报告》强调优化全国算力资源布局，提升算力的服务效能，为低空经济的高质量发展提供坚实可靠的支撑。 万亿级赛道谁主沉浮？ 在万亿级赛道上，低空经济、AI、数据要素及算力四大领域将共同推动经济社会的蓬勃发展。然而，在这场变革中，谁将脱颖而出成为引领未来的关键力量？一方面，企业需要不断加强技术创新和产品研发，提升核心竞争力。另一方面，政府也需要继续优化政策环境，加强市场监管和公共服务，为低空经济的发展提供有力保障。可以预见的是，在未来的发展中，低空经济将与AI、数据要素及算力深度融合，共同构建出一个全新的现代产业体系。在这个体系中，谁能够抓住机遇、勇于创新，谁就将在这场变革中占据先机、引领未来。 来源（公众号）：AI战略数字转型