想不想让AI化身你的数据小助手? 21世纪的数据就像一缸水泥,没有合适的工具,就会变得又重又难搬。过去我们靠人工标注、人工研判、人工决策,工作效率就像蜗牛爬楼梯。 直到大模型带着"魔法棒"来了。它不仅能自动分类数据、智能检索信息,还能在1分钟内完成风控决策。就像给数据管理装上了"智慧引擎",让繁重的工作变得轻松自如。 让我们一起来了解如何用大模型这根"魔法棒",搅动数据治理这缸"水泥",让数据工作变得既轻盈又高效的精彩故事。 大模型在数据管理领域的创新应用 如何大模型技术引入数据治理,实现了数据管理效率的质的飞跃?从最开始的数据分类分级到元数据检索,再到风控运营智能化,大模型正在重塑数据管理的未来。 在数据管理领域,大模型展现出强大的智能化能力。通过大模型实现数据分类分级自动化,将人工成本降低90%。过去,数据分类分级需要大量人力投入,研发人员需要逐个标注表格,不仅效率低下,标注结果也存在主观差异。 大模型解决方案采用向量化存储分类规则,结合prompt工程规范化输出。通过这种方式,系统能自动识别数据类型并给出合理的分类分级建议。这项技术不仅提升了效率,还保证了分类结果的一致性。 在元数据检索方面,大模型突破了传统关键词匹配的局限。系统能理解用户意图,自动关联相关信息,提供更精准的检索结果。一个典型场景是,用户查询"财富等级"时,系统不仅返回直接相关的表字段,还会智能联想"风险等级""信用卡等级"等相关信息。 大模型在风控运营领域的创新应用 在金融支付领域,风控决策向来是一个复杂且关键的环节。接下来一起聊聊,如何将大模型引入风控运营,构建了一个全新的智能风控体系。 传统风控运营面临三大挑战:一是信息碎片化,风控人员需要在多个系统间切换查询信息;二是知识更新快,新型风险层出不穷;三是人工研判慢,一个案件处理往往需要30分钟以上。 智能风控架构采用"聚合+AI+工作流"的创新方案。首先构建综合风控平台,将交易信息、身份信息、操作信息等多维数据实时聚合。其次引入Agent技术,将复杂的风控判断拆分为多个微任务,通过工具代理、任务切分、记忆管理等模块协同完成风险研判。 这套系统实现了显著的效率提升。风控案件处理时间从30分钟缩短至1分钟,准确率保持在95%以上。系统不仅能给出风险判断,还能生成详细的处置建议,包括用户画像、风险分析、处置方案等。 在电话照会环节,系统能根据案件特征自动生成个性化的询问话术。通过分析历史成功案例,系统总结出一套智能问询模板,帮助风控人员一次性获取关键信息。这不仅提升了工作效率,还降低了对客户的打扰。 在技术架构上,可以采用了"RAG+Agent+Workflow"的创新组合。RAG技术实现知识库的智能检索,Agent技术负责任务分解与执行,Workflow则确保整个流程的有序推进。 针对RAG召回效率不高的问题,团队创新性地引入了IUR(Incomplete Utterance Rewriting)组件。该组件能智能补全用户查询中的隐含信息,显著提升检索准确度。同时采用HiveToCache架构优化检索速度,使用Rerank算法提升召回质量。 在Agent设计上,采用"规划者-观察者-决策者"的三角色协作模式。规划者负责理解问题并设计执行路径,观察者负责监控执行过程并收集反馈,决策者则基于所有信息作出最终判断。这种设计既保证了处理的全面性,又提升了系统的可靠性。 通过这些技术创新,可以成功实现了数据管理和风控运营的智能化升级。这些实践不仅提升了业务效率,更为金融行业的数智化转型提供了宝贵经验。未来,随着大模型技术的持续演进,数据管理领域将迎来更多创新突破。 来源(公众号):大数据AI智能圈
2025-03-26 18:42 2
你有没有遇到过这样的数据困境:一个指标异常,却不知道问题出在哪里;一个任务变更,担心会影响到哪些下游;几百个数据任务盘根错节,想理清楚却无从下手... 这些让数据从业者头疼的问题,都指向了一个关键技术 - 数据血缘。 数据血缘技术:重塑大数据治理的未来 在超大规模数据驱动的时代,一个企业的数据规模可能达到数百PB,日均任务量轻松破万。数据血缘技术正悄然崛起,成为撬动企业数据资产的关键支点。 数据血缘技术革新正全方位重塑企业数据治理格局。传统数据治理模式下,企业面临着数据资产管理混乱、数据质量难以保障、数据资源浪费等痛点。数据血缘技术通过构建全链路数据关系图谱,让企业数据资产管理进入智能化新阶段。 在现代企业运营中,一个看似简单的数据报表背后,往往涉及复杂的数据加工链路。从原始日志采集、数据清洗、特征计算,到最终的指标呈现,动辄几十上百个任务节点相互依赖。任何一个环节出现问题,都可能导致数据质量受损。数据血缘技术正是解决这一复杂性的关键。数据血缘技术核心在于解析与追踪数据流转过程中的依赖关系。 从技术架构看,一个完整的数据血缘系统包含三层:数据源层负责采集各类数据源信息、处理层通过血缘解析引擎分析数据间的关联关系、应用层则基于血缘数据支撑数据开发、治理等场景 在工程实践中,血缘系统面临三大挑战: 全面性 需要覆盖从埋点采集到应用消费的全链路血缘关系。企业级数据体系涉及多种异构数据源,血缘系统要能适配不同类型数据源的解析需求。 准确性 血缘关系解析必须准确无误。任何解析错误都可能误导下游决策。这要求血缘解析引擎具备强大的解析能力,能正确理解各类数据处理逻辑。 实时性 血缘关系需要随数据处理逻辑变化而实时更新。大规模数据体系下每天都有大量任务变更,血缘系统要能快速感知并更新血缘关系。 数据血缘系统:架构设计与关键突破 解析引擎作为数据血缘系统的大脑,承担着识别和提取数据间依赖关系的重任。面对SQL、Python、Java等多样化的数据处理代码,解析引擎需要准确理解其中的数据流转逻辑。 业界主流方案采用Antlr和Calcite组合架构。Antlr负责词法和语法解析,将代码转化为抽象语法树;Calcite则专注于SQL优化,提供统一的关系代数模型。这种组合让血缘系统既能处理标准SQL,又能应对复杂的脚本语言。 血缘存储层采用图数据库技术,将数据实体和依赖关系建模为点和边。 考虑到海量血缘数据的存取效率,系统往往会同时维护两套数据模型:一套面向写入优化,一套面向查询优化。这种双模型设计既保证了血缘数据的实时性,又兼顾了查询性能。 在实际应用中,数据血缘技术正在重塑数据开发模式。开发人员通过血缘分析快速定位数据来源,评估代码变更影响范围。血缘系统甚至能基于历史血缘关系,智能推荐最佳数据处理方案,大幅提升开发效率。 数据治理领域,血缘技术让资源优化有了精准抓手。通过分析数据血缘图谱,系统能够识别出重复计算、低价值存储等资源浪费点。运维团队据此进行精准治理,既降低存储成本,又提升计算效率。 数据安全方面,血缘技术为敏感数据保护提供全新思路。系统通过追踪敏感数据的传播路径,及时发现潜在风险,并自动采取脱敏、加密等保护措施。这种基于血缘的主动防护,让数据安全管理更加智能和高效。 数据血缘优化:从评估到提升 衡量数据血缘系统的质量,需要构建科学的评估体系。业界普遍采用"三率"指标:覆盖率、准确率和时效性。 覆盖率关注血缘系统对数据全链路的把控能力。一个优秀的血缘系统应该覆盖所有关键数据节点,包括数据源采集、任务处理、应用消费等环节。当前头部互联网公司的血缘覆盖率普遍超过95%,有力支撑了数据治理工作。 准确率衡量血缘关系识别的精准度。血缘关系存在表级和字段级两个粒度,字段级血缘解析难度更大。解析准确性直接影响下游应用的可靠性。领先企业通过持续优化解析引擎,将准确率提升至99%以上。 时效性度量血缘信息的新鲜度。在敏捷开发环境下,数据处理逻辑频繁变更,血缘关系需要实时更新。通过流式采集和增量解析等技术,优秀血缘系统能将更新延迟控制在分钟级。 数据血缘技术正在向更智能、更精细的方向演进。 智能解析引擎将借助机器学习技术,提升复杂代码的解析能力。语义级血缘分析将帮助理解数据间的业务关联。知识图谱技术的引入,将让血缘系统具备推理能力,预测数据变更影响。跨域血缘是另一个重要发展方向。 随着企业数据规模扩大,跨数据中心、跨组织的数据协作日益普遍。构建统一的跨域血缘体系,将成为数据治理的新课题。 大数据时代,血缘技术正在成为连接数据资产的桥梁。通过持续创新和实践,血缘技术必将为企业数据治理带来更大价值。 来源(公众号):大数据AI智能圈
2025-03-25 18:59 13
文 | 国家信息中心大数据发展部 于施洋,王璟璇 我国正处于大力发展数据事业的关键时期,近年来党中央国务院高度重视数据要素市场培育及公共数据资源开发利用。全国一体化公共数据资源登记平台(https://sjdj.nda.gov.cn)于2025年3月1日正式上线,标志着数据要素市场化配置改革迈出重要一步。 01 国家公共数据资源登记平台是构建全国一体化公共数据资源登记体系的重要信息系统 今年1月,国家发展改革委、国家数据局公开印发《公共数据资源登记管理暂行办法》《公共数据资源授权运营实施规范(试行)》《关于建立公共数据资源授权运营价格形成机制的通知》,构建起以《中共中央办公厅、国务院办公厅关于加快公共数据资源开发利用的意见》为核心的相关“1+3”政策体系。 其中,《公共数据资源登记管理暂行办法》明确,要构建全国一体化公共数据资源登记体系。登记机构执行全国统一要求,按行政层级和属地原则,提供规范化、标准化、便利化登记服务。直接持有或管理公共数据资源的党政机关和事业单位,需对纳入授权运营的公共数据资源登记,对未纳入授权运营范围的数据资源,以及利用被授权数据资源加工形成的数据产品和服务鼓励登记。公共数据资源登记平台是开展登记工作的信息化载体,实行“一个标准、两级平台”。国家登记平台与省级登记平台依托国家电子政务外网实现统一赋码、互联互通,逐步构建起职责明确、分工负责、运转有序的全国公共数据资源登记体系。 3月1日上线的国家公共数据资源登记平台是支撑全国公共数据资源登记全流程服务,构建全国一体化公共数据资源登记体系的重要信息系统。当前包括登记指引、登记公示、登记查验、资源查询、登记政策等核心内容,支撑全国所有公共数据资源登记采用统一编码机制,实现“一证一码”的登记确认单管理方式。国家公共数据资源登记平台的核心功能主要包括两项,一是支撑中央和国家机关及其直属机构、中央企业的公共数据资源登记业务开展,二是作为中央节点,实现全国登记信息的互联互通。 02 国家公共数据资源登记平台对数据要素市场建设意义重大 国家公共数据资源登记平台上线首日,已有医保、气象、自然资源等多类国家级公共数据登记上线,北京、天津、河北、内蒙古、辽宁、上海、广东、海南、四川、陕西、宁夏、新疆生产建设兵团等地依托国家平台开展了登记工作。此外,山西、江苏、浙江、安徽、福建、江西、湖北等省级平台实现与国家平台顺利对接,同步上线运行。未来将有更多省份登记平台陆续上线并实现与国家平台的互通。 在数据要素市场建设中,国家公共数据资源登记平台可发挥三方面积极作用。 一是明确数据持有和开发利用状态,规范公共数据资源授权运营。公共数据资源登记程序包括申请、受理、形式审核、公示、赋码等。登记信息向社会公示并接受公众提出合理异议,是完善授权运营披露机制的重要手段,促进公共数据资源规范、合规对外供给。 二是强化公共数据资源管理,构建全国公共数据资源“底账”。开展公共数据资源登记是中央与地方统筹公共数据资源开发利用,建立公共数据资源底账,筑牢数据资源底座的主要途径。 三是促进公共数据资源开发利用,加快公共数据价值释放。通过建立全国统一流程、统一标准、互联互通的公共数据资源登记体系,便于形成一体化的公共数据资源、公共数据产品和服务的目录体系。通过公示和开放登记目录查询,为数据需求方提供更加准确、全面的资源查询渠道,促进供需对接。 03 国家公共数据资源登记平台将推动全国一体化数据资源登记体系迈上新台阶 构建全国一体化数据登记体系对于落实党中央数据要素市场化配置改革决策部署、破解两级数据交易市场中数据确权难实现数据增值、夯实全国数据资源基础和激活数据要素潜能具有重要意义。国家公共数据资源登记平台为推动全国一体化数据资源登记体系提供了重要支撑。 下一步,一是持续优化平台功能,提升登记服务质量。进一步完善和丰富国家公共数据资源登记平台功能,更好满足用数主体的多元化需求,助力加快释放公共数据价值,赋能经济社会高质量发展;实现更多省份统筹本区域内登记平台建设,与国家平台实现数据互联互通,达到一地登记、全国通用的效果,为推动数据市场一体化发展奠基基础。 二是加快编制数据登记标准规范,实现各地登记流程的统一、规范。重点从登记流程、登记申请材料、登记审查内容、信息披露等方面明确业务标准,从统一身份认证、数字签名、区块链、登记确认单版式等方面明确技术标准,确保公共数据资源登记平台规范运作,实现中央和地方数据资源登记标准统一。 三是积极夯实中央地方数据登记机构,加强全国一体化的登记队伍建设。一方面,依托数据登记平台,通过开展公共数据资源登记工作,逐步建立中央、省、市多级登记机构,方便各登记主体按照行政层级和属地原则开展登记申请;二是通过线下或线上方式定期组织登记培训,加强登记人才培养,通过公共数据资源登记业务培养的登记队伍,未来可无缝衔接到企业数据和个人数据等社会数据的登记工作中。 来源(网站):国家数据局
2025-03-14 14:15 76
在全国两会的热烈氛围中,2025年的《政府工作报告》犹如一盏明灯,照亮了国家未来发展的漫漫征途。这份报告高瞻远瞩,精准锚定了低空经济、人工智能(AI)、数据要素及算力四大关键领域,它们宛如四颗璀璨的星辰,将在未来一段时间成为推动国家发展的核心驱动力,为经济社会的蓬勃发展注入源源不断的活力。万亿级赛道上,谁将在这场变革中脱颖而出,成为引领未来的关键力量? 低空经济:战略性新兴产业的耀眼明珠 低空经济,作为近年来崭露头角的新兴领域,正逐渐成为全球经济发展的新焦点。它以低空空域为依托,涵盖了从低空飞行器制造、运营到相关服务的完整产业链。在《政府工作报告》中,低空经济被委以领衔发展的重任,这无疑为其发展按下了“加速键”。随着政策环境的不断优化和市场需求的持续增长,低空经济的应用场景不断拓展。从无人机配送、空中旅游到农业植保、城市空中交通、安全巡检等多个方面,低空经济正展现出巨大的发展潜力。据中国民用航空局预估,到2025年,我国低空经济市场规模将达1.5万亿元,到2035年有望达到3.5万亿元。 AI技术:赋能低空经济的核心引擎 人工智能作为新一轮科技革命的核心驱动力,其在低空经济中的应用正日益广泛。AI技术可以优化无人机的飞行路线和任务规划,提高飞行效率和任务执行能力。通过大数据和机器学习技术,AI可以根据历史数据和实时环境,智能调整无人机的飞行路径,确保其在复杂环境中的安全、高效运行。此外,AI技术还能为低空经济提供精准的市场洞察和决策支持。通过对大量用户数据的分析,企业可以深入了解市场需求和用户痛点,推动产品和服务的创新。例如,在无人机物流配送领域,AI技术可以帮助企业快速处理订单信息、规划最优配送路线,提高配送效率和客户满意度。 数据要素:低空经济的“新石油” 在数字经济时代,数据要素的重要性不言而喻。对于低空经济而言,数据如同深埋地下的石油,蕴含着巨大的价值。从飞行器的运行数据到市场需求数据,再到用户行为数据,这些数据都是低空经济企业制定商业决策、优化运营管理的重要依据。《政府工作报告》明确指出,要加快完善数据基础制度,包括数据的采集、存储、处理、传输等全生命周期的管理规范,以及数据权属、交易、安全保护等法律框架的构建。这将为低空经济的数据要素流通和价值挖掘提供有力保障。 算力:支撑低空经济发展的基础设施 算力是支撑数据处理和运算的关键能力。在低空经济中,需要处理大量来自飞行器、传感器、气象信息等多源异构的数据。强大的算力能够快速处理和分析这些数据,实现实时监控、航线规划、风险预警等功能。随着低空经济的不断发展,对算力的需求也将持续增长。因此,《政府工作报告》强调优化全国算力资源布局,提升算力的服务效能,为低空经济的高质量发展提供坚实可靠的支撑。 万亿级赛道谁主沉浮? 在万亿级赛道上,低空经济、AI、数据要素及算力四大领域将共同推动经济社会的蓬勃发展。然而,在这场变革中,谁将脱颖而出成为引领未来的关键力量?一方面,企业需要不断加强技术创新和产品研发,提升核心竞争力。另一方面,政府也需要继续优化政策环境,加强市场监管和公共服务,为低空经济的发展提供有力保障。可以预见的是,在未来的发展中,低空经济将与AI、数据要素及算力深度融合,共同构建出一个全新的现代产业体系。在这个体系中,谁能够抓住机遇、勇于创新,谁就将在这场变革中占据先机、引领未来。 来源(公众号):AI战略数字转型
2025-03-12 11:08 130
来源(公众号):大数据AI智能圈 数据就像流淌在企业血管中的血液,它的每一次流动、每一次转化都留下独特的印记。 作为数据工程师,我曾困惑于复杂的数据链路,直到遇见数据血缘分析这个"数据世界的GPS"。它不仅帮我找到数据流转的每个关键节点,更让我看清数据治理的全新格局。 今天,想和大家分享这个强大工具背后的故事,看看它如何在数据的迷雾中开辟一条清晰的航道。 从混沌到有序的数据治理之路 当数据成为企业的生命线,我们遇到一个棘手的问题 - 数据来自哪里?去向何方?它是如何变化的?企业里的每一条数据都像一个基因序列,携带着独特的"遗传密码"。解读这些密码,追踪数据的来龙去脉,就是数据血缘分析的精髓所在。让我创建一个架构图来展示数据血缘的本质特征: 数据血缘分析就像给每条数据装上GPS定位器,不仅记录它的"出生地",还能实时追踪它的"行踪"。在企业数据资产日益庞大的今天,这种追踪能力变得尤为重要。数据血缘分析系统在实际应用中有着独特的价值: 数据血缘分析是企业数据治理的关键武器。一个优秀的数据血缘分析系统能帮助企业快速定位数据问题,预测数据变更影响,评估数据资产价值。它像企业数据世界的"基因图谱",记录着数据的演变历程,指导着数据的未来发展。要构建这样的系统,我们需要先理解数据血缘的四大核心组成:元数据(数据的DNA序列)、主数据(数据的基因库)、业务数据(数据的表现型)、指标数据(数据的性状特征)这些组成部分相互关联,构成了完整的数据血缘体系。 数据血缘的建设方法和实践路径 建设数据血缘系统就像建造一座现代化的智慧城市,需要从地基到顶层有序规划。 这座"数据城市"分为五层: 1、采集层负责数据收集 2、处理层进行数据加工 3、存储层保管数据资产 4、接口层提供数据服务 5、应用层创造数据价值。 让我们再深入看看数据血缘建设的具体实践路径: 企业在实施数据血缘分析时,面临三种建设路径选择:开源系统、厂商平台、自主建设。选择哪种方式取决于企业的实际情况:技术能力、资金预算、建设周期等核心要素。开源方案适合技术能力强的团队,可以深度定制,成本相对较低,适合特殊场景需求。厂商平台则提供成熟解决方案,能快速落地,但费用较高,定制能力有限。自主建设则完全掌控主动权,可以根据业务需求灵活调整,适合长期规划。 数据血缘建设核心在于建立数据资产全景图,打通数据孤岛。它不仅是技术工具,更是数据治理思维的升级。通过数据血缘,企业能更好地理解数据资产,提升数据质量,实现数据价值最大化。在数字化转型的浪潮中,数据血缘分析正成为企业数据治理的标配。它就像企业数据世界的"导航系统",指引着数据资产的有序流动,推动着数据价值的持续释放... 数据血缘的实践场景和未来趋势 数据血缘分析在各行业已开花结果。 金融机构利用它追踪交易链路,确保合规性;制造企业通过它溯源产品质量;医疗机构借助它串联病历数据;零售商用它构建精准用户画像。 让我们展望数据血缘的未来发展趋势: AI技术将深度赋能数据血缘分析,自动发现数据关联,预测数据变化。实时血缘追踪将成为标配,支持数据变更的即时响应。跨组织的数据协同共享将突破壁垒,构建更广阔的数据生态。打造卓越的数据血缘体系需要注意以下关键点: 明确建设目标,避免贪大求全。从最急需的业务场景出发,逐步扩展。重视数据标准,建立统一的数据规范。血缘分析的前提是数据的规范化管理。平衡技术与业务,技术服务于业务需求。过于复杂的技术方案往往难以落地。持续运营维护,保持系统的时效性。数据血缘不是一次性工程,需要持续投入。 1、明确建设目标,避免贪大求全。从最急需的业务场景出发,逐步扩展。 2、重视数据标准,建立统一的数据规范。血缘分析的前提是数据的规范化管理。 3、平衡技术与业务,技术服务于业务需求。过于复杂的技术方案往往难以落地。 4、持续运营维护,保持系统的时效性。数据血缘不是一次性工程,需要持续投入。 数据血缘分析正在改变企业的数据治理方式。它不仅是技术创新,更是管理思维的革新。精准掌握数据血缘,就掌握了数字时代的制胜密码。 未来,数据血缘将与云计算、大数据、人工智能等技术深度融合,催生更多创新应用。企业应未雨绸缪,构建自己的数据血缘能力,在数字化转型的浪潮中占得先机。数据血缘分析已成为数据治理的必修课,好比一张智能地图,指引企业在数据的海洋中找到前进的方向。掌握数据血缘,就掌握了数据治理的未来。
2025-03-11 09:53 88
破局数据要素市场化 攻克数字建设难题 3月5日,国务院总理李强在政府工作报告中指出,今年要加快完善数据基础制度,深化数据资源开发利用,促进和规范数据跨境流动。 今年是“十四五”规划的收官之年,也是进一步全面深化改革的重要一年,更是数据工作“改革攻坚年”。在此重要节点,如何持续推进数据要素市场化配置改革,强化对数字中国、数字经济、数字社会规划建设的统筹,不断完善政策制度与体制机制,重点攻克数据要素市场化、价值化进程中的难点、堵点、痛点,成为亟待解决的核心问题。 释放数据价值的关键突破口 随着数字经济时代的到来,数据已成为新型生产要素。公共数据资源作为要素投入生产,对经济、政治、文化、社会和生态文明建设等具有巨大价值。麦肯锡公司预测,数据流动量每增加10%,将带动GDP增长0.2%。 用“数智化”等先进技术改造提升传统产业成为我国老工业基地黑龙江省近年来发展新质生产力的重要路径。图为在哈尔滨汽轮机厂有限责任公司叶片分厂,中小叶片智能生产线上的机械臂在安装卡紧汽轮机叶片。新华社 “今年,数据价值将会实现真正的大爆发。”全国政协委员,全国工商联副主席、奇安信集团董事长齐向东对本报记者表示,大模型推动人工智能高速发展,这是数据价值变现的重要途径之一。人工智能大模型相当于“倍增器”和“发动机”,把数据“灌”进去,就会产生出动力。 3月1日,国家公共数据资源登记平台正式上线运行,凡是已经授权、计划授权运营的公共数据资源产品,需要到该平台上进行登记。这标志着数据要素市场化配置改革迈出重要一步。 面对公共数据在早期市场化中存在“流不动、供不出、用不好”的问题,国家信息中心大数据发展部数据要素处处长王璟璇告诉本报记者,在助力传统产业数字化转型方面,要鼓励更多党政机关、公共服务机构通过共享、开放、授权运营方式对外供给产业发展所需的公共数据。国家公共数据资源登记平台上线后,全社会都可以了解、查询哪些公共数据对外进行了开发利用以及形成了哪些公共数据产品和服务,未来用数单位还可以提交申请用数需求,促进供需对接。 中国通信标准化协会发布的《数据要素白皮书(2024年)》显示,截至2024年7月,我国已有243个省级和城市的地方政府上线数据开放平台,各地平台上开放的有效数据集达370320个,与2023年下半年相比,新增17个地方平台,平台总数增长约8%。 数据价值化,要在场景应用中得以实现。公共数据是数据要素市场化改革的“试验田”和“加速器”,其开发利用不仅为市场提供基础资源,还通过场景创新带动全要素流通。 山东青岛真情巴士集团打造的充电精益化数据产品“青益充”,实现了公交车辆运营数据、国家电网波峰波谷时段数据等公共数据与“特来电实时充电状态数据”等九类数据深度融合,预计每年可节约充电成本970余万元;福建省依托省市两级公共数据汇聚共享平台,接入全省2000余个政务信息系统、汇聚1800多亿条有效数据,目前平台日均批量交换数据1.5亿多条,有效支撑各地各部门800多个应用场景。 目前,我国数据产业呈现出储量大、增长快、多元化、应用广的发展特征,以政务、金融、互联网、交通电力为代表的行业持续深化数据要素的发展与应用。艾瑞咨询预计2024年全年市场规模将达1662亿元,2025年市场规模将有望达2042.9亿元。 在促进产业协同中实现放大、叠加、倍增效应 数据要素市场化配置改革要解决让数据“供得出”“流得动”“用得好”“保安全”,需要构建良好的供数、用数生态,实现数据要素在促进产业协同中的放大、叠加、倍增效应。而构建良好供数、用数生态,推动数据要素市场化配置改革,对于进一步深化企业数字化转型、挖掘数据要素在产业协同中潜力,具有极为关键的意义。 目前,我国企业数字化转型程度持续加深,但仍有较大发展空间。相关数据显示,98.8%的中小企业已经开始数字化转型,但62.6%的中小企业仍处于数字化转型早期阶段。实际上,数据的价值不能孤立存在,需要在与各类业务的深度融合中得到彰显,要以赋能实体经济为提点,不断拓展数据应用场景。 在大连华锐重工集团股份有限公司智能化实验室,孙元华(左)和同事操作大连港数字化矿石码头系统(2025年2月20日摄)。新华社记者 杨青 摄 “制造业是立国之本、强国之基,大力推动数字经济和实体经济深度融合势在必行。”全国人大代表、伊利集团全球创新中心科学研究总监王彩云对本报记者表示,企业在推动数实融合的过程中会产生大量数据,要实现高质量发展,关键是打通数据从“有”到“用”的过程。比如在消费端,伊利推动“全域、全场景、全生命周期”的消费者数字化运营,搭建覆盖400多个数据源的大数据雷达,开发了与1.5亿消费者在线协同共创新品的智能洞察系统,平均用3.5天就可以完成市场洞察,不断打造满足消费者多元需求的健康产品。 上下联动、横向协同 数据要素市场化配置改革是一项庞大的系统性工程。随着国家数据局和各级数据管理机构的揭牌运行,我国上下联动、横向协同的数据工作体系基本形成。数据基础制度加速释放,一批围绕数据产权、流通交易、收益分配、协同治理等方面的制度正在构建。 2025年2月26日,在位于织里镇的湖州今童王制衣有限公司数字化车间,工人在流水线上加工服装。该公司是集产品研发、设计、生产供应链管理、市场营销为一体的综合性儿童服装企业,年产销量达200万件(套)。新华社记者 徐昱 摄 据统计,截至目前,国家数据局已发布20余份数据要素领域相关政策文件,激活供数动力,释放用数活力。未来,还将围绕企业数据开发利用等出台新政策文件。 此外,工信部、财政部等多部门围绕数据流通交易、数据安全与治理、产业融合等出台了多项政策,持续推动数据要素市场化。 随着数据要素市场日益壮大,数据资产化探索步伐显著提速,企业数据资产入表成为业界关注的热点方向。从2024年1月1日起,财政部制定印发的《企业数据资源相关会计处理暂行规定》(以下简称《规定》)正式施行。这意味着数据要素从会计报表上开始显性化,过去被企业费用化处理的数据资产在资产负债表内有了表达。 “《规定》发布以来,各类经营主体均在积极探索数据资源入表机制,激活数据要素市场发展内生动力。”针对数据资源入表存在的问题,全国政协委员,上海市政协副主席、致公党上海市委主委邵志清表示,目前各类经营主体均在积极探索数据资源入表机制,激活数据要素市场发展内生动力。但仍存在数据资源的合规与确权难度大,对软件、系统和数据资源的异同理解尚未达成一致认识,数据资源的预期经济利益分析论证挑战大,数据资源的后续支出处理尚未达成一致认识,数据资源审计面临挑战等问题。他认为,应加强法律法规建设,细化权属证明流程,出台统一的数据资源审计指南和标准,从而引导企业对数据资源进行更有效的治理。 面对全球数字化竞争的加剧、国内经济高质量发展的迫切需求,数据要素市场化配置工作被赋予了更为重大的使命。对于“十五五”时期数据要素市场化配置如何激活数字动能这一问题,王璟璇认为应注重以下四个方面: 一是加快建立数据产权归属认定制度。传统要素如土地、资本等形成的成熟要素市场,均具备两个特性:要素权属明晰,在流通中增值。当前国家应加快出台数据产权制度,从长期看,建议推进数据产权立法工作。 二是推进全国一体化数据市场建设。全国一体化数据市场是数据要素市场化配置改革的发展目标。应着力构建场内场外相结合、多层次的数据流通交易体系,健全各方收益分配和利益保护制度,建设纵横联通的国家数据基础设施,促进数据要素合规高效流通交易。 三是着力增强全社会数据资源创新应用能力。提高各方治数、用数能力,激发更多数据创新应用场景,培育更多新业态、新模式、新技术,让数据要素的价值被更广泛认可。 四是加强数据要素、数字经济领域国际合作。我国是第一个将数据列为生产要素的国家,我国在数据要素市场化配置改革中积累的经验可以更多分享给海外,为全球数据资源共享开发提供中国经验、中国方案。 (中国发展改革报社前方记者 杜壮) 新质生产力发展需要注重三个关键词 3月5日,国务院总理李强作政府工作报告。透过政府工作报告,可以看到,“因地制宜发展新质生产力,加快建设现代化产业体系”依然是今年政府工作十大任务之一。 笔者从今年的政府工作报告及与代表委员面对面交流中发现,推动新质生产力发展,有三个关键词值得关注。 一是产业集聚。地区产业高质量发展不是“独角戏”,而是“大合唱”。作为现代产业发展的重要组织形式,产业集群是区域经济竞争力的集中体现。 谈到今年工作目标时,政府工作报告中出现了“深入推进战略性新兴产业融合集群发展”“先进制造业和现代服务业融合发展试点”“加快国家高新区创新发展”“打造具有国际竞争力的数字产业集群”“增强国际和区域科技创新中心辐射带动能力”等表述,都不约而同地指向了产业集群建设。 在产业集群创新的当下,多位代表委员都在关注两大问题,一是如何集聚更多的创新资源、高效利用创新要素,二是如何增强供应链的弹性和韧性。目前多地都在积极寻找破解之策,一些集群以龙头企业为创新源,一些通过发挥产业基础或要素禀赋突出优势,还有的通过融合创新实现进一步转型升级。今年政府工作报告对“集群”的关注既表明了加快培育的决心,又提出了重点发展方向。因此,在发挥产业集聚效应过程中,各地要注意在自身产业发展基础上,进一步提高产业关联性和市场融通性。 二是技术突破。让更多的技术实现从“0”到“1”的突破至从“1”到“100”的拓展。从芯片制程的不断精进,到量子计算的崭露头角,技术的每一次突破都打破了既有边界,重塑着行业新格局。在推进高水平科技自立自强上,政府工作报告不仅提到了“做什么”,也提到了“怎么做”。新质生产力所强调的关键核心技术攻关和前沿性、颠覆性技术研发依然是技术发展重点,而在政策落实上,需要人才培养、国家战略科技力量布局、科技经费分配和管理、市场服务、政策性金融等方面的支持。实际上,只有持续推动技术创新突破,我们才能在激烈的国际竞争中抢占先机,实现经济高质量发展,为社会进步与民生改善提供不竭动力源泉。 三是产业应用。推动先进技术从“图纸”登上“生产线”。每年政府工作报告中的“新词”备受关注,今年更是出现了多个“新面孔”,比如具身智能、6G、人工智能手机和电脑、智能机器人。这些产业从应用推广上体现出一些共同点,即具有高度智能、数据驱动、跨领域融合、生产生活效率提升,以及发展前景广阔、市场潜力大等特点。 产业应用的主体是企业。政府工作报告提出,对于新兴产业和未来产业,要“梯度培育创新型企业,促进“专精特新”中小企业发展壮大,支持独角兽企业、瞪羚企业发展,让更多企业在新领域新赛道跑出加速度”;对于传统产业转型升级,要“培育一批既懂行业又懂数字化的服务商”。唯有企业勇立潮头,新质生产力才能在产业落地中释放巨大能量。 以“新”提“质”,以“质”催“新”。在“十四五”规划的收官之年,新质生产力培育让高质量发展成色更足,也将为开启新征程筑牢坚实根基。 (中国发展改革报社评论员 杜壮) 来源(公众号):国家数据、中国经济导报
2025-03-10 10:07 61
今年全国数据工作的一个重要方向,是大力推进数据要素的市场化价值化。如何推动公共数据资源开发利用、更好发挥数据要素作用?怎样打造更多数据应用场景?国家数据局2月18日举行“数据价值化,我们在行动”系列新闻发布会第一场,国家数据局等有关部门负责人介绍了相关情况。 推进政务数据共享应用 “推动数据价值化,公共数据要先行一步,真正把公共数据资源供出来、用起来。”国家数据局副局长陈荣辉说。 去年10月,《中共中央办公厅 国务院办公厅关于加快公共数据资源开发利用的意见》公开印发。据介绍,全国数据系统在配套制度建设、政务数据共享、数据授权运营、应用创新实践等方面开展一系列工作,有些方面取得初步进展。在推进政务数据共享应用方面,明确数据治理和共享责任,推动“一次填报,多方共用”,推动数据由“向基层要”变为“从系统取”,切实减轻基层干部重复报数负担。同时推动数据回流,支持基层干部利用数据更好为企业和百姓服务,助力提升基层治理水平。 以福建为例,2020年,福建入选国家公共数据资源开发利用8个试点省份之一。该省依托省市两级公共数据汇聚共享平台,接入全省2000余个政务信息系统、汇聚1800多亿条有效数据,基本实现全省政务信息系统“应接尽接”和全省公共数据“应汇尽汇”。并以汇聚共享平台为枢纽,常态化开展公共数据共享申请、授权、对接、应用,目前平台日均批量交换数据1.5亿多条,有效支撑各地各部门800多个应用场景。 探索公共数据授权运营 探索公共数据授权运营,这是近来数据领域的热词,如何理解? 陈荣辉表示,授权运营是一种新的数据供给方式,目的是通过引入专业化力量,对公共数据进行治理、加工,形成数据产品和服务,在保障安全的前提下更好满足社会用数需求、更好促进数字经济发展。目前,很多部委都在按政策文件要求,梳理拟授权运营的数据资源,编制数据授权运营方案,积极推进数据资源和产品登记工作。 据介绍,国家公共数据资源登记平台将于3月1日正式上线试运行。“这个平台不仅是公共数据资源的管理系统,也是信息披露和资源发现的窗口,全社会都可以来这里找数据、找产品。”陈荣辉说。根据会上发布的信息,直接持有或管理公共数据资源的党政机关和事业单位,应对纳入授权运营的公共数据资源进行登记。未纳入授权运营范围的数据资源,以及利用被授权数据资源加工形成的数据产品和服务,也鼓励进行登记。 陈荣辉介绍,登记平台上线运行后,将发挥两个方面的作用:一是服务性功能,供数单位可以通过登记平台发布数据资源和产品信息,用数单位可以来这里查找数据资源,未来还可以发布数据需求,从而更好地实现供需对接,为降低全社会用数成本、促进数据资源价值释放创造条件。二是管理功能,通过登记工作,掌握全国公共数据资源底账,加强授权运营信息披露,促进授权运营规范化、透明化。 打造更多数据应用场景 数据价值化,要在场景应用中得以实现。 例如,气象数据与经济社会千行百业息息相关,应用场景广阔、发展潜力巨大。深圳市围绕低空物流企业需求,为起降点及航线提供1公里分辨率,分钟级更新的大风、降水等精细化服务,减少因恶劣天气导致的延误或损失,让配送计划更合理、经济。上海基于气象数据决策开展无人机消减雾试验,能见度可从500米快速提升至2公里以上,为降低大雾天气对飞行“窗口期”影响提供了支持。 中国气象局预报司副司长张洪政介绍,中国气象局还积极对接新能源规划选址、高效消纳和安全运行对精细化气象数据的需求,引导鼓励各方加入示范场景共建,创新新能源气象服务产品和解决方案,为国家能源绿色低碳转型、能源安全提供支撑。 各地区各部门对发挥数据要素作用都高度重视,比如,今年福建省政府工作报告提出,深化“千行百业”行动,聚焦重点领域,培育更多数字应用场景。重庆市提出要扩大数据流通和价值示范,培育实数融合新业态。国家数据局会同相关地方和部门重点打造一批示范性数据应用场景,探索形成可复制、可推广模式。 陈荣辉表示,下一步,将加快推动公共数据资源管理和运营机制改革落地见效,进一步增强数据资源价值释放的驱动力,以公共数据开发利用引领撬动各方数据的融合应用,打造数据利用的多应用场景和模式,更好释放数据要素价值。 来源:人民日报
2025-02-26 14:03 105
文 | 国家信息中心副主任 周民 国家信息中心外网办安全管理处处长 罗海宁 公共数据是我国数据要素供给体系的重要组成部分,具有公共性、权威性与规模性,蕴藏巨大价值。各地区各部门在坚持数据开放的基础上,有序探索公共数据授权运营,对于赋能政务服务、公共治理具有重要意义,是培育数据要素市场的关键突破口。公共数据授权运营过程中,随着参与主体、数据及授权运营模式的不断拓展,如何构建公共数据安全治理格局,促进公共数据开发利用成为重要内容。 近日,国家发展改革委、国家数据局等部门联合印发了《关于完善数据流通安全治理 更好促进数据要素市场化价值化的实施方案》(以下简称《方案》),对促进数据要素安全合规流通利用提出重要意见。其中,针对公共数据流通过程的安全管理,明确了数据提供方、数据接收方、公共数据授权运营机构三方数据主体角色的数据安全保护责任和管理要求,细化了公共数据开发利用过程中的安全要求。 01 强化源头安全治理,提升公共数据安全成效和供数水平 《方案》指出“数据提供方按照‘谁主管、谁提供、谁负责’的原则,明确政务数据共享范围、用途、条件,承担数据提供前的安全管理责任,探索建立数据接收方数据安全管理风险评估制度,确保数据在安全前提下有序共享。” 公共数据涵盖的数据范围广泛,涉及国家安全、公共利益。各级党政机关、企事业单位等政务、公共数据来源机构作为数据提供方,应承担数据提供前的安全管理责任,在数据供给源头强化公共数据主动治理,在供给环节保障所供出公共数据的合法性、安全性、可用性、准确性和时效性。 02 贯穿供出后全过程安全管理,确保公共数据在各接收主体间安全流转 《方案》指出“数据接收方按照‘谁经手、谁使用、谁管理、谁负责’的原则,承担数据接收后的安全管理责任。” 公共数据持有者、使用者作为数据流转过程中的数据接收方,要承担数据接收后的安全管理责任。一是确保公共数据接收后的存储安全,建立安全的数据存储环境,包括物理环境、网络环境等,确保重要数据在存储过程中的安全性。二是确保公共数据使用与加工安全,公共数据接收方应按照协议或规定中明确的数据使用范围和用途来合规使用公共数据。采取必要的安全措施,如数据加密、访问控制、数据脱敏等对重要数据进行加工处理,以防止重要数据泄露或被非法访问。三是数据销毁末端安全,数据接收方应根据数据的生命周期和业务需求,制定数据销毁计划,明确数据销毁的时间、方式和范围,考虑数据的敏感程度和重要性,选择可靠的数据销毁方法,确保数据在销毁后无法被恢复。 03 探索公共数据授权运营安全合规制度化路径 《方案》指出“有关地方和部门开展公共数据授权运营的,应依据有关要求明确公共数据授权运营机构的安全管理责任,建立健全数据安全管理制度,采取必要安全措施,加强关联风险识别和管控,保护公共数据安全。” 公共数据授权运营被认为是构建数据要素市场的关键突破口,也是繁荣数据要素市场的重要支撑,如何把控好这一环节安全合规,备受市场关注。公共数据授权运营安全治理是一个“制度化”过程,授权运营机构应建立健全数据安全管理制度,加强数据全生命周期的安全防护。一是明确授权运营机构在经营与信用、专业资质与人才、技术安全、应用场景与数据使用等多个方面的数据安全保护条件和能力。二是加强数据产品和服务的安全合规管理,通过建立分类分级、访问控制、监测预警等安全管理制度,在保障国家秘密、国家安全、社会公共利益、商业秘密、个人隐私和数据安全的前提下,依法依规在授权范围内开展公共数据授权运营活动,充分释放公共数据价值。三是基于数据全生命周期安全防护理念,持续完善态势感知和监测预警体系建设,切实提升公共数据授权运营过程中的安全风险监测和应急处置能力。
2025-02-25 18:08 134
来源(公众号):大数据AI智能圈 深夜的银行数据中心,数据分析师小王揉了揉发酸的眼睛,72小时加班整理的客户数据清洗报告还在找bug。 隔壁工位基于DeepSeek系统的工作界面突然亮起,47分钟后,一份完整的数据清洗方案新鲜出炉,错误率还低了82%。这不是科幻电影场景,而是正在金融行业悄然上演的真实故事。 当人工智能开始读懂数据治理的门道,一场静悄悄的技术革命正在重塑商业世界的游戏规则。今天,让我们一起走进这个AI驱动的数据新世界。 数据治理遇上DeepSeek:AI引领的数据智能革命 某银行数据中心,凌晨3点。数据分析师小王正对着屏幕发愁,72小时加班整理的客户数据清洗报告还有漏洞。就在这时,他身边基于的DeepSeek系统亮起了绿灯—47分钟,一份完整的数据清洗方案新鲜出炉,错误率还低了82%。这不是科幻片场景,而是当下正在金融行业悄然发生的真实变革。 金融机构的反洗钱团队里,已经逐渐开始引入AI(DeepSeek)重写游戏规则。 面对每天2万条可疑交易预警,传统人工审核犹如大海捞针。DeepSeek分钟级完成了一场数据革命:系统自主分析8.6亿笔历史交易,识别出327个可疑特征,其中42个是人类从未发现的交易模式。 更令人惊叹的是,AI(DeepSeek)不是一个简单的规则执行者。它像一位经验丰富的数据侦探,能从看似普通的交易数据中,嗅出潜在风险。 一个典型案例:系统发现某批次凌晨3-5点的小额高频转账都来自新注册设备,立即提升了预警等级,最终协助银行提前23天发现了一起新型虚拟货币洗钱案件。 在零售行业,DeepSeek展现出更强大的商业智慧。某连锁超市引入DeepSeek后,不仅打通了86个业务系统的数据孤岛,更让促销决策有了"千里眼"。在春节前后,提前预测到某果礼盒的区域性需求激增,自动协调12个仓库完成调配,最终实现销售额同比增长275%。新技术带来新机遇,也催生新物种。传统数据分析师正在向"数据炼金师"进化,他们不再是简单的数据清洗工,而是数据价值的设计师。某银行设立的"AI训练师"岗位,晋升速度已经是传统岗位的3倍。 这场数据治理革命的本质,不是简单的效率提升,而是认知升级。AI(DeepSeek)正在改变数据治理的底层逻辑:从被动响应到主动预测,从规则驱动到智能认知,从单点治理到生态协同。 基本实现逻辑: DeepSeek API + RAG API + 数据(知识库)+ 需求Coding 智能数据治理的破局之道 制造业车间里,AI(DeepSeek)正在改写生产效能的新定义。 某工厂的设备数据原本就像散落的珍珠,虽然珍贵却难以串联。AI(DeepSeek)上线不久,自动发现的异常模式数量达到初期设定的13倍,设备效能提升40%。机器设备的"健康档案"不再是静态的数据表格,而成了智能预测的实时战报。 更令人瞩目的是政务领域的数字化蝶变。某市平台借助AI(DeepSeek),将56个部门的数据治理流程编织成一张智能服务网。群众办事从"跑断腿"到"一网通办",审批效率提升6倍。数据不再是冰冷的代码,而是温暖的服务触点。 券商交易室里,AI(DeepSeek)绘制的"市场异常波动关联图"成了风控会议的制胜法宝。快消品公司用它模拟不同营销方案,新品上市成功率从35%跃升至68%。城市交通管理部门基于它的实时数据分析,动态调整信号灯配时,早高峰拥堵指数下降27%。 这种智能化转型不是简单的工具替换,而是思维模式的进化。 某科技公司CDO说:"最理想的数据治理,是让用户感受不到治理的存在,却能享受到精准数据服务带来的无形之美。"在这场数字化浪潮中,AI(DeepSeek)正在重塑数据治理的未来图景:从被动防御到主动进化,从单点突破到全域赋能,从工具应用到决策伙伴。它不仅是数据治理的智能助手,更是数字时代的创新引擎。当AI开始深刻理解数据治理的精髓,人类的角色正在向更高维度跃迁。未来已来,拥抱变革者,方能御风而行。
2025-02-19 17:55 203
热门文章