指标平台掀起数智风暴:AI 对话已达 95% 准确率、100% 可解释! (本文:指标平台 = 元数据管理平台) 安全可靠:是智能数字决策的前提 01 | 应用痛点 元数据管理平台无法满足快速、智能查询需求 随着企业业务规模的迅速扩展和数字化进程的持续深化,越来越多的企业依赖大量精准的数据指标来进行精细化运营管理和辅助战略决策,凸显出构建完善元数据管理平台在企业内部的重要性。但在“元数据管理平台”应用过程中,因管理不统一、指标口径不一致、流程不规范,从而导致了重复建设、资源浪费、沟通成本增加,以及数据结果可信度下降等问题: 1. 指标重复建设与无效开发 指标开发重复:技术团队经常接到相似的指标开发需求,但缺乏统一的指标检索功能,难以快速判断是否已有类似指标,导致重复建设,浪费资源。 缺乏标准化定义:指标定义缺乏统一的标准,不同部门可能基于不同的业务逻辑开发类似指标,结果数据不一致,影响决策的准确性。 2. 业务人员对数据的理解与使用困难 指标选择困难:业务人员在查询指标时,面对数量众多的指标表和字段,不清楚应选择哪个指标,统计口径和适用场景也不明确,增加了使用数据的难度。 理解门槛高:元数据缺乏详细的业务解释或说明,导致非技术用户难以准确理解字段的意义和用途。 3. 元数据维护滞后导致查询错误 表结构变化未及时更新:当数据库的表结构发生变化(如字段新增、删除或调整),元数据没有及时同步更新,导致查询结果不准确,甚至出现错误。 版本混乱与重复沟通:由于元数据不及时更新,技术和业务团队需要反复沟通确认字段含义和统计规则,耗时耗力。 4. 元数据不准确、不一致问题 命名不一致:相同的业务含义在不同表中使用不同的字段名或表名,增加理解难度。 数据冲突:不同表中相同的字段名代表的含义或统计口径不同,数据结果可能存在冲突,用户无法判断取舍。 数据质量缺乏保障:部分元数据可能存在遗漏或记录错误,进一步影响数据使用的准确性。 5. 不同部门之间缺乏统一管理标准 分散管理:各部门独立管理元数据,导致平台缺乏全局视图,用户难以跨部门查询和理解元数据。 标准不统一:不同部门使用不同的元数据管理方式,导致命名规则、统计逻辑等出现分歧,影响跨部门协作效率。 6. 缺乏智能化与便捷性 低效查询:现有元数据管理平台无法支持自然语言查询,用户需要依赖复杂的SQL语句或繁琐的菜单搜索,降低查询效率。 缺少智能推荐:平台无法根据用户需求智能推荐相关指标或字段,用户需要手动筛选,耗费大量时间。 7. 无法支持复杂的血缘关系分析 血缘追踪难:复杂数据血缘关系(如ETL流程、表与表之间的依赖关系)缺乏直观可视化展示,用户难以快速了解数据来源和流转路径。 影响分析滞后:表结构或字段变动后,无法快速识别对下游系统和指标的影响,可能引发系统性错误。 8. 平台可扩展性和用户体验不足 功能单一:现有平台功能无法满足数据查询之外的需求,如数据质量监控、指标健康分析等。 交互体验差:平台界面复杂、搜索不便,用户体验差,进一步限制了元数据的使用频率和价值发挥。 这些痛点清晰地反映了元数据管理平台在实际应用中的不足,同时也为后续平台优化和智能化升级指明了方向。 02 | 方案一:元数据平台优化 如果问题更多在于数据治理、元数据管理策略不完善或平台本身的技术限制,可能需要优化现有元数据管理平台,而不是直接建立知识库。 在搭建知识库之前,您可以先评估以下方法: 优化元数据管理平台 增强搜索功能:加入全文搜索、模糊匹配和自动推荐功能。 可视化血缘分析:通过图表清晰展示表间关系和数据流向。 动态更新:对表的访问频率、调用次数等进行定期统计并展示。 数据治理体系完善 冗余表清理:识别并优化低使用率或重复的表。 建立数据分层:划分核心表、辅助表和历史表,减少查找范围。 开发数据搜索引擎 语义搜索:使用自然语言处理(NLP)技术,使用户可以以自然语言查询数据。 智能推荐:根据用户查询历史或业务场景,推荐相关数据表或字段。 03 | 方案二:元数据知识库和智能助手 构建一个元数据管理知识库和智能助手需要以下步骤: 1. 数据准备 元数据收集: 表结构信息:表名、字段名、数据类型、索引、主外键等。 数据血缘:表与表之间的关系,如ETL流程和依赖关系。 表使用统计:访问频率、最近更新时间等。 数据字典:字段含义、业务描述。 清洗与整合: 去重:合并冗余表或字段信息。 标准化:统一元数据格式和命名规则。 2. 技术架构 存储层:使用关系型数据库或NoSQL存储元数据,结合全文搜索引擎(如Elasticsearch)。 逻辑层:建立数据查询引擎,支持多种查询模式(如SQL查询、图数据库查询)。 应用层: 知识库前端界面:方便用户浏览和搜索元数据。 智能助手:通过NLP技术(如ChatGPT、Rasa)实现智能问答和推荐。 3. 功能设计 智能搜索:支持自然语言搜索和复杂查询。 血缘追踪:可视化展示数据血缘关系,支持逐级钻取。 智能推荐:基于用户行为和历史记录,推荐相关表或字段。 访问日志:记录用户查询和访问频率,优化知识库内容。 4. 技术实现 NLP技术: 构建语义搜索引擎,理解用户查询意图。 结合预训练语言模型(如BERT)进行分类和提取。 图数据库: 使用Neo4j或类似工具存储和查询复杂血缘关系。 API层: 提供标准化接口供其他系统调用。 5. 持续维护 定期更新元数据,保持与实际业务一致。 收集用户反馈,优化知识库功能。 来源(公众号): 源动数据-网点选址和效能管理
2025-01-15 16:48 251
随着大数据时代的来临,数据已成为企业的核心资产和竞争力的源泉。然而,海量、多源、异构数据的汇聚,也给数据管理带来诸多挑战:数据质量参差不齐、数据割裂缺乏统一视图、数据安全隐私面临威胁……在这一背景下,人工智能(AI)技术的崛起,为破解数据管理难题带来了新的曙光。AI以其高效、智能、自适应的特性,正在深刻重塑数据管理的方方面面,让数据资产焕发新的生机。 一、机器学习优化数据治理流程 数据治理是数据管理的顶层设计和统领全局的纲领,涵盖数据标准、质量、安全、生命周期管理等诸多维度。传统的数据治理多依赖人工制定规则、手动执行流程,难以适应数据规模激增、业务需求快速变化的大数据时代。机器学习以其自动化、自适应的学习能力,为数据治理注入新的动力,推动治理流程的优化重塑。 1. 异常检测与数据质量监控 数据质量是数据价值发挥的基石,粗糙的"原料"只能酿造劣质的"美酒"。传统的数据质量监控,多依赖人工设置阈值、编写规则,存在滞后性和主观性。基于机器学习的异常检测技术,能够从海量数据中自主学习"正常"的模式和边界,及时发现数据质量问题,大幅提升监控的实时性和全面性。 无监督学习算法如孤立森林isolation forest、Birch聚类等,能够从多维度挖掘数据间的内在关联,识别"离群点",实现无需预定义规则的异常检测。有监督学习算法如SVM、随机森林Random Forest等,能够从已标注的异常数据中总结规律,生成高准确率的异常分类模型,自动判别新来数据的健康状况。 此外,机器学习还能建立数据质量的台账和血缘,追溯异常数据的来源、影响范围,形成"监测-诊断-优化"的全流程质量管控。 2. 智能数据分类与数据溯源 海量的企业数据,往往散落在各个业务系统和部门中,缺乏统一的分类体系和管理视图。AI可以作为数据分类的利器,自动探查数据的特征和关系,生成多维度、细粒度的数据地图。 例如,无监督学习中的主题模型LDA,能从企业文档库中抽取潜在语义主题,发现内在关联的文档簇,形成自动文档分类。图神经网络等算法,能从复杂的数据关系网络中学习数据的表示向量,刻画数据间的相似性,实现数据的聚类。多视图学习能融合数据的结构化特征和非结构化语义,进行更全面、精准的分类。 当企业数据地图绘就,每一个数据都不再是信息孤岛,而是全局拼图中有机联系的一环。数据溯源也随之实现了自动化。机器学习能分析数据血缘和影响链路,当业务需求或数据结构发生变化,自动推演、定位下游的影响范围,及时调整数据流程与计算逻辑,大幅降低数据治理成本。 二、知识图谱构建与数据资产盘点 企业数据资产管理的目标,在于将数据转化为可持续创造价值的核心资产。要做到这一点,传统的面向过程的管理模式已然不敷使用,需要从"数据"跃迁到"知识"的层次,从全域视角理解数据的内涵价值、相互关联。知识图谱技术应运而生,它融合了机器学习、自然语言处理、语义网等多种AI技术,能够从结构化和非结构化数据中抽取实体、关系、属性,形成语义丰富的知识网络,既是知识提炼的"机器",也是数字资产盘点的"明镜"。 1. 自动化元数据提取 元数据是对数据的结构化描述,如数据的业务归属、访问权限、质量标准等,是数据管理的核心要素。传统的元数据管理高度依赖人工录入和维护,当数据规模庞大,难免疏漏。AI可实现元数据的自动化提取,将非结构化、半结构化的数据"翻译"成结构化的知识要素。 例如,命名实体识别技术能自动发现数据表、字段名称中蕴含的业务实体,如"CRM_Customer_Detail"中的"Customer"。自然语言处理技术能解析数据字典、业务文档,提炼数据资产的定义、业务规则等语义信息。本体学习等技术能从数据模式、约束中学习本体知识,构建数据血缘元数据。 从杂乱数据中"淘金",AI让数据的业务价值浮出水面,盘活沉睡的数字资产,形成企业统一的"知识地图",让管理者对数据资产的全貌了然于胸。 2. 数据血缘与影响分析 元数据提取呈现了数据的静态视图,而数据血缘则刻画了数据资产的动态生命周期。机器学习能够从ETL流程、数据库日志等数据中,自动抽取数据的上下游依赖关系,生成端到端的数据血缘图。 在此基础上,知识推理技术能够揭示数据变化的因果链条和影响范围。例如,当源系统数据模型调整时,知识图谱能推演出下游的数据应用、报表受到的级联影响,让数据治理做到"心中有数"。当业务需求变化,需要调整数据口径时,数据血缘图能快速定位上游"源头活水",指引数据优化,实现需求敏捷响应。 可以预见,AI驱动的自动化元数据管理和数据血缘分析,将成为未来数据治理的利器,实现数据资产全生命周期的"透明化"管理,让数据创造价值的路径更加清晰。 三、AI提升数据安全与隐私保护水平 随着数据资产的聚集,其安全性、合规性、私密性也日益成为企业的核心诉求。传统的数据安全防护,多依赖静态的访问控制规则和加密手段,在动态多变的安全威胁面前,显得被动和滞后。AI为数据安全智能赋能,通过云监测、行为建模、威胁情报等手段,构筑起更加主动、弹性、韧性的安全防护体系。 1. 数据脱敏与隐私保护 合规与隐私已成为数据价值开发的重要前提。当企业内外部数据需要交换共享时,如何在确保合规的前提下,最大化挖掘数据价值,成为亟需破题的难题。AI可为数据脱敏和隐私保护赋能,在源头实现数据的"净化"和"无害化"。 例如,机器学习能够自动发现和定位数据集中的敏感信息,如身份证号、手机号等,实现PII(个人隐私信息)的精准识别。进而,差分隐私、同态加密等隐私保护技术,能在保留数据统计特性的前提下,实现数据集的扰动和脱敏,即便是脱敏数据泄露,也难以追溯到个人。联邦学习更是允许在不泄露原始数据的前提下,实现多方数据的共享建模。 这些AI隐私保护技术,让数据交换不再是"鱼与熊掌不可兼得",而是在合规与价值之间实现平衡,为数据要素的自由流动扫清障碍。 2. AI驱动的数据访问控制 传统的数据访问控制,多依赖静态的"人-角色-权限"三元组,存在粒度粗、维护成本高等问题,难以适应数据资产管理的精细化、动态化需求。机器学习可为访问控制赋予更多动态智能因子,实现更精准、安全的权限管理。 其一,用户与实体行为分析(UEBA)技术,能从海量数据访问日志中学习用户的行为模式,构建行为基线和威胁情报,及时识别非法、越权的数据访问行为,让数据监管如"千里眼"般洞悉微末。 其二,图神经网络、关系嵌入等技术,能够从企业的组织架构、业务流程等复杂网络中,学习员工的角色特征,自动生成细粒度的数据访问策略。当组织架构、人员职责变化时,访问权限可自适应调整,大幅降低权限管理的时间成本。 此外,AI还能基于用户画像,实现数据访问的精细化定制。例如,对于数据分析人员,自动推荐相关数据表并开通访问权限;而对于业务人员,则推送数据看板和报告,避免误操作风险。 总之,AI让数据访问控制不再是"一刀切",而是因需而变、因人而异,在确保合规安全的同时,让数据价值有的放矢地流向需求点,实现数据价值最大化。四、自然语言处理简化数据访问 四、自然语言处理简化数据访问 在数据资产管理中,数据消费的难度也是一大痛点。传统的数据分析,需要用户具备一定的IT技能,如SQL、Python等。这不仅提高了数据应用的门槛,也制约了数据价值的释放。自然语言处理(NLP)技术的进步,为打通人与数据的鸿沟带来了新的可能,用户能够用自然语言直接"对话"数据,大幅降低数据获取和洞见萃取的难度。 1. 智能问答系统 智能问答是NLP最成熟的应用场景之一。用户以自然语言提问,系统通过语义理解和知识推理,自动生成答案。将智能问答技术引入数据分析,能让业务用户直接用口语化的问题获取数据洞见,大幅简化使用流程。 例如,用户问"我们的销量top10客户有哪些",问答系统能理解其语义为一个topN查询,生成对应的SQL,自动访问数据仓库并返回结果。当用户进一步追问"他们的订单金额同比增长如何"时,系统能在上下文中推断出"他们"指代上文提到的top10客户,关联相关数据表,计算出订单金额的时间序列,并以可视化图表形式返回。 在问答系统中,知识库是关键。它以知识图谱的形式,对数据仓库的表、字段、关系进行语义建模,构建数据资产的"百科全书"。机器学习、深度学习算法在知识库中寻找问题的答案线索,实现从自然语言到结构化查询(如SQL)的自动转译,让数据直接"开口说话"。 2. 语义搜索与数据推荐 当用户需求难以用一个问题直接表达,或尚不明确具体分析思路时,语义搜索和推荐可为其探索数据提供向导。用户以关键词形式表达大致诉求,系统自动理解搜索意图,找出语义相关的数据资产,形成个性化推荐。 例如,用户以"销售漏斗分析"为关键词搜索,系统能抓取查询的核心语义,在数据资产目录中发现"客户管理"、"营销活动"、"商机转化"等相关主题,自动生成数据集锦和分析报告模板,供用户参考启发。 在搜索与推荐引擎中,NLP技术贯穿始终。词汇-短语-句子嵌入(embedding)能够捕捉查询语义;文本相似度计算、主题聚类等算法能发现语义关联的数据表;协同过滤、强化学习等算法能基于用户的历史行为和关注点,生成个性化推荐。 可以说,NLP让数据资产管理从"千人一面"走向"千人千面",用户无需学习复杂的数据模型和检索语法,即可轻松游弋在数据的海洋中,找到"心仪"的数据资产,用最短的路径抵达洞见的彼岸。 结语 AI正在以"智能+"的形态,驱动数据管理走上智能化、自动化的崭新征程。智能数据治理让数据有迹可循、有源可溯;智能数据资产盘点让数据价值一览无余、跃然纸上;智能安全隐私保护让数据合规有度、流动有序;智能数据服务让萃取价值轻松惬意、洞见唾手可得。 放眼未来,AI与数据管理将加速融合、交叉创新,形成一个良性循环:AI从数据中汲取智慧,反哺数据管理流程;而经过AI淬炼的高质量数据资产,又为AI的进一步演进提供更优质的"燃料"。二者携手共进,定将开创数据价值最大化的新局面。 来源(公众号): DATA数据社区
2025-01-13 10:44 406
随着全球经济进入数字化时代,越来越多的企业意识到数字化转型的紧迫性。然而,数字化转型不仅仅是技术升级,更是企业战略、文化、组织结构和运营模式的全方位变革。尽管数字化转型已成为企业追求可持续发展的重要手段,但现实中,许多企业在推进数字化转型过程中面临诸多挑战,甚至陷入常见的误区。本文将总结数字化转型的三大真相,深入分析企业在转型过程中常遇到的难点和误区,并提出切实可行的建议,以帮助企业实现成功的数字化转型。 一、真相一,数字化转型不仅是技术问题,更是战略问题 挑战:数字化转型的本质是战略性变革 许多企业将数字化转型简单理解为技术升级或引入新的IT系统,但实际情况远不止如此。数字化转型的核心在于企业整体战略的转型,而不仅仅是技术的应用。企业在进行数字化转型时,需要从组织文化、业务流程、客户体验等多个层面进行深度变革,以适应数字经济的快速发展。 许多企业在数字化转型中,往往忽视了战略规划的重要性,片面追求技术先进性,导致最终数字化项目的失败。例如,某些企业购买了大量的先进技术设备或软件系统,但由于没有明确的数字化战略和业务目标,这些技术无法有效融入到企业运营中,甚至成为负担。 误区:认为技术投资等同于数字化转型 常见的误区之一是将技术投资视为数字化转型的全部。很多企业花费巨资引入最先进的技术,却忽视了业务流程的改造和组织文化的调整。事实上,技术只是数字化转型的一部分,企业需要结合自身的战略需求,制定清晰的数字化路线图,并将其融入到企业的长期发展规划中。 建议:制定清晰的数字化战略 为了避免技术与业务脱节的情况,企业在推动数字化转型时,首先需要制定明确的数字化战略。企业应通过深入分析市场环境、竞争态势、客户需求,结合自身的核心竞争力,设定具体的数字化目标。同时,企业应确保技术应用与业务流程变革同步进行,通过流程优化、数据驱动决策和跨部门协作,真正实现数字化转型的价值。 二、真相二,文化与人才是数字化转型的关键驱动因素 挑战:组织文化与员工技能的匹配 数字化转型不仅仅是引入新技术,更涉及组织文化的变革和人才结构的重塑。企业的数字化转型往往会面临来自内部组织文化的阻力,尤其是在传统企业中,员工可能对新技术感到不适应,或对改变现有的工作方式感到抵触。这种文化上的不适应会极大地阻碍数字化转型的顺利推进。 此外,数字化转型对员工技能的要求也提出了新的挑战。很多传统企业的员工缺乏数字化思维和技术操作能力,难以适应快速变化的数字化环境,进而导致数字化转型的效果不如预期。 误区:忽视了员工在数字化转型中的重要性 企业在推进数字化转型时,常常过分依赖外部技术供应商或咨询公司,忽视了内部员工的培养和组织文化的调整。事实上,员工是推动数字化转型的核心力量。如果企业忽视员工的角色,无法营造支持创新的组织文化,即使拥有先进的技术,也很难发挥出真正的效能。 建议:加强人才培养与文化变革 为了顺利推进数字化转型,企业需要加强对员工的培训,提升他们的数字化技能和技术操作能力。同时,企业应鼓励员工接受新的工作方式,营造创新、灵活和开放的组织文化。高层管理者还应通过积极的领导力,引导企业内部形成对数字化转型的共识和认同感,以确保组织上下在转型过程中保持一致性和协同性。 三、真相三,数据是数字化转型的核心资产,但其价值未被充分挖掘 挑战:数据资源的整合与应用难度大 在数字化转型过程中,数据被视为最重要的生产要素之一。企业通过收集、分析和应用海量数据,可以优化运营效率、提升客户体验并推动业务创新。然而,现实中,很多企业在数据资源的整合与应用方面存在较大的困难。一方面,企业的数据来源多样且分散,难以形成统一的数据库;另一方面,数据质量问题、隐私保护和安全风险等问题,也给数据的有效应用带来了挑战。 误区:低估了数据管理和分析的复杂性 很多企业在数字化转型中,对数据的重要性有一定的认识,但往往低估了数据管理和分析的复杂性。企业可能花费大量资源收集数据,却无法对其进行有效的管理和分析,导致数据价值难以充分发挥。此外,一些企业过于依赖历史数据,忽视了数据预测分析和实时决策的能力,导致决策滞后于市场变化。 建议:构建强大的数据治理体系 为了充分挖掘数据的价值,企业需要构建强大的数据治理体系,包括数据采集、存储、管理、分析和应用的全流程管理。首先,企业应统一数据标准,确保数据的准确性和一致性。其次,企业应加强对数据隐私和安全的保护,防止数据泄露和滥用。最后,企业应大力引入大数据分析工具和人工智能技术,通过数据驱动的决策,提升业务的敏捷性和创新能力。 来源(公众号):AI战略数字转型
2025-01-13 10:22 418
在数字化转型的时代背景下,数据治理已成为企业提升核心竞争力的关键。其中,数据标准化作为数据治理的重要组成部分,对确保数据质量、提升数据价值、保障数据安全具有不可替代的作用。本文将探讨数据标准化的构建策略与实施路径,为企业实现高效数据治理提供参考。 数据标准化的重要性 数据标准化是通过制定一套由管理制度、管控流程和技术工具共同组成的体系,来对数据定义、分类、格式、编码等进行标准化管理。对企业而言,数据标准化意味着对数据类型、长度、归属部门等定义一套统一的规范,以保障不同业务系统之间对同样的数据理解统一和使用统一。 数据标准化的重要性体现在以下几个方面: 消除数据不一致:通过统一的数据标准,可以消除数据存储结构、定义、理解以及来源的不一致性,从而实现企业级单一数据视图的形成,促进信息资源共享。 提升数据质量:数据标准可以作为新建系统的参考依据,减少数据转换,提高数据质量。同时,数据标准还可以支撑系统改造,促进系统集成。 提高工作效率:对业务人员而言,数据标准建设可提升业务规范性,保障人员对数据业务含义理解一致;对技术人员而言,数据标准可以提升系统实施工作效率,降低出错率。 支撑经营决策:数据标准建设可以提供更加完整、准确的数据,支撑经营决策和精细化管理。 数据标准化的构建策略 数据标准化的构建策略主要包括以下几个方面: 明确战略定位:将数据治理纳入整体战略规划中,明确数据治理在企业数字化转型中的核心地位,以及其对业务决策、产品创新、风险防控等方面的支撑作用。 设定具体目标:根据企业实际情况,设定清晰、可量化的数据治理目标,如提升数据质量、增强数据安全性、促进数据共享与利用等。 成立数据治理委员会:由高层管理者牵头,跨部门组建数据治理委员会,负责数据治理战略的制定、监督执行及效果评估。 制定数据政策:建立全面的数据政策体系,包括数据分类分级、数据访问控制、数据质量管理、数据安全保护等方面的政策。 在构建数据标准化的过程中,还需要特别注意以下几个方面: 参考国际和行业标准:在制定企业数据标准时,应首先收集现行的国家标准或行业标准,再根据企业需求确定数据标准的范围。 数据标准分类规划:数据标准可以从数据结构、数据内容来源、技术业务三个维度进行分类,如结构化数据标准、非结构化数据标准、基础类数据标准、派生类数据标准、业务数据标准和技术数据标准等。 定义数据标准体系框架和分类:在数据标准调研的基础上,结合行业最佳实践,定义企业自身的数据标准体系框架和分类。 数据标准化的实施路径 数据标准化的实施路径主要包括以下几个阶段: 数据标准设计制定:定义数据标准及相关规则,包括对数据标准的主题、信息大类、信息小类、信息项、数据类型、数据长度、数据定义、数据规则等进行规划设计。 评审与修订:在完成初步的数据标准定义后,征询数据管理部门、数据标准部门以及相关业务部门的意见,并进行意见分析和标准修订。 标准发布:最终发布数据标准,并在执行过程中加强对业务人员的数据标准培训、宣贯工作。 数据采集清洗:通过ETL工具将数据从来源端经过抽取、转换、加载至目的端,确保数据的准确性和完整性。 数据库设计与存储:基于业务理解,设计数据库表结构,并根据数据资源清单设计数据采集清洗流程,将整洁干净的数据存储到数据库或数据仓库中。 元数据管理:对基础库和主题库中的数据项属性进行管理,并将数据项的业务含义与数据项进行关联,便于业务人员理解数据库中的数据字段含义。 数据质量管理:建立数据质量管理和校验的流程,包括数据清洗、数据验证和异常处理等,确保数据的准确性和完整性。 数据安全管理:确定数据的安全要求和分类标准,如敏感度、保密性、可用性等,并建立数据的安全管理和保护的流程。 在数据标准执行过程中,还需要特别注意以下几个方面: 评估确定落地范围:选择某一要点作为数据标准落地的目标,如业务的维护流程、客户信息采集规范、某个系统的建设等。 制定落地方案:深入分析数据标准要求与现状的实际差异,以及落标的潜在影响和收益,并确定执行方案和计划。 推动方案执行:推动数据标准执行方案的实施和标准管控流程的执行。 跟踪评估成效:综合评价数据标准落地的实施成效,跟踪监督标准落地流程执行情况,收集标准修订需求。 数据标准化的持续优化 数据标准并非一成不变,而是会随着业务的发展变化以及数据标准执行效果而不断更新和完善。 在数据标准维护的初期,需要完成需求收集、需求评审、变更评审、发布等多项工作,并对所有的修订进行版本管理。 中期应完成数据标准日常维护工作与数据标准定期维护工作。 后期应重新制定数据标准在各业务部门、各系统的落地方案,并制定相应的落地计划。 来源(公众号):数据治理体系
2025-01-10 09:37 529
1.数据,是指任何以电子或其他方式对信息的记录。数据在不同视角下被称为原始数据、衍生数据、数据资源、数据产品和服务、数据资产、数据要素等。 2.原始数据,是指初次产生或源头收集的、未经加工处理的数据。 3.数据资源,是指具有价值创造潜力的数据的总称,通常指以电子化形式记录和保存、可机器读取、可供社会化再利用的数据集合。 4.数据要素,是指投入到生产经营活动、参与价值创造的数据资源。 5.数据产品和服务,是指基于数据加工形成的,可满足特定需求的数据加工品和数据服务。 6.数据资产,是指特定主体合法拥有或者控制的,能进行货币计量的,且能带来经济利益或社会效益的数据资源。 7.数据要素市场化配置,是指通过市场机制来配置数据这一新型生产要素,旨在建立一个更加开放、安全和高效的数据流通环境,不断释放数据要素价值。 8.数据处理,包括数据的收集、存储、使用、加工、传输、提供、公开等。 9.数据处理者,是指在数据处理活动中自主决定处理目的和处理方式的个人或者组织。 10.受托数据处理者,是指接受他人委托处理数据的个人或者组织。 11.数据流通,是指数据在不同主体之间流动的过程,包括数据开放、共享、交易、交换等。 12.数据交易,是指数据供方和需方之间进行的,以特定形态数据为标的,以货币或者其他等价物作为对价的交易行为。 13.数据治理,是指提升数据的质量、安全、合规性,推动数据有效利用的过程,包含组织数据治理、行业数据治理、社会数据治理等。 14.数据安全,是指通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力。 15.公共数据,是指各级党政机关、企事业单位依法履职或提供公共服务过程中产生的数据。 16.数字产业化,是指移动通信、人工智能等数字技术向数字产品、数字服务转化,数据向资源、要素转化,形成数字新产业、新业态、新模式的过程。 17.产业数字化,是指传统的农业、工业、服务业等产业通过应用数字技术、采集融合数据、挖掘数据资源价值,提升业务运行效率,降低生产经营成本,进而重构思维认知,整体性重塑组织管理模式,系统性变革生产运营流程,不断提升全要素生产率的过程。 18.数字经济高质量发展,是指围绕加快培育新质生产力,以数据要素市场化配置改革为主线,通过协同完善数据基础制度和数字基础设施、全面推进数字技术和实体经济深度融合、持续提升数字经济治理能力和国际合作水平,实现做强做优做大目标的数字经济发展新阶段。 19.数字消费,是指数字技术、应用支撑形成的消费活动和消费方式,既包括对数智化技术、产品和服务的消费,也包括消费内容、消费渠道、消费环境的数字化与智能化,还包括线上线下深度融合的消费新模式。 20.产业互联网,是指利用数字技术、数据要素推动全产业链数据融通,赋能产业数字化、网络化、智能化发展,推动业务流程、组织架构、生产方式等重组变革,实现产业链上下游协同转型、线上线下融合发展、全产业降本增效与高质量发展,进而形成新的产业协作、资源配置和价值创造体系。 21.城市全域数字化转型,是指城市以全面深化数据融通和开发利用为主线,综合利用数字技术和制度创新工具,实现技术架构重塑、城市管理流程变革和产城深度融合,促进数字化转型全领域增效、支撑能力全方位增强、转型生态全过程优化的城市高质量发展新模式。 22.“东数西算”工程,是把东部地区经济活动产生的数据和需求放到西部地区计算和处理,对数据中心在布局、网络、电力、能耗、算力、数据等方面进行统筹规划的重大工程,比如人工智能模型训练推理、机器学习等业务场景,可以通过“东数西算”的方式让东部业务向西部风光水电丰富的区域迁移,实现东西部协同发展。加快推动“东数西算”工程建设,将有效激发数据要素创新活力,加速数字产业化和产业数字化进程,催生新技术、新产业、新业态、新模式,支撑经济高质量发展。 23.高速数据网,是指面向数据流通利用场景,依托网络虚拟化、软件定义网络(SDN)等技术,提供弹性带宽、安全可靠、传输高效的数据传输服务。 24.全国一体化算力网,是指以信息网络技术为载体,促进全国范围内各类算力资源高比例、大规模一体化调度运营的数字基础设施。作为“东数西算”工程的2.0版本,具有集约化、一体化、协同化、价值化四个典型特征。 25.元数据,是定义和描述特定数据的数据,它提供了关于数据的结构、特征和关系的信息,有助于组织、查找、理解、管理数据。 26.结构化数据,是指一种数据表示形式,按此种形式,由数据元素汇集而成的每个记录的结构都是一致的,并且可以使用关系模型予以有效描述。 27.半结构化数据,是指不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层的一种数据化结构形式。 28.非结构化数据,是指不具有预定义模型或未以预定义方式组织的数据。 29.数据分析,是指通过特定的技术和方法,对数据进行整理、研究、推理和概括总结,从数据中提取有用信息、发现规律、形成结论的过程。 30.数据挖掘,是数据分析的一种手段,是通过统计分析、机器学习、模式识别、专家系统等技术,挖掘出隐藏在数据中的信息或者价值的过程。 31.数据可视化,是指通过统计图表、图形、地图等图形化手段,将数据中包含的有用信息清晰有效地传达出来,以便于数据使用者更好地理解和分析数据。 32.数据仓库,是指在数据准备之后用于永久性存储数据的数据库。 33.数据湖,是指一种高度可扩展的数据存储架构,它专门用于存储大量原始数据和衍生数据,这些数据可以来自各种来源并以不同的格式存在,包括结构化、半结构化和非结构化数据。 34.湖仓一体,是指一种新型的开放式的存储架构,打通了数据仓库和数据湖,将数据仓库的高性能及管理能力与数据湖的灵活性融合起来,底层支持多种数据类型并存,能实现数据间的相互共享,上层可以通过统一封装的接口进行访问,可同时支持实时查询和分析。 35.隐私保护计算,是指在保证数据提供方不泄露原始数据的前提下,对数据进行分析计算的一类信息技术,保障数据在产生、存储、计算、应用、销毁等数据流转全过程的各个环节中“可用不可见”。隐私保护计算的常用技术方案有安全多方计算、联邦学习、可信执行环境、密态计算等。常用的底层技术有混淆电路、不经意传输、秘密分享、同态加密等。 36.安全多方计算,是指在一个分布式网络中,多个参与实体各自持有秘密数据,各方希望以这些数据为输入共同完成对某函数的计算,而要求每个参与实体除计算结果、预期可公开的信息外均不能得到其他参与实体的任何输入信息。主要研究针对无可信第三方情况下,安全地进行多方协同的计算问题。 37.联邦学习,是指一种多个参与方在保证各自原始私有数据不出数据方定义的可信域的前提下,以保护隐私数据的方式交换中间计算结果,从而协作完成某项机器学习任务的模式。 38.可信执行环境,是指基于硬件级隔离及安全启动机制,为确保安全敏感应用相关数据和代码的机密性、完整性、真实性和不可否认性目标构建的一种软件运行环境。 39.密态计算,是指通过综合利用密码学、可信硬件和系统安全相关技术,实现计算过程数据可用不可见,计算结果能够保持密态化,以支持构建复杂组合计算,实现计算全链路保障,防止数据泄漏和滥用。 40.区块链,是分布式网络、加密技术、智能合约等多种技术集成的新型数据库软件,具有多中心化、共识可信、不可篡改、可追溯等特性,主要用于解决数据流通过程中的信任和安全问题。 来源:国家数据局
2025-01-09 17:35 105
2014年,大数据首次写入政府工作报告,大数据逐渐成为各级政府关注的热点;2019年10月,十九届四中全会首次将数据纳入生产要素范畴;2023年2月,中共中央、国务院印发的《数字中国建设整体布局规划》,将数据要素放到一个更为宏大的“数字中国”图景中;3月7日,十四届全国人大会议上,根据国务院关于提请审议国务院机构改革方案的议案,我国将组建国家数据局。随着国家政策的密集发布,数据作为关键生产要素的地位进一步明确。 数据成为数字经济的关键生产要素 数据并非从诞生起就是生产要素。近二十年来,人类采集数据、处理数据的能力有了质的跃升,经济活动数字化转型加快,数据才逐渐具备成为生产要素的性质,对提高生产效率的乘数作用凸现。激活数据要素的根本目的是以多样、创新的方式投入生产,为经济社会生产创造更大的价值。 数据要素究竟如何发挥其作为生产要素的价值,需要进一步分析厘清。随着信息技术的发展和产业应用的演化,数据要素投入生产的途径可分为三次价值释放过程,即数据支撑业务贯通、数据推动数智决策、数据流通对外赋能,如上图所示。需要注意的是,之所以说这三次价值是数据要素价值释放的三条途径,是因为一方面这三次价值之间存在一种递进关系,后者往往以前者为基础;另一方面,这三条途径存在一种并列关系,这些价值可以且有必要同时予以关注、同时充分释放。 一次价值:数据支撑业务贯通 数据投入生产的一次价值体现在支撑政府、企业等组织的业务系统运转,实现业务间的贯通。首先,数据经由各个业务系统的设计而产生,经过业务系统的规范,在特定范围内实现标准化的数据得以不断积累,逐渐汇聚成可利用的资源。其次,这些数据也支撑着业务系统的正常运转,通过计算机对数据的读写,实现业务初步的标准化、自动化管理和运营。最后,一定程度标准化的数据具备了通用性,数据得以贯通了线下与线上的界限,贯通业务流程间的界限,甚至有贯通组织内部业务领域间的界限的能力。总之,业务系统搭建起来、数据在系统中运转起来时,就已经在生产活动中释放出价值。 从投入生产的执行环节看,数据支撑业务贯通直观表现为提高劳动等生产要素的利用率。技术要素与之类似,通过将技术投入生产环节,实现业务流程中对部分劳动、岗位的替代,发挥其乘数作用。在这个意义上,就像将技术投入生产释放价值一样,发挥数据要素作用的首要工作是充分认识数据要素的作用,真正在业务中用到数据、贯通业务。 此时,数据以业务系统为单元集中产生、单一存储,相应的治理工作也以增、删、改、查、对齐、合并等常规的数据库管理为主,多集中于局部业务领域的流程改善和相关业务数据的贯通。虽然此阶段数据并未得到深度整合与分析,但无论是开发系统积累数据,还是操作数据规范业务流程,还是利用数据贯通业务,它们都是数据世界内的生产活动,创造出相应的价值。 因此,数据的一次价值是是实现数字化转型、提高组织内部经营管理效率的第一步。为推动数据的一次价值释放,政府、企业等组织的主要工作重心是业务数据化及各类业务信息系统建设。例如,二十年前,我国以“两网、一站、四库、十二金”工程为代表的电子政务建设全面开展,经过多年推进,各级政府业务信息系统建设和应用成效显著,通过业务数据化的方式实现了数据在系统中的有效运转和贯通,公共服务水平得到全面提升,为当今的数字政府建设奠定了基础。这一阶段,组织内部所持有的数据种类相对单一、计算的要求简单,技术门槛较低,关键是深入挖掘业务需求,明确业务数据化方向。当前仍有大量行业、大量企业未能有效实现数字化转型,“流程靠跑、查询靠问”的传统工作模式拖累了生产效率的提升。 总之,数据要素的一次价值如同寻找矿洞、积累矿藏,是数据要素流通的基础工作。在众多行业和企业尚不具备业务数据化能力的背景下,对这些行业和企业谈论数据要素市场还为时过早。更好发挥数据要素作用,需要帮助这些行业和企业释放数据要素的一次价值,用数据支撑起业务贯通。随着业务需求的挖掘和业务信息系统的建设,大量宝贵的业务数据不断积累,组织内业务系统数据独立存储、共享壁垒高筑的情形不再适应生产经营发展的需要,数据统一管理、贯通使用的场景不断涌现,为进一步挖掘数据的生产要素价值奠定了重要基础。 二次价值:数据推动智能决策 数据要素投入生产的二次价值释放体现在,通过数据的加工、分析、建模,可以揭示出更深层次的关系和规律,使生产、经营、服务、治理等环节的决策更智慧、更智能、更精准。一方面,通过对大量数据的管理和分析,组织内部的决策者可以实现“用数据说话、用数据决策”,运用数据呈现出的关键指标与信息评估发展态势,即时有效防范化解风险,创新行动方略;另一方面,数据分析也直接嵌入到系统中,与业务紧密融合,即时的数据挖掘、分类、预测、聚类等直接向业务赋予智能化的价值。 这两方面中,数据都是通过带来新信息、实现认知层面的升级来创造生产价值。从控制论的角度看,物质、能量和信息是构成世界的三大基石,信息不是物质也不是能量。如同土地要素是所有生产经营活动的物质基础,资本要素提高了物质交换的效率,劳动要素和技术要素促进了能量的转移与转换,数据要素可以支撑起对信息这一基石的创造与转换。与其他要素相比,对信息的把握与运用是数据要素价值释放的独特所在。数据要素的二次价值中,“决策”一词是广义的含义,既包括人的抉择与决策,又包括业界所说的机器“智能化决策”。 人和机器都可以根据各种信息、规律、规则做出选择,人可以用数据更好地认识形势和规律,人的能力难以认知到的业务规则可以交给机器认知。从根本上讲,数据二次价值释放是深层关系与规律的挖掘带来的认知突破,提供了独特的观察视角,由此构建出理解、预测乃至控制事物运行的新体系,从而摆脱了经验和人工的局限。 当前,一些头部制造业企业已建立起针对业务管理和经营决策的完整数据链,部分关键的经营管理决策动作可以被数据替代,从而实现通过业务智能化优化管理岗位用工结构;各大银行充分整合中小企业的经营数据,挖掘更准确的企业客户画像与信用评分,由此决定中小企业贷款风险评估结果,为中小企业低成本融资提供可能。 可以看到,数据要素不仅可以投入于自有业务支撑分析决策,还能够与其他生产要素的交融,形成新的要素组合和要素结构。数据驱动的智慧化、智能化决策通过与传统要素的业务化结合,可以实现更少的要素资源投入创造更多的物质财富和服务,从而优化传统生产要素的经营与配置,使传统要素价值倍增,提升全要素生产效率,实现生产率跃升、产业链优化和竞争力重塑。 总之,数据要素的二次价值具有其他生产要素不具备的独特性,是数据要素价值释放的核心所在。数据要素流通的重要目标也是回馈二次价值的释放,使数据在认知决策层的价值惠及广大主体,因此数据要素二次价值的基础也必须筑牢。为推动数据要素二次价值的释放,各组织需主动提升数据意识和数据挖掘能力,在数据分析、人工智能等技术的辅助下,构建数据自动化、智能化采集、处理、执行的新生产体系,消除人的认知误区和主观偏见,发挥数据要素在生产力竞争中的关键作用。 战略决策者可以结合对业务目标的深刻理解,利用大量数据挖掘呈现的结果做出更具智慧的决策,执行层可以充分利用数据分析结果,让人通过智能的关联、图谱等做出更有效的选择,让机器寻找关键的函数、标签、画像,实现自动化的预测、分析,使数据的二次价值回馈一次价值,业务运转变得更加智能。 三次价值:数据流通对外赋能 数据要素投入生产的三次价值释放让数据流通到更需要的地方,让不同来源的优质数据在新的业务需求和场景中汇聚融合,实现双赢、多赢的价值利用。流通赋能是数据要素价值飞跃的一个关键。一方面,数据具有规模报酬递增效应,越大规模、越多维度的数据融合汇聚创造的价值倍增,金融、物流、通信、汽车等等经济活动中的各类事项均可被多方来源的数据赋能,企业自有数据与外部数据的充分融合可以实现数据应用价值的最大化。因此,随着各组织对数据一次价值、二次价值的释放,各组织对于数据的渴求已经超越了自身产生的数据。 另一方面,现阶段大量数据集中于少数主体,数据要素分布不均、结构失衡的问题较为突出。数据具有的低成本复制性可以改变要素投入生产的结构,更大规模、更广范围的数据要素利用不会增加过多额外成本,但可以产生超额利润,带来社会福利增加。“数据二十条”强调促进全体人民共享数字经济发展红利,数据要素流通可以激发数据的正外部性,使数据价值惠及广大市场主体和全体人民。 历史经验表明,生产要素并不必然需要流通,但流通有助于进一步释放生产要素价值。农业领域,土地要素自古释放着生产粮食的价值。土地流转政策的改革与落地,让土地在供方和需方间有效流转,进一步促进了农民获得财产性增收,激活了农业剩余劳动力的转移。参考土地要素流转经验,结合数据要素自身属性,数据要素的三次价值释放需要各组织有效管理自有数据,提升高质量数据供给能力,挖掘外部数据引入需求。需求与供给间存在对立统一的关系,各组织及相关服务商需要关注多元化能力的提升。一次数据流通过程中,数据供给方和需求方虽然不是同一主体,但一个主体可以兼具数据供给者和需求者的身份,在不同业务场景中进行转换。 在追求利益的市场自发手段调节下,需求能够牵引供给,供给也能创造需求。供给方与需求方的数据框架在相互对齐的过程中,不断扩大相应的市场规模,增加新的经济增长点,从而实现在多元场景中持续释放数据要素的业务价值、经济价值和社会价值。 为实现数据供需双方高效规范匹配,数据要素市场培育逐渐成为行业关注焦点。市场的基本含义是各方在共识规约下自由参与交换的场所。数据要素市场就是以数据供方、需方为主体,以各种形态的数据为对象,以流通为手段,从而实现参与方各自诉求的场所,是一系列制度和技术支撑的复杂系统,数据供给、业务需求、流通模式、权利关系、价格机制、技术条件、配套设施等都是数据要素市场的构成要件。因此,数据要素市场的培育应在保障安全和隐私的前提下,本着自由流动、普惠发展的原则进行鼓励和规范,使各项工作有力支撑起数据要素价值的充分释放。 结论 推动数据要素发展,是对当今技术与产业背景的深刻把握,是抢抓数字经济时代国际竞争制高点的关键举措。发展数据要素应聚焦于数据要素价值的释放。数据要素三次价值释放规律突出了数据要素本身的作用机理,在一定程度上连接起政府、企业等组织的业务数据化、数据业务化、数据资产化具体操作与整体经济社会增长、全要素生产率提升。 关于数据要素及其价值释放的基本规律还需要持续深入挖掘和阐释,但数据要素的三次价值提示我们:数据要素发展是一项系统工程,既涉及组织内部的数据应用,又涉及全社会的普惠发展;既涉及数据资源的配置,又涉及数据对配置其他资源的作用。需要强调的是,我们今天说数据在流通中可以实现价值增值和飞跃,并不意味着我们已经完全进入第三次价值的阶段。 部分组织对数据应用的感知仍然模糊,又受限于资金、人才、技术水平不足,覆盖生产活动全流程、全产业链的数据链仍不完善,尚不具备业务数据电子化或分析决策智能化的能力。这种条件下,这类组织即使引入外部数据也无法有效利用,无法形成回馈业务发展的价值回路。因此,数据要素发展需要统筹推进,一次价值和二次价值仍需要持续释放,在更广泛实现业务贯通和数智决策的基础上,全面发挥数据流通对外赋能的价值。 来源(公众号):三界逆熵实验室
2025-01-08 18:18 122
数据是一个涉及技术、经济、法律、伦理、哲学的多学科命题,数据要素既作用于生产力,也作用于生产关系;既作用于看得见的物理世界,也作用于看不见的赛博空间;既作用于传统单一要素的价值倍增,也作用于整个生产要素的资源优化。任何对数据的本质追问和系统思考都需要勇气,它折射了一个学者对现实世界真实问题的敏感度和辨别力,也考验一个学者多学科领域研究的广度和深度,我对这个领域理论研究的开拓者表示无比的崇敬。 高富平教授就是数据问题理论研究的开拓者。高富平教授《数据经济讲义》一书,围绕数据相关的基本概念和基本问题,数据内涵、数据价值、数据经济、数据权属、数据市场、数据交易等基本命题,在理论上作了很多前沿创新探索,构建了一套自己的理论体系。认真研读后,引发了我对四个基础问题的思考。 01关于数据要素创造价值的本质 AI时代,数据驱动不仅降低了成本、提升了效率,也正在重构人类认识和改造世界的方法论。正如高富平教授在《数据经济讲义》中提出的洞见“数据革命本质上是人类社会的认知革命”。近几百年来,人类经历了几次认知范式的变革:从牛顿、爱因斯坦的“理论推理阶段”,到爱迪生在一百多年前发明电灯泡的“实验验证阶段”,再到20世纪80年代大飞机研发的“模拟择优阶段”,直至今天,以AI为代表的“大数据分析”形成了一种新的范式。 在新的认知范式下,当我们去追问数据到底是怎样创造价值的,或许我们可以先追问数字化的本质到底是什么?在我看来是两场革命:一个是工具革命,一个是决策革命。 什么叫工具革命呢?马克思曾说:“手推磨产生的是封建主的社会,蒸汽磨产生的是工业资本家的社会”,“各种经济时代的区别,不在于生产什么,而在于怎样生产,用什么劳动资料生产。”回到今天的数字时代和智能时代,我们看到:传统的机器人、机床、专业设备等传统工具正升级为3D打印、数控机床、自动吊装设备、自动分检系统等智能工具,传统能量转换工具正在向智能工具演变,大幅提高了体力劳动者效率;同时CAD、CAE、CAM等软件工具提高了脑力劳动者的效率。无论是体力劳动者,还是脑力劳动者,通过新的工具,提高了生产、研发效率。“工具革命”的核心价值在于帮助人们“正确地做事”。 什么叫决策革命呢?实践中仅“正确地做事”远远不够,更重要的是“做正确的事”。今天我们讨论数据,数据带来的是一场决策的革命——“决策革命”,帮助人们做正确的事。就像图灵奖和诺贝尔经济学奖获得者西蒙所说,管理的核心就是决策。从企业决策的角度,所谓的数字化,就是不断地把经理人对管理的、物流的、采购的、研发的规律,不断地模型化、算法化、代码化,用数据驱动构建一套新的决策体系。 正如《数据经济讲义》一书中所讲的,商业的本质体现为两种要素,即价值和效率。数据能够支持智能分析,挖掘新知,促进创新,支持经营者快速和精准知情,这是数据成为新的生产要素以及企业竞争来源的根本原因。这意味着我们应当按照经济学原理组织数据的生产、流通和使用(消费)活动,以实现数据资源社会化配置和利用。这正是本书所称的“数据经济”的核心要义。由于数据的价值在于认知,因而数据经济活动最终产出是知识或智慧行动。正因此,本书认为“数据经济的目的不是生产数据,而是生产智能产品”,并将数据经济视为“知识经济的高级进阶”。 当我们讲数据驱动决策的时候,面对一个复杂的业务场景,需要满足三个基本的核心要素: 第一,你的数据是不是实时在线的。 第二,你的数据是不是端到端的。 第三,你的数据是不是科学精准的。 只有基于这三个要素,才能真正地实现数据在正确的时间、以正确的方式、传递给正确的人和机器。 什么样的治理范式才能真正有助于实现数据在正确的时间、以正确的方式、传递给正确的人和机器?对于这一重要问题,高富平教授在《数据经济讲义》一书中,着重探寻了数据经济治理新范式,并认为数据源的开放性、数据使用价值的独特性等特征决定了我们难以清晰界定产权,无法援用传统的商品或资产市场交易模式,来实现数据资源的社会化配置。为此,高富平教授创造性地提出数据持有者权,并以持有者权利和义务配置为核心,构建了一整套数据流通机制,试图寻找替代产权交易数据经济秩序,被作者称为“治理范式经济秩序”。 02关于数据要素创造价值的模式 一直以来,数据要素创造价值并不是数据本身,数据只有与基于商业实践的算法、模型聚合在一起,才能真正地创造价值。在《数据经济讲义》中,高富平教授认为:“数据因使用而有价值,数据价值在于认知。数据不存在固有价值,而数据的价值在于使用数据,认知数据代表的客观世界(或对象)的规律。单纯数据或数据没有被使用,那么就不会产生洞察、预测或智慧行动,不会给企业带来任何效益”,并鲜明地提出要“避免直接将数据视为有价值资产或者单纯通过数据交易虚增GDP的现象”。从产业实践看,数据和算法、模型结合起来创造价值,主要有三种模式: 🔵 第一种模式:比特引导原子(价值倍增)。数据要素能够提高劳动、资本、技术等单一要素的生产效率,数据要素融入到劳动、资本、技术等每个单一要素,使得单一要素的价值产生倍增效应。 🔵 第二种模式:比特替代原子(投入替代)。数据可以激活其他要素,提高产品、商业模式的创新能力,以及个体及组织的创新活力。数据要素可以用更少的物质资源创造更多的物质财富和服务,会对传统的生产要素产生替代效应。例如移动支付会替代传统ATM机和金融机制的营业场所,波士顿咨询(BCG)估计过去10年由于互联网和移动支付的普及,中国至少减少了1万亿传统线下支付基础设施建设。 🔵 第三种模式:比特优化原子(资源优化)。数据要素不仅带来了劳动、资本、技术等单一要素的倍增效应,更重要的是提高了劳动、资本、技术、土地这些传统要素之间的资源配置效率。数据生产不了馒头,生产不了汽车,生产不了房子,但数据有助于低成本、高效率、高质量地生产馒头、汽车、房子,高效率地提供公共服务。数据要素推动传统生产要素革命性聚变与裂变,成为驱动经济持续增长的关键因素。这才是数据要素真正的价值所在。 高富平教授在《数据经济讲义》将数据经济视为“知识经济的高级进阶”,认为“数据经济是推动数字经济迭代升级的新生力量,其核心是在全社会层面高效地实现数据生产力。数据经济的目的不是生产数据,而生产智能产品”。从理论上看,只有回到生产力视角,才能更全面系统认识数据创造价值的内在机理和逻辑。 数据生产力的本质是人类重新构建一套认识和改造世界的方法论,基于“数据+算力+算法”,通过在比特的世界中构建物质世界的运行框架和体系,在比特的汪洋中重构原子的运行轨道,推动生产力的变革从局部走向全局、从初级走向高级、从单机走向系统。这一变革推动劳动者成为知识创造者,将能量转换工具升级为智能工具,将生产要素从自然资源拓展到数据要素,实现资源优化配置从单点到多点、从静态到动态、从低级到高级的跃升。总之,数据生产力正在重构整个经济运行的新体系,是经济增长的新动能,正在加速变革经济生产方式和模式。 03关于AI大模型与数据要素的关系 AI大模型开启了全新的智能时代,引发人机交互、计算范式和认知协作三场革命,正在加快形成新质生产力、增强发展新动能。高富平教授在《数据经济讲义》中不仅提出“数据革命本质上是人类社会的认知革命”,还进一步指出这改变了认知和改造世界的力量构成,过去只有人类智能这一单一力量,现在形成了两类智能相互作用的局面。 什么是认知协作革命?简单地说就是找到了从问题到答案的最短路径。具体而言,AI大模型的普及应用,传统的关键词检索将转变为自然语言人机交互新模式,这是对人类知识存储、检索和使用方式的一次重构。新的人机交互也将带来协作革命,人工智能大模型驱动的AI智能体会逐步深度嵌入各类组织的需求定义、应用开发、运维管理和资源调度等环节。 高富平教授在《数据经济讲义》中敏锐提出:“泛在网络形成大数据不仅增加对客观世界认知的深度、宽度和精度,而且各种智能系统可以挖掘数据背后规律、输出知识或智慧行动”。因此,相比传统的数字化,AI大模型引发的认知协作革命,也是对数据创造价值的一次路径升级。 从数据链路看,传统数字化的数据价值实现路径是“业务-采集-分析-决策”,而大模型时代,这一路径缩短为“输入-输出”;从执行效果看,传统数字化的数据流动路径,取决于业务和决策链条,流程型IT系统往往造成很多的数据孤岛,无法实现闭环,而大模型通过“理解-规划-执行-记忆”,能力更加全面、自成闭环;从建设成本看,传统数字化需要根据场景需求逐个定制化构建,治理周期长、成本高,而大模型时代通过“泛化能力+微调”,能够更低成本、更快速度建设数据利用能力;从业务价值看,传统数字化根据需求定制解决问题的路径和结果,价值往往比较有限,而大模型可以全面提升分析预测与决策能力,解决原有IT系统无法解决的问题,如供应链协同、ChatBI、知识库等,正在重新定义产业智能。 04关于如何促进数据要素流动 数据的价值在于流动。正如高富平教授所讲的,为了实现数据智能,不仅单个组织需要投入资源,治理数据,建设智能系统,更重要的是让每个企业或组织从外部获取足够多的数据,在满足各主体对高质量数据需求的同时,让散布于各角落的数据被高效地汇集利用,使数据的社会价值得到最大化利用。 关于数据流动的价值,我之前曾有一个观点:数字化转型的本质是什么?数字化转型的本质是,在数据+算法定义的世界中,以数据的自动流动化解复杂系统的不确定性,优化资源配置效率,构建企业新型竞争优势。数据的自动流动是指把正确的数据,在正确的时间,以正确的方式,传递给正确的人和机器。 数据的流动是一个技术问题、管理问题、经济问题,也是一个法律问题。法律问题不是我的专长,高富平作为国内知名法学家,针对数据流通过程的产权问题进行了开拓性的研究。作者创造性地提出数据持有者权并以持有者权利和义务配置为核心构建数据流通体制。在这样的设计中,持有者权只是合规管理数据资源,创制数据流通利用秩序的基础,而不是用来交易的权利;持有者只要配以流通权(提供他人使用)就足以开启数据流通,而使用者因为加工使用而成为新数据的持有者。这样,数据持有者仅凭自己合法地获取数据并创造或添附价值而享有权利,同时也能够保持数据不断地流通利用。 数据的世界纷繁复杂,如何穿越“数据认知迷雾”,需要更多高富平教授这样的探索者持续不懈的努力。 来源:中国信息化百人会执委安筱鹏博士
2025-01-07 18:36 126
工业化时代很多传统企业由于洞察并把握好了工业化时代的商业逻辑,在相关行业取得了各自的优势,并建立起了稳固的护城河。但不经意间他们发现:数字化时代游戏规则即将改变了,之前牢固的护城河,随时有可能被新的跨界者颠覆。曾经越是核心优势的要素,现今已渐成沉重的枷锁。原有的经验曲线不再管用,就算在原有的轨道上将工业化时代的商业逻辑发挥到极致,也无法改变即将改变的局面。传统优势企业要想数字化时代继续领跑,需要跨越工业化时代与数字化时代之间的商业鸿沟,让企业把握契机产生突变,然后进入一个新的起点和循环。 01企业产生的根源和背景 企业是社会生产力水平发展到一定阶段的产物,它是随着商品经济的发展而发展的。人类社会的生产活动,总是程度不同的社会化劳动,不同的生产力发展水平和商品经济发达程序决定了不同的生产组织形式。 企业是一个历史的概念,是社会生产力水平提高和商品经济发展的必然产物。从手工业开始,企业经历了工业企业、资本主义企业,到如今的信息时代企业,尺寸愈来愈大、趋向数字化、全球化,企业形式不断更新,管理方式不断创新。 02工业化时代企业的生存逻辑和核心价值能力 工业化时代企业的生存逻辑和核心价值能力是基于生产能力和规模经济的。这意味着企业需要能够以最低成本生产出尽可能多的产品,并且要保持竞争力和市场份额。为此,企业需要拥有先进的技术、高效的生产流程和管理能力来降低成本和提高效率,同时还需要具备强大的销售和营销能力,以确保产品的市场需求和销售量。最重要的是,企业需要不断创新,提高产品质量和性能,以保持领先地位并应对不断变化的市场需求和竞争压力。 在企业长期活动中,会逐渐形成相对固定的企业文化、组织结构、核心资产、关键资源和流程,并且沉淀下来成为组织的基因和烙印。组织基因在工业化时代是企业核心竞争力,但当面临外部环境突变时,要想让组织基因随之变革,难度太大。例如互联网时代要求组织扁平化、高效协同,传统企业还是科层式组织管理,强调层级、分工、集权,无法支撑组织敏捷应对外部变化、不能做到让听到炮声的人呼唤炮火。工业化时代商业逻辑是拥有和整合资源,但在数字化时代的平台经济和共享经济面前则表现的力不从心。 数字时代最大的改变是“数据”成为生产要素。工业时代所关注的资源,到了数字时代有些变成了基础条件,有些重资产已经变得不再重要。因此,企业必须能够做到融合新的要素:数字技术和数据。在以客户为中心的时代,企业已无力仅动用自身的资源,来全面覆盖和响应客户多样化、个性化、体验化、便捷化的需求,甚至只能覆盖很小的一部分。新要素和新游戏规则的出现,使得产业边界、企业边界逐渐模糊。所以,企业必须聚集外部的一切可用的资源,为企业注入活力。 03数字化时代企业的生存环境和逻辑发生了根本性变化 1、企业外部环境的变化 需求在改变(人) 数字化时代,市场从产品导向转向需求和场景导向,企业看不清消费者在哪里。消费者从关注交易价值和产品价值,延伸到使用价值和场景价值;从关注个体价值到关注群体价值。消费者要求更快、更便利、更丰富、更好的体验,更高的品质,更个性化,更时尚,需要不断变化。 场景在转变(场) 消费者已不在原来的场景中,消费场景逐渐变得无处不在,对场景的参与度也越来越高。从实体场景到互联网场景,再到社交场景,然后是融合性场景,生活圈即消费商圈。 逻辑在蜕变(货) 消费者从关注物资产品和功能,到关注精神、健康产品和内容。消费者需要随意时间、随意场景和随意渠道购物,并能更快收到所购买的商品。顾得的要求是:需求准、交付快、体验好。 2、企业生存逻辑的变化 场景思维是以用户需求场景和体验场景驱动的,依据这些场景来定位用户群体,给用户群体提供什么样的数字化产品和服务,这些产品和服务通过哪些渠道触点跟用户触达和互动。通常一个企业的资源无法覆盖整个需求场景,场景涉及的人、货、场大多时候都需要跟其他企业生态协作,然后共同向用户提供体验化的闭环场景服务。 04数字化时代企业的核心价值能力 1. 连接力 在消费互联网时代,将企业和用户的互动渠道称之为“数字化触点”;在产业互联网时代,企业和用户的互动渠道称为“数字化连接”可能更恰当。物联网、云计算和大数据的发展,众多的智能设备、智能终端和可穿戴设备,通过物联网技术连接人-企业、人-人、人-智能设备、人-智能产品。 从某种意义来讲,数字化连接有几层含义:一是指企业跟客户互动和价值交换的渠道和场所,为客户提供一致的服务和体验;二是解决和员工、合作伙伴的链接;三是解决和设备与终端之间的连接;四是解决物理世界和数字世界的连接适配器,通过数字化连接体系,将物理世界的用户行为、交易、体验等场景信息映射到数字世界。 2. 数字力 数字力通常指的是数字技术和数字基础设施所带来的能力和力量,也是人们使用数字科技、数字工具以及互联网等数字化环境的能力。它具有以下几个方面的特点: 数据创造力:数据力指的是数据收集、存储、处理和分析的能力。随着计算机技术和互联网技术的飞速发展,数据收集和处理的能力不断增强,使得数据的价值和应用范围也得到极大拓展,这为数据力的进一步发挥提供了巨大的动力。 数字生产力:数字力指的是数字技术在创造和生产过程中所发挥的创新和生产力。通过数字化、自动化和智能化技术手段,数字力能够大幅提高劳动生产率,实现生产过程的高效、精准和快速化,从而提高企业和个人的竞争力。 数字流通力:数字力强调数字世界的互联互通和信息共享的能力。数字基础设施,如互联网、云计算、物联网等技术手段使得数字信息能够高速地流通、交易和共享,从而推动数字经济、数字娱乐、数字文化、数字医疗等领域的发展。 数字控制力:数字力的另一个重要特征就是数字控制力。数字技术和算法的发展,让数字力成为各种行业和领域决策的重要参考和支持。 3. 增长力 增长力强调了利用数据和分析来推动企业在市场上的增长能力,它具有以下几个方面的意义: 数据分析带来的洞见:通过数据分析,企业能够更好地了解市场和消费者需求,为其提供更好的产品和服务。这样,数据分析将成为企业获得竞争优势的重要手段。 数据支持判断和决策:数据分析不仅可以更好地了解市场和客户,也可以了解企业在市场中的表现。可以帮助企业进行判断和决策,从而提高其增长能力。 数据驱动的创新:数据分析可以帮助企业发现新市场或领域,从而更好地开发新产品或提供新服务。同时,数据分析也可以帮助企业进行产品或服务的改进和优化。 数据的实时性:借助实时数据分析,企业可以更好地迎接市场变化,快速响应市场波动,从而保持其竞争优势和增长能力。 05结语 将企业的核心能力提炼成“企业价值能力”比“企业业务能力”更加合适。企业的成功不仅仅在于其业务能力,还取决于其创造的价值和对社会的贡献程度。所谓“企业价值能力”是指企业强调的是持续的经济、社会和环境价值创造能力。数字化时代,企业的价值能力可以由企业业务能力和企业数字能力组成。 企业业务能力包括企业的基础业务能力和核心业务能力,是支持企业运营的基本能力,包括生产、供应链、人力资源管理等业务能力。 企业数字能力是指企业基于数字化技术和平台所形成的运作方式和能力,包括数字化生产、数字化经营、数字化营销等各个方面。在数字化时代,由于数字技术的广泛应用,企业数字能力的提高在企业的价值创造过程中显得更加重要。数字化时代企业的生存逻辑和核心价值能力更加强调数字技术和数据驱动的创新能力、业务转型和个性化服务能力。数字化时代的企业需要通过数字技术去发掘商业模式与细分领域,加强数据驱动创新、开拓新的流量池和服务市场。 来源(公众号): 三界逆熵实验室
2025-01-02 10:28 217
热门文章