谈谈2023年数据治理的5大趋势

2023年数据将继续在商业行业和经济体中流动。有了更多的渠道、更快的速度和包含更多的洞察力，组织将别无选择，只能向数据驱动的业务模型发展。企业领导者面临的问题是：它是积极主动和动态的——还是更加被动并参与追赶？

前几年可能意味着数据泛滥使处理和提取见解变得更加困难。在大数据挑战更多围绕存储和安全性的时代。现在情况正在发生巨大变化。我们看到越来越多的组织开始意识到其数据驱动的潜力。成功的用例广泛且跨行业。

随着数据价值达到新高，管理数据驱动决策的基本规则没有改变。要做出正确的决策，您需要高质量的数据。您需要知道您拥有什么、它位于何处、它的沿袭是什么以及哪些业务规则决定了它的结构、内容和有效性。如果您的数据质量低下或您的数据资产管理不善，那么您将无法使用它们做出正确的业务决策。

随着数据的作用和数据驱动的决策制定的增加，以及可用数据的总体数量和速度的增长，数据治理也在不断发展，以满足不断变化的业务需求。2023年数据治理的最大趋势是什么？

“到2025年，30%的Gartner客户将使用“需要共享”方法而不是传统的“需要知道”方法来保护他们的数据。“

1.云数据治理

从远程工作到人工智能，云继续支撑着现代商业的重塑。超过70%的组织已将至少部分工作负载迁移到公共云中。然而，成为云原生的竞争并非没有风险，从预算超支到迁移延迟。

“效率低下导致平均每年公司的迁移支出比计划多14%，而且38%的公司的迁移延迟超过四分之一。”

------麦肯锡

DevOps人才的持续短缺将加剧迁移和生态系统的挑战。尤其是在受到高度监管的行业中，传统和本地基础设施占很大比重，不同的工作负载不太适合“提升和转移”方法。组织将需要寻找其他方法来保持竞争力，例如自动化和自助数据分析。

这些基于云的管理系统提供了一种转换原始数据并在正确的时间将其交付给正确的用户的方法。无需IT或数据分析师先准备报告。相反，可以按需存储和访问大量数据。超越使用数据仓库的传统和静态方法，而是为每个用户及其相关用例带来可定制的仪表板。

至关重要的是，基于云的服务现在越来越多地得到AI和ML产品的支持。这些释放了企业应用人工智能优化现有流程的潜力，例如通过自动化工作流程。还可以根据历史请求应用学习元素，确保现代数据治理的持续改进周期。

2.自适应人工智能

在当今瞬息万变的世界中，“一切照旧”的概念要求提高灵活性、活力和适应生存的准备。预计2023年将通过自适应人工智能的兴起来实现这一点。系统根据新数据不断学习、调整和重新训练模型。它不同于传统的和更静态的人工智能，后者需要人类开发人员更新模型并防止它们变得过时或过时。

通过有效地“内置”持续学习，人工智能将需要更少的人工干预。更重要的是，从数据中自适应学习的能力将产生新的见解来支持执行决策，从而使企业能够引入应用可观察性。这是可以分析基于AI的决策以获得进一步建议的地方。然后可以创建一个反馈循环来跟踪以前的结果。由此产生的基于证据的见解可用于提高预测的准确性并为未来的战略提供信息。

“到2026年，采用AI工程实践来构建和管理自适应AI系统的企业将在运行人工智能模型所需的数量和时间上超过同行至少25%。

------Gartner

自适应人工智能有可能解决机器学习模型带来的一些历史挑战。在离群值经常影响训练数据的情况下，每次迭代都会以指数方式扭曲结果，而不是被忽视。当然，真正新颖的观察或现实世界变化的影响可能很容易在小数据集中检测到。而在AI所需的数量中，此类异常值更难确定。因此，自适应人工智能可以降低这种算法偏差的风险。通过动态调整流程，自适应人工智能还可以通过应用更智能的自动化来帮助企业确保更有效的治理。

3、实时数据

数据使企业保持运转，但实时数据提供了竞争优势。从以毫秒为单位进行交易的金融机构到批准付款和处理PII的电子商务商店。在按需自助服务体验的推动下，对实时数据的进一步需求将来自不断提高的客户期望。与批量数据管道相比，创建实时数据管道还可以降低处理成本。批处理数据必须从源头反复查询，而实时只需要对新数据或事件做出反应。

一些用例只需要基于批处理的管道来处理历史数据。然而，随着数据集和相关的治理要求越来越大，许多组织将不得不进行一些大型基础设施调用。这种演变的规模，加上所需的处理能力和能力，是数据分析自动化到2023年将发挥如此重要作用的原因。从自动执行订单的简单脚本，到自动检测异常或风险活动的复杂算法。

能够成功利用自动化的组织将能够提高生产力、更快地发现洞察力并更好地管理复杂变量。它只需要正确选择平台。数据生命周期可以自动化，但仍提供具有所需可见性级别的统一事实来源。

4.数据访问治理

数据隐私、保护和治理在世界各国政府的待办事项清单上名列前茅。

欧盟的GDPR、加拿大的PIPEDA和中国的PIPL——这些和其他国家已经表明，大规模调整立法是可能的。这种势头使数据治理和数据访问控制成为2023年业务战略的核心。

“截至2020年，全球10%的人口的个人数据受到现代隐私法规的保护。到2023年，预计全球总人口的65%的个人数据将受到隐私法规的保护。

当多个业务职能协调一致时，这些趋势将在2023年及以后带来许多机会。从外部角度来看，展示合规性可以作为品牌差异化因素，在消费者中建立信任。从内部角度来看，自动化数据治理和策略管理提高了整个企业的生产力。员工可以自由访问他们需要的数据，而无需手动检查他们是否合规。数据可以动态到达，用于聚合、共享和与其他BI工具集成。当然，它始于遵守必要法规的基本要求。以及灵活性和稳健性。当这些法规更新时，或要求对PII进行更多控制或围绕无偏差算法提高透明度时。一旦数据保护框架到位，数据治理就可以成为竞争优势。重点不是简单地控制数据，而是更多地关注需要数据的人。

5.数据民主化

到2023年，对数据民主化的需求将继续上升，要求企业摆脱传统的自上而下的数据治理方法。相反，重点将放在根据需要将数据交到尽可能多的被批准的数据消费者手中。合规数据将变得更易于访问和按需提供。而不是期望人类专业知识必须经常通过手动和冗长的过程和瓶颈来寻找数据。

这将意味着商业智能将更加面向自助服务，而不是IT的专利。随着员工越来越多地将数据纳入决策和协作，企业文化也将发生变化。

“组织越来越希望通过内部协作、跨生态系统的数据共享、直接商业化或作为AI驱动的业务决策的基础来利用其数据来获得业务优势”

低代码的兴起表明了非技术用户可以实现的目标。从生成丰富的数据可视化到构建应用程序。民主化数据——结构化和非结构化——是该过程的自然演变。在优先考虑可用性的地方，同时降低传统数据治理流程的复杂性和刚性。

数据管理自动化不仅使普通业务用户能够自行执行复杂的数据相关任务，而且确保满足所有法规要求。因此，越来越多地使用AI和机器学习解决方案和工具已成为企业在日益规范的数据管理生态系统中保持相关性和合规性的必要条件。

■越来越多的关于地震等自然灾害的研究将依赖AI、RPA和ML驱动的大数据来进行可操作的预测。

AI和ML将完全控制从数据中心涌出的大数据——试图捕捉隐藏的关系，并在人类理解的边界内保持和投射洞察力。

■随着全球供应商在推出变革性AI和ML解决方案方面展开并驾齐驱的竞争，组织现在将拥有更广泛的可用解决方案选择。然而，技术和工具的广泛选择也会让企业领导者和决策者进退两难，难以做出最适合他们需求的选择。

■人工智能技术革命将为2023年及以后的数据分析创造新机遇。突然崛起数据分析自动化将需要企业使用人工智能、机器学习、低代码、无代码工具和更多选项来自动化尽可能多的流程。

■协助管理客户数据的工具也为实施创造了机会智能自动化，这是另一个值得关注的AI趋势。

■自动化支持数据管道的敏捷创建、管理和关闭，为任何规模或成长阶段的组织提供他们在持续集成、持续部署(CICD)框架内所需的数据可见性。

■到2025年，人工智能驱动，“上下文感知”分析模型将取代60%的基于传统数据构建的现有模型。

最后，业务人员可以将这些AI和ML解决方案适当地集成到他们的业务流程中，以利用组织数据功能来做出有效的决策、分析当前趋势并明确识别关键竞争优势。

来源：志明与数据

作者：晓晓