2023-03-16 11:33 浏览量:693
本文旨在帮助了解什么是城市数据清单以及如何清点数据。首先解释数据清单的基本概念和价值。然后,它以经历过盘点过程的城市员工的见解为特色。最后,它提供了指向城市资源、指南和实际数据清单模板的链接。
什么是数据清单
数据清单是对城市维护的数据资产的完整描述记录。清单记录有关数据资产的基本信息,包括其名称、内容、更新频率、使用许可、所有者/维护者、隐私注意事项、数据来源和其他相关详细信息。有关数据集的详细信息称为元数据。
由于城市可能拥有跨多个服务器、数据库和计算机的数千个数据集,因此有助于缩小哪些数据集应包含在总体清单中以及如何规划未来的清单更新。值得盘点的数据集是那些被员工、部门、行政领导和公众视为资产的数据集。数据资产的范围可以从与人们填写的表格相关联的单个数据集,到跟踪城市在任何给定领域(建筑许可、公共安全响应等)中的运营的集成数据库。
为什么要进行盘点
将城市数据视为资产的第一步是创建具有一致元数据的综合数据清单。了解城市收集了哪些数据可以提高效率,并增加问责制。它还简化了全市报告、决策制定和性能优化。
管理数据清单可通过创建安全和合规要求清单来降低风险和不确定性,并提高城市为收集和创建的数据质量指定责任的能力。正如了解城市拥有哪些数据很重要一样,了解城市没有哪些数据也同样重要。有了完整的画面,城市就可以开始收集和使用城市数据,以更好地调整任务目标,提高决策制定的一致性和信心,并建立绩效信息。
管理数据清单对于更好地共享和集成信息以及可持续的综合开放数据计划至关重要。提供公共数据清单将使城市管理者在需要来自其他部门的信息时更容易工作——他们将知道存在什么以及如何找到它们。同样的好处也适用于搜索城市信息的公众。在确定公开发布哪些数据集时,拥有完整的清单也很重要。一次发布一个城市的所有公共数据集是不可行的,因此决策者需要一个优先级排序策略。数据清单可用于根据战略重点、公共利益等优先发布数据。
如何进行盘点
数据盘点过程按以下步骤进行:
第一步:建立监督机构- 跨部门进行数据清点需要协调、监督和领导。进行盘点的第一步是确定谁将管理盘点过程。监督机构的形式和规模各不相同,通常在城市的开放数据政策中定义。有些由首席数据官(或类似角色)领导,有些则利用现有的数据管理机构,有些则是包括公众代表在内的工作组。虽然数据治理机构的广度和深度可以根据所在城市的需求进行调整,但建立一个明确的权威机构来监督数据库存过程是成功的关键。在没有数据治理委员会的情况下,需要确定首席联络人,最好在市长办公室内共同确定。
注意:建立一个数据治理委员会,或重新调整现有委员会的用途,是成功完成盘点流程的一个可选步骤,但强烈建议这样做。
第 2 步:确定数据清单范围和计划- 监督机构(例如数据治理委员会)应通过提供明确的范围、截止日期、绩效指标和指南来管理清单过程。
范围:如果所在城市的开放数据政策中尚未定义范围,则监督机构应确定手头数据清单的范围。如果所在城市还没有适当的数据清单,创建全市范围的综合数据清单可能会很困难,具体取决于城市管理的数据资产数量、这些资产的管理方式以及进行清单的可用能力.在定义数据清单的范围时,监督机构应考虑以下因素:
所在城市的开放数据政策中包含的任何相关数据定义或清单要求
当地的记录管理政策中概述的任何政府记录定义(即区分政府数据集与非记录数据和个人数据注释)
所有数据资产
战略优先级特定资产
个别部门资产
计划:数据清单计划。
必需的元数据
截止日期
指南
性能指标
第 3 步:根据清单计划对数据资产进行编目- 每个城市部门或机构的联络员编目并描述其部门内的数据资产。联络员是负责管理部门/机构级别库存流程的员工。数据清单的首席经理将各个部门的清单编译成更大的全市数据清单。清单应采用机器可读格式(电子表格、CSV、JSON 等)。
第 4 步:数据清单质量检查
•数据治理委员会确定清单的公开程度。
•数据治理委员会可以发布高级清单摘要,指定要发布或保持未发布的数据集。
•费城的例子
Philadelphia 的清单列出了它发现的所有数据集,甚至包括那些因个人身份信息 (PII) 等敏感内容或安全问题而永远不会发布的数据集。费城列出了以下带有包含敏感信息的数据集的注释:“此清单中的某些数据集不能作为开放数据发布。其他人可能会在删除敏感数据(例如个人信息)后发布。”
第 5 步:启动数据优先级排序工作- 数据治理委员会确定清单中描述的数据集发布的优先级和时间表。
可以通过多种不同的方式确定出版优先权。
■战略优先级特定
■部门优先事项
■大众需求
来自数据清点工作的见解
在创建此资源时,参考了许多经验丰富的城市案例,以了解最佳实践,了解改进机会,并深入研究行之有效的方法。以下是相关要点:
政府出于各种原因完成数据清单。数据清单是一种很好的方法,可以用来弄清楚正在收集哪些数据(以及部门之间是否存在重复)、确定正在使用的系统及其分析能力、提高透明度、制定数据发布计划以及了解当前的挑战和组织内可能影响其开放数据目标的机会。由于许多盘点工作需要广泛员工的参与,盘点也是建立关系和传达盘点和开放数据计划重要性的好机会。
不需要开放数据政策即可完成数据清单并从中发现价值。通过对有和没有开放数据清单的市政当局进行调查,一致认为拥有要求数据清单的开放数据政策有助于及时完成清单并证明其在整个组织中的重要性,但不是必需的。
没有一种适合所有数据清单的方法。清单应根据政府的需求和开放数据目标进行定制。一些政府首先采用有针对性的方法对一个部门、一个 IT 系统或围绕一个战略重点进行盘点;其他政府试图一次性清点所有数据系统和数据集。一些政府让他们的开放数据协调员完成清单;其他人则聘请第三方审计员。花时间确定适合组织的正确方法很重要。这包括探索员工对开放数据的熟悉程度、他们对开放数据目标的认同程度、他们协助完成清单的能力、可能涉及清单的任何开放数据立法以及计划如何共享结果的数据清单。
盘点在整个组织范围内的工作中效果最好。清点数据是与城市工作人员联系、传达城市开放数据计划的重要性并提供开放数据培训的机会。让这成为全市范围的努力可以成为一个统一的过程,彻底解决对开放数据的担忧,在整个城市建立支持,并在一线员工、经理和高级领导层之间就数据进行对话。
培训是创造良好数据清单的第一步。组织的成员无疑对开放数据和完成清单的重要性有不同的理解和知识。提供有关开放数据的一般信息、城市的开放数据计划、其目标以及进行盘点的原因可确保每个人都在同一页面上并有动力为盘点过程做出贡献。
盘点是一个持续的过程。一些城市的规定要求他们每年更新一次库存,基本所有地方政府都计划定期更新他们的库存。
关于隐私的说明。不要基于隐私或保密问题排除任何数据集。为了使数据清单尽可能有用,它应该包括可能敏感、私有或不太可能发布的数据。始终包括对敏感性问题的描述。
来自国外地方政府数据清查工作的案例
在盘点方面,无需重新发明方法。许多城市已经完成了清查过程并公开分享了他们的资源。以下列表包括数据清单指南、模板、发布计划、演示文稿、公开发布的清单以及用于完成各城市清单的工作流程图。有很多方法可以构建和确定数据清单的范围;第一步是决定什么最适合所在的城市。
第1步:建立监督机构
密苏里州堪萨斯城
开放数据演示介绍
样本备忘录
第 2 步:确定数据清单范围和计划
田纳西州查塔努加
数据盘点指南
马里兰州蒙哥马利县
蒙哥马利县政府开放数据实施计划(包括数据集清点流程)
宾夕法尼亚州费城
开放数据战略计划
加利福尼亚州圣地亚哥
开放数据实施更新
加利福尼亚州旧金山
扩展组织中海量数据的 5 种方法
数据盘点过程的一页摘要
加利福尼亚州圣何塞
数据协调员说明
数据盘点流程图
数据协调员指南
第 3 步:根据数据库存对数据资产进行编目
田纳西州查塔努加
数据清单模板
伊利诺伊州芝加哥
数据字典
宾夕法尼亚州费城
元数据目录
库存模板
开放数据清单
加利福尼亚州旧金山
DataSF 指南:数据协调员版
DataSF 指南:详细库存指南第 2 步和第 3 步
加利福尼亚州圣何塞
库存模板
加拿大安大略省多伦多
数据目录
第 4 步:数据清单质量检查
马里兰州蒙哥马利县
蒙哥马利县数据发布计划
纽约州纽约市
纽约市开放数据计划
纽约市开放数据计划 - 删除的数据集列表
纽约市通过了一项法律,要求进行一系列调查和审计,以了解合规机构如何满足开放数据法的要求。
宾夕法尼亚州费城
OpenDataPhilly.org
开放数据普查
加利福尼亚州旧金山
DataSF 指南:数据协调员版
第 5 步:启动数据优先级排序工作
科罗拉多州丹佛
评估开放数据价值的程序
宾夕法尼亚州费城
开放数据谷歌论坛
加利福尼亚州旧金山
DataSF 指南:数据协调员版
作者:晓晓
来源:数据驱动智能