大数据概念解读

大数据时代

一、大数据基础知识

大数据的特征

1、数据体量大（Volume）

2、数据类别多（Variety）

3、处理速度快（Velocity）

4、价值密度低（Value）

大数据完整产业链条包括大数据采集、大数据存储及分析、大数据应用等，大数据采集是产业链条的重要一环。数据采集就是将数据写入数据仓库中，把零散的数据整合在一起，然后对这些数据进行综合分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

现实存在的问题

1、政府

以2020年新冠疫情为例：此次疫情暴露出政府数据与社会数据对接不畅的短板，如部分城市缺乏民众移动轨迹数据，必须建立政企一体、多源整合的数据资源体系。

2、企业

企业未形成自觉的经济实体，企业的投资决策，尤其是大型项目的决策，一般是由上级部门作出的，资金主要也是由银行贷款等各渠道提供，国家有兜底，项目的盈利性并不成为投资与否的最重要因素，盲目投资，企业的投资需求因不受自有资金的约束，因此始终保持旺盛业态。而在市场经济条件下必然有竞争，有竞争就会有重复建设，这种情况在市场经济环境下很容易会造成产业结构的失调，造成大量产品或服务的积压，容易形成“三高一低”（高污染、高耗能、高投入、低附加值）的业态。

3、个人

2020年新冠疫情防控期间，因社会环境公司倒闭，个人被迫失业，这就满足可以享受国家失业补助金的公共服务了，由于信息的不对称，公共服务的被动服务，需要个人主动获取办理，才可享受得到，同时申请办理的成本很高，造成很多满足条件的人也没能享受到，这就造成很多公共服务清单空有其名，没有发挥其应有的社会效能。

 随着大数据继续渗透到我们的日常生活中，围绕大数据的炒作正在转向实际使用中的真正价值。了解大数据的全景及其在不同行业的应用，将有助于更好地了解你的角色和未来不同行业的发展。本文分析10个使用大数据的垂直行业，这些行业面临的挑战以及大数据如何解决这些问题。涉及的10大行业分别是1.银行业与证券业、 2.通讯、媒体和娱乐、 3.医疗保健、 4.教育行业　 5.制造业和自然资源开采业 6.政府  7.保险业  8.零售和批发贸易  9.交通行业　10.能源与公用事业。

     比较突出的痛点问题就是有以下几个方面：

一、信息的碎片化：各个部门内部都是局域网，数据信息不能共享，也不能互联互通。给我们的生活办事带来诸多的不便。二、软硬件技术：不能够满足我们日益网络发展的需求，软件开发及硬件设施比如计算、存储、宽带、成本高，负担重诸多问题。

三、没有标准化的管理：如果 数据没有标准化的规范管理，不能确保数据之间有机统一，没有完善的法律保障。

四、数据安全性：数据的安全问题存在隐患，尤其是政务数据会对国家安全，国际影响造成巨大的损失。结合国家推出一系列的政策支撑。《数据安全法》及《个人信息安全法》相继出台。为数据安全保驾护航。

数据治理意义、作用和价值
 

意义

是构建完善、共享、统一管理数据环境的基本保障和重要组成部分

是把数据作为资产来管理的有效手段

作用

确定了一系列岗位角色和相应的责任及管理流程

保证了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性。

价值

企业进行数据治理的最大驱动力来自数据质量，通过提高数据质量实现更多的业务价值。

将实现业务目标作为数据管理和服务的核心驱动力，优化数据架构，提升数据仓库/信息化管理系统建设，支持管理能力的提高、精细化和决策的科学性。

来源：北京中科大数据研究院