第1章　大数据的概念和特性
　　1.1　大数据的概念
　　大数据是面向多源异构的海量数据进行采集、存储、计算与分析，并从中提取信息和知识的一系列技术的总称。为了释放更多的数据价值，大数据应用新的技术体系，倡导新的资源观念，催生了一个新的产业生态。
　　从技术角度看，大数据体现了一种新的数据技术，以分布式架构为主、面向多源异构数据进行分析，在大幅提高处理效率的同时，成百倍地降低了数据应用成本，帮助用户提高数据管理的能力。从资源角度看，大数据代表了一种新的资源观，并开始将数据作为战略资源加以保护。从产业的层面看，以数据及数据所蕴含的价值作为生产要素，通过数据产品、数据技术、数据服务等方式把数据转换为商品和服务的大数据产业已逐步形成。
　　1.2　大数据的特征
　　产业界通常认为大数据是具有4V特征的数据集合。4V特征主要体现在数据量（Volume）、类型（Variety）、速度（Velocity）、价值（Value）四个方面。
　　在数据量方面，根据Statista在2019年的统计数据，全球大数据的总体体量在2019年约已达到41ZB的规模，其中1ZB指代十万亿亿字节，约是常用单位TB的10亿倍。另据国际数据公司IDC统计显示，全球近90%的数据将在近年内产生，预计到2025年全球数据量将会较2016年增加到10倍，即由16.1ZB增加至163ZB。
　　在数据的种类层面，数据已从结构化数据开始向非结构化数据发展，非结构化数据并没有预定义的数据模型或者以某种定义好的方式组织，实际类型纷繁复杂，目前常见的数据类型包括文本、图片、视频、音频等。
　　在速度方面，伴随着对于数据应用以及服务形式的改变，数据实时结果开始深刻影响业务反馈，对于数据处理速度的要求不断提高，数据从原本的只需静态持久化存储以供查询，转向需要进行大规模批处理，再进一步向今天的实时化数据处理发展。
　　在价值方面，伴随数据量的爆炸性增长和数据处理性能飞速优化，从前难以想象的计算能力应用于庞杂的数据海洋中，各种深藏海底的价值将不断浮现。
　　1.3　大数据的发展
　　学界普遍认为，“大数据”从诞生到发展经历了多个阶段，特别是我国的大数据发展，在全球呈现出快速发展的状态。
　　1.3.1　萌芽阶段（20世纪90年代至21世纪初）
　　1997年，NASA在关于数据可视化的研究中首次提出了“大数据”的概念。在此之后，“大数据”首次在Science一篇名为“大数据科学可视化”的文章中以专有名词的形式被提出。在萌芽阶段，大数据仅作为一个概念而出现，并未在具体的数据处理技术上有进一步的探索。
　　1.3.2　技术快速发展阶段（21世纪初至2012年）
　　从2003年到2006年，分布式计算框架、分布式文件系统和数据库提供了一种以分布式存储和计算海量数据的新思路。受此启发，专门开发维护大数据技术的独立项目Hadoop诞生了。Hadoop是一个分布式系统的软件框架，在此之上，用户可以使用简单的编程模型，跨计算机集群对庞大的数据集进行处理。Hadoop的两个组件分布式文件系统HDFS和大数据计算引擎MapReduce分别负责海量数据的存储和处理。开源的Hadoop推动了大数据的蓬勃发展，一系列建立在Hadoop基础之上、用于大规模数据分析和挖掘的工具产品相继出现，大数据技术生态逐渐形成。
　　1.3.3　产业应用启动阶段（2012～2015年）
　　大数据基础技术的成熟推动实际应用和产业的诞生。2012年开始，商业、医疗、金融、交通等诸多领域开始涌现大数据应用的成功案例，大数据的产业也初现萌芽。
　　1.3.4　重要战略资源阶段（2015～2019年）
　　随着我国全面启动国家大数据战略，大数据作为“钻石矿”成了我国的重要发展资源。大数据技术不断取得进步，与实体经济的融合程度日益加深，成了我国数字经济乃至整体经济发展的重要动力。
　　1.3.5　关键生产要素阶段（2019年至今）
　　党的十九届四中全会正式将数据作为了一种全新的生产要素。这将我国大数据发展推向了新的阶段。在大数据技术和人工智能技术快速迭代的今天，大数据已经成为产业发展和数字经济发展的重要资源，把数据列为生产要素之一，体现了我国的新发展理念，有助于我国经济更顺利、更高质量地发展。
　　第2章　大数据政策概述
　　2.1　我国大数据政策发展历程
　　2.1.1　国家大数据战略布局历程
　　我国大数据相关的产业已在过去十年间取得了长足的发展，数字经济的发展也依托于政策的大力支持。我国将大数据的发展作为国家战略的一个重要组成部分，从2014年开始，国家层面的大数据战略经历了以下4个主要阶段，如图2.1所示。
　　1.预热阶段
　　2014年3月，“大数据”首次在我国政府工作报告中被提出，为我国大数据产业的蓬勃发展提供了良好的政策环境。从2014年开始，大数据逐渐得到了地方各级政府和产业参与者的密切关注，我国中央政府也积极为大数据的发展提供政策支持和较为宽松的发展环境。
　　2.起步阶段
　　2015年8月，《促进大数据发展行动纲要》（国发〔2015〕50号）成为我国大数据的第一份战略文件，在宏观层面部署了大数据产业的整体发展，集中体现了我国在大数据发展方面的总体统筹。
　　3.落地阶段
　　2016年，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》公布。《纲要》随后成为了我国各级政府制订大数据发展规划和相应配套方案的重要指导。同年12月，工业与信息化部发布的《大数据产业发展规划（2016—2020年）》成为大数据发展的具体行动纲领。交通运输、农林、水利、能源、医疗健康、环保等主管部门纷纷出台了相应监管行业的发展规划，大数据的行业政策逐渐由此深入细化。
　　4.深化阶段
　　2017年10月发布的党的十九大报告中提出将推动大数据与实体经济发展深度融合。同年12月，中央政治局就实施国家大数据战略进行了集体学习。2019年3月，政府工作报告第六次提到了“大数据”，并提出了大数据发展的多项任务。
　　进入2020年，数据正式成为生产要素，战略性地位进一步提升。

目录
《中国电子信息工程科技发展研究》编写说明
前言
第1章　大数据的概念和特性　1
1.1　大数据的概念　1
1.2　大数据的特征　1
1.3　大数据的发展　2
1.3.1　萌芽阶段（20世纪90年代至21世纪初）　2
1.3.2　技术快速发展阶段（21世纪初至2012年）　3
1.3.3　产业应用启动阶段（2012～2015年）　3
1.3.4　重要战略资源阶段（2015～2019年）　3
1.3.5　关键生产要素阶段（2019至今）　4
第2章　大数据政策概述　5
2.1　我国大数据政策发展历程　5
2.1.1　国家大数据战略布局历程　5
2.1.2　地方大数据产业政策梳理　7
2.2　其他国家大数据政策情况　12
2.2.1　美国　13
2.2.2　欧盟　13
2.2.3　英国　14
2.2.4　日本　15
2.2.5　国际组织　15
第3章　大数据技术　17
3.1　数据采集技术　17
3.1.1　总体情况　17
3.1.2　细分技术　17
3.1.3　技术发展现状　18
3.2　数据存储技术　20
3.2.1　总体情况　20
3.2.2　细分技术　21
3.2.3　技术发展现状　22
3.3　数据计算技术　26
3.3.1　总体情况　26
3.3.2　细分技术　31
3.3.3　技术发展现状　38
3.4　数据管理技术　45
3.4.1　总体情况　45
3.4.2　细分技术　46
3.4.3　技术发展现状　47
3.5　数据应用技术　48
3.5.1　总体情况　48
3.5.2　细分技术　51
3.5.3　技术发展现状　54
3.6　数据安全技术　56
3.6.1　数据安全技术概述　56
3.6.2　数据安全关键技术　57
3.6.3　技术发展现状　59
3.7　大数据技术的融合趋势　60
3.7.1　数据湖产品化　61
3.7.2　利用云原生思想进行能力升级　61
3.7.3　利用开发平台释放业务潜能　62
3.7.4　加强产品的安全能力　62
3.7.5　隐私计算保障数据的安全流通　63
第4章　大数据产业　65
4.1　大数据产业概念探讨　65
4.1.1　概念定义　65
4.1.2　大数据产业概述　65
4.1.3　大数据产业分类　66
4.2　大数据产业发展　69
4.2.1　我国大数据产业发展　69
4.2.2　国际大数据产业发展现状和趋势　76
第5章　大数据应用　80
5.1　国外大数据应用　80
5.1.1　安全防控　80
5.1.2　金融　81
5.1.3　交通运输　82
5.1.4　医疗保健　83
5.1.5　市场营销　85
5.1.6　智慧城市　86
5.1.7　工业　87
5.1.8　农业　88
5.2　我国大数据应用　89
5.2.1　通信大数据　90
5.2.2　政务大数据　91
5.2.3　金融大数据　91
5.2.4　工业大数据　92
5.2.5　农业大数据　93
5.2.6　医疗健康大数据　95
5.2.7　大数据与疫情防控　96
第6章　数据资产　98
6.1　概述　98
6.2　数据资产的概念　99
6.3　数据资产管理的概念和内涵　100
6.4　数据资产管理的难点　101
6.5　数据资产管理的发展趋势　103
6.5.1　管理对象：数据复杂性持续增加　104
6.5.2　管理理念：从被动响应到主动赋能　104
6.5.3　组织形态：向专业化与复合型升级　105
6.5.4　管理方式：敏捷协同的一体化管理　105
6.5.5　技术架构：面向云的Data Fabric　106
6.5.6　管理手段：自动化与智能化广泛应用　108
6.5.7　运营模式：构建多元化的数据生态　108
6.5.8　数据安全：兼顾合规与发展　109
第7章　数据要素与治理　111
7.1　数据要素市场化配置的基本概念　111
7.1.1　数据要素的概念　111
7.1.2　数据要素发展的方向　111
7.2　企业和政府数据治理体系的概念、现状、趋势　112
7.2.1　企业积极实践数据资产管理　112
7.2.2　政府数据管理水平不断提升　116
7.3　数据开放与共享：现状、问题、方法　121
7.3.1　各地政府数据开放共享效果显著　121
7.3.2　政务数据共享开放面临的问题　125
7.4　数据交易：现状、问题、方法　127
第8章　大数据法制　132
8.1　基础法律：搭建数据合规基本框架　132
8.1.1　《数据安全法》：安全基础上求发展　132
8.1.2　《个人信息保护法》：数据处理与权益保障并重　133
8.2　部委发力：细化落实基础合规要求　134
8.2.1　行业数据基础规范逐渐细化　135
8.2.2　数据产业热点问题得到回应　136
8.2.3　数据技术合规要求陆续出台　137
8.3　地方立法：着力创新攻坚合规难题　139
第9章　大数据技术学术前沿综述　141
参考文献　145