目　　录
前　言
第1章　认识大数据 1
11 信息爆炸 1
111 大数据时代 1
112 数据、信息与知识 2
113 数据的来源 3
12 大数据的概念与特征 4
121 大数据的概念 4
122 大数据的特征 4
123 大数据的类型 5
13 大数据的技术架构及处理技术 6
131 大数据的技术架构 6
132 大数据的处理技术 7
14 大数据处理的集成平台 7
15 工业大数据 8
151 工业大数据及其特征 8
152 工业大数据技术及应用 9
153 工业大数据面临的挑战 10
本章小结 12
阅读材料：啤酒与尿布 12
习题 12
第2章　大数据学科与职业 13
21 大数据学科 13
22 大数据专业人才培养方案 14
23 大数据职业道德 16
本章小结 18
阅读材料：道格 切特 18
习题 19
第3章　大数据生态系统 20
31 大数据生态系统概述 20
32 并行与分布式处理 21
321 并行处理 21
322 分布式处理 22
33 Hadoop 22
331 Hadoop概述 22
332 Hadoop生态圈 25
34 Spark 25
341 Spark概述 25
342 Spark生态圈 26
35 Storm 26
351 Storm概述 27
352 Storm集群架构与工作流程 27
本章小结 28
阅读材料：南森 马茨 28
习题 29
第4章　大数据采集与预处理 30
41 大数据采集与预处理概述 30
411 大数据采集技术 30
412 大数据预处理技术 32
42 大数据采集方法及工具 33
421 网络数据采集方法 33
422 系统日志采集方法 36
423 科研数据采集方法 40
424 关系型数据库数据采集方法 42
43 大数据预处理方法及工具 43
431 数据清洗 43
432 数据集成 45
433 数据归约 46
434 数据变换 49
本章小结 53
阅读材料：园中有金 53
习题 53
第5章　大数据存储 54
51 集中式存储与分布式存储 54
52 非结构化数据库 55
521 NewSQL 56
522 云数据库 56
523 HBase 57
524 MongoDB 58
53 数据仓库与OLAP 59
531 概述 59
532 基本架构 60
533 典型应用 62
本章小结 62
阅读材料：盘古系统 63
习题 63
第6章　大数据分析 64
61 大数据分析与商业智能 64
611 大数据与大数据分析 65
612 大数据分析的种类 66
62 大数据统计分析 67
621 分类问题 68
622 回归问题 72
623 聚类问题 74
624 人工神经网络 75
625 数据建模 80
63 大数据分析的应用与挑战 80
631 Web挖掘 81
632 文本挖掘 84
633 社会网络分析 87
634 智能制造中的数据分析 89
本章小结 89
阅读材料：贝叶斯 89
习题 90
第7章　大数据可视化 91
71 数据可视化概述 91
711 数据可视化的特点 91
712 数据可视化的典型应用 92
72 数据可视化的常用工具 92
721 Tableau 92
722 Matplotlib 93
723 ECharts 94
本章小结 95
阅读材料：马克 扎克伯格 95
习题 96
第8章　大数据技术的典型应用 97
81 案例一：大型工业设备实时监
测系统 97
811 集群部署与配置 97
812 数据表结构 101
82 案例二：基于MapReduce的
薪资核算 102
参考文献 107