《大数据查询技术与应用(微课版)》以大数据工程化处理与应用职业技能等级标准中所列举的数据应用的工作领域为内容主线,分为6个项目基本总结应用全部技术,通过6个项目,本课程系统地将工作任务对应职业技能,锻炼了学生在应用领域的工作能力。
课程突出了项目实践的重要性。在内容的编排上淡化了学科性,避免介绍过多偏深的理论,而注重理论在具体运用中的要点、方法和技术操作,并结合实际范例,逐层分析和利用数据查询技术进行实际项目应用。
项目一 企业人力资源数据的分析与处理 1
【引导案例】 1
任务一 大数据存储技术基础 2
【职业能力目标】 2
【任务描述与要求】 2
【知识储备】 2
一、什么是大数据 2
二、大数据存储的理论基础 7
三、Hadoop生态圈与平台架构 15
【任务实施】 17
【任务检查与评价】 30
【任务小结】 31
【任务拓展】 31
任务二 分布式文件系统HDFS 39
【职业能力目标】 39
【任务描述与要求】 39
【知识储备】 39
一、HDFS的体系架构详解 39
二、使用不同的方式操作HDFS 43
三、HDFS的高级特性 52
四、HDFS的底层通信方式RPC 56
【任务实施】 59
【任务检查与评价】 62
【任务小结】 63
【任务拓展】 63
任务三 数据仓库Hive 70
【职业能力目标】 70
【任务描述与要求】 70
【知识储备】 70
一、Hive简介 70
二、安装部署Hive 71
三、Hive的数据模型 73
四、Hive的内置函数 81
五、Hive的自定义函数 87
六、Hive的JDBC客户端 91
【任务实施】 93
【任务检查与评价】 94
【任务小结】 95
【任务拓展】 95
任务四 使用Presto查询数据 97
【职业能力目标】 97
【任务描述与要求】 97
【知识储备】 97
一、Presto基础知识 97
二、使用Presto处理数据 99
三、Presto的JDBC客户端 105
【任务实施】 107
【任务检查与评价】 108
【任务小结】 109
【任务拓展】 109
任务五 使用DBeaver进行Hive数据的
? 可视化查询 110
【职业能力目标】 110
【任务描述与要求】 110
【知识储备】 110
【任务实施】 110
【任务检查与评价】 116
【任务小结】 117
【任务拓展】 117
项目二 电商平台订单数据的分析与处理 119
【引导案例】 119
任务一 列式数据库HBase 120
【职业能力目标】 120
【任务描述与要求】 120
【知识储备】 120
一、HBase的体系架构 120
二、部署HBase 123
三、使用命令行操作HBase 129
四、HBase的Java API 135
五、使用HBase Web Console 145
六、深入HBase的存储结构 146
七、HBase读数据流程 152
八、HBase写数据流程 155
九、Region的管理 156
十、HBase的内存刷新策略 159
十一、深入HBase RowKey 161
十二、使用Bulk Loading导入
数据 163
【任务实施】 164
【任务检查与评价】 166
【任务小结】 166
【任务拓展】 167
一、使用多版本保存数据 167
二、使用HBase的快照 169
三、HBase的访问控制 170
四、备份HBase的数据 173
五、HBase的计数器 177
六、布隆过滤器 179
七、HBase的主从复制 181
任务二 使用Phoenix查询数据 183
【职业能力目标】 183
【任务描述与要求】 183
【知识储备】 183
一、Phoenix简介 183
二、安装和使用Phoenix 183
三、Phoenix与HBase的映射
关系 186
四、Phoenix中的索引 186
五、在Phoenix中执行JDBC 190
【任务实施】 192
【任务检查与评价】 195
【任务小结】 195
【任务拓展】 196
任务三 Elasticsearch 197
【职业能力目标】 197
【任务描述与要求】 197
【知识储备】 197
一、Elasticsearch简介 197
二、Elasticsearch与关系型数据库的
对比 198
三、Elasticsearch的节点 198
四、Elasticsearch中的核心概念 199
五、安装Elasticsearch 200
【任务实施】 201
【任务检查与评价】 204
【任务小结】 205
【任务拓展】 205
参考文献 206
温馨提示:请使用泸西县图书馆的读者帐号和密码进行登录