全面、深入地总结资深工程师多年大数据项目实战经验
理论结合实践,由浅入深地展现Spark性能优化的核心技术
内容全面:涵盖Spark性能优化的基础知识、核心技术和应用实践,对Spark性能优化进行全面、系统的探讨。
实用性强:不但介绍理论知识,而且结合350多个示例和多个实战案例解析Spark性能优化的核心技术与应用,帮助读者更好地实施优化策略。
适用面广:无论是Spark性能优化初学者,还是开发人员、数据工程师和数据科学家等从业人员,都可以从本书中获得需要的知识和技能。
前瞻性强:基于Spark的新版本写作,不但介绍其新特性,而且介绍其集成Hadoop、Kafka和Elasticsearch使用时的性能优化方法。
讲解深入:对Spark性能优化的核心技术与工作原理进行深入讲解,以便让读者能够理解Spark的内部结构和运行机制,从而更有效地对其性能进行优化。
《Spark性能优化实战:突破性能瓶颈,遨游数据重洋》全面、系统、深入地介绍Apache Spark性能优化的相关技术和策略,涵盖从Spark性能优化的基础知识到核心技术,再到应用实践的方方面面。本书不但系统地介绍各种监控工具的使用,而且还结合实战案例,详细介绍Spark性能优化的各种经验和技巧,提升读者的实际应用技能。
《Spark性能优化实战:突破性能瓶颈,遨游数据重洋》共8章。第1章从性能优化的基本概念出发,介绍Spark的基础知识,并介绍如何进行性能优化;第2章介绍Spark性能优化的几个方面,包括程序设计优化、资源优化、网络通信优化和数据读写优化等;第3章深入介绍Spark任务执行过程优化;第4章介绍Spark SQL性能优化;第5章结合实战案例全面解析Spark性能优化的核心技术与应用;第6章详细介绍不同应用场景的性能优化策略;第7章介绍Spark集成Hadoop、Kafka和Elasticsearch使用时的性能优化,从而提供更实用的Spark性能提升方案;第8章介绍Spark应用程序开发与优化,以及集群管理实践。
《Spark性能优化实战:突破性能瓶颈,遨游数据重洋》内容丰富,讲解深入浅出,适合Apache Spark开发人员、数据工程师和数据科学家阅读,也适合需要处理大规模数据集和对Spark性能优化感兴趣的技术人员阅读,还可作为高等院校大数据专业的教材和相关培训机构的教学用书。
第1章 性能优化基础
1.1 Spark简介
1.2 什么是Spark性能优化
1.3 Spark应用程序性能指标
1.4 自带的SparkWeb UI
1.4.1 Jobs模块
1.4.2 Stages模块
1.4.3 Storage模块
1.4.4 Environment模块
1.4.5 Executors模块
1.4.6 SQL模块
1.5 自带的Spark历史服务器
1.5.1 Spark历史服务器简介
1.5.2 配置、启动和访问Spark历史服务器
1.6 Spark事件日志
1.6.1 Spark的常见事件
1.6.2 事件信息
1.6.3 Spark启动事件分析案例
1.6.4 Spark事件日志的用途
1.6.5 CPU密集型与内存密集型分析案例
1.7 Spark驱动程序日志
1.8 Spark Executor日志
1.8.1 Spark Executor日志简介
1.8.2 日志解析
1.8.3 配置Executor打印日志到Driver节点
1.8.4 使用Executor完成时间异常分析案例
1.9 Linux系统监控工具
1.9.1 top命令
1.9.2 htop命令
1.9.3 iostat命令
1.9.4 vmstat命令
1.9.5 sar命令
1.9.6 Spark进程的CPU和内存监控案例
1.10 JVM监控工具
1.10.1 JConsole监控工具
1.10.2 JVisualVM监控工具
1.10.3 使用JVisualVM定位内存泄漏案例
1.11 第三方工具Prometheus
1.11.1 Prometheus简介
1.11.2 Prometheus架构的工作原理
1.11.3 安装Prometheus
1.11.4 使用Prometheus Web UI
1.11.5 基于PromQL磁盘的多维度分析案例
1.12 第三方工具Grafana
1.12.1 Grafana简介
1.12.2 安装Grafana
1.12.3 数据源和仪表盘
1.12.4 在Grafana中创建查询和可视化
1.12.5 监控分析Spark指标案例
1.13 Spark性能测试与验证
1.13.1 性能测试之基准测试
1.13.2 性能测试之压力测试
1.13.3 性能测试之资源测试
1.13.4 性能测试之基准优化测试
1.13.5 获取测试数据
……
第2章 Spark应用程序性能优化
第3章 Spark任务执行过程优化
第4章 Spark SQL性能优化
第5章 Spark性能优化案例分析
第6章 不同场景的Spark性能优化
第7章 Spark集成其他技术的性能优化
第8章 Spark性能优化实践
结束语
温馨提示:请使用泸西县图书馆的读者帐号和密码进行登录