Alex Tellez，是一名终身的数据黑客/爱好者，对数据科学及其在商业问题上的应用充满了激情。他在多个行业拥有丰富的经验，包括银行业、医疗保健、在线约会、人力资源和在线游戏。Alex还在各种人工智能/机器学习会议上进行过多次演讲，同时也在大学讲授关于神经网络的课程。闲暇时间，Alex喜欢和家人在一起，骑自行车，并利用机器学习来满足他对法国葡萄酒的好奇心！
首先，我要感谢Michal与我一起编写本书。同样作为的机器学习（Machine Learning，以下简称ML）爱好者、自行车爱好者、跑者和父亲，在一年来共同努力的过程中，我们对彼此有了更深的了解。换句话说，没有Michal的支持和鼓励，本书是不可能完成的。
接下来，我要感谢我的妈妈、爸爸和哥哥Andres，从我出生天直到现在的每一步，你们都陪伴在我的周围。毋庸置疑，我的哥哥仍会是我的英雄，是我永远仰望的人，是我的指路灯。当然，还要感谢我美丽的妻子Denise和女儿Miya，在每个夜晚和周末给予我写作上的关心和支持。我无法描述你们对我而言意味着多少，你们是我保持持续创作的灵感和动力。对我的女儿Miya，我的希望是，有一天当你拿起这本书时，会意识到你的老爸并不像看起来那么傻。
后，我也要感谢你——读者，感谢你对这个令人兴奋的领域以及难以置信的技术感兴趣。无论你是一名经验丰富的ML专家，还是希望立足的新人，你都会找到适合自己的内容，我希望你能像Michal和我一样，从本书中获得很多。

Max Pumperla，是一名数据科学家和工程师，专注于深度学习及其应用。他目前在Skymind担任深度学习工程师，并且是aetros.com的联合创始人。Max是几个Python软件包的作者和维护者，包括elephas，一个使用Spark的分布式深度学习库。他的开源足迹包括对许多流行的机器学习库的贡献，如keras、deeplearning4j和hyperopt。他拥有汉堡大学的代数几何博士学位。
Michal Malohlava是Sparkling Water的创建者、极客和开发者，Java、Linux、编程语言爱好者，拥有10年以上的软件开发经验。他于2012年在布拉格的查尔斯大学获得博士学位，并在普渡大学攻读博士后。
在学习期间，他关注利用模型驱动方法和领域特定语言构建分布式、嵌入式、实时和模块化系统，参与了各种系统的设计和开发，包括SOFA和分形组件系统以及jPapabench控制系统。
现在，他的主要兴趣是大数据计算。他参与了高级大数据计算平台H2O的开发，并将其嵌入到Spark引擎中作为Sparkling Water项目发布。
我要感谢我的妻子Claire，感谢她对于我的爱和鼓励。

本书采用理论与大量实例相结合的方式帮助开发人员掌握使用Spark进行分析和实现机器学习算法。通过这些示例和Spark在各种企业级系统中的应用，帮助读者解锁Spark机器学习算法的复杂性，通过数据分析产生有价值的数据洞察力。

译者序
关于作者
前言
第1章　大规模机器学习和Spark入门 1
1.1　数据科学 2
1.2　数据科学家：21世纪最炫酷的职业 2
1.2.1　数据科学家的一天 3
1.2.2　大数据处理 4
1.2.3　分布式环境下的机器学习算法 4
1.2.4　将数据拆分到多台机器 6
1.2.5　从Hadoop MapReduce到Spark 6
1.2.6　什么是Databricks 7
1.2.7　Spark包含的内容 8
1.3　H2O.ai简介 8
1.4　H2O和Spark MLlib的区别 10
1.5　数据整理 10
1.6　数据科学：一个迭代过程 11
1.7　小结 11
第2章　探索暗物质：希格斯玻色子 12
2.1　Ⅰ型错误与Ⅱ型错误 12
2.1.1　寻找希格斯玻色子 13
2.1.2　LHC和数据的创建 13
2.1.3　希格斯玻色子背后的理论 14
2.1.4　测量希格斯玻色子 14
2.1.5　数据集 14
2.2　启动Spark与加载数据 15
2.2.1　标记点向量 22
2.2.2　创建训练和测试集合 24
2.2.3　第一个模型：决策树 26
2.2.4　下一个模型：集合树 32
2.2.5　最后一个模型：H2O深度学习 37
2.2.6　构建一个3层DNN 39
2.3　小结 45
第3章　多元分类的集成方法 46
3.1　数据 47
3.2　模型目标 48
3.2.1　挑战 48
3.2.2　机器学习工作流程 48
3.2.3　使用随机森林建模 61
3.3　小结 78
第4章　使用NLP和Spark Streaming预测电影评论 80
4.1　NLP简介 81
4.2　数据集 82
4.3　特征提取 85
4.3.1　特征提取方法：词袋模型 85
4.3.2　文本标记 86
4.4　特征化——特征哈希 89
4.5　我们来做一些模型训练吧 92
4.5.1　Spark决策树模型 93
4.5.2　Spark朴素贝叶斯模型 94
4.5.3　Spark随机森林模型 95
4.5.4　Spark GBM模型 96
4.5.5　超级学习器模型 97
4.6　超级学习器 97
4.6.1　集合所有的转换 101
4.6.2　使用超级学习器模型 105
4.7　小结 105
第5章　word2vec预测和聚类 107
5.1　词向量的动机 108
5.2　word2vec解释 108
5.2.1　什么是单词向量 108
5.2.2　CBOW模型 110
5.2.3　skip-gram模型 111
5.2.4　玩转词汇向量 112
5.2.5　余弦相似性 113
5.3　doc2vec解释 113
5.3.1　分布式内存模型 113
5.3.2　分布式词袋模型 114
5.4　应用word2vec并用向量探索数据 116
5.5　创建文档向量 118
5.6　监督学习任务 119
5.7　小结 123
第6章　从点击流数据中抽取模式 125
6.1　频繁模式挖掘 126
6.2　使用Spark MLlib进行模式挖掘 130
6.2.1　使用FP-growth进行频繁模式挖掘 131
6.2.2　关联规则挖掘 136
6.2.3　使用prefix span进行序列模式挖掘 138
6.2.4　在MSNBC点击流数据上进行模式挖掘 141
6.3　部署模式挖掘应用 147
6.4　小结 154
第7章　使用GraphX进行图分析 155
7.1　基本的图理论 156
7.1.1　图 156
7.1.2　有向和无向图 156
7.1.3　阶和度 157
7.1.4　有向无环图 158
7.1.5　连通分量 159
7.1.6　树 160
7.1.7　多重图 160
7.1.8　属性图 161
7.2　GraphX分布式图计算引擎 162
7.2.1　GraphX中图的表示 163
7.2.2　图的特性和操作 165
7.2.3　构建和加载图 170
7.2.4　使用Gephi可视化图结构 172
7.2.5　图计算进阶 178
7.2.6　GraphFrame 181
7.3　图算法及其应用 183
7.3.1　聚类 183
7.3.2　顶点重要性 185
7.4　GraphX在上下文中 188
7.5　小结 189
第8章　Lending Club借贷预测 190
8.1　动机 190
8.1.1　目标 191
8.1.2　数据 192
8.1.3　数据字典 192
8.2　环境准备 193
8.3　数据加载 193
8.4　探索——数据分析 194
8.4.1　基本清理 194
8.4.2　预测目标 200
8.4.3　使用模型评分 221
8.4.4　模型部署 224
8.5　小结 229