本书由浅入深,逐步讲解分布式机器学习的框架及应用,内容板块包括主流大数据算法系统架构设计、大数据基础、mahout分布式机器学习平台、Spark分布式机器学习平台、TensorFlow等。同时配套完整工业级实战项目,例如个性化推荐算法系统、人脸识别,对话机器人。通过阅读本书,读者不仅可以学习到分布式机器学习的知识,还能通过实战案例更好地将理论融入到实际工作中。
本书适合想学习分布式机器学习的初学者阅读,对于有一定经验的分布式大数据方向的从业人员及算法工程师,也可以从书中获取很多有价值的知识。
目录
第1章互联网公司大数据和人工智能那些事
1.1大数据和人工智能在互联网公司扮演的角色和重要性
1.1.1什么是大数据,扮演的角色和重要性
1.1.2什么是人工智能,扮演的角色和重要性
1.1.3大数据和人工智能有什么区别,又是如何相互关联
1.2大数据部门组织架构和各种职位介绍
1.2.1大数据部门组织架构
1.2.2各种职位介绍和技能要求
1.2.3不同职位相互协调配合关系
1.2.4各个职位的职业生涯规划和发展路径
1.2.5各个职位的市场平均薪资水平
第2章大数据算法系统架构
2.1经典应用场景
2.2应用系统架构设计
第3章大数据基础
3.1Hadoop大数据平台搭建
3.1.1Hadoop原理和功能介绍
3.1.2Hadoop安装部署
3.1.3Hadoop常用操作命令
3.2Hive数据仓库实战
3.2.1Hive原理和功能介绍
3.2.2Hive安装部署
3.2.3Hive SQL操作
3.2.4UDF函数
3.2.5Hive数据仓库模型设计
3.3HBase实战
3.3.1HBase原理和功能介绍
3.3.2HBase数据结构和表详解
3.3.3HBase安装部署
3.3.4HBase Shell常用命令操作
3.3.5HBase客户端类SQL工具Phoenix
3.3.6Hive集成HBase查询数据
3.3.7HBase升级和数据迁移
3.4Sqoop数据ETL工具实战
3.4.1Sqoop原理和功能介绍
3.4.2Sqoop常用操作
3.5Spark基础
3.5.1Spark原理和介绍
3.5.2Spark MLlib机器学习介绍
3.5.3Spark GraphX图计算介绍
3.5.4Spark Streaming流式计算介绍
3.5.5Scala编程入门和Spark编程
3.5.6Spark项目案例实战和分布式部署
第4章Docker容器
4.1Docker介绍
4.1.1能用Docker做什么
4.1.2Docker容器基本概念
4.2Docker容器部署
4.2.1基础环境安装
4.2.2Docker常用命令
第5章Mahout分布式机器学习平台
5.1Mahout挖掘平台
5.1.1Mahout原理和介绍
5.1.2Mahout安装部署
5.2Mahout机器学习算法
5.2.1Mahout算法概览
5.2.2潜在狄利克雷分配模型
5.2.3MinHash聚类
5.2.4Kmeans聚类
5.2.5Canopy聚类
5.2.6MeanShift均值漂移聚类
5.2.7Fkmeans模糊聚类
5.2.8贝叶斯分类算法
5.2.9SGD逻辑回归分类算法
5.2.10随机森林分类算法
5.2.11关联规则之频繁项集挖掘算法
5.2.12协同过滤算法
5.2.13遗传算法
第6章Spark分布式机器学习平台
6.1Spark机器学习库
6.1.1Spark机器学习简介
6.1.2算法概览
6.2各个算法介绍和编程实战
6.2.1推荐算法交替最小二乘法
6.2.2逻辑回归
6.2.3决策树
6.2.4随机森林
6.2.5梯度提升决策树
6.2.6支持向量机
6.2.7朴素贝叶斯
6.2.8序列模式挖掘PrefixSpan
6.2.9Word2vec词向量模型
6.2.10多层感知器神经网络
第7章分布式深度学习实战
7.1TensorFlow深度学习框架
7.1.1TensorFlow原理和介绍
7.1.2TensorFlow安装部署
7.2MXNet深度学习框架
7.2.1MXNet原理和介绍
7.2.2MXNet安装部署
7.3神经网络算法
7.3.1多层感知器算法
7.3.2卷积神经网络
7.3.3循环神经网络
7.3.4长短期记忆神经网络
7.3.5端到端神经网络
7.3.6生成对抗网络
7.3.7深度强化学习
7.3.8TensorFlow分布式训练实战
7.3.9分布式TensorFlow on Kubernetes集群实战
第8章完整工业级系统实战
8.1推荐算法系统实战
8.1.1推荐系统架构设计
8.1.2推荐数据仓库集市
8.1.3ETL数据处理
8.1.4协同过滤用户行为挖掘
8.1.5ContentBase文本挖掘算法
8.1.6用户画像兴趣标签提取算法
8.1.7基于用户心理学模型推荐
8.1.8多策略融合算法
8.1.9准实时在线学习推荐引擎
8.1.10Redis缓存处理
8.1.11分布式搜索
8.1.12推荐Rerank二次重排序算法
8.1.13在线Web实时推荐引擎服务
8.1.14在线AB测试推荐效果评估
8.1.15离线AB测试推荐效果评估
8.1.16推荐位管理平台
8.2人脸识别实战
8.2.1人脸识别原理与介绍
8.2.2人脸识别应用场景
8.2.3人脸检测与对齐
8.2.4人脸识别比对
8.2.5人脸年龄识别
8.2.6人脸性别预测
8.3对话机器人实战
8.3.1对话机器人原理与介绍
8.3.2基于TensorFlow的对话机器人
8.3.3基于MXNet的对话机器人
8.3.4基于深度强化学习的机器人
8.3.5基于搜索引擎的对话机器人
8.3.6对话机器人的Web服务工程化
参考文献
温馨提示:请使用泸西县图书馆的读者帐号和密码进行登录
《分布式机器学习实战》包含了目前主流互联网公司所采用的大数据、AI方面的系统架构、中间件、工具、机器学习/深度学习算法等,内容由浅入深,全面翔实。
——陈兴茂 猎聘CTO
通读《分布式机器学习实战》,有三点深切的体会。第一,系统全面:本书把分布式机器学习的关键环节进行了系统化梳理,介绍了主流的技术和工具平台,同时对大数据技术也做了详细讲解,是入门、参考、提高的有益工具书;第二,深入浅出:大量的系统化讲解,配合丰富的素材、案例和实际操作场景介绍,不但授人以鱼同时也授人以渔;第三,讲解清晰,思路明确:作者根据长期实践的经验总结,并融合大量的最新成果,连同职业路径规划都详细介绍。此书是难得佳作!
——梅一多 上海市青年拔尖人才,中基凌云科技有限公司联合创始人
《分布式机器学习实战》非常贴近实战,涵盖了目前各类应用场景的算法系统,对每个场景都有理论基础、源代码、算法解读等,深入浅出的讲解对于读者具有很强的实用性,作为大数据及人工智能领域的从业人员是必选的工具类参考书。
——杨正洪 博士 中央财经大学财税大数据实验室首席科学家
《分布式机器学习实战》不“高来高去”讲一些宏观的概念,书中的每一个算法,每一个场景都是来自于当前的商业应用,对于读者来讲这是一本难得的实用宝典。
—— 刘冬冬 首席数据官联盟创始人
《分布式机器学习实战》理论联系实践,覆盖技术面广,并且有公司工业级的系统实战,包含目前比较热门的推荐算法系统、人脸识别、对话机器人等项目,对常见的大数据算法系统架构也做了详细讲解,是一本难得的机器学习方面的佳作。无论对初学者、架构师,还是有经验的技术人员,都会开卷有益、有所收获。
——龙旭东 北京掌游智慧科技有限公司董事长