袁梅宇，北航工学博士，硕士导师，现在昆明理工大学计算机系任教。为本科生和研究生主讲Java程序设计、Java EE技术、数据库原理、人工智能、Dot Net技术等核心课程，参加过863 CIMS Net建设、中欧合作项目DRAGON和多项国家基金和省基金项目，第一作者公开发表论文十余篇，软件著作权（颁证）六项。第一作者专著有《Java EE企业级编程开发实例详解》、《数据挖掘与机器学习——WEKA应用技术与实践》（第一版、第二版）、《求精要诀——Java EE编程开发案例精讲》。

第1章   TensorFlow介绍 1

1.1  深度学习与TensorFlow简介 2

1.1.1  深度学习简介 2

1.1.2  TensorFlow简介 3

1.2  TensorFlow的安装 6

1.2.1  Anaconda下载 6

1.2.2  在Windows平台安装TensorFlow 7

1.2.3  在Linux Ubuntu下安装TensorFlow 8

1.2.4  Anaconda管理 9

1.3  常用数据集 13

1.3.1  MNIST数据集 13

1.3.2  Fashion-MNIST数据集 14

1.3.3  IMDB数据集 16

1.3.4  CIFAR-10数据集 18

1.3.5  REUTERS数据集 20

1.3.6  QIQC数据集 22

1.3.7  Dogs vs. Cats数据集 23

第2章   TensorFlow文件操作 25

2.1  CSV文件操作 26

2.1.1  读取CSV文件 26

2.1.2  生成CSV文件 27

2.2  编写网络下载程序 28

2.3  TFRecords文件操作 30

2.3.1  生成TFRecords文件 30

2.3.2  读取TFRecords文件 33

2.4  数据集API 35

2.4.1  数据集对象 35

2.4.2  读取内存数据 36

2.4.3  读取文本文件 38

2.4.4  读取CSV文件 39

2.4.5  读取图像文件 41

第3章   BP神经网络原理与实现 45

3.1  神经网络构件 46

3.1.1  神经元 46

3.1.2  激活函数 47

3.2  神经网络原理 52

3.2.1  神经网络表示 52

3.2.2  前向传播 54

3.2.3  代价函数 58

3.2.4  梯度下降 58

3.2.5  反向传播 60

3.3  BP神经网络的Python实现 62

3.3.1  辅助函数 62

3.3.2  前向传播实现 66

3.3.3  反向传播实现 68

3.3.4  模型训练和预测 72

3.3.5  主函数和运行结果 74

3.4  BP神经网络的TensorFlow实现 76

3.4.1  加载数据集 76

3.4.2  模型训练和预测 77

第4章   TensorFlow基础编程 79

4.1  TensorFlow的编程环境 80

4.2  TensorFlow计算图 81

4.3  核心概念 81

4.3.1  变量与占位符 81

4.3.2  矩阵运算 85

4.3.3  常用运算符 86

4.3.4  图、会话及运行 87

4.4  通过实例学习TensorFlow 90

4.4.1  异或问题描述与解决思路 90

4.4.2  低级API解决异或问题 91

4.4.3  用Keras解决异或问题 93

4.4.4  用Estimators解决异或问题 94

4.5  一个简单的文本分类示例 97

4.6  TensorBoard可视化工具 101

4.6.1  启动TensorBoard 101

4.6.2  在浏览器中查看 103

第5章   神经网络训练与优化 107

5.1  神经网络迭代概述 108

5.1.1  训练误差与泛化误差 108

5.1.2  训练集、验证集和测试集的划分 109

5.1.3  偏差与方差 111

5.2  正则化方法 112

5.2.1  提前终止 113

5.2.2  正则化 113

5.2.3  Dropout 115

5.3  优化算法 117

5.3.1  小批量梯度下降 117

5.3.2  Momentum算法 119

5.3.3  RMSProp算法 121

5.3.4  Adam算法 124

第6章   卷积神经网络原理 127

6.1  CNN介绍 128

6.1.1  CNN与图像处理 128

6.1.2  卷积的基本原理 128

6.1.3  池化的基本原理 138

6.2  Keras实现LeNet-5网络 142

6.2.1  LeNet-5介绍 142

6.2.2  使用Keras实现LeNet-5网络 143

6.3  用Estimator实现CIFAR-10图像识别 147

6.3.1  预创建的Estimator 147

6.3.2  定制 Estimator 151

6.3.3  用TensorBoard查看 157

第7章   卷积神经网络示例 161

7.1  经典CNN案例 162

7.1.1  VGG 162

7.1.2  ResNet 163

7.1.3  Inception 165

7.1.4  Xception 168

7.2  使用预训练的CNN 169

7.2.1  直接使用预训练CNN 169

7.2.2  数据生成器 172

7.2.3  特征提取 173

7.2.4  微调 181

7.3  CNN可视化 183

7.3.1  中间激活可视化 183

7.3.2  过滤器可视化 190

第8章   词嵌入模型 195

8.1  词嵌入模型介绍 196

8.1.1  独热码 196

8.1.2  词嵌入 202

8.2  词嵌入学习 204

8.2.1  词嵌入学习的动机 204

8.2.2  Skip-Gram算法 205

8.2.3  CBOW算法 207

8.2.4  负采样 208

8.2.5  GloVe算法 211

8.3  Word2Vec算法实现 212

8.3.1  Skip-Gram算法实现 212

8.3.2  CBOW算法实现 218

8.3.3  负采样Skip-Gram算法实现 220

第9章   循环神经网络原理 229

9.1  RNN介绍 230

9.1.1  有记忆的神经网络 230

9.1.2  RNN的用途 233

9.2  基本的RNN模型 236

9.2.1  基本RNN的原理 236

9.2.2  基本RNN的训练问题 241

9.2.3  基本RNN示例 243

9.3  LSTM 246

9.3.1  LSTM原理 246

9.3.2  LSTM示例 250

9.4  GRU 251

9.4.1  GRU原理 251

9.4.2  GRU示例 253

第10章   循环神经网络示例 255

10.1  情感分析 256

10.2  文本序列数据生成 262

10.2.1  向莎士比亚学写诗 262

10.2.2  神经机器翻译 268

参考文献    282