自早期以来，神经网络就一直是人工智能的支柱。现在，令人兴奋的新技术（例如深度学习和卷积）正在将神经网络带入一个全新的方向。在本书中，我们将演示各种现实世界任务中的神经网络，例如图像识别和数据科学。我们研究了当前的神经网络技术，包括ReLU 激活、随机梯度下降、交叉熵、正则化、Dropout 及可视化等。

第 1 章 神经网络基础 1
1．1 神经元和层 2
1．2 神经元的类型 5
1．2．1 输入和输出神经元 6
1．2．2 隐藏神经元 7
1．2．3 偏置神经元 7
1．2．4 上下文神经元 8
1．2．5 其他神经元类型 10
1．3 激活函数 10
1．3．1 线性激活函数 10
1．3．2 阶跃激活函数 11
1．3．3 S 型激活函数12
1．3．4 双曲正切激活函数 13
1．4 修正线性单元（ReLU）13
1．4．1 Softmax 激活函数 14
1．4．2 偏置扮演什么角色？ 17
1．5 神经网络逻辑 19
1．6 本章小结 22
第 2 章 自组织映射 23
2．1 自组织映射 24
2．1．1 理解邻域函数 27
2．1．2 墨西哥帽邻域函数 30
2．1．3 计算 SOM 误差 32
2．2 本章小结 33
第 3 章 Hopfield 网络和玻尔兹曼机34
3．1 Hopfield 神经网络 34
3．1．1 训练 Hopfield 网络 37
3．2 Hopfield-Tank 网络 41
3．3 玻尔兹曼机 42
3．3．1 玻尔兹曼机概率 44
3．4 应用玻尔兹曼机 45
3．4．1 旅行商问题 45
3．4．2 优化问题 48
3．4．3 玻尔兹曼机训练 51
3．5 本章小结 51
第 4 章 前馈神经网络 53
4．1 前馈神经网络结构 54
4．1．1 用于回归的单输出神经网络 54
4．2 计算输出 56
4．3 初始化权重 60
4．4 径向基函数网络 63
4．4．1 径向基函数 64
4．4．2 径向基函数网络 65
4．5 规范化数据 67
4．5．1 1-of-N 编码 68
4．5．2 范围规范化 69
4．5．3 Z 分数规范化70
4．5．4 复杂规范化 73
4．6 本章小结 75
第 5 章 训练与评估 77
5．1 评估分类 78
5．1．1 二值分类 79
5．1．2 多类分类 84
5．1．3 对数损失 86
5．1．4 多类对数损失 88
5．2 评估回归 88
5．3 模拟退火训练 89
5．4 本章小结 92
第 6 章 反向传播训练 93
6．1 理解梯度 93
6．1．1 什么是梯度 94
6．1．2 计算梯度 96
6．2 计算输出节点增量 98
6．2．1 二次误差函数 98
6．2．2 交叉熵误差函数 99
6．3 计算剩余节点增量 99
6．4 激活函数的导数 100
6．4．1 线性激活函数的导数 100
6．4．2 Softmax 激活函数的导数 100
6．4．3 S 型激活函数的导数 101
6．4．4 双曲正切激活函数的导数 102
6．4．5 ReLU 激活函数的导数 102
6．5 应用反向传播 103
6．5．1 批量训练和在线训练 104
6．5．2 随机梯度下降 105
6．5．3 反向传播权重更新 105
6．5．4 选择学习率和动量 106
6．5．5 Nesterov 动量 107
6．6 本章小结 108
第 7 章 其他传播训练 110
7．1 弹性传播 110
7．2 RPROP 参数 111
7．3 数据结构 113
7．4 理解 RPROP 114
7．4．1 确定梯度的符号变化 114
7．4．2 计算权重变化 115
7．4．3 修改更新值 115
7．5 Levenberg-Marquardt 算法 116
7．6 Hessian 矩阵的计算 119
7．7 具有多个输出的 LMA 120
7．8 LMA 过程概述 122
7．9 本章小结 122
第 8 章 NEAT，CPPN 和 HyperNEAT 124
8．1 NEAT 网络 125
8．1．1 NEAT 突变 128
8．1．2 NEAT 交叉 129
8．1．3 NEAT 物种形成 133
8．2 CPPN 网络 134
8．2．1 CPPN 表型 135
8．3 HyperNEAT 网络 138
8．3．1 HyperNEAT 基板 139
8．3．2 HyperNEAT 计算机视觉 140
8．4 本章小结 142
第 9 章 深度学习 143
9．1 深度学习组件 143
9．2 部分标记的数据 144
9．3 修正线性单元 145
9．4 卷积神经网络 145
9．5 神经元 Dropout 146
9．6 GPU 训练 147
9．7 深度学习工具 149
9．7．1 H2O 149
9．7．2 Theano 150
9．7．3 Lasagne 和 NoLearn 150
9．7．4 ConvNetJS 152
9．8 深度信念神经网络 152
9．8．1 受限玻尔兹曼机 154
9．8．2 训练 DBNN 155
9．8．3 逐层采样 157
9．8．4 计算正梯度 157
9．8．5 吉布斯采样 159
9．8．6 更新权重和偏置 160
9．8．7 DBNN 反向传播 161
9．8．8 深度信念应用 162
9．9 本章小结 164
第 10 章 卷积神经网络 165
10．1 LeNET-5 166
10．2 卷积层 168
10．3 最大池层 170
10．4 稠密层 172
10．5 针对 MNIST 数据集的 ConvNets 172
10．6 本章小结 174
第 11 章 剪枝和模型选择 175
11．1 理解剪枝 176
11．1．1 剪枝连接 176
11．1．2 剪枝神经元 176
11．1．3 改善或降低表现 177
11．2 剪枝算法 177
11．3 模型选择 179
11．3．1 网格搜索模型选择 180
11．3．2 随机搜索模型选择 183
11．3．3 其他模型选择技术 184
11．4 本章小结 185
第 12 章 Dropout 和正则化 186
12．1 L1 和 L2 正则化 187
12．1．1 理解 L1 正则化 188
12．1．2 理解 L2 正则化 189
12．2 Dropout 层 190
12．2．1 Dropout 层 191
12．2．2 实现 Dropout 层 191
12．3 使用 Dropout 194
12．4 本章小结 195
第 13 章 时间序列和循环网络 197
13．1 时间序列编码 198
13．1．1 为输入和输出神经元编码数据 199
13．1．2 预测正弦波 200
13．2 简单循环神经网络 204
13．2．1 Elman 神经网络 206
13．2．2 Jordan 神经网络 207
13．2．3 通过时间的反向传播 208
13．2．4 门控循环单元 211
13．3 本章小结 213
第 14 章 架构神经网络 214
14．1 评估神经网络 215
14．2 训练参数 215
14．2．1 学习率 216
14．2．2 动量 218
14．2．3 批次大小 219
14．3 常规超参数 220
14．3．1 激活函数 220
14．3．2 隐藏神经元的配置 222
14．4 LeNet-5 超参数 223
14．5 本章小结 224
第 15 章 可视化 226
15．1 混淆矩阵 227
15．1．1 读取混淆矩阵 227
15．1．2 生成混淆矩阵 228
15．2 t-SNE 降维 229
15．2．1 t-SNE 可视化 231
15．2．2 超越可视化的 t-SNE 235
15．3 本章小结 236
第 16 章 用神经网络建模 237
16．0．1 挑战赛的经验 241
16．0．2 挑战赛取胜的方法 242
16．0．3 我们在挑战赛中的方法 244
16．1 用深度学习建模 245
16．1．1 神经网络结构 245
16．1．2 装袋多个神经网络 249
16．2 本章小结 250
附录 A 示例代码使用说明 252
A．1 系列图书简介 252
A．2 保持更新 252
A．3 获取示例代码 253
A．3．1 下载压缩文件 253
A．3．2 克隆 Git 仓库 254
A．4 示例代码的内容 255
A．5 如何为项目做贡献 257
参考资料 259