徐俊刚 中国科学院大学计算机科学与技术学院教授，博士生导师，云计算与智能信息处理实验室（Cloud Computing & Intelligent Information Processing Lab，CCIP实验室）主任，中国科学院大学第六届学位评定委员会计算机与控制学位评定委员会委员，计算机科学与技术学院教学委员会委员，计算机科学与技术学院“深度学习”课程首席教授。2003年博士毕业于中国科学院软件研究所，2005年清华大学计算机科学与技术系博士后出站。研究领域包括深度学习、自动机器学习和多模态智能分析等，主持国家科技支撑计划课题、国家自然科学基金面上项目、北京市科技计划课题、北京市自然科学基金面上项目等科研项目多项，发表论文100余篇。现为国家科技专家库专家，北京市科学技术委员会、中关村科技园区管理委员会专家。目前任中国人工智能学会智能服务专业委员会常务委员，中国计算机学会人工智能与模式识别专业委员会执行委员、数据库专业委员会执行委员和自然语言处理专业委员会执行委员。讲授的“深度学习”课程被评为2021年中国科学院大学“校级优秀研究生课程”，个人荣获2016年“中国科学院朱李月华优秀教师奖”。

深度学习是人工智能的重要分支，在多个应用领域取得了突破性成果。本书作为深度学习的入门教材，基本涵盖了深度学习的各个方面。全书共8章，第1章概要介绍了深度学习的基本概念、典型算法及应用；第2~5章是本书的核心内容，详细介绍了卷积神经网络、循环神经网络、Transformer和生成对抗网络的基本原理、典型算法以及主要应用；第6章介绍了一些典型的深度生成模型以及近期比较流行的扩散模型；第7章介绍了深度学习中常用的正则化与优化方法；第8章介绍了TensorFlow、PyTorch和飞桨三个常用的深度学习框架。本书每章都附有复习题，中间各章还附有实验题，便于读者复习知识点和进行实践锻炼。此外，附录中还给出了一些数学基础知识和中英文术语对照。
本书可作为高等院校计算机科学与技术、智能科学与技术、自动化、电子科学与技术等相关专业的研究生或本科生教材，也可作为深度学习研究人员与算法工程师的参考书。

序

如果从1943年M-P神经元模型的提出算起，人工智能已经走过了80年的发展历程。从人工智能的发展阶段来看，几乎都与人工神经网络的发展息息相关，经历了多个蓬勃发展期和低谷期，例如：人工神经网络自提出以来，经过20多年的快速发展，由于1969年Marvin Minsky和Seymour Papert指出感知机无法解决异或操作这样的线性不可分问题而陷入低谷；1986年，David Rumelhart等人重新独立提出了多层感知机的反向传播算法，解决了之前的线性不可分问题，使得人工神经网络重新焕发了活力；1995年，Corinna Cortes等人提出支持向量机算法，它的高效性使得人工神经网络的发展再次出现停滞；2006年，Geoffrey Hinton提出深度学习的概念，深度学习技术在多个应用领域取得了突破性的成绩，这使得人工神经网络再次进入快速发展期；2023年，伴随着大型语言模型的爆发，人工智能的发展又进入了新的时代，人们对人工智能的未来充满了期待。近十年来，作为人工智能中最引人注目的技术，深度学习成为学术界和产业界持续关注的焦点。

我本人也从事人工智能研究多年，在研究中大量使用了深度学习技术，对于深度学习以及人工智能的发展有一些自己的思考。

首先，有了深度学习，传统的机器学习是否被弱化了？从近些年的发展情况来看，深度学习确实解决了很多传统机器学习无法解决的问题，但是深度学习也有它的适用领域，它更适用于计算机视觉、语音识别和自然语言处理领域的任务，而对于结构化数据的分析与处理，还需要传统的机器学习来解决，传统机器学习的效率和效果甚至要好于深度学习的。

其次，以深度学习为代表的统计机器学习是不是万能的？深度学习方法虽然效果很好，但是需要基于大量数据来训练模型，成本较高，并且缺乏可解释性，是不是还有其他方法不需要大量数据就能解决问题？这可以从两方面来看：存在既定逻辑、规则或者可表示为数学方程的问题，可以不使用深度学习或者其他统计机器学习方法来解决，而对于无法预知数据规律或无法用数学方程定义的问题，就需要用深度学习或者其他统计机器学习方法来解决。

最后，谈一下对大模型的认识，大模型的出现是否会影响传统的小模型研究？从近期情况来看，小模型研究确实受到了较大的冲击，很多人认为大模型能解决的问题，就没必要再用小模型去做了。但是，这有可能过高估计了大模型的能力。大模型的网络结构并不复杂，它并不能很好地解决所有问题，小模型在某些特定情况下也有其优势，对它的研究还是很有必要的。

作为徐俊刚教授的同事，我对他比较了解。他于2018~2019学年春季学期在中国科学院大学首次开设“深度学习”课程，并担任该课程的首席教授。目前该课程已开课多次，受到同学们的欢迎，选课人数一直居高不下。“深度学习”课程在2021年被评为“中国科学院大学校级优秀研究生课程”。徐俊刚教授长期从事大数据与人工智能领域的研究工作，在大数据、深度学习、自动机器学习等领域都做出了很多代表性的学术成果，相关成果也用于“深度学习”课程教学，很好地贯彻了中国科学院大学科教融合的办学思想。

希望本书的出版能进一步促进我国人工智能人才的培养，为我国人工智能领域学术研究与产业发展贡献一份力量。

黄庆明

中国科学院大学

2023年12月于北京

目录

序
前言
主要符号表

第1章　引言 1
1.1　深度学习的起源与发展 1
1.1.1　深度学习的起源 1
1.1.2　深度学习的发展 2
1.2　深度学习与机器学习、人工智能的关系 4
1.2.1　人工智能 4
1.2.2　机器学习 4
1.2.3　深度学习 5
1.3　深度学习的基本概念和典型算法 6
1.3.1　深度学习的基本概念 6
1.3.2　典型深度学习算法 6
1.4　深度学习的主要应用概述 12
1.4.1　深度学习在计算机视觉领域的应用 12
1.4.2　深度学习在语音处理领域的应用 13
1.4.3　深度学习在自然语言处理领域的应用 14
1.4.4　深度学习在多模态处理领域的应用 14
1.5　本书的组织结构 14
复习题 15
参考文献 15
本章人物：Geoffrey Hinton教授 18

第2章　卷积神经网络 19
2.1　卷积神经网络的起源与发展 19
2.1.1　卷积神经网络的起源 19
2.1.2　卷积神经网络的发展 20
2.2　卷积神经网络的基本结构 21
2.2.1　卷积层 21
2.2.2　激活函数 26
2.2.3　池化层 30
2.2.4　全连接层 30
2.2.5　输出层 30
2.3　卷积神经网络的训练 31
2.3.1　卷积神经网络的训练过程 31
2.3.2　池化层的训练 31
2.3.3　卷积层的训练 33
2.4　典型卷积神经网络 35
2.4.1　LeNet-5 35
2.4.2　AlexNet 37
2.4.3　VGGNet 39
2.4.4　GoogleNet 41
2.4.5　ResNet 42
2.5　卷积神经网络的主要应用 43
2.5.1　目标检测 43
2.5.2　图像分割 52
2.5.3　姿态估计 56
2.5.4　人脸识别 58
复习题 62
实验题 62
参考文献 63
本章人物：Yann LeCun教授 65

第3章　循环神经网络 66
3.1　循环神经网络的起源与发展 66
3.2　循环神经网络的训练 67
3.3　长短期记忆网络 70
3.4　循环神经网络的变种 73
3.4.1　GRU 73
3.4.2　双向RNN 75
3.4.3　堆叠RNN 75
3.5　循环神经网络的典型应用 76
3.5.1　语言模型 76
3.5.2　自动文本摘要 79
3.5.3　机器阅读理解 82
复习题 85
实验题 86
参考文献 86
本章人物：Jürgen Schmidhuber教授 89

第4章　Transformer 90
4.1　注意力机制 90
4.1.1　注意力机制的Encoder-Decoder结构 90
4.1.2　注意力机制的分类 92
4.2　Transformer概述 93
4.2.1　Transformer的结构 93
4.2.2　Transformer的输入编码 94
4.2.3　Transformer中的自注意力机制 95
4.2.4　Transformer中的其他细节 98
4.2.5　基于Transformer的大规模预训练模型 99
4.3　GPT系列模型 99
4.3.1　GPT-1 99
4.3.2　GPT-2 101
4.3.3　GPT-3 102
4.3.4　InstructGPT和ChatGPT 103
4.4　BERT系列模型 104
4.4.1　与其他大规模预训练模型的区别 105
4.4.2　BERT的架构与参数 105
4.4.3　BERT的输入表示 105
4.4.4　BERT的训练 107
4.4.5　BERT的变种 107
4.5　Swin Transformer 109
4.5.1　Swin Transformer的提出 109
4.5.2　Swin Transformer结构 109
4.5.3　Swin Transformer的滑动窗口机制 111
4.6　Transformer的主要应用 112
4.6.1　自然语言处理领域 112
4.6.2　计算机视觉领域 117
4.6.3　多模态领域 121
复习题 128
实验题 128
参考文献 128
本章人物：Yoshua Bengio教授 131

第5章　生成对抗网络 132
5.1　GAN的基本原理 132
5.1.1　零和博弈 132
5.1.2　GAN的基本结构 133
5.1.3　GAN的目标函数 134
5.1.4　GAN的训练 134
5.2　GAN的优化与改进 135
5.2.1　限定条件优化 136
5.2.2　迭代式生成优化 138
5.2.3　结构优化 141
5.3　GAN的主要应用 143
5.3.1　图像生成 143
5.3.2　图像转换 144
5.3.3　图像超分辨率重建 147
5.3.4　音乐生成 148
5.3.5　异常检测 152
复习题 156
实验题 156
参考文献 156
本章人物：Ian Goodfellow博士 158

第6章　深度生成模型 159
6.1　深度生成模型概述 159
6.2　Hopfield神经网络 160
6.3　玻尔兹曼机与受限玻尔兹曼机 162
6.3.1　玻尔兹曼机 162
6.3.2　受限玻尔兹曼机 163
6.4　Sigmoid信念网络与深度信念网络 165
6.4.1　Sigmoid信念网络 165
6.4.2　深度信念网络 166
6.5　深度玻尔兹曼机 167
6.6　自编码器及其变种 169
6.6.1　自编码器 169
6.6.2　降噪自编码器 170
6.6.3　稀疏自编码器 170
6.6.4　深度自编码器 171
6.7　扩散模型 172
6.7.1　前向过程 173
6.7.2　逆向过程 174
6.7.3　DDPM的训练 176
6.8　深度生成模型的应