本书讲述了深度学习架构与实践，共分为两个部分，第1部分（即第1~6章）为基础理论，主要对深度学习的理论知识进行了详细的讲解；第2部分（即第7~12章）为应用实践，以具体的实际案例为场景，通过理论和实践相结合的讲解方式使读者能够对深度学习技术有更好的理解。本书可以为读者提供一条轻松、快速入门深度学习的路径，有侧重地阐明深度学习的经典知识和核心要点，从架构和实践两个方面，让读者对深度学习的系统架构和若干领域的应用实践有清晰和深入的掌握。<br>本书适合计算机软件相关专业的高年级本科生或研究生，以及所有想要学习深度学习或从事计算机视觉算法开发的读者阅读。

目录<br><br>前言<br>绪论1<br>第1章 深度学习的架构8<br>11如何区分人工智能、机器学习、深度学习8<br>111人工智能：从概念提出到走向繁荣8<br>112机器学习：一种实现人工智能的方法9<br>113深度学习：一种实现机器学习的技术9<br>114人工智能、机器学习和深度学习的关系9<br>12深度学习的发展历史及研究现状10<br>121深度学习的发展历史10<br>122深度学习的研究现状11<br>13深度学习的基本内容及理论基础13<br>131深度学习的基本内容13<br>132深度学习的理论基础15<br>14深度学习的发展趋势与未来15<br>141深度学习的发展趋势15<br>142深度学习的未来16<br>第2章 深度学习相关数学基础17<br>21线性代数17<br>211标量、向量、矩阵和张量17<br>212矩阵和向量相乘18<br>213单位矩阵和逆矩阵19<br>214线性相关和生成子空间19<br>215范数21<br>216特殊类型的矩阵和向量22<br>217特征分解23<br>218奇异值分解24<br>219Moore-Penrose伪逆25<br>2110迹运算25<br>2111行列式26<br>2112主成分分析26<br>22概率论与信息论29<br>221随机试验、频率与概率、随机变量29<br>222随机变量的分布情况30<br>223二维随机变量31<br>224期望、方差、协方差、相关系数33<br>225常用的概率分布34<br>226常用函数的有用性质37<br>227连续型变量的技术细节39<br>228信息论40<br>229结构化概率模型41<br>23拟合、梯度下降与传播43<br>231过拟合和欠拟合43<br>232随机梯度下降44<br>233正向传播与反向传播47<br>第3章 神经网络的架构48<br>31神经网络与神经元48<br>32深度神经网络的概念与结构49<br>321深度神经网络的概念49<br>322深度神经网络的结构49<br>33深度神经网络的分类50<br>331前馈深度网络50<br>332反馈深度网络51<br>333双向深度网络51<br>34自动编码器与玻尔兹曼机51<br>341自动编码器51<br>342玻尔兹曼机52<br>第4章 卷积神经网络53<br>41卷积神经网络的概念53<br>42卷积神经网络的基本结构54<br>421卷积层55<br>422池化层56<br>423全连接层56<br>43非线性层与激活函数57<br>431Sigmoid激活函数57<br>432Tanh函数59<br>433Relu函数60<br>44感受野与权值共享61<br>441局部感受野61<br>442权值共享61<br>45卷积神经网络与反卷积神经网络62<br>451卷积神经网络及其特点62<br>452反卷积神经网络及其特点63<br>46卷积神经网络的训练63<br><br>第5章 循环神经网络64<br>51RNN的概念64<br>52RNN的结构64<br>53RNN的训练65<br>531反向传播算法的原理65<br>532反向传播算法的步骤65<br>54RNN的实现71<br>541梯度爆炸与梯度消失71<br>542基于RNN的语言模型例子71<br>543语言模型训练过程73<br>55RNN的发展74<br>551双向循环神经网络74<br>552长短时记忆结构75<br>第6章 生成对抗网络7761GAN的概念77<br>611对抗思想与GAN77<br>612最大似然估计及最优化问题79<br>613GAN的训练过程81<br>62GAN的原理82<br>621生成器82<br>622判别器83<br>63GAN的应用84<br>64GAN的发展85<br>641GAN的优缺点85<br>642GAN的未来发展方向86<br>第7章 Python相关基础8771Python程序结构87<br>711循环结构87<br>712分支结构89<br>72NumPy操作90<br>721NumPy的主要特点91<br>722ndarray91<br>723NumPy-数据类型94<br>724NumPy-数组属性94<br>725NumPy-数组创建例程96<br>726NumPy-切片和索引98<br>727NumPy-字符串函数99<br>728NumPy-算数函数100<br>729NumPy-算数运算100<br>7210NumPy-统计函数101<br>7211NumPy-排序、搜索和计数函数102<br>7212NumPy-字节交换103<br>7213NumPy-副本和视图103<br>7214NumPy-矩阵库104<br>7215NumPy-线性代数105<br>73函数105<br>731Python中函数的应用105<br>732Python函数的定义107<br>733Python函数的调用108<br>734为函数提供说明文档109<br>74第三方资源110<br>第8章 TensorFlow、Theano、Caffe的框架与安装113<br>81TensorFlow的框架与安装113<br>811TensorFlow的简介113<br>812TensorFlow的架构113<br>813TensorFlow的特点114<br>814TensorFlow的安装114<br>82Theano的框架与安装118<br>821Theano的简介118<br>822Theano的安装119<br>83Caffe的架构与安装121<br>831Caffe的简介121<br>832Caffe的安装122<br>第9章 TensorFlow、Theano、Caffe的原理及应用124<br>91TensorFlow的原理及应用124<br>911TensorFlow的工作原理124<br>912TensorFlow的简单应用126<br>913TensorFlow的复杂应用129<br>92Theano的基本语法及应用145<br>921Theano的基本语法145<br>922Theano在Windows下的常用实例149<br>923用Theano来编写一个简单的神经网络154<br>93Caffe的结构、写法及应用157<br>931Caffe的结构157<br>932Caffe的写法157<br>933Caffe的训练与测试167<br>第10章 手写数字识别实例177<br>101字符识别的意义177<br>102字符识别的设计与实现177<br>1021实验简介177<br>1022实验环境搭建178<br>103单层神经网络搭建178<br>1031网络搭建过程178<br>1032梯度下降180<br>104多层神经网络搭建183<br>1041Sigmoid激活函数184<br>1042Relu激活函数184<br>1043衰减学习率187<br>1044添加dropout解决过拟合现象188<br>105卷积神经网络190<br>第11章 自动生成图像描述实例195<br>111自动生成图像描述的目标195<br>112自动生成图像描述的设计198<br>113语言生成模型201<br>114自动生成图像描述的实现203<br>115实验结果及分析221<br>第12章 唇语识别实例225<br>121唇语识别技术的目标225<br>122特征提取225<br>1221CNN的唇部视觉特征提取225<br>1222RNN的时序特征提取226<br>1223特征分类算法SVM、KNN、Softmax228<br>123唇语识别模型网络架构230<br>1231抽取视频帧算法与视频唇部区域定位230<br>1232图像特征提取网络架构233<br>1233基于注意力机制的时间特征提取架构234<br>1234唇语识别模型与整体识别流程235<br>124实验结果及分析239<br>1241数据集与预处理239<br>1242实验结果239<br>1243可视化分析242<br>参考文献246<br>