《深度学习视频理解》是一本综合介绍新的基于深度学习的视频理解算法的参考书，通过理论与实践相结合的形式详细介绍了视频理解中的识别、定位、特征表示等诸多重点任务和方法。对该领域的研究者和从业者都非常实用。
作者张皓毕业于著名的南京大学LAMDA研究所，现任腾讯在线视频研究员。在视频理解领域深入研究多年。
视频理解是计算机视觉和深度学习的一个重要分支。本书对视频理解的3个重要领域进行介绍，对于每个领域，本书不仅解释了相关算法的原理，还梳理了算法演进的脉络。全书共分6章，第1章简要介绍视频行业的发展历程；第2章回顾经典图像分类模型和RNN；第3章和第4章介绍动作识别的重要算法；第5章介绍时序动作定位的重要算法；第6章介绍视频Embedding的重要算法。最后总结了常用的一些视频处理工具。
本书既适合高等院校人工智能相关专业的本科生和研究生阅读，也可供视频理解、推荐系统、搜索引擎和计算广告等领域的研究人员和从业者参考。
第1章 绪论 1
1.1 引言 1
1.2 本书内容 5
1.3 本章小结 15
第2章 经典网络结构回顾 16
2.1 经典图像分类网络 16
2.1.1 LetNet-5 16
2.1.2 AlexNet 18
2.1.3 VGGNet 22
2.1.4 GoogLeNet 24
2.1.5 Inception V2/V3 27
2.1.6 ResNet 28
2.1.7 preResNet 31
2.1.8 WRN 32
2.1.9 随机深度网络 33
2.1.10 DenseNet 35
2.1.11 ResNeXt 36
2.1.12 SENet 39
2.1.13 MobileNet 41
2.1.14 MobileNet V2/V3 44
2.1.15 ShuffleNet 46
2.1.16 ShuffleNet V2 49
2.2 RNN、LSTM和GRU 51
第3章 基于2D卷积的动作识别 62
3.1 平均汇合 62
3.2 NetVLAD和NeXtVLAD 64
3.3 利用RNN融合各帧特征 77
3.4 利用3D卷积融合各帧特征 81
3.5 双流法 87
3.6 时序稀疏采样 95
3.7 利用iDT轨迹 104
第4章 基于3D卷积的动作识别 110
4.1 3D卷积基础网络结构 110
4.2 I3D 118
4.4 TSM 135
4.5 3D卷积 + RNN 137
4.6 ARTNet 139
4.7 Non-Local 141
4.8 SlowFast 148
4.9 3D卷积神经网络超参数设计 152
第5章 时序动作定位 159
5.1 基于滑动窗的算法 160
5.2 基于候选时序区间的算法 171
5.3 自底向上的时序动作定位算法 183
5.4 对时序结构信息建模的算法 197
5.5 逐帧预测的算法 202
5.6 单阶段算法 208
第6章 视频Embedding 219
6.1 基于视频内容的无监督 Embedding 220
6.2 Word2Vec 229
6.2.1 CBOW和Skip-Gram 229
6.2.2 分层 Softmax 234
6.2.3 负采样 239
6.3 Item2Vec 247
6.3.1 Item2Vec 基本形式 247
6.3.2 Item2Vec的改进 249
6.4 基于图的随机游走 252
6.5 结合一二阶相似度 257
6.6 基于图的邻居结点 265
6.7 基于多种信息学习视频Embedding 274
附录A 视频处理常用工具 281
参考文献 296
视频理解是当前计算机视觉研究领域中备受学术界和工业界关注的方向。本书通过理论与实践相结合的形式详尽地介绍了视频理解中的识别、定位、特征表示等诸多重点任务和方法，同时本书也是综合介绍较新的基于深度学习的视频理解算法的中文书籍，对该领域的研究者和从业者都非常实用。
——视频理解领域研究者、资深算法工程师 林天威
随着视频行业的高速发展，如何利用 AI 技术更好地对视频内容进行理解变得越来越重要。张皓在视频理解领域深入研究多年，是 AI 技术应用领域的专家。在本书中，他结合自身的经历，详细介绍了视频理解的前生今世，为读者打开了 AI 世界的大门。本书内容介绍由浅入深，层层递进，对致力于研究视频理解领域的读者来说是一本好书。
——腾讯在线视频 AI 技术中心副总监 王烨鑫
本书是张皓多年科学研究之积累、呕心沥血之作品，它将理论与实践紧密结合起来，内容涵盖深度学习的基础知识和视频理解的诸多方面。本书对希望了解和掌握相关领域的初学者及从业人员来说是一本非常实用的参考书。
——南京理工大学教授 魏秀参