高盛华简介：

上海科技大学信息科学与技术学院教授，长期从事计算机视觉与机器学习领域研究，发表多篇高水平计算机视觉领域学术论文。

厉征鑫简介：

上海科技大学信息科学与技术学院副研究员，博士毕业于江南大学，长期从事机器视觉、异常检测相关研究，发表多篇计算机视觉领域论文。

本书主要介绍和探讨计算机视觉的一系列核心主题，包括相机成像，图像处理、分析和感知，三维重建等。首先介绍了相机模型、成像过程以及图像的颜色模型、照射模型、渲染模型等；然后系统性地介绍了图像滤波、特征提取、图像和视频感知与理解等多种任务，不仅详细讲解了各任务中的经典方法，还全面地介绍了前沿的基于深度学习的方法；最后介绍了三维重建中涉及的几何原理、重建步骤以及基于深度学习的新方法。

本书针对每一个核心问题单独成章，并着重讲解基本概念。通过大量的彩图，帮助读者理解问题。适合作为本科及研究生的计算机视觉和数字图像处理课程的教材，并且可以作为深度学习课程的参考书。同时，也可供对计算机视觉感兴趣的相关专业人士参考。

第１章 相机成像模型 ／１

１．１ 引言 ／１

１．２ 简单的相机模型 ／２

１．２．１ 相机数学模型 ／２

１．２．２ 相机的内参 ／４

１．２．３ 相机的外参 ／６

１．２．４ 相机成像公式 ／７

１．２．５ 相机成像畸变 ／７

１．３ 图像的颜色 ／１０

１．３．１ 基于拜尔滤波器的颜色感知 ／１０

１．３．２ ＲＧＢ颜色模型 ／１１

１．３．３ ＨＳＶ颜色模型 ／１２

１．４ 图像的亮度 ／１４

１．４．１ 空间中的光 ／１４

１．４．２ 物体表面的光线反射 ／１６

１．４．３ 薄透镜成像的辐射度学 ／１７

１．４．４ 数字成像过程 ／１９

１．５ 渲染 ／２０

１．５．１ 渲染方程 ／２０

１．５．２ 光线追踪算法 ／２０

１．６ 本章小结 ／２３

第２章 图像空间滤波 ／２４

２．１ 引言 ／２４

２．２ 卷积和互相关 ／２５

２．２．１ 卷积 ／２５

２．２．２ 互相关 ／２６

２．３ 图像的平滑 ／２８

２．３．１ 邻域均值滤波 ／２８

２．３．２ 加权均值滤波 ／２８

２．３．３ 高斯均值滤波 ／２９

２．３．４ 中值滤波 ／３０

２．３．５ 双边滤波 ／３０

２．４ 图像的锐化 ／３２

２．４．１ 梯度锐化 ／３２

２．４．２ 拉普拉斯算子的二阶微分锐化 ／３３

２．４．３ 非锐化掩膜与高频提升滤波 ／３４

２．５ 本章小结 ／３５

第３章 图像特征提取 ／３６

３．１ 引言 ／３６

３．２ 基于非学习方法的边缘检测 ／３７

３．２．１ 边缘、导数和梯度 ／３９

３．２．２ 边缘的卷积形式计算 ／４０

３．２．３ 噪声对边缘检测的影响和处理方法 ／４１

３．２．４ Ｃａｎｎｙ边缘检测算子 ／４３

３．３ 基于深度学习的边缘检测 ／４５

３．３．１ ＨＥＤ／４５

３．３．２ ＲＣＦ／４７

３．３．３ ＣＡＳＥＮｅｔ／４９

３．４ 基于非学习方法的关键点检测 ／５１

３．４．１ 角点检测原理 ／５３

３．４．２ Ｈａｒｒｉｓ角点检测 ／５４

３．４．３ Ｈａｒｒｉｓ角点检测的优势与不足 ／５８

３．４．４ 高斯拉普拉斯算子 ／５９

３．４．５ 高斯差分算子 ／６４

３．５ 基于深度学习的语义关键点检测 ／６５

３．５．１ 基于深度学习的人脸关键点检测 ／６５

３．５．２ 人体关键点检测 ／６９

３．５．３ 房间布局估计 ／７４

３．６ 基于非学习方法的直线检测 ／７８

３．６．１ 最小二乘法 ／７８

３．６．２ 基于ＲＡＮＳＡＣ的直线拟合 ／８２

３．６．３ 霍夫变换 ／８４

３．７ 基于深度学习的线段检测 ／８７

３．７．１ 基于图表示的线段检测 ／８７

３．７．２ 基于向量场表示的线段检测 ／８８

３．７．３ 语义直线检测及应用 ／８９

３．８ 本章小结 ／９１

参考文献 ／９１

第４章 图像分类 ／９４

４．１ 引言 ／９４

４．２ 图像表达 ／９７

４．３ 基于手动特征的图像表达 ／９８

４．３．１ 基于颜色直方图的图像表达 ／９８

４．３．２ 基于经典的视觉词袋模型的图像表达 ／９９

４．３．３ 基于空间金字塔匹配模型的图像表达 ／１０４

４．３．４ 基于压缩感知的图像表达 ／１０５

４．３．５ 基于高斯混合模型的图像特征编码 ／１０７

４．４ 基于支持向量机的图像分类 ／１０８

４．４．１ 面向线性可分数据的支持向量机分类 ／１０８

４．４．２ 面向非线性可分数据的支持向量机分类 ／１１４

４．４．３ 基于支持向量机的多分类实现 ／１１６

４．４．４ 基于视觉词袋模型和支持向量机的图像分类 ／１１６

４．５ 基于自编码器的图像表达 ／１１７

４．５．１ 多层感知机 ／１１８

４．５．２ 自编码器 ／１２０

４．５．３ 降噪自编码器 ／１２１

４．６ 基于卷积神经网络的图像分类 ／１２２

４．６．１ 卷积神经网络的组件 ／１２２

４．６．２ 神经网络的训练 ／１２８

４．６．３ 代表性图像分类卷积神经网络 ／１３１

４．７ 基于胶囊网络的图像分类 ／１４３

４．７．１ ＣａｐｓＮｅｔ／１４４

４．７．２ 堆叠胶囊自编码器 ／１４７

４．８ 基于Ｔｒａｎｓｆｏｒｍｅｒ的图像分类 ／１４９

４．８．１ 自然语言处理中的Ｔｒａｎｓｆｏｒｍｅｒ／１４９

４．８．２ 基于Ｔｒａｎｓｆｏｒｍｅｒ的图像分类 ／１５１

４．９ 本章小结 ／１５９

参考文献 ／１５９

第５章 图像中目标检测 ／１６４

５．１ 引言 ／１６４

５．２ 基于手动特征的目标检测 ／１７１

５．２．１ ＶｉｏｌａＪｏｎｅｓ人脸检测算法 ／１７２

５．２．２ 基于ＤＰＭ的目标检测 ／１７６

５．３ 基于卷积神经网络的目标检测 ／１８３

５．３．１ 两阶段目标检测算法 ／１８５

５．３．２ 单阶段目标检测算法 ／１９０

５．３．３ 无锚框的目标检测算法 ／１９５

５．４ 基于Ｔｒａｎｓｆｏｒｍｅｒ的目标检测 ／１９９

５．４．１ ＤＥＴＲ／１９９

５．４．２ Ｐｉｘ２ｓｅｑ／２０１

５．５ 本章小结 ／２０３

参考文献 ／２０４

第６章 图像分割 ／２０７

６．１ 引言 ／２０７

６．２ 基于手动特征的图像分割算法 ／２０９

６．２．１ 基于图论的图像分割 ／２０９

６．２．２ 基于聚类的图像分割 ／２１３

６．３ 语义分割 ／２１６

６．３．１ ＦＣＮ／２１８

６．３．２ Ｕ Ｎｅｔ／２１９

６．３．３ ＤｅｅｐＬａｂ／２２０

６．３．４ ＰＳＰＮｅｔ／２２３

６．４ 实例分割 ／２２３

６．４．１ ＭａｓｋＲ ＣＮＮ／２２５

６．４．２ ＹＯＬＡＣＴ／２２５

６．４．３ ＳＯＬＯ／２２７

６．５ 全景分割 ／２２８

６．５．１ ＰａｎｏｐｔｉｃＦＰＮ／２２９

６．５．２ ＵＰＳＮｅｔ／２３０

６．６ 点云分割 ／２３２

６．６．１ 用于图的卷积神经网络 ／２３４

６．６．２ 基于点云的语义分割 ／２３８

６．７ 本章小结 ／２４４

参考文献 ／２４４

第７章 视频分类和行为识别 ／２４８

７．１ 引言 ／２４８

７．２ 基于手动特征的视频分类 ／２５３

７．２．１ 基于词袋模型的视频表达和分类 ／２５４

７．２．２ 基于光流特征的视频表达和分类 ／２５４

７．３ 基于循环神经网络的视频分类 ／２６３

７．３．１ 循环神经网络 ／２６３

７．３．２ 双向循环神经网络 ／２６４

７．３．３ 长短期记忆网络 ／２６６

７．３．４ 门控制循环单元 ／２６７

７．３．５ 基于ＬＳＴＭ的视频表达 ／２６７

７．４ 基于卷积神经网络的视频分类 ／２７０

７．４．１ 单分支网络 ／２７０

７．４．２ 多分支网络 ／２７８

７．５ 基于Ｔｒａｎｓｆｏｒｍｅｒ的视频分类 ／２８２

７．５．１ ＶｉＶｉＴ／２８２

７．５．２ ＴｉｍｅＳＦｏｒｍｅｒ／２８５

７．５．３ ＶｉｄｅｏＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ／２８６

７．５．４ ＶｉｄｅｏＣＬＩＰ／２８８

７．５．５ ＶＬＭ／２９０

７．６ 时序动作定位 ／２９１

７．６．１ 单阶段方法 ／２９２

７．６．２ 自顶向下的多阶段方法 ／２９５

７．６．３ 自底向上的多阶段方法 ／２９９

７．７ 本章小结 ／３０４

参考文献 ／３０４

第８章 图像三维重建 ／３１１

８．１ 引言 ／３１１

８．２ 对极几何 ／３１３

８．３ 相机标定 ／３１７

８．４ 基于传统算法的多视图立体重建 ／３２１

８．４．１ 简单的基于匹配三维点空间坐标求解方法 ／３２１

８．４．２ 基于平面扫描的场景深度估计 ／３２２

８．４．３ 基于视差的深度估计 ／３２３

８．４．４ 基于ＰａｔｃｈＭａｔｃｈ的立体重建 ／３２５

８．５ 基于深度学习的多视角重建 ／３２８

８．５．１ ＭＶＳＮｅｔ／３２９

８．５．２ Ｆａｓｔ ＭＶＳＮｅｔ／３３０

８．６ 基于深度学习的场景的单目深度估计 ／３３２

８．６．１ 有监督学习的单目深度估计 ／３３２

８．６．２ 自监督学习的单目视频深度估计 ／３３５

８．７ 深度学习对基于不同形状表达的三维重建 ／３３８

８．７．１ 基于体素的显式三维表达 ／３３８

８．７．２ 基于多边形网格的显式三维表达 ／３４４

８．７．３ 基于隐函数的隐式物体表达 ／３４８

８．７．４ 基于神经立体渲染的多视角重建 ／３５３

８．８ 本章小结 ／３７０

参考文献 ／３７０