Luca Venturi曾在shijie级公司（包括法拉利和Opera软件）担任程序员，具有丰富的工作经验。他还曾为一些初创公司工作，包括Activetainment（世界上第一辆智能自行车的制造商）、Futurehome（智能家居解决方案供应商）和CompanyBook（其产品将人工智能应用于销售）。他曾在Tapad（Telenor集团）的数据平台团队工作，使公司其他部门能够访问数以亿计的数据，现在是Piano软件公司分析数据库的首席工程师。

Krishtof Korda曾在Lyft公司为5级自动驾驶汽车设计传感器集成。现在，他作为Ouster的应用工程师，在机器人、飞行器、无人机和采矿等领域负责整合激光雷达的工作。此外，他喜欢参加Enduro山地自行车比赛。

前 言

第一部分

OpenCV和传感器及信号

第1 章　OpenCV 基础知识和摄像头标定／ ００２

1.1　技术需求／ ００３

1.2　OpenCV 和NumPy 简介／ ００３

1.2.1　OpenCV 和NumPy ／ ００３

1.2.2　图像大小／ ００３

1.2.3　灰度图／ ００４

1.2.4　RGB 图／ ００５

1.3　处理图像文件／ ００６

1.4　处理视频文件／ ００７

1.5　图像处理／ ００８

1.5.1　图像翻转／ ００９

1.5.2　图像模糊化／ ００９

1.5.3　改变对比度、亮度和灰度系数／ ０１１

1.5.4　绘制矩形和文本／ ０１２

1.6　使用HOG 进行行人检测／ ０１３

1.6.1　滑动窗口／ ０１３

1.6.2　使用OpenCV 中的HOG ／ ０１３

1.6.3　摄像头简介／ ０１４

1.6.4　摄像头术语／ ０１５

1.6.5　摄像头组件／ ０１９

1.6.6　选择摄像头的注意事项／ ０１９

1.6.7　摄像头的优点和缺点／ ０２０

1.7　使用OpenCV 进行摄像头标定／ ０２１

1.7.1　畸变检测／ ０２２

1.7.2　校准／ ０２２

1.8　总结／ ０２３

1.9　问题／ ０２４

第2 章　理解和使用信号／ ０２５

2.1　技术需求／ ０２６

2.2　理解信号的类型／ ０２６

2.3　模拟信号与数字信号／ ０２６

2.4　串行和并行／ ０２８

2.4.1　通用异步接收和发送（UART） ／ ０２９

2.4.2　差分与单端／ ０３２

2.4.3　I2 C ／ ０３４

2.4.4　SPI ／ ０３６

2.5　基于帧的串行协议／ ０３９

2.5.1　理解CAN ／ ０３９

2.5.2　以太网和因特网协议／ ０４２

2.5.3　理解UDP ／ ０４４

2.5.4　理解TCP ／ ０４５

2.6　总结／ ０４８

2.7　问题／ ０４８

2.8　扩展阅读／ ０４９

第3 章　车道检测／ ０５０

3.1　技术需求／ ０５１

3.2　阈值处理／ ０５１

3.2.1　阈值在不同颜色空间中如何工作／ ０５１

3.2.2　RGB/BGR ／ ０５２

3.2.3　HLS ／ ０５３

3.2.4　HSV ／ ０５４

3.2.5　LAB ／ ０５４

3.2.6　YCbCr ／ ０５５

3.2.7　选择通道／ ０５５

3.3　透视校正／ ０５５

3.4　边缘检测／ ０５７

3.4.1　插值阈值／ ０５９

3.4.2　组合阈值／ ０６０

3.5　利用直方图确定车道线／ ０６１

3.6　滑动窗口算法／ ０６２

3.6.1　初始化／ ０６３

3.6.2　滑动窗口坐标／ ０６３

3.6.3　多项式拟合／ ０６４

3.7　增强视频／ ０６５

3.8　滚动平均／ ０６６

3.9　总结／ ０６６

3.10　问题／ ０６７

第二部分

利用深度学习和神经网络改进自动

驾驶汽车的工作方式

第4 章　基于神经网络的深度学习／ ０７０

4.1 　技术需求／ ０７１

4.2　理解机器学习和神经网络／ ０７１

4.2.1　神经网络／ ０７２

4.2.2 　神经元／ ０７２

4.2.3　参数／ ０７４

4.2.4　深度学习的成功／ ０７４

4.3 　了解卷积神经网络／ ０７５

4.3.1　卷积／ ０７５

4.3.2 　为什么卷积这么棒／ ０７６

4.4 　Keras 和TensorFlow 入门／ ０７７

4.5 　检测MNIST 手写数字／ ０７８

4.5.1　刚刚加载了什么／ ０７８

4.5.2 　训练样本和标签／ ０７９

4.5.3　独热编码／ ０８０

4.5.4　训练数据集和测试数据集／ ０８１

4.6 　确定神经网络模型／ ０８１

4.6.1　LeNet ／ ０８１

4.6.2 　代码／ ０８２

4.6.3　框架／ ０８３

4.6.4　训练神经网络／ ０８４

4.6.5　CIFAR?10 数据集／ ０８７

4.7 　总结／ ０９２

4.8　问题／ ０９２

4.9 　扩展阅读／ ０９２

第5 章　深度学习工作流／ ０９３

5.1 　技术需求／ ０９４

5.2　获取数据集／ ０９４

5.2.1　Keras 模块中的数据集／ ０９４

5.2.2 　现有数据集／ ０９５

5.2.3　合成数据集／ ０９６

5.2.4　自定义数据集／ ０９６

5.3 　理解三种数据集／ ０９６

5.4 　理解分类器／ ０９８

5.4.1　生成真实数据集／ ０９９

5.4.2 　数据增强／ ０９９

5.5 　模型／ １０１

5.5.1　调整卷积层／ １０２

5.5.2 　调整最大池化层／ １０５

5.5.3　调整全连接层／ １０６

5.5.4　如何训练神经网络／ １０７

5.5.5　随机初始化／ １０８

5.5.6　过拟合与欠拟合／ １０９

5.6 　可视化激活／ １１０

5.7 　推理／ １１２

5.8　重训练／ １１３

5.9 　总结／ １１３

5??10 　问题／ １１４

第6 章　改进神经网络／ １１５

6.1 　技术需求／ １１６

6.2　更大的模型／ １１６

6.2.1　出发点／ １１６

6.2.2 　提高速度／ １１７

6.2.3　增加深度／ １１９

6.3 　更高效的神经网络／ １２１

6.4 　通过批归一化构建更智能的

神经网络／ １２４

6.5 　早停法／ １２８

6.6 　通过数据增强改进数据集／ １２８

6.7 　使用随机失活提高验证准确率／ １３１

6.7.1　将模型应用于MNIST 数据集／ １３５

6.7.2 　现在轮到你了／ １３６

6.8　总结／ １３７

6.9 　问题／ １３７

第7 章　检测行人和交通信号灯／ １３８

7.1 　技术需求／ １３９

7.2　使用SSD 检测行人、车辆和交通信号灯／ １３９

7.2.1　使用Carla 模拟器收集图像／ １３９

7.2.2 　解读SSD ／ １４３

7.2.3　探索TensorFlow 检测模型库／ １４３

7.2.4　下载和加载SSD ／ １４５

7.2.5　运行SSD ／ １４５

7.2.6　图像注释／ １４７

7.3 　检测交通信号灯的颜色／ １４８

7.3.1　创建交通信号灯数据集／ １４８

7.3.2 　解读迁移学习／ １５０

7.3.3　了解ImageNet ／ １５１

7.3.4　关于AlexNet 的探究／ １５２

7.3.5　用Inception 来进行图像分类／ １５４

7.3.6　利用Inception 进行迁移学习／ １５５

7.3.7　将数据集输入Inception ／ １５７

7.3.8　迁移学习的性能表现／ １５８

7.3.9　改善迁移学习／ １５９

7.4 　识别交通信号灯及其颜色／ １６１

7.5 　总结／ １６２

7.6 　问题／ １６３

7.7 　扩展阅读／ １６３

第8 章　行为克隆／ １６４

8.1 　技术需求／ １６５

8.2　教神经网络如何使用行为

克隆驾驶／ １６５

8.3 　DAVE?2 简介／ １６６

8.3.1　初识manual_control.py ／ １６７

8.3.2 　录制一段视频／ １６９

8.3.3　神经网络建模／ １７６

8.3.4　训练回归神经网络／ １７７

8.3.5　可视化显著图／ １７９

8.4 　神经网络与Carla 的集成／ １８４

8.5 　自动驾驶／ １８８

8.5.1　使用生成器在更大的数据集上

训练／ １８９

8.5.2 　一种复杂的数据增强方法／ １９０

8.6 　总结／ １９１

8.7 　问题／ １９１

8.8　扩展阅读／ １９１

第9 章　语义分割／ １９２

9.1 　技术需求／ １９３

9.2　引入语义分割／ １９３

9.2.1　确定目标／ １９４

9.2.2 　收集数据集／ １９４

9.2.3　修改synchronous_mode??py ／ １９６

9.3 　理解用于分类的DenseNet ／ １９７

9.3.1　总览DenseNet 的架构／ １９７

9.3.2 　理解密集块／ １９８

9.4 　使用CNN 分割图像／ ２０１

9.5 　调整DenseNet 进行语义分割／ ２０１

9.6 　编写FC?DenseNet 模块／ ２０２

9.6.1　组合构件／ ２０４

9.6.2 　为神经网络提供输入／ ２０５

9.6.3　运行神经网络／ ２０８

9.7 　改善效果较差的语义分割／ ２１１

9.8　总结／ ２１２

9.9 　问题／ ２１２

9??10 　扩展阅读／ ２１２

第三部分

建图和控制

第10 章　转向、加速和制动控制／ ２１４

10.1 　技术需求／ ２１５

10.2　为什么需要控制／ ２１５

10.3 　控制器类型／ ２１６

10.3.1　PID 控制器／ ２１６

10.3.2 　MPC ／ ２２０

10.4 　在Carla 中实现PID 控制器控制／ ２２４

10.4.1　安装Carla ／ ２２４

10.4.2 　复制Packt?Town04 ?PID.py 脚本／ ２２５

10.4.3　浏览Packt?Town04 ?PID.py 脚本／ ２２５

10.4.4　PID 纵向控制器／ ２２８

10.4.5　PID 横向控制器／ ２３０

10.4.6　运行脚本／ ２３２

10.5 　C++ 中的MPC 实例／ ２３３

10.6 　总结／ ２３７

10.7 　问题／ ２３７

10.8　扩展阅读／ ２３７

第11 章　环境建图／ ２３８

11.1 　技术需求／ ２３９

11.2　为什么需要地图和定位／ ２３９

11.2.1　地图／ ２３９

11.2.2 　定位／ ２４０

11.3 　建图和定位的类型／ ２４０

11.4 　开源建图工具／ ２４４

11.5 　基于Ouster 激光雷达和Google Cartographer 的SLAM ／ ２４５

11.5.1　Ouster 传感器／ ２４５

11.5.2 　代码仓／ ２４５

11.5.3　从cartographer_ros 开始／ ２４５

11.5.4　Docker 镜像／ ２５１

11.6 　总结／ ２５６

11.7 　问题／ ２５７

11.8　扩展阅读／ ２５７

答　案／ ２５８

第1 章／ ２５８

第2 章／ ２５８

第3 章／ ２５９

第4 章／ ２５９

第5 章／ ２５９

第6 章／ ２５９

第7 章／ ２６０

第8 章／ ２６０

第9 章／ ２６０

第10 章／ ２６１

第11 章／ ２６１