第一章自动驾驶技术概述
　　我们驾驶机动车是为了从某个地点行驶到目的地。
　　车辆导航系统（car navigation system）技术已经实现实用化，只要自动驾驶车辆能在车辆导航系统中组合使用避开障碍物的转向操作，以及制动、加速等操作，理论上就可以实现自动驾驶目标。但是，交通事故清零仍然是难以完成的任务。
　　本书将在开篇概述自动驾驶技术，然后介绍如何确保自动驾驶车辆的安全性以及实用化之前需要解决的问题。
　　1.1自动驾驶的整体流程
　　1.1.1.机动车的使用目的和自动驾驶
　　机动车在公共道路上行驶时需要遵守交通规则，在不接触周围物体的前提下到达目的地。驾驶员需要根据前进方向，了解周边情况，做出正确的决策，再根据决策做出准确的操作（见图1.1）。在这个过程中，感知、决策、执行三个功能因素循环相连，互相影响。也就是说，感知、决策、执行三个功能因素形成反馈连接。控制工程认为，反馈连接的系统无法还原单个因素的工作。例如，道路周边情况时时刻刻都在变化，感知因素会随着周边情况的变化不断加入新信息，据此执行的结果又会改变周边情况的感知条件。因此，我们必须同时探讨感知与执行的关系。
　　经验丰富的驾驶员（资深驾驶员）在熟悉的道路环境中会下意识地进行感知、决策、执行。因此，资深驾驶员在驾驶过程中可以从容地与乘客对话或欣赏音乐。但是在积雪路段等条件较差的道路，或能够预想到儿童飞出车外的高危交通环境，资深驾驶员也需要将注意力集中在环境识别和驾驶操作中，无暇顾及其他事物。人类大脑的信息处理能力有限，有时感知、决策、执行无法准确应对道路情况的动态变化，*终可能会导致交通事故的发生。
　　相对地，自动驾驶是将机动车行驶到目的地这一过程自动化，因此，除了上述感知、决策、执行三个功能，还要有确定到达目的地的路径的功能（即导航功能），同时结合转向、加速、制动等操作系统。自动驾驶可以将感知、决策（包含决定行车轨迹）、执行三种功能分配到若干设备和计算机中，同时运行这三个功能。但是如上文所述，这三个功能属于反馈连接，承担这些功能的设备和计算机之间需要交换信息。此外还需要能将上述功能因素适当组合协调的方式。
　　1.1.2.自动驾驶功能的子系统
　　自动驾驶的必要功能大致分为感知、决策、执行三种。下面我们详细介绍各种功能的实现方法，并讲解整个系统如何协调上述功能，从而实现自动驾驶。
　　1.感知（探测外部环境并在地图上确定当前位置）
　　自动驾驶车辆有一项重要技术，就是感知车辆前进方向和周边物体的传感技术。行驶中的车辆为了获取周边交通信息，会用到基于光或电磁波原理的非接触传感技术（探测车外环境的传感器叫作外部传感器）。除感知周围建筑物、道路上的障碍物和交通信号灯等静止物体之外，还需要探测周围行驶中的汽车、摩托车、自行车和行人等。也就是说，自动驾驶车辆要具有感知周边环境并获取交通相关信息的功能。获取的信息不仅可以用于防撞，还可以用来预测周围的移动体，以及在包含起始地和目的地的地图上掌握自车的位置（同步当前位置或自车定位）。不仅如此，利用可见光摄像机之外的传感方式还能获取人类视觉无法捕捉的信息，包括自车与目标物体的距离和目标物体的大小，并将这些信息转换为自动驾驶系统所需的信息。
　　综上所述，掌握自车与周围物体的位置关系，对防撞和探索可行驶区域来说至关重要。自动驾驶的一项重要技术就是在周边环境中测量自车与地标的距离和方位，据此推测自车在地图上的位置。这对于确认车辆是否行驶在通往目的地的正确路径上十分关键。
　　周边环境有长期性变化的可能，车辆行驶过程中收集的周边环境信息会成为动态变化信息，因此，还需要能在特殊地图上更新周边环境信息的技术。
　　自动驾驶过程中还需要考虑其他车辆和行人等运动物体（移动体）。自动驾驶系统必须从空间和时间上预测其他移动体的前进方向。如果能获知移动体的运动方程和驱动力，就可以预测其运动。但是从普通的道路环境中很难准确获知运动方程所需的质量等物理参数及移动体的驱动力。通过移动速度和移动速度变化率（移动加速度）可以在一定精确度上预测短时间后移动体的运动情况。因此，在通过外部传感器获取周围移动体信息的基础上，还需要适合各种信息特征的移动体预测方法和深度学习等。
　　另外，还要探测被屏蔽物遮挡的区域，这种情况可以通过与其他车辆的外部通信来补充。
　　2.决策（行车轨迹规划和导航）
　　自动驾驶系统需要对交通信号灯和周围行驶车辆等移动体的运动作出反应，选择车道，改变行驶速度或在十字路口转换行驶方向，这些就叫作决策。
　　自动驾驶系统在作出决策时需要用到改变车辆速度和角速度，控制车辆位置和姿态，在地图上自车定位，以及基于周边移动体的预测实时计算免碰撞驾驶轨迹的技术，还需要将上述技术组合使用。
　　这是因为，如果无法预测自车当前位置，即使能够预测其他车辆的位置，也无法计算出安全行驶轨迹。通过记录操作量（转向角度，加速、制动的操作量）、车辆位置与姿态动态关系的模型（运动方程），可以在一定程度上正确预测自车的运动（但轮胎在路面打滑时难以预测）。此外，在预测自车当前位置时，为了获取自车的运动和驱动系统的状态，需要用到自车搭载的多种传感器（加速度计、角速度计等）获得的信息。
　　为了防止碰撞，需要在预测自车位置的同时预测周围其他车辆的位置，通过可见光摄像机等外部传感器预测其他车辆和行人位置的技术已经获得较大研发进展。
　　决策必须包括无路可走时（无论怎样前行都会发生碰撞）的急停和遵守交通规则的停止等情况。而且可选择的行驶路径仅限于满足车辆行驶特征的路径（车辆无法瞬时横向运动），另外要注意车辆的速度函数。在Bohren等人的研究中，为从速度约为零到*大速度的一系列速度建立了一套连续候选运动轨迹，并从中选择适合情况的轨迹。
　　下面介绍几个实例。为了“从起始地行驶到目的地”，现在已经普及的行车导航系统需要升级。也就是说，现在的行车导航系统只能列举几种候选路径，由驾驶员做出选择，而自动驾驶车辆没有驾驶员，只能由系统从中选出一条路径。如果某种原因导致无法通过此路径到达目的地，则需要自动驾驶系统自动探索替代路径。因此，到达目的地之前所有路径的规划功能必须优先于控制车辆行驶路径的执行功能。
　　此外，进出停车场时，自动驾驶系统需要自动进行狭小空间的特殊处理。这种技术单独使用也有很大的价值，在某些领域已经实现实用化。
　　关于自动驾驶车辆的决策，详见第4章。
　　3.执行
　　机动车的执行功能以人类执行为前提，传统车辆都装有转向（方向盘）、加速踏板和制动踏板等。在上述位置加装伺服电机（servomotor，能够密切追踪角度和角速度目标值的电机）等就可以按照自动驾驶系统判断的行驶路径自动控制车辆的位置和姿态。
　　以记录操作量（转向角度，加速、制动的操作量）、车辆位置和姿态动态关系的模型为基础，构建反馈控制系统，将规划的行驶路径作为目标值。反馈控制系统的输入信号包括为掌握自车运动及驱动系统状态而搭载的各种传感器（加速度计、角速度计等），以及转向角度、加速踏板开度、制动踏板位移等。
　　人们还提出通过深度学习，根据可见光摄像机拍摄的图像计算转向角度和加速踏板开度的方法（端到端自动驾驶）。
　　4.与外部的信息交换
　　因道路交通情况复杂，有时自动驾驶车辆无法充分施展各项功能。例如，风雪天气等情况，车辆无法识别周边物体，在遇到道路封锁等情况时无法获取自动驾驶系统所需的信息。
　　为了应对上述情况，可以通过与公共交通设施或其他车辆的交流来补充信息。也就是说，人们正在探讨怎样使自动驾驶车辆在行驶过程中与外部进行交流（V2X，vehicle-to-everything，车辆与外部事物的无线通信），实时获得信息。
　　（1）用于环境识别的信息共享。自车通过与周边其他车辆共享环境识别的信息来丰富周边物体信息，从而掌握位于自车摄像机视野之外的物体的位置等（通过车车通信进行信息共享）。此外，在行驶过程中，通过与前后车辆交换信息，还可以确保适当的车距。
　　这是卡车等集体移动列队行驶的核心技术。在此基础上，与公共交通设施内置的传感器等共享信息，可以起到与其他车辆共享信息相同的效果（路车通信）。
　　（2）从动态地图中获取信息。动态地图指的是在高精三维地图上添加车辆和各种交通信息后形成的数据库

目录
第1章 自动驾驶技术概述 1
1.1 自动驾驶的整体流程 3
1.1.1 机动车的使用目的和自动驾驶 3
1.1.2 自动驾驶功能的子系统 4
1.1.3 自动驾驶系统的工作流程 8
1.2 自动驾驶的硬件结构 9
1.2.1 用于环境识别的外部传感器 9
1.2.2 GNSS 10
1.2.3 地图上的自车定位与地图更新 11
1.2.4 驾驶员监控技术 12
1.2.5 硬件结构 13
1.3 确保自动驾驶的安全性和可靠性 14
1.3.1 系统的功能安全策略 14
1.3.2 自动驾驶的可靠性保障 15
1.4 实现全自动驾驶面临的问题 18
1.4.1 自动驾驶与道路交通环境 18
1.4.2 自动驾驶及其社会接受度 19
1.4.3 人工智能在自动驾驶中的必要性和面临的问题 19
1.4.4 问题总结 21
第2章 环境识别和预测 23
2.1 手工提取特征量的环境识别 25
2.1.1 探测行人和车辆 25
2.1.2 手工提取特征量的优势 27
2.2 深度学习的环境识别 27
2.2.1 探测行人和车辆 28
2.2.2 语义分割 29
2.2.3 深度学习的环境识别问题 30
2.3 行人的路径预测 30
2.3.1 基于贝叶斯模型的方法 31
2.3.2 基于深度学习的方法 32
2.3.3 RNN和LSTM 32
2.3.4 基于LSTM的方法 34
2.3.5 考虑到行人交互的路径预测 37
2.4 其他车辆的路径预测 39
2.4.1 概述 39
2.4.2 考虑移动体间相互影响的预测 41
2.4.3 生成多种候选的预测 41
2.5 深度学习模型的压缩 43
2.5.1 剪枝与量化 44
2.5.2 矩阵分解 46
2.5.3 知识蒸馏 47
2.5.4 网络结构搜索 47
第3章 地图生成和自车定位 49
3.1 自动驾驶中的地图和自车定位的作用 51
3.2 高精地图 51
3.2.1 点云地图 52
3.2.2 矢量地图 53
3.3 点云地图的生成方法 53
3.3.1 MMS 54
3.3.2 SLAM 55
3.4 矢量地图的生成方法 60
3.5 用地图进行自车定位 61
3.5.1 通过三维点云和LiDAR进行自车定位 61
3.5.2 其他方法 62
3.5.3 传感器协调合作 63
3.6 应用卫星定位的自车定位 64
3.6.1 应用卫星定位和RTK-GNSS的厘米级自车定位 65
3.6.2 卫星定位与IMU协调合作，实现更加稳健的自车定位 68
第4章 自动驾驶车辆的决策 71
4.1 决策概述 73
4.2 路径规划 74
4.3 运动规划 79
4.3.1 运动规划的输入 80
4.3.2 运动规划的处理流程 81
4.3.3 参考状态迁移图的运动规划 82
4.3.4 采用学习行为的运动规划 83
4.4 轨迹生成 87
4.4.1 轨迹生成模块的输入 87
4.4.2 轨迹生成的处理 88
4.4.3 不采用学习行为的轨迹生成 90
4.4.4 采用学习行为的轨迹生成 93
4.5 决策功能的实用化 95
4.5.1 决策功能的开发情况 96
4.5.2 深度学习在决策功能中的应用问题 96
4.5.3 提高安全性 97
第5章 纵横方向的车辆运动控制 99
5.1 自动驾驶系统和ADAS的关系 101
5.2 ADAS技术 104
5.2.1 纵向车辆运动控制 104
5.2.2 横向车辆运动控制 105
5.2.3 纵横两个方向的车辆运动控制 106
5.3 自动驾驶系统的控制技术 106
5.3.1 车辆模型 107
5.3.2 PID控制 109
5.3.3 纯追踪算法 111
5.3.4 模型预测控制 113
5.4 控制系统的设计及性能评价 119
5.4.1 控制系统的调节 119
5.4.2 与感知系统评价方法的不同 121
5.4.3 形式模型的安全性评价 122
5.5 深度学习在车辆运动控制中的应用探究 126
5.5.1 神经网络PID 126
5.5.2 端到端（End-to-End）自动驾驶及其面临的问题 131
第6章 多车协同控制 133
6.1 互让 135
6.1.1 互让概述 135
6.1.2 相关研究 136
6.1.3 遥控汽车实验示例 137
6.1.4 遥控汽车通过DQN互让的示例 140
6.2 列队行驶 145
6.2.1 列队行驶的概要及效果 145
6.2.2 前后方向的控制 146
6.2.3 左右方向的控制 147
6.2.4 列队行驶控制示例 148
第7章 自动驾驶技术的开发工具 153
7.1 环境识别、自车定位数据集 155
7.1.1 数据集 155
7.1.2 KITTI 数据集 155
7.1.3 数据集的陷阱 158
7.2 地图（HD地图） 158
7.2.1 OpenDRIVE 158
7.2.2 Lanelet2 159
7.3 自动驾驶平台 160
7.3.1 Autoware的整体情况和深度学习的相关功能 161
7.3.2 Apollo的整体情况和深度学习的相关功能 162
7.3.3 Autoware和Apollo的比较和尚待解决的问题 163
7.4 自动驾驶模拟器 164
7.4.1 免费模拟器示例 165
7.4.2 免费模拟器比较 166
第8章 深度学习的基础 167
8.1 机器学习、深度学习 169
8.1.1 机器学习概述 169
8.1.2 深度学习的必要性 170
8.2 神经网络的基本结构 172
8.2.1 输入层 174
8.2.2 隐藏层 174
8.2.3 输出层 179
8.3 神经网络的学习方法 180
8.3.1 损失函数 181
8.3.2 概率性梯度下降法 184
8.3.3 误差反向传播法 187
8.3.4 其他技术 192
第9章 深度强化学习 197
9.1 深度强化学习概述 199
9.2 强化学习的概述、方法和深度强化学习扩展 203
9.2.1 强化学习的基础 203
9.2.2 强化学习和函数拟合 207
9.3 基于价值的方法 209
9.3.1 DQN 209
9.3.2 DQN的改良 211
9.3.3 强化学习的问题及其改善方案 213
9.4 基于策略的方法 218
9.4.1 策略梯度法 219
9.4.2 蒙特卡罗策略梯度法 221
9.4.3 引入Actor-Critic的策略梯度法 222
9.4.4 优势函数 223
9.4.5 策略梯度法的发展 224
9.4.6 总结 231
9.5 奖励设计 232
9.5.1 逆向强化学习的基本算法 233
9.5.2 不适定问题（奖励优化） 236
9.5.3 计算量问题（估测奖励更新的效率化） 239
9.5.4 引入先验知识 245
9.5.5 总结 247
第10章 深度学习的技能 249
10.1 深度学习和调整 251
10.2 深度学习的设计方针 253
10.2.1 输入数据的选择 253
10.2.2 中间层的选择 253
10.3 以全连接网络为例讲解调整方法 255
10.3.1 学习率和优化算法 256
10.3.2 激活函数和正则化 256
10.3.3 样本数和收敛性 256
10.3.4 制作学习数据的技能 258
10.3.5 学习曲线 258
10.3.6 总结 261
10.4 深度学习资料库的比较 261
10.4.1 实现比较 262
10.4.2 各种深度学习资料库 262
参考文献 277
结语 291