第1章绪论
动态环境监测需要实时获取地面动态环境数据和移动目标信息，无人飞行器搭载视频传感器是获取该类型信息的有效手段。从信息处理的角度，需要对无人飞行器获取的视频数据进行处理。本章*先探讨无人飞行器获取的序列影像的数据特性，然后介绍序列影像处理分析的相关技术，*后结合本书内容的安排，介绍无人飞行器序列影像处理分析的相关内容。
1.1无人飞行器序列影像数据特性
在无人飞行器众多功能类型的载荷中，传感探测载荷(图1.1)是基本的组成部分之一。尽管随着各类传感探测技术的成熟，高分辨率相机、合成孔径雷达、激光探测仪、成像光谱仪等先进传感设备已逐步搭载于各种无人飞行器上，但是无论怎样发展，这些先进传感设备始终无法取代视频传感器的主体地位，无法发挥其基础作用。视频传感器就是无人飞行器的“眼睛”。
图1.1无人飞行器及其传感探测载荷
视频传感器获取的数据是视频影像(动态影像、运动图像)。从模拟到数字，从连续到离散，视频影像亦可视作一组时空高度相关的序列(静态)影像(相对于视频影像概念而言，序列影像的外延更大，可以使用序列影像来指代视频影像或者在时间和空间上具有很强相关性的静态影像)。随着探测成像技术的进步，特别是高速相机的产生和发展，视频影像的动态效果完全可以由连续的静态序列影像来合成，并提取其中的运动信息。因此，从信息处理的角度，序列影像更符合对于运动影像的描述与定义，但这并不排斥视频影像成为序列影像的基本数据源。
序列影像通常被定义为同一传感器连续获得的一组影像，如图1.2所示。在更广泛的意义上，序列影像可认为是在不同时间、不同方位对目标依序连续获取，且在影像尺寸、分辨率等方面基本一致，或者是进行相互变换的影像数据集合。视频影像，特别是数字视频影像是较为典型的序列影像。
图1.2序列影像示意图
序列影像的数据特性决定了数据处理的手段和方法。视频影像的基本功能体现在对动态信息的表达上，区别于静态图像，视频影像采用“时间+空间”这种三维信号连续记录地物及其动态信息。无人飞行器作为移动的空中监测平台，其采集的视频影像尤其适合运动目标分析。从数据特性上看，无人飞行器获取的视频影像有不同于其他搭载方式的显著特点。
1.1.1序列影像一般特性
序列影像既包含空间信息，也包含时间信息。序列影像数据的本质特性是影像间的时空相关性。在时间维度上，序列影像是连贯的；在空间维度上，相邻影像之间又具有很大的重叠度。对时空相关性的利用是进行序列影像处理的基础。
描述序列影像时间信息的基本参数包括记录的起始时刻、终止时刻、采样时间间隔等。起始时刻和终止时刻限定了数据采集的时间范围。采样时间间隔限定了在某一时间范围内采集影像的频次，反映了数据在时间维的离散程度，即数据的时间分辨率。对于运动平台或者运动视频，采样时间间隔也决定了序列影像帧间内容的相关程度。
在空间维度上，序列影像表现出所摄场景在时序上的变化。尽管有一些特例，如光照条件的变化，但是在绝大多数条件下，序列影像包含的主要信息是所摄对象的运动变化。
一般情况下，序列影像的空间分辨率和时间分辨率、影像的尺寸、辐射量化等级等都相对固定，影像反映的时序变化呈现出较为平滑的过渡。如果以上条件无法满足，那么需要在预处理中对数据进行调整改化，使得数据能够在统一的基准下完成后续的处理分析。
序列影像往往包含运动信息。运动信息是场景中对象与观察者(相机)之间、对象与对象之间、对象各部分(子对象)之间的空间位置随时间发生的相对变化。对序列影像进行运动分析需要确定或区分目标对象与背景。目标对象也称为前景信息，是观察者感兴趣并期望从背景中分离出来的主体。
在序列影像中，目标对象是与实体空间中的物体对象相对应的。在一些应用中，目标可以是车辆、舰船、飞机等运载工具，也可以是人员或动物等；在另一些应用中，目标可以是人的肢体或器官部位、细胞或微生物以及气象云团或星空轨迹等。因此，难以对序列影像中的目标对象进行统一的定义和描述，通常在具体的应用中根据关注或感兴趣的对象主体进行指定。与之相反的是场景中的背景，一般情况下，背景由场景中固定或相对变化较少的物体组成，通常是不关注或希望忽略的信息内容。相比于目标对象，背景一般在影像中所占的区域面积更大。随着时空的演进，目标与背景皆可能具有持续的动态变化，包括几何形状和辐射亮度等，并且目标与背景之间可能还会相互变换。
从信息内容划分的角度，序列影像数据主要包括目标对象和背景信息，还可能含有噪声等。序列影像数据处理的基本要点是：提取目标、抑制背景、剔除噪声。所有的预处理操作都是围绕这些基本要点展开的。
综上，序列影像的一般特性可归纳为如下两点：
(1)序列影像的关键特性是影像帧间较强的时空相关性，这也是序列影像区别于其他数据类型且能够反映动态信息的根本所在。
(2)序列影像数据记录的主体是运动信息。在序列影像中按内容将其主要分为目标信息和背景信息，序列影像数据相关处理的一个基本方向是突出影像中的目标信息，同时弱化或削减背景信息。
1.1.2无人飞行器视频影像数据特性
无人飞行器获取的视频影像也是一种序列影像。由于搭载平台及传感器的特殊性，无人飞行器获取的视频影像除了具有序列影像的一般特性外，在获取平台、信息内容、目标对象等方面还具有非常显著的特点。
1. 获取平台特性
无人飞行器是运动的空中平台，根据飞行任务和地面控制站的操作指令，飞行器经常需要做出偏航、俯仰、横滚等姿态的调整。此外，受阵风气流等外界环境的影响，飞行器还会出现颤振抖动的情况。无论是受控的运动还是非受控的运动，飞行器姿态的变化都会对获取的视频影像质量产生较大的影响。
实践中，传感器是通过云台或吊舱与飞行器进行连接的。尽管有些云台和吊舱装有自稳定模块，可以消除飞行器的倾斜和振动对获取视频质量的影响，但在大多数情况下，自稳定模块并不能完全消除飞行器的倾斜和振动。因此，在无人飞行器视频处理分析中，来自传感器姿态变化的影响不容忽视。另外，飞行器的机动必然引起传感器位置的移动(摄像机位置的变化)，进一步引起场景的被动运动和视频影像所包含信息内容的变化。
对视频影像进行运动估计可反求传感器的姿态变化。如果已知视频影像中每一帧对应的传感器姿态参数，那么也可以推导出视频影像中背景的运动。但是，传感器姿态参数与视频影像运动信息的联合求解存在诸多问题。
*先，视频影像帧的获取与姿态参数的获取在时间上是不同步的。通常情况下，视频影像的离散采样频率与姿态测量装置的采样频率不能保证完全一致，即使完全一致，也难以保证两者在采样时刻上完全同步。通常的解决方法是，通过重采样对两者的采样频率进行匹配，并通过时间戳进行对齐。即便如此，依然有可能由于精度不够而无法获得准确可靠的计算结果。
其次，单纯利用影像空间信息解算实物空间参数存在“病态问题”。与实物空间(三维立体)相比，影像空间(二维平面)缺少一个空间维度，因此由影像空间无法恢复实物空间(Hartley et al.， 2000)。尽管从理论上可以利用视频中相邻的多幅影像构建立体成像模型，但由于受影像相邻帧之间的重叠度过大、成像投影距离较摄站(摄像机光学中心位置)移动距离过大等条件限制，这种立体成像模型难以达到所需的稳定性和精度要求。此外，也需要考虑摄像机的镜头畸变和焦距变化、飞行器升降和转向等非常规机动导致的传感器姿态剧烈变化等特殊问题。
鉴于传感器姿态参数获取与求解所包含的一些难题，序列影像相邻帧之间或连续帧之间，其运动分析不需要利用姿态参数或者考虑传感器姿态的影响，而是通过序列影像相邻帧之间的匹配来估计背景的运动。这种“离散化”的处理方式基于一个前提：序列影像的采样时间间隔较短，而传感器的姿态在该时间间隔内变化不大，那么便可以认为相邻帧或连续帧之间的运动是平滑过渡的，可以将其限定为平移、旋转、拉伸等相对简单的形式或者这几种简单形式的组合。当然，这个前提并不总是成立的，但是对无人飞行器视频影像处理来说，在大多数情况下是适用的，而对于某些特殊情况，如传感器视场的快速调整、信号传输受到干扰等，则需要采取其他处理手段。
2. 信息内容特性
在视频影像处理中，数据所包含的信息内容也在很大程度上决定了处理分析方法的选取和采用。对于信息内容，无人飞行器视频影像与其他方式采集的视频影像也存在较大的区别。
1)复杂性
无人飞行器视频影像信息内容的复杂性是综合背景信息和目标信息的类型属性，以及各种成像条件之后的结果。
对于地面运动目标分析，背景信息一般是地面场景。地面场景通常由各种类型的地物组成，如建筑物、农田、道路、河流等，即便是同类型的地物，在形状、尺寸、纹理等特征属性上也会表现出较大的差异。地物类型的多样性反映到视频影像中就是背景信息较为复杂(Zhou， 2009)。另外，各种地物在地面的空间分布相互交错。例如，某些地物与其他地物在空间位置分布上存在邻接、包含、上下重叠等复杂关系，造成地物影像出现黏连、叠置、遮挡等，这也进一步增加了背景信息的复杂程度。
与背景信息类似，目标信息也包含许多不同的类型，而且具有多种运动方式。目标信息类型与运动方式的结合构成了目标信息的复杂性。
此外，成像条件的变化也增加了信息内容的复杂性，例如，不同光照条件造成的阴影，地物不同含水量造成的信息内容复杂性。
2)变化性
在无人飞行器平台中，传感器与探测场景之间、目标对象与背景之间可能存在相对运动，而实际空间中的运动导致视频影像中信息内容的变化。按照不同的运动方式，视频影像信息内容的变化也可以粗略地分为被动变化(传感器运动引起)和主动变化(目标对象运动引起)两种形式。
无人飞行器的机动、传感器姿态的调整以及镜头焦距的缩放统称为传感器运动，传感器运动会使视频影像信息内容产生被动变化。由于传感器的运动，各种地物的影像都会随之发生变化，而其中的静态背景会产生一个与传感器运动方向相反的运动矢量。
目标或者场景的运动使得视频影像信息内容发生主动变化。无人飞行器视频影像中运动目标(如车辆、人员等)的变化以某一速度沿某一方向的位置移动为主，而背景运动的情况比较特殊，既可能是非目标对象的运动(将其归入背景)，也可能是背景地物的有规律运动(如河水的流动、树木的摇动等)。
此外，光照、云雾、烟尘、阴影等各种成像环境条件的变化也使得视频影像的信息内容富有变化性。
3. 目标对象特性
动态信息分析的重点是运动目标。在现实世界中，运动目标可以是任何能够自主运动的物体对象。不同的应用方向关注的目标类型及其属性特征也不尽相同。无人飞行器目标视频分析的运动目标主要是地面上的各种车辆和人员。尽管智能交通、安保监控等视频影像应用也关注地面上的车辆和人员，但是其在数据获取方式、应用目的等方面与无人飞行器目标视频分析不同，与此类应用相比，无人飞行器目标视频分析具有一些*特的特性。
概括来讲，无人飞行器视频影像中的运动目标具有小、多、变的特点，与视频影像信息内容的复杂性和变化性相似。目标对象的这三个特点也给视频影像处理与运动分析造成了一定的困难。
*先，受传感器条件的限制，尽管视频影像的成像比例尺较大，但分辨率不是很高，并且传感器视场较小，在非识别状态下传感器通常使用中短焦距段以包含更大的场景范围。因此，在空间分辨率相对较小的视频影像中，多数情况下，车辆、人员等运动目标在视频影像中只占有很小的面积，从数百像素到数十像素不等(张天序， 2005)。目标影像相对较小，其包含的特征信息也较少，不利于对目标进行定义以区别于背景或其他目标，而且难以对目标进行检测和搜索。
其次，无人飞行器的传感器能够覆盖一定的地面区域，区域中一般会有一个以上的目
展开
