第5章利用明暗信息恢复物体的三维形状
本章主要对基于图像明暗信息的三维重建技术(Shape From Shading,SFS)进行介绍，讲述基于明暗信息恢复目标物体形状的常用方法、SFS的基本原理、单幅图像光源参数估计以及常用的SFS算法。SFS技术能够利用单幅图像的明暗变化重建目标物体的三维表面形状，而且不需要复杂设备，具有良好的应用前景。
从三维场景拍摄二维图像的过程中，一些有用的信息因为从三维空间向二维空间的投影而丢失，所以无法通过测量的方式来确定位置信息。但是图像中仍然包含隐含形式的三维信息，这些信息包含在明暗和纹理等信息中。如图5.1所示，人眼将左图中物体解读为球体，是因为球体表面形状变化信息转换成对应的二维图像上的明暗信息；人的视觉过程将图5.1右图中物体解读为球体，是因为在投影成像的过程中，关于球体形状变化的信息保留在了对应二维图像的纹理变化中。根据二维图像中隐含的三维信息可以对物体的形状进行重建，比如利用图5.1左图中的明暗信息可以得到球体表面的高度信息，进而重建出球体的三维形状，或者利用右图中纹理形变的规律得到球体的表面朝向信息也可恢复出球体的三维形状\[51\]。
图5.1带有明暗效果(左)和纹理效果(右)的球体
在计算机视觉中，根据二维图像中的像素值对物体进行三维形貌重建的技术可称为/基于光学图像的三维重建理论与技术第5章利用明暗信息恢复物体的三维形状/“Shape From X”，其中的“X”可代表立体光(Stereo)、明暗(Shading)、轮廓(Contour)、纹理(Texture)、运动(Motion)等信息。其中根据光度立体恢复形状(Shape From Stereo)技术、根据轮廓恢复形状(Shape From Contour)技术，及根据运动信息恢复形状(Shape From Motion)技术都需要利用至少两幅图像的信息对形状进行重建，并且对图像采集的要求较高，对于体积较大不易移动的物体不适用，而根据明暗信息恢复形状技术仅利用单幅图像中的明暗线索即可重建物体的三维形状。
5.1根据明暗信息恢复形状概述
早期的艺术家在绘画艺术中已经开始探索明暗程度对物体形状的表现力，例如在素描绘画中，物体的形状几乎完全依靠明暗关系表现。一般通过明暗关系即可确定物体的形状，例如图5.1中的左图，根据球面的明暗信息，人们可以将其解读为球体。因此要解决SFS问题首先要理解图像是如何形成的。在朗伯反射模型的假设下，图像的亮度值完全取决于光源的方向和实际物体上该点的表面朝向的夹角。理论上，如果给定一个明暗图像，根据朗伯反射模型的假设和已知的光源方向等参数就能通过SFS算法得到物体表面各点的朝向。但是，物体表面各点的朝向至少有两个未知量(用来表示法矢量的空间方向)，而图像上某点的亮度信息只能提供一个已知量，由此建立的方程是病态的，没有唯一解。另外，实际图像并不能总是满足朗伯反射模型，拍摄的图像会有高光、阴影和空中反射光的交叉反射的影响，也会在很大程度上影响表面朝向的计算，因此如何确定算法和具体的限制条件是本章的研究重点。
5.1.1恢复形状的常用方法
20世纪70年代，Horn在美国麻省理工学院攻读博士期间发表论文，首先提出了根据明暗信息恢复形状问题\[53\]。他指出如果光源方向和反射率已知，可以根据图像的明暗信息得到一阶偏微分方程并计算表面方向，进而恢复物体的表面朝向。
Horn的这种方法简单且易实现，不需要复杂昂贵的光源，甚至一个手电筒就能满足对光源的需求，从而引发了人们对于SFS问题的研究热潮，提出了很多经典的SFS算法，大致可分为4类： 最小化方法、演化方法、局部分析方法和线性化方法\[51\]。
1. 最小化方法
SFS理论被提出后，Horn对模型进行了简化，提出最小化方法(Minimization Approaches)。Brooks和Horn对假设做了进一步研究\[54\]，引入了光滑性限制，对物体表面形状进行约束，把问题描述为泛函极值问题，用变分原理导出相应的欧拉方程，再通过有限差分迭代求解；Frankot等人引入了可积性限制\[55\]，将表面深度与梯度联系起来。文献\[56\]对Horn、Zheng和Chellappa、Lee和Kuo等算法采用的最小化方法的基本思想进行了总结。近几年对最小化方法也有进一步的研究。在20世纪80年代中后期，最小化方法成为了SFS问题的基本求解方式，比如文献\[57\]通过对图像附加新的约束条件和改进变分的求解过程对SFS进行了改进。
最小化方法充分考虑了在图像成像过程中各种可能的约束，利用这些附加约束和原亮度方程联立求解时，能够产生较为精确和稳定的解。
展开
