基础篇
第1章 绪论
1.1 引言
20世纪以来,人们试图从人脑思维的不同层次出发,利用人工的方法和技术,模仿、延伸和扩展人的自然智能,从而形成了一门新的学科——人工智能。人工智能可以分为两大类:一类是基于符号主义的符号智能;另一类是以连接主义和行为主义为基础的计算智能。符号智能是传统人工智能的主要研究内容,以Newell和Simon提出的物理符号系统假设为基础,通过知识推理进行问题求解;而计算智能则不同,它以数据为基础,通过训练建立联系从而实现问题的求解。符号智能的研究曾在20世纪50年代取得巨大的成功,但80年代中期后,这种经典人工智能的发展相对停滞,而计算智能却在神经网络的带动下异军突起。因此,计算智能被称为第二代人工智能方法。可以说,计算智能是连接主义、分布式人工智能和自组织系统理论共同发展的产物。它不仅克服了符号智能在知识表达、存储等方面的局限性,还能够以并行方式处理大量信息,具有自组织、自适应和自学习等特性,因此吸引了国内外不同领域内众多学者的关注,并成为20世纪90年代以来学术界备受瞩目的研究热点。
作为新生代的人工智能,计算智能主要的研究方法是依据广义生态学、社会心理学和动物行为学等知识,借助于计算机科学、控制科学和系统科学等理论分析与计算工具,力求从自然界、生物系统和生命现象中寻求灵感,通过对自然生物系统、生命个体的进化过程、智能行为、智能载体结构以及智能信息处理机制的借鉴和模拟,构建各种智能计算模型,用于求解现实世界中的大规模、非线性复杂问题。目前,围绕计算智能研究而产生的智能计算技术已经在复杂优化问题以及实际工程领域中广泛使用,并显示出蓬勃的生命力和强大的求解潜力。
本章首先给出了*优化问题的相关定义,然后分类介绍了目前所存在的一些代表性智能计算方法,包括自然进化计算(进化计算和差分进化计算)、社会进化计算(文化算法、Meme工ic算法、思维进化计算和社会情感计算)、生物智能计算(人工神经网络、DNA计算和免疫系统)、群集智能计算(蚁群算法、粒子群优化算法和人工蜂群算法)、拟物智能计算(量子计算、拟态物理计算和植物算法)以及超启发式智能计算,*后给出了本书的体系结构。
1.2 优化问题及算法
1.2.1 *优化问题
所谓*优化问题,就是在满足一定的约束条件下,寻找一组参数值,以使某些*优性度量得到满足,即使得系统的某些性能指标达到*大或*小。
*优化问题根据目标函数、约束函数的性质以及优化变量的取值可以分成多种类型,每一类型的*优化问题根据性质的不同都有其特定的求解方法。
不失一般性,设所考虑的*优化问题为(I-I)
其中,为目标函数;为约束函数;S为约束域;X维优化变量。通常,*大化问题很容易转换为*小化问题约束和等式约束也可转换为的约束,所以式(I-I)所描述的*优化问题不失一般性。
当f(X)g,(X)为线性函数且X≥0时,上述*优化问题即为线性规划问题,其求解方法有成熟的单纯形法和Karmarc方法。
当f(X)g,(X)中至少有一个函数为非线性函数时,上述问题即为非线性规划问题。非线性规划问题非常复杂,求解方法多种多样,但目前依然没有一种有效的普适方法。
当优化变量X仅取整数值时,上述问题即为整数规则问题,特别是当X仅能取0或1时,上述问题即为O-1整数规划问题。由于整数规划问题属于组合优化范畴,其计算量随变量维数的增长而呈指数增长,所以存在着“维数灾难”问题。
当g,所限制的约束空间为整船维欧氏空间即时,上述*优化问题为无约束优化问题,由于函数的非线性,非线性规划问题(包括无约束优化问题和约束优化问题)的求解变得十分困难,特别是当目标函数在约束域内存在多峰值时。常见的求解非线性问题的优化方法,其求解结果与初值的选择关系很大,也就是说,一般的约束或无约束非线性优化方法均是求目标函数在约束域内的近似极小点,而非真正的*小点。
1.2.2 优化算法
现实世界中*优化问题普遍存在,由此产生了各种优化算法,通常可分为局部优化算法和全局优化算法两大类。
1.局部优化算法
定义1.1 如果存在,使得对,有(1-3)成立,其中S为由约束函数限定的搜索空间,则称XB为l(X)在B内的局部极小点,f(XB)为局部极小值。
常见的优化方法大多为局部优化方法,都是从一个给定的初始点开始,依据一定的方法寻找下一个使得目标函数得到改善的更好解,直至满足某种停止准则。
成熟的局部优化方法很多,如Newton-Raphson法、共轭梯度法、Fletcher-Reeves法、Polar-Ribiere法、Davidon-Fletcher-Power( DFP)法、Brovden-Fletcher-Goldfarb-Shann(BFGS)方法等,还有专门用于求解*小二乘问题的Levenberg-Marquardt(IM)算法。所有这些局部优化算法都是针对无约束优化问题而提出的,对目标函数均有一定的解析性质要求,例如,Newton-Raphson法要求目标函数连续可微,同时要求其一阶导数连续。
对于约束非线性优化问题,除了根据一阶*优化必要条件直接将*优化问题转换为非线牲代数方组并采用非线性代数方程组的数值解法进行求解外,还有序列线性规划法、可行方向法以及拉格朗日乘子法等。*常用的方法是先将约束问题通过罚函数法转换为无约束优化问题,再采用无约束优化方法进行求解。
2.全局优化算法
定义1.2 如果存在,使得对,有成立,其中为由约束条件限定的搜索空间,则称X”为f(X)在S内的全局极小点,为其全局极小值。
目前,发展成熟的*优化方法大多为局部优化方法,其求解结果与初始值相关。对于目标函数为凸函数、约束域为凸域的所谓凸规划问题,局部*优与全局*优等效。而对于非凸问题,由于在约束域内目标函数存在多峰值,因此其全局*优与局部*优相差甚远。
全局优化问题已存在了许多算法,如填充函数法等,但比起局部优化问题的众多成熟方法,还存在很大差距。
另外,解析性优化方法对目标函数及约束域均有较强的解析性要求,对于诸如目标函数不连续、约束域不连通、目标函数难以用解析函数表达或者难以精确估计(如仿真优化问题)等问题,解析确定性优化方法就难以适应。
为了可靠解决全局优化问题,人们试图离开解析确定型的优化算法研究,转而探讨对函数解析性质要求较低甚至不作要求的随机型优化方法。*早的随机型优化方法是基于Monte-Carlo方法的思想,针对具体问题的特征,构造以概率1收敛于全局*小点的随机搜索算法。真正有效且具有普遍适应性的随机全局优化方法,是近十多年来人们模拟自然界生物系统、生命现象的行为和机理等而发展起来的仿生型智能计算方法,如进化计算、群集智能计算等。这些算法不需要建立问题的精确数学模型,不依赖于问题的解析特征,具有自适应、自学习和自组织的智能特性,因此非常适用于处理复杂的、大规模的、传统算法难以有效解决的优化问题。
1.3 智能计算
根据各种智能计算方法模拟机理本质的不同,本节中将典型智能计算方法分成五大类逐一简要介绍,包括自然进化计算、社会进化计算、生物智能计算、群集智能计算以及拟物智能计算。
1.3.1 自然进化计算
自然进化计算是模拟自然界“物竞天择,适者生存”的进化规律而发展起来的,主要包括进化计算(或称演化计算,evolutionary computation,EC)[7]、差分进化计算(differential evolution.DE)[8,9]筹。
1.进化计算
进化计算始于20世纪60年代所出现的遗传算法(genetic algorithm,GA),主要包括遗传算法以及在其基础上所派生出的进化策略(evolutionary strategy,ES)、进化规划(evolutionary programming,EP)、遗传程序设计(genetic program-ming,GP)共4个分支。
1)遗传算法
这一术语*早由美国学者Bagay在他的博士论文中提出,但在当时并没有得到学术界的认可。直到1975年美国芝加哥大学Holland教授的专著Adaptation扬Natural and Arti.fic’ial Svste7rLs问世],遗传算法才得以正式确认。早期的遗传算法发展很缓慢,主要是因为本身不成熟,并且需要较大的计算量,而当时的技术背景(计算T具)并不能满足这一要求。到了20世纪80年代,随着多学科的交叉发展,当时流行的传统人T智能方法日益显露出其局限性,因而人们渴望寻求一种适于大规模并行且具有某些智能特征(如自组织、自适应和自学习)的新方法。而遗传算法是受达尔文进化论的启发而发展起来的一种通用的问题求解方法,具右上述人们所期望的智能特点。伴随着计算机的普及与计算速度的提高,人们开
展开