粒子群算法基本原理精编文档doc.docx

1、粒子群算法基本原理精编文档doc【最新整理，下载后即可编辑】4.1粒子群算法基本原理粒子群优化算法45最原始的工作可以追溯到1987年Reynolds对鸟群社会系统Boids（Reynolds对其仿真鸟群系统的命名）的仿真研究 。通常，群体的行为可以由几条简单的规则进行建模，虽然每个个体具有简单的行为规则，但是却群体的行为却是非常的复杂，所以他们在鸟类仿真中，即Boids系统中采取了下面的三条简单的规则：（1）飞离最近的个体(鸟)，避免与其发生碰撞冲突；（2）尽量使自己与周围的鸟保持速度一致；（3）尽量试图向自己认为的群体中心靠近。虽然只有三条规则，但Boids系统已经表现出非常逼真的群体聚集

2、行为。但Reynolds仅仅实现了该仿真，并无实用价值。1995年Kennedy46-48和Eberhart在Reynolds等人的研究基础上创造性地提出了粒子群优化算法，应用于连续空间的优化计算中 。Kennedy和Eberhart在boids中加入了一个特定点，定义为食物，每只鸟根据周围鸟的觅食行为来搜寻食物。Kennedy和Eberhart的初衷是希望模拟研究鸟群觅食行为，但试验结果却显示这个仿真模型蕴含着很强的优化能力，尤其是在多维空间中的寻优。最初仿真的时候，每只鸟在计算机屏幕上显示为一个点，而“点”在数学领域具有多种意义，于是作者用“粒子（particle）”来称呼每个个体，这样就

3、产生了基本的粒子群优化算法49。假设在一个D 维搜索空间中，有m个粒子组成一粒子群，其中第i 个粒子的空间位置为，它是优化问题的一个潜在解，将它带入优化目标函数可以计算出其相应的适应值，根据适应值可衡量 的优劣；第i个粒子所经历的最好位置称为其个体历史最好位置，记为，相应的适应值为个体最好适应值 Fi ；同时，每个粒子还具有各自的飞行速度。所有粒子经历过的位置中的最好位置称为全局历史最好位置，记为，相应的适应值为全局历史最优适应值 。在基本PSO算法中，对第n 代粒子，其第 d 维(1dD )元素速度、位置更新迭代如式(4-1)、(4-2)： (4-1) (4-2)其中：为惯性权值；c1 和c

4、2 都为正常数，称为加速系数；r1 和r2 是两个在0, 1范围内变化的随机数。第 d维粒子元素的位置变化范围和速度变化范围分别限制为和。迭代过程中，若某一维粒子元素的 或 超出边界值则令其等于边界值。 粒子群速度更新公式(4-1)中的第 1部分由粒子先前速度的惯性引起，为“惯性”部分；第 2 部分为“认知”部分，表示粒子本身的思考，即粒子根据自身历史经验信息对自己下一步行为的影响；第 3部分为“社会”部分，表示粒子之间的信息共享和相互合作，即群体信息对粒子下一步行为的影响。 基本PSO算法步骤如下： （1）粒子群初始化； （2）根据目标函数计算各粒子适应度值，并初始化个体、全局最优值； （3

5、）判断是否满足终止条件，是则搜索停止，输出搜索结果；否则继续下步； （4）根据速度、位置更新公式更新各粒子的速度和位置； （5）根据目标函数计算各粒子适应度值； （6）更新各粒子历史最优值以及全局最优值； （7）跳转至步骤3。 对于终止条件，通常可以设置为适应值误差达到预设要求，或迭代次数超过最大允许迭代次数。 基本的连续 PSO 算法中，其主要参数，即惯性权值、加速系数、种群规模和迭代次数对算法的性能均有不同程度的影响 。 惯性权值的取值对 PSO 算法的收敛性能至关重要。在最初的基本粒子群算法中没有惯性权值这一参数 。最初的 PSO 算法容易陷入局部最小，于是在其后的研究中引入了惯性权值来

6、改善 PSO 算法的局部搜索能力，形成了目前常用的基本 PSO算法形式 。取较大的值使得粒子能更好地保留速度，从而能更快地搜索解空间，提高算法的收敛速度；但同时由于速度大可能导致算法无法更好地进行局部搜索，容易错过最优解，特别是过大的会使得PSO 算法速度过大而无法搜索到全局最优。取较小的值则有利于局部搜索，能够更好地搜索到最优值，但因为粒子速度受其影响相应变小从而无法更快地进行全局搜索，进而影响算法收敛速度；同时过小值更是容易导致算法陷入局部极值。因此，一个合适的值能有效兼顾搜索精度和搜索速度、全局搜索和局部搜索，保证算法性能。加速系数c1 和c2 代表每个粒子向其个体历史最好位置和群体全局

7、历史最好位置的移动加速项的权值。较低的加速系数值可以使得粒子收敛到其最优解的过程较慢，从而能够更好搜索当前位置与最优解之间的解空间；但过低的加速系数值则可能导致粒子始终徘徊在最优邻域外而无法有效搜索目标区域，从而导致算法性能下降。较高的加速系数值则可以使得粒子快速集中于目标区域进行搜索，提高算法效率；但过高的加速系数值则有可能导致粒子搜索间隔过大，容易越过目标区域无法有效地找到全局最优解。因此加速系数对 PSO 能否收敛也起重要作用，合适的加速系数有利于算法较快地收敛，同时具有一定的跳出局部最优的能力。 对于速度更新公式(4-1)中，若c1 = c2 = 0，粒子将一直以当前的速度进行惯性飞行

8、，直到到达边界。此时粒子仅仅依靠惯性移动，不能从自己的搜索经验和其他粒子的搜索经验中吸取有用的信息，因此无法利用群体智能，PSO 算法没有启发性，粒子只能搜索有限的区域，很难找到全局最优解，算法优化性能很差。若c = 0，则粒子没有认知能力，不能从自己的飞行经验吸取有效信息，只有社会部分，所以c 又称为社会参数；此时收敛速度比基本 PSO 快，但由于不能有效利用自身的经验知识，所有的粒子都向当前全局最优集中，因此无法很好地对整个解空间进行搜索，在求解存在多个局部最优的复杂优化问题时比基本 PSO 容易陷入局部极值，优化性能也变差。若c2 = 0，则微粒之间没有社会信息共享，不能从同伴的飞行经验

9、中吸取有效信息，只有认知部分，所以c 又称为认知参数；此时个体间没有信息互享，一个规模为m 的粒子群等价于m 个1单个粒子的运行，搜索到全局最优解的机率很小。 PSO 算法中，群体规模对算法的优化性能也影响很大。一般来说，群体规模越大，搜索到全局最优解的可能性也越大，优化性能相对也越好；但同时算法消耗的计算量也越大，计算性能相对下降。群体规模越小，搜索到全局最优解的可能性就越小，但算法消耗的计算量也越小。群体规模对算法性能的影响并不是简单的线性关系，当群体规模到达一定程度后，再增加群体规模对算法性能的提升有限，反而增加运算量；但群体规模不能过小，过小的群体规模将无法体现出群智能优化算法的智能性

10、，导致算法性能严重受损。 对于最大允许迭代次数，较大的迭代次数使得算法能够更好地搜索解空间，因此找到全局最优解的可能性也大些；相应地，较小的最大允许迭代次数会减小算法找到全局最优解的可能性。对于基本连续 PSO 来说，由于缺乏有效的跳出局部最优操作，因此粒子一旦陷入局部极值后就难以跳出，位置更新处于停滞状态，此时迭代次数再增多也无法提高优化效果，只会浪费计算资源。但过小的迭代次数则会导致算法在没有对目标区域实现有效搜索之前就停止更新，将严重影响算法性能。此外，随机数可以保证粒子群群体的多样性和搜索的随机性。最大、最小速度可以决定当前位置与最好位置之间区域的分辨率(或精度)。如果最大速度（或最小

11、速度）的绝对值过大，粒子可能会因为累积的惯性速度太大而越过目标区域，从而无法有效搜索到全局最优解；但如果最大速度（或最小速度）的绝对值过小，则粒子不能迅速向当前全局最优解集中，对其邻域进行有效地搜索，同时还容易陷入局部极值无法跳出。因此，最大、最小速度的限制主要是防止算法计算溢出、改善搜索效率和提高搜索精度。 基本PSO 算法中只涉及基本的加、减、乘运算操作，编程简单，易于实现，关键参数较少，设定相对简单，所以引起了广泛的关注，目前已有多篇文献对 PSO 算法进行综述 。 为了进一步提高基本 PSO 算法的寻优性能，大量研究工作致力于对基本 PSO 算法的改进，主要集中于： （1）对 PSO

12、算法更新公式参数、结构的改进 主要是对基本 PSO 算法的速度、位置更新公式中的参数、结构进行调节和增加，以进一步提高算法的优化性能，如引入了惯性权值的PSO算法 、自适应惯性权值PSO算法 、模糊自适应惯性权值 PSO 算法、带收缩因子的 PSO 算法、Kalman 粒子群算法、带邻域算子的PSO算法、具有社会模式的簇分析 PSO算法 、被动集合PSO算法等等。 （2）多群、多项PSO 算法 多群PSO 算法即引入多个群体进行优化搜索 ；而多相 PSO 算法中多群体的各个群体对不同的搜索目标以不同的方式进行搜索 。 （3）混合 PSO 算法 混合 PSO 算法的基本思想就是将 PSO 算法与

13、其它不同算法相结合，实现优势互补，从而进一步提高PSO 算法的寻优性能，如模拟退火PSO 算法 、GA-PSO 混合算法等等。在工程应用中，目前PSO算法在函数优化 、神经网络训练 、调度问题 、故障诊断 、建模分析 、电力系统优化设计 、模式识别 、图象处理 、数据挖掘 等众多领域中均有相关的研究应用报道，取得了良好的实际应用效果。4.2离散二进制PSO算法离散二进制优化算法具有很多优势，首先对于纯组合优化问题的表达形式要求优化算法是离散的，其次二进制算法可以表达浮点数，因此也同样适用于连续空间的问题求解。4.2.1 KBPSO算法PSO 算法最初是用来对连续空间问题进行优化的，为了解决离散

14、优化问题Kennedy 和 Eberhart 于 1997 年在基本 PSO 的基础上提出了一种离散二进制 PSO（KBPSO）算法。在 KBPSO 算法中，粒子定义为一组由0，1 组成的二进制向量。KBPSO保留了原始的连续PSO 的速度公式(4-1)，但速度丧失了原始的物理意义。在 KBPSO 中，速度值vid 通过预先设计的 S形限幅转换函数转换为粒子元素取“1”的概率。速度值越大，则粒子元素位置取1的可能性越大，反之则越小。 (4-1) （4-3） (4-4)其中为Sigmoid函数，通常为防止速度过大，令，以使概率值不会过于接近0或1，保证算法能以一定的概率从一种状态跃迁到另一种状态

15、，防止算法早熟。虽然Kenndedy和Eberhart将KBPSO应用于函数优化问题，并验证了KBPSO的有效性，但基于KBPSO的应用研究有限。4.2.2 SBPSO算法基于连续基本 PSO 算法的信息机制，Shen 等人提出一种改进的离散二进制粒子群算法（SBPSO）用于 QSAR（Quantitative Structureactivity relationship）建模的特征选择中。SBPSO 算法中舍弃了基本 PSO 算法中速度、位置更新公式，重新定义速度为一个在0到1之间的随机数，粒子元素的位置则根据下列规则由随机产生的确定： （4-5） （4-6） （4-7）其中(0,1)称为静

16、态概率（static probability），是 SBPSO 算法中唯一可调参数，它可以是一个常数、一个变量或是一个随机数。虽然SBPSO的更新公式在形式上与KBPSO以及基本的PSO算法都有很大的改变但其基本的思想不变，即：每个粒子都只与自身历史最优值和全局最优值进行信息交流BPSO 位置更新公式(4-5)类似于基本连续 PSO 速度更新公式(4-1)中的第一项，都是一种“惯性”的表现，只不过SBPSO 是停留在原来的位置，而PSO 中是根据速度惯性继续搜索。同样，SBPSO 位置更新公式(4-6)、(4-7) 则分别对应了基本 PSO 速度更新中的第二、三项，分别代表了粒子的“认知”部分

17、和“社会”部分，表示粒子自身和社会群体对粒子下一步行为的影响。式(4-5)增强了 SBPSO 算法的全局搜索能力，使得粒子能够有效地对目标区域进行搜索，找出全局最优解。没有式(4-5)，粒子将完全跟随自己的两个最优解“飞行”，从而容易陷入局部最优值。式(4-6)、(4-7) 则根据先前的搜索经验对粒子搜索进行指导，没有这两项，SBPSO 算法则变成了完全的随机搜索。因此，在SBPSO 算法中，静态概率 替代了基本 PSO 算法中的，c1，c2 等参数，对算法的性能至关重要。较大的 值能使得算法更好地搜索解空间，从而能够更好地跳出局部最优搜索到全局最优；但过大的 值则会导致算法无法充分利用已有的

18、寻优信息，致使算法收敛速度过慢。较小的 值可以使得粒子快速集中于最优邻域，提高收敛速度，但容易导致算法陷入局部最优。4.3离散二进制PSO算法参数性能分析为了全面地比较、衡量离散二进制PSO算法中关键参数对算法优化性能的影响程度，本文中以标准优化测试函数为对象进行算法优化性能的仿真实验，并按照以下统计指标进行评价。 （1）最优率 群智能优化算法是一种全局随机性启发式算法，由于算法的随机性，在对复杂优化问题求解时，并不能保证算法以 1的概率收敛到全局最优解。但对于优化算法来说，在一定的运算规模内找到全局最优解最为重要。因此，采用最优率即优化算法搜索到全局最优解的概率，作为算法性能评价的第一指标。

19、在本文中，每个算法对标准函数均优化求解100 次，其中成功搜索到全局最优解的比例即为最优率。（2）最优适应值、平均最优适应值 最优适应值是优化算法寻优时所找到的最好解，平均最优适应值（简称平均最优值是对优化问题多次求解后搜索到的最优解适应度值的平均值。最优适应值可以衡量算法的优化性能，看其能否找到全局最优解，而平均最优适应值则衡量算法性能对随机初值和操作的依赖程度。平均最优适应值越接近全局最优解适应度值，说明该优化算法对随机初值和操作的依赖程度越低、算法的鲁棒性越高。 （3）收敛时间 收敛时间是优化算法寻优时所要考虑的另一项重要指标。收敛时间越短，则算法的收敛速度越快，消耗的计算资源就越少；反

20、之，收敛时间越长，则算法的收敛速度越慢，所需的计算资源就越多。在本文中分别以最快收敛步数即算法搜索到全局最优解的最少迭代次数，和平均收敛时间即算法多次寻优找到全局最优解迭代步数的平均值，作为考察指标。最优收敛步数能够表明算法搜索能力，但考虑到群智能算法的随机性，因此平均收敛步数能更好地表征算法的搜索能力。4.4改进的离散二进制PSO算法离散二进制 PSO 算法具有基本 PSO 算法的简单、易实现等优点，特别是 SBPSO算法，其算法中调节参数只有静态概率；但同时也继承了基本 PSO 算法易陷入局部最优的缺陷。针对这一问题，对于连续空间PSO 算法目前已经有大量文献报道对 PSO 算法的改进研究

21、50-52；但对于离散二进制 PSO 算法的改进工作目前相关的研究报道还很少。本章在基本离散二进制 PSO 算法的基础上，引入变异操作用以改进离散二进制 PSO 算法，提高其性能。在遗传算法（Genetic Algorithm，GA）中，如果种群收敛到早熟集（premature set）GA 算法将基本失去对解空间的搜索能力。对于如何避免过早收敛，GA 算法中在遗传算子、种群规模、遗传漂浮（genetic drift）方面均有相关的研究。其中，在遗传算子方面，献 中指出 GA 的三种基本遗传算子中交叉与选择算子只具有局部搜索能力，它们的搜索范围只由当前种群决定，而变异算子是唯一具有全局搜索能力

22、的遗传算子。根据模式定理，变异算子在遗传算法中的作用主要是使种群保持一定的多样性，避免群体陷入局部最优无法跳出。变异算子虽然具有全局搜索能力，但在实际应用中变异率不能取值过大，否则将破坏算法固有的搜索机制，无法有效利用已有信息，使得算法退化为随机搜索算法。但变异率也并不是越小越好,在 GA 中变异算子对于遗传算法不仅是必需的，而且在变异算子的作用不至于使算法退化为随机搜索的前提下应尽量加大变异率，否则算法易陷入局部最优 。由于变异算法能有效地保持群体的多样性，一定程, 度地提高了算法跳出局部最优的概率，且操作简单，因此得到了广泛的研究与应用，并被成功引入至粒子群算法基本的离散二进制PSO算法，

23、特别是SBPSO算法，易于陷入局部最优。虽然KBPSO算法中最大速度的设定使得粒子每个比特至少具有一定概率变异，但当算法迭代一定次数后，由于速度较大，变异的概率过小，此时难以有效引入新的模式帮助群体跳出局部最优；而 SBPSO 算法则完全缺乏跳出局部最优的手段。因此为了提高二进制 PSO算法的搜索能力，在基本的离散二进制 PSO 算法中引入变异操作，但为了能有效利用群智能保证算法搜索性能，变异概率不能设置过大，以防止破坏 PSO 算法的迭代机制影响算法优化性能。与二进制编码的 GA 一样，在 DBPSO 算法中变异操作的实施也可采用多种措施，如单点变异、多点变异，其变异概率也可以采用确定值或复

24、杂的自适应参数等等。由于在 DBPSO 算法中，新的粒子主要是通过 DBPSO 的位置更新公式实现，变异操作的引入只是为了保持群体的多样性，防止早熟，因此本文采用简单的变异策略，即设定变异概率 pm，新一代粒子群中每一位比特都以概率pm实施变异操作。 通过上面的介绍我们来分析一下对循环流化床床温的PSO算法改进的一般过程为如下所示： （1）确定每个参数的大致范围和编码长度，进行编码。上述床温温控问题最主要是对P,I,D三个参数进行调节，我们去每个参数的为10位长度，即取10位二进制长度为其编码长度，而总共有三个参数，那么总的编码长度为30位二进制长度。（2）随机产生n个个体构成初始种群。这个个

25、体是根据实际情况来选择的，这里我们把这个个体选成30，即每30个个体构成一个种群。（3）将种群中各个体解码成对应的参数值，用此参数求代价函数值J及其适应函数值f，取f=1/J。（4）应用PSO算法，即分别运用KBPSO和SBPSO对种群P（t）进行操作，分别运用个体最优和群体最优对种群进行如上面所示的优化，产生下一代种群P（t+1），同时运用变异的原理对新产生的种群进行变异，使其保证PSO的收索性能；这里我们选取100代种群。（5）重复步骤（3）和（4）直至参数收敛，达到预期的目标。在这里我们取权值w为0.7，c1和c2的值都为2，变异概率Pm为0.1. 参数的取值范围分别为Kp：0，20，K

26、i和Kd分别取0，1；变异操作的引入进一步提高了 KBPSO 和 SBPSO 算法的最优率，这主要是变异操作使得算法能更好地保持个体之间的差异，从而能够有效地搜索解空间，提高算法搜索到全局最优解的概率。但同时由于变异操作的随机性，因此在提高种群多样性的同时，也破坏了部分粒子的寻优过程，降低了算法的收敛速度。需要注意的是，过大的变异操作概率将严重影响DBPSO 算法自有的更新机制，导致算法退化，引起优化性能的急剧下降。适当的变异概率可以提高 PSO 算法的性能，同时也可以发现，对于 KBPSO 和 SBPSO，以及对于不同的优化问题，最优的变异概率显然并不相同。因此，在离散二进制 PSO 算法中，在保证算法自有更新机制不被破坏的前提下，尽量提高变异概率对算法性能是有益的。