优化设计第二次课.ppt

优化设计第二次课.ppt

《优化设计第二次课.ppt》由会员分享，可在线阅读，更多相关《优化设计第二次课.ppt（60页珍藏版）》请在冰点文库上搜索。

第四节优化设计问题的基本解法,求解优化问题可以用解析解法，也可以用数值的近似解法。

解析解法就是把所研究的对象用数学方程（数学模型）描述出来，然后再用数学解析方法（如微分、变分方法等）求出优化解。

但是，在很多情况下，优化设计的数学描述比较复杂，因而不便于甚至不可能用解析方法求解。

另外，有时对象本身的机理无法用数学方程描述，而只能通过大量试验数据用差值或拟合方法构造一个近似函数式，再来求其优化解，并通过试验来验证；或直接以数学原理为指导，从任取一点出发通过少量试验（探索式的计算），并根据试验计算结果的比较，逐步改进而求得优化解。

这种方法是属于近似的、迭代性质的数值解法。

1、迭代法的基本方法,然后，以点作为新的出发点，重复上述步骤，得到第二个点。

继续下去，依次可得到点，最终得到一个近似的最优点，它与理论的最优点的逼近程度应该满足一定的精度要求。

在机械优化设计中，迭代的基本方法大致可以分为两类：

1）优化准则法,2）数学规划法,迭代法的基本解法思想,2、迭代过程的终止准则,收敛于,，存在一个只与,有关而与,自然数N，使得当两自然数m，pN时，满足,或,柯西准则：

对于某种迭代程序产生的序列,的实数,无关的,1点距准则（模准则）：

2函数下降量准则（值准则）：

3梯度准则：

在最优点,计算精度，应适当，一般取,常用迭代收敛准则,优化设计的数学基础,第一节多元函数的方向导数和梯度,一、偏导数,二、方向导数,方向导数是函数在某点沿给定方向的变化率，所以，可以把它看成是偏导数的推广，并可用偏导数来表示，即,同理，对于三元函数在三维空间的一点沿向量的方向的方向导数为,同理多元函数的方向导数可写成,例：

求目标函数在点处沿向量和两方向的方向导数。

如图所示，向量的方向：

向量的方向：

，,。

三、梯度,二元函数在点处的方向导数的表达式可改写成下面的形式,令,在它称为函数的梯度,若设,则有,多元函数在点处的方向梯度可以定义为,方向导数可以表示为,其中,梯度的模,梯度方向单位向量,梯度在优化设计方法中具有重要的作用，它具有下列几个重要的性质

（1）梯度是一个向量，函数的梯度方向是函数变化率最大的方向。

（2）函数在某点的梯度方向是指在该点函数值的最快上升方向，函数在其定义域内的各点都对应着一个确定的梯度，所以函数在某点的梯度仅仅是对函数在该点附近而言的，梯度是函数的一种局部性质。

（3）函数在某点的梯度与过该点的函数等值面（线）是正交的即梯度方向是函数等值面（线）的法线方向。

四、几种特殊类型函数的梯度,二次函数用向量及矩阵的表达方法,若,则,例：

将函数写成向量及矩阵形式,n维函数用向量及矩阵的表达方法,式中,几种特殊形式的函数的梯度,1）,因为,所以有,从而得到函数的梯度为,几种特殊形式的函数的梯度,2）,因为,所以有,从而得到函数的梯度为,几种特殊形式的函数的梯度,3）,因为,所以有,固有,几种特殊形式的函数的梯度,对一般的二次函数,根据上述公式，极易求出其梯度为：

例：

求函数的梯度,例：

求目标函数在点和点的梯度。

函数的梯度的求解举例,第二节多元函数的泰勒展开式,多元目标函数可能是很复杂的函数，为了便于研究函数极值问题，须用简单函数作局部逼近，通常采用泰勒展开式作为函数在某点附近的表达式。

对于一元函数在点，即的泰勒展开式为：

二元函数，函数在点附近的泰勒展开,若只取到二次项则可写为,上式可写成矩阵形式，即,式中,是函数在点的二阶偏导数矩阵，称为海色（Hessian）矩阵，也可用表示，Hessian矩阵是对称矩阵，由于上面讨论的是二元函数，所以它是阶对称矩阵。

引用上述符号后，二元函数泰勒展开式，可简写为,将海色矩阵推广到元函数，可写成,上述的泰勒展开式都只是取泰勒级数的前三项，即取到二次项为止。

这种泰勒展开式称为函数的平方近似表达式，即用二次函数逼近所讨论的函数。

例：

将函数在点展开泰勒二次近似式。

第三节二次型函数的形式及性质,多元函数用泰勒展开式作局部逼近，当取到二次项时，函数最高次数为二次形式。

因此在求目标函数最优解时，常把某一给定点函数近似地用二次函数来代替，以便分析问题时得以简化。

写成矩阵形式为,式中,在优化设计中，某点附近采用泰勒展开式近似表达时，研究该点邻域的极值问题，需要分析二次型函数是否正定或负定。

二次型函数正定和负定的定义如下：

设二次型函数，,若对于任意的,为非零向量，,即对于不全为零的任何实数,都为正数，则称此二次型为正定二次型，其对应的矩阵称为正定矩阵。

有称为二次型半正定；称二次型负定；称二次型半负定；称二次型不定。

若矩阵的各阶主子式（即对应的各阶行列式）均大于零，则该矩阵为正定。

若所有奇数阶顺序主子式均小于零，而所有偶数阶顺序主子式均大于零，则该矩阵为负定。

第四节无约束优化问题的极值条件,非线性规划问题，一般归结为寻求目标函数的极值问题。

极值是函数的极大和极小值的统称，使函数取得极值的点称为极值点。

对于多变量复杂的目标函数，当函数不是单峰函数时，则有几个极值点。

各个极值点都称为局部极值点（局部最优点）。

在这种情况下，一般先求若干个极值点，加以比较来确定函数的全局极值点，即全局最优点。

本节主要讨论多元函数的局部极值问题。

一、一元函数的极值条件,设一元函数连续可微，在给定区间内的一点有极值，其必要条件为,一般说来，一阶导数为零的点，不一定都是极值点，通常称为驻点。

因此，上式仅是极值存在的必要条件，并非充分条件，极值点必定是驻点，而驻点不全是极值点。

驻点是否为极值点可以通过二阶导数来判断。

a图b图分别为极小值点和极大值点，而c图则为拐点，不是极值点。

二、二元函数的极值条件,多元函数的性质不能完全从一元函数的情况中反映出来，但能从二元函数得到较好的反映，因此，以二元函数为例来分析，所得结论则可推广到多元函数中去。

若二元函数在某点有极小值，则过点分别垂直于轴的平面与该曲面的交线，亦必同时在点处有极小值，而这两条曲线为一元函数。

如果它们在给定区间是连续的，且处处有导数，则它们在点处存在极值的必要条件是一阶导数为零。

对于二元函数，若在点处取极值，其必要条件是,即,例如，二元函数的驻点，可通过令其一阶偏导数等于零来求得，即,所以，原点（0，0）是函数的驻点。

在以和为坐标铀的三维空间中，此二元函数表示为曲面，如图所示。

从图中看到坐标原点对一元函数来说，是极大值点；而对于一元函数来说，则是极小值点，所以原点（0，0）不是该二元函数的极值点。

由于曲线像马鞍形，这个驻点通常称为鞍点。

由此可见，满足上述条件的点只能说明是驻点，是否为极值点尚需引出充分条件来判断。

为了判断驻点是否为极值点，还需要建立极值的充分条件。

将二元函数在驻点附近用泰勒展开式，并考虑极值存在的必要条件，有,同一元函数相似，在点附近，若对一切的点总有,或者,则该点为极小点。

若相反，即,或者,则该点为极大点。

根据二次型正定和负定的定义，这两式中的海色数矩阵也分别为正定矩阵和负定矩阵。

所以，二元函数在驻点处取极值的充分条件是：

正定时，驻点是极小点；负定时，驻点是极大点。

三、多元函数的极值条件,把上述二元函数的极值条件推广到元函数中去，若在点处有极值，则极值的必要条件是在该点的梯度等于零，即,在点处存在极值的充分条件也要用海色矩阵的性质（正定和负定）来决定。

该点的海色矩阵为,当正定时，则点为极小点，为极小值；负定时，则点为极大点，为极大值。

例1：

试证明函数在点处具有极小值。

例2求函数的极值点和极值。

第五节凸集、凸函数和凸规划,函数的极值点（最优点）有局部和全局的。

一般来说，局部最优点不一定时全局最优点，而全局最优点必定是局部最优点。

即当函数符合某种条件时，两者便等同起来，那么求得的极值点就是全局最优点。

一、凸集,一个点集（或区域），如果连接其中的任意两点和的线段都全部包含在该集合内，就称该点集为凸集，否则称为非凸集，如下图所示。

凸集的概念可以用数学的语言简练地表示为：

凸集具有以下性质：

1）若是一个凸集，是一个实数，是凸集中的动点，即，则集合,3）任何一组凸集的交集还是凸集，如图所示。

若函数具有凸性，即函数是凸函数，则其驻点不仅是局部极值点，而且还是全局极值点。

下面我们就讲一下凸函数,二、凸函数,若函数具有凸性，即函数是凸函数，则其驻点不仅是局部极值点，而且还是全局极值点。

其中，,设一元函数，若函数曲线上任意两点的连线永远不在曲线的下面，如下图所示，则函数称为凸函数。

相反，若这种连线永远不在曲线的上面，则称为凹函数。

一元凸函数,一元凹函数,凸函数的一些简单性质。

（1）设为定义在凸集上的一个凸函数，对于任意实数，则函数也是定义在凸集上的凸函数。

（2）设和为定义在凸集上的两个凸函数，则其和也是定义在集上的凸函数。

（3）设和为定义在凸集上的两个凸函数，对任意两个正数和，则函数也是定义在凸集上的凸函数。

三、凸性条件,凸性条件是用来判断一个函数是否具有凸性的条件。

该判别条件可以用一元函数例子来说明，如图所示。

从图中可以看出,式中表示在轴上点至点的线段长度。

于是,由图可知，曲线上对应于的点位于切线上对应于的点之上，因此有,即,把上式推广到多元函数中，判别条件就可以写成前面的式子,这是根据函数的一阶导数信息，即的梯度来判断函数的凸性。

也可以用函数的二阶导数信息，即的海色矩阵来判断函数的凸性。

综上所述，如果能判断目标函数在可行域内为凸函数，只要求到极小点（极大点），就得到了全局最优点。

但是，在实际的优化设计问题中，目标函数常常是高阶多元函数，很难判断它是否为凸函数。

另外，目标函数也常常是多极值函数，也很难判断所求得的极值点是全局的还是局部的，实用的方法是，求出多个极值点，比较其函数值的大小来确定最优点。

四、凸规划,对于约束优化问题,凸规划具有如下性质：

（1）若给定一点，则集合为凸集。

此性质表明，当为二元函数时，其等值线呈现大圈套小图形式。

由于为凸函数，又有,证取集合中任意两点，则有,即点满足，故在集合之内，根据凸函数定义，为凸集。

（2）可行域为凸集。

证取集合中任意两点，由于为凸函数，则有,即点满足，故在集合之内，为凸集。

（3）凸规划的任何局部最优解就是全局最优解。

证设为局部极小点，则在的某邻域内的点有。

假若不是全局极小点，设存有由于为凸函数，故有,这显然是矛盾的，所以不存在使，从而证出应为全局极小点。