第2章优化设计的数学基础.ppt
《第2章优化设计的数学基础.ppt》由会员分享，可在线阅读，更多相关《第2章优化设计的数学基础.ppt（69页珍藏版）》请在冰点文库上搜索。
机械优化设计第二章优化设计的数学基础第二章优化设计的数学基础2422242217:
3217:
3233第二章优化设计的数学基础第二章优化设计的数学基础第一节第一节多元函数的方向导数和梯度多元函数的方向导数和梯度第二节第二节多元函数的泰勒展开多元函数的泰勒展开第三节无约束优化问题的极值条件第三节无约束优化问题的极值条件第四节凸集、凸函数与凸规划第四节凸集、凸函数与凸规划第五节等式约束优化问题的极值条件第五节等式约束优化问题的极值条件第六节不等式约束优化问题的极值条件第六节不等式约束优化问题的极值条件2422242217:
3217:
324411、方向导数、方向导数（）01020,xxx二元函数在点处的偏导数偏导数的定义是：
（）10101201020011（,）,limxxfxxxfxxfxxD+D-=禗（）20102021020022（,）,limxxfxxxfxxfxxD+D-=禗（）01020,xxx二元函数在点处沿某一方向d的变化率，其定义为（）010120210200（,）,limdxfxxxxfxxfddD+D+D-=禗方向导数方向导数第一节多元函数的方向导数和梯度第一节多元函数的方向导数和梯度）,（21xxf）,（21xxf2422242217:
3217:
3255图图11二维空间中的方向二维空间中的方向偏导数与偏导数与方向导数方向导数的关系的关系Ox2x1x10x20x0x1x2sxS122422242217:
3217:
3266三元函数在点处沿s方向的方向导数）,（321xxxf）,（3020100xxxx332211coscoscos0000xxxxxfxfxfdfixininxnxxxxfxfxfxfdfcoscos.coscos0000012211依次类推，即可得到依次类推，即可得到n元函数在点元函数在点x0处沿处沿ss方向的方向的方向导数方向导数2422242217:
3217:
327722、二元函数的梯度、二元函数的梯度000011221212coscos+cos,cosxxxxfffffdxxxxqqqq轾轾抖抖=犏犏抖抖臌臌0010122（）,Txxfxfffxfxxx轾犏轾抖犏=押犏抖犏臌犏臌令000（）（）cos（,）Txffxdfxfdd=蜒21coscosd为函数F（x1，x2）在x0点处的梯度2422242217:
3217:
3288当梯度方向和当梯度方向和当梯度方向和当梯度方向和dddd方向重合时，方向导数方向重合时，方向导数方向重合时，方向导数方向重合时，方向导数值最大，即梯度方向是函数值变化最快方向值最大，即梯度方向是函数值变化最快方向值最大，即梯度方向是函数值变化最快方向值最大，即梯度方向是函数值变化最快方向，而梯度的模就是函数值变化率的最大值。
，而梯度的模就是函数值变化率的最大值。
，而梯度的模就是函数值变化率的最大值。
，而梯度的模就是函数值变化率的最大值。
000（）（）cos（,）Txffxdfxfdd=蜒22210）（xfxfxf梯度的模：
梯度的模：
2422242217:
3217:
3299多元函数的梯度多元函数的梯度Txnxnxfxfxfxfxfxfxf0021210）（）,cos（）（）（cos00100dfxfdxfxfdfTinixix2422242217:
3217:
3210102/1210）（）（0xniixfxf多元函数的梯度的模：
多元函数的梯度的模：
函数的梯度方向函数的梯度方向与函数的等值面相垂直与函数的等值面相垂直，也就是和等值面上过也就是和等值面上过x0x0的一切曲线相垂直。
的一切曲线相垂直。
由于梯度的模因点而异，即函数在不同点由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。
因此，梯度是函数的处的最大变化率是不同的。
因此，梯度是函数的一种一种局部性质局部性质。
2422242217:
3217:
3211112121242）（xxxfxfxf42242）（211xxxf例例11：
求二次函数求二次函数44,1222121xxxxxfT2,3在点处的梯度。
解：
解：
在点在点T2,3处的梯度为：
处的梯度为：
2422242217:
3217:
321212例例22：
试试求二次函求二次函数数2221212143,xxxxxxfTx1,00在点处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。
解：
解：
21146xxxf21224xxxf242446）（102121102102121xxxxxxxxxfxfxfPTx1,00则函数在处的最速下降方向则函数在处的最速下降方向为为2422242217:
3217:
321313该方向上的单位向量该方向上的单位向量为为551552）2（424）（）（2200xfxfe55115525515521001exx1x新新点点5252643）（12221211xxxxxxf该点函数该点函数值值2422242217:
3217:
321414常用梯度公式：
常用梯度公式：
QXXfQXXXfQXXfXXXfbXfXbXfXfCXfTTT2）（）（）4
（2）（）（）3（）（）（）2（0）（）（）（）1（为对称矩阵，常数注意：
梯度为向量注意：
梯度为向量二次型二次型2422242217:
3217:
321515（）fx0xx=在点处的泰勒展开为：
点处的泰勒展开为：
（）（）（）（）200012fxfxfxxfxx=+D+D+鬃其中（）2200,xxxxxxDD1、一元函数一元函数第二节多元函数的泰勒展开第二节多元函数的泰勒展开2422242217:
3217:
32161622、二元函数11102220,xxxxxxDD其中：
.2!
21）,（,222222121221212221120102100000xxfxxxxfxxfxxfxxfxxfxxfxxxxx二元函数在点处的泰勒展开式为二元函数在点处的泰勒展开式为：
）（xf）,（20100xxx2422242217:
3217:
321717上式写成矩阵形式：
上式写成矩阵形式：
2122221221221221212100021）（）（xxxfxxfxxfxfxxxxxfxfxfxfxx2422242217:
3217:
32181802221222122120）（xxfxxfxxfxfxG令令xxGxxxfxfxfTT0002121xxx0xG21,xxf上式可写成上式可写成称为函数在称为函数在点处的点处的海赛（海赛（Hessian）矩阵）矩阵）,（20100xxx参见教材例题参见教材例题P302422242217:
3217:
321919海赛矩阵海赛矩阵是由函数在点处的二阶偏是由函数在点处的二阶偏导数组成的方阵。
由于函数的二次连续性，有：
导数组成的方阵。
由于函数的二次连续性，有：
）,（21xxf0x212122xxfxxf）（0xG2221222122120）（xfxxfxxfxfxG所以矩阵为所以矩阵为对阵方阵。
对阵方阵。
2422242217:
3217:
322020海赛矩阵海赛矩阵22221222222122122122120）（nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG33、多元函数xxGxxxfxfxfTT00021其中：
梯度其中：
梯度Txnxfxfxfxf0210）（泰勒展开式泰勒展开式2422242217:
3217:
322121若将函数的泰勒展开式只取到线性项，即取若将函数的泰勒展开式只取到线性项，即取）（000xxxfxfxzTxz0x则是过点和函数所代表则是过点和函数所代表的超曲面相切的切平面。
的超曲面相切的切平面。
xf若将函数的泰勒展开式取到二次项时，则得到二若将函数的泰勒展开式取到二次项时，则得到二次函数形式，在线性代数中将二次齐次函数称为次函数形式，在线性代数中将二次齐次函数称为二次型。
二次型。
矩阵形式矩阵形式GxxxfTG-对称矩阵对称矩阵2422242217:
3217:
322222当对任何非零向量当对任何非零向量xx使使0GxxxfT则二次型函数正定，则二次型函数正定，GG为正定矩阵。
为正定矩阵。
2422242217:
3217:
322323海赛矩阵的特征：
是实对称矩阵。
海赛矩阵的特征：
是实对称矩阵。
0）det（G0）det（G0）det（G44、海赛矩阵与正定矩阵矩阵正定正定的充要条件：
矩阵的充要条件：
矩阵G的各阶顺序主子式为正，的各阶顺序主子式为正，即即矩阵矩阵负定负定的充要条件：
矩阵的充要条件：
矩阵GG的的奇数阶主子式奇数阶主子式主子式主子式偶数阶主子式偶数阶主子式海赛矩阵的正定性：
海赛矩阵的正定性：
）（xG正定正定-为全局极小值点的充分条件为全局极小值点的充分条件x）（xG负定负定-为全局极大值点的充分条件为全局极大值点的充分条件x2422242217:
3217:
322424例例33判定矩阵是否正定？
判定矩阵是否正定？
010401023136032336066解：
解：
该对称矩阵的三个主子式依次为：
该对称矩阵的三个主子式依次为：
401023136G故可知矩阵故可知矩阵G是正定的。
是正定的。
2422242217:
3217:
322525定理：
定理：
若二次函数中若二次函数中QQ正定，正定，则它的等值面是同心椭球面族，且中心为则它的等值面是同心椭球面族，且中心为cbXQXXXfT21）（bQX1证明：
证明：
作变换，代入二次函作变换，代入二次函数式中：
数式中：
bQYX1cbQYbbQYQbQYT）（）（）（21111）（）（1bQYfYcbQbQYYTT12121QYYT210YbQX1结论：
结论：
Q为正定矩阵的二次型的等值面是为正定矩阵的二次型的等值面是以的同心椭球面族。
原二次函数就是以以的同心椭球面族。
原二次函数就是以为中心的同心椭球面族，椭圆中心为极小值点。
为中心的同心椭球面族，椭圆中心为极小值点。
2422242217:
3217:
322626例例4把二次函数把二次函数化为矩阵向量形式并检验化为矩阵向量形式并检验Q是否正定，如正定，试用公式是否正定，如正定，试用公式求这个函数的极小点。
求这个函数的极小点。
bQX121312123222132154323）,（xxxxxxxxxxxxf32132132133323123222113121132121xxxbbbxxxgggggggggxxxXbQXXxxxfTT21）,（321TbQX7.07.68.21054b401023136Q解：
解：
与题中函数比较各系数得：
与题中函数比较各系数得：
由计算知由计算知QQ正定，极小正定，极小点点2422242217:
3217:
3227272202220222Xf2,2,20,2,2232322222312212212xfxxfxfxxfxxfxfTxxxxxxxXf233122122,3222,2223322xxxXf21122xxxXf32223122xxxxXf的梯度和的梯度和Hesse矩阵。
矩阵。
解：
因为解：
因为则则又因为：
又因为：
故故Hesse阵为：
阵为：
33221232221322）（xxxxxxxxxf例例5：
求目标函数求目标函数2422242217:
3217:
32282811、一元函数、一元函数（）fx0xx=对于可微的一元函数判断在判断在处是否取处是否取得极值的过程：
得极值的过程：
（）00fx=（）00fx则为极小点。
为极小点。
0x（）00fx（）2221122222120ffxxxGxffxxx抖抖=抖抖且且（）01020,xxx对于二元函数在处取得处取得极值的极值的充分必要条件充分必要条件是：
是：
）,（21xxf参见教材例题参见教材例题P32P322422242217:
3217:
3234343、多元函数、多元函数对于多元函数若在处取得处取得极值极值，则，则）,（21nxxxfx必要条件：
必要条件：
充分条件：
充分条件：
xnnnnnxfxxfxxfxxfxfxxfxxfxxfxfxG2222122222212212212212）（0）（21Txnxfxfxfxf正定正定或负定或负定2422242217:
3217:
323535当极值点当极值点x*x*能使能使f（x*）f（x*）在整个可行域中为最在整个可行域中为最小值时，即在整个可行域中对任一小值时，即在整个可行域中对任一xx都都f（x）=f（x*）,f（x）=f（x*）,则则x*x*为为全域最优点（全域极小点）。
全域最优点（全域极小点）。
若若f（x*）f（x*）为局部可行域中的极小值而非整个可行为局部可行域中的极小值而非整个可行域的最小值时，则称域的最小值时，则称x*x*为为局部最优点或相对最优局部最优点或相对最优点点。
优化的目标是全域最优点。
为了判断某个极。
优化的目标是全域最优点。
为了判断某个极值点是否为全域最优点，研究函数的凸性是必要值点是否为全域最优点，研究函数的凸性是必要的。
的。
第四节凸集、凸函数与凸规划第四节凸集、凸函数与凸规划2422242217:
3217:
323636函数的凸性表现为函数的凸性表现为单峰性单峰性。
对于具有凸性特点的。
对于具有凸性特点的函数来说，其极值点只有一个，因而该点既是局部最优亦函数来说，其极值点只有一个，因而该点既是局部最优亦是全域最优点。
是全域最优点。
为了研究函数的凸性，下面引入为了研究函数的凸性，下面引入凸集凸集的概念：
的概念：
2422242217:
3217:
32373711、凸集、凸集12,xRxR挝01a如果对一切及一切满及一切满足足a12
（1）xxyRaa+-何的实数，点则称集点则称集合合R为凸集，否则称为非凸集。
yx2x1llllxxyx122若若yy是是xx11和和xx22连线上的点，则连线上的点，则有有整理后即得整理后即得21）1（xxy图图2-8二维空间的凸集与非凸集二维空间的凸集与非凸集2422242217:
3217:
323838D凸集的性质：
凸集的性质：
若若D为凸集，为一个实数，则集合仍为凸集，为一个实数，则集合仍是凸集；是凸集；若若D和和F均为凸集，则其和（或并）仍是凸集；均为凸集，则其和（或并）仍是凸集；任何一组凸集的积（或交）仍是凸集。
任何一组凸集的积（或交）仍是凸集。
图图2-9凸集的性质凸集的性质2422242217:
3217:
32393922、凸函数、凸函数具有凸性（表现为单峰性）或只有唯一的局具有凸性（表现为单峰性）或只有唯一的局部最优值亦即全域最优值的函数，称为凸函数或部最优值亦即全域最优值的函数，称为凸函数或单峰函数。
其数学定义是：
单峰函数。
其数学定义是：
设设f（x）f（x）为定义在为定义在nn维欧式空间中的一个凸集维欧式空间中的一个凸集DD上的函数，如果对于任何实数以及上的函数，如果对于任何实数以及对对DD中任意两点中任意两点xx11，xx22恒有：
恒有：
（）（）1212
（1）
（1）fxxfxfxaaaa+-（）fx则为则为DD上的凸函数，若不满足上式，则为上的凸函数，若不满足上式，则为凹函数。
凹函数。
如式中的等号去掉，则称其为严格凸如式中的等号去掉，则称其为严格凸函数。
函数。
）10（2422242217:
3217:
324040（）（）1212
（1）
（1）fxxfxfxaaaa+-凸函数的凸函数的几何意义几何意义：
在函数曲线上取任意两点连：
在函数曲线上取任意两点连成一直线段，则该线段上任一点的纵坐标值必大成一直线段，则该线段上任一点的纵坐标值必大于或等于该点处的原函数值。
于或等于该点处的原函数值。
llxfxfyxf）（）（）（121）（）1（）（21xfxfyy）（xfx2xx1xof1f2flxxlxx212,2422242217:
3217:
324141凸函数的性质凸函数的性质1）若）若f（x）为定义在凸集为定义在凸集D上的一个凸函数，对上的一个凸函数，对于任意实数于任意实数a0，则，则af（x）也是凸集也是凸集D上的凸函上的凸函数；数；2）定义在凸集）定义在凸集D上的两个凸函数上的两个凸函数f1（x）,f2（x），其和其和f1（x）+f2（x）亦为该凸集上的一个凸函数；亦为该凸集上的一个凸函数；3）若）若f1（x）,f2（x）为定义在凸集为定义在凸集D上的两个凸函上的两个凸函数，数，为两个任意正数，则为两个任意正数，则仍为仍为D上的凸函数。
上的凸函数。
）（）（21xfxf2422242217:
3217:
32424233、凸性条件、凸性条件
（1）根据一阶导数（函数的梯度）来判断函数的凸）根据一阶导数（函数的梯度）来判断函数的凸性性设设f（x）f（x）为定义在凸集为定义在凸集RR上，且具有连续的一阶导数上，且具有连续的一阶导数的函数，则的函数，则f（x）f（x）在在RR上为凸函数的上为凸函数的充要条件充要条件是对凸是对凸集集RR内任意不同两点、，下面不等式内任意不同两点、，下面不等式恒成立。
恒成立。
1x2x（）（）（）（）21211Tfxfxxxfx-2422242217:
3217:
324343（22）根据二阶导数（海赛矩阵）根据二阶导数（海赛矩阵）来判断函数的凸来判断函数的凸性性设设f（x）f（x）为定义在凸集为定义在凸集RR上且具有连续二阶导数的函数，上且具有连续二阶导数的函数，则则f（x）f（x）在在RR上为凸函数的上为凸函数的充要条件充要条件为：
为：
海赛矩阵在海赛矩阵在RR上处处半正定。
对于严格的凸函数，其上处处半正定。
对于严格的凸函数，其充要条件为海赛矩阵为正定。
充要条件为海赛矩阵为正定。
当海赛矩阵G的主子式:
det（G）0时，矩阵正定det（G）0时，矩阵半正定det（G）0时，矩阵负定det（G）0时，矩阵半负定G（x*）正定，是x*为全局极小值点的充分条件；G（x*）半正定,是x*为局部极小值点的充分条件；G（x*）负定，是x*为全局极大值点的充分条件；G（x*）半负定,是x*为局部极大值点的充分条件。
说明说明：
2422242217:
3217:
32444444、凸规划、凸规划对于约束优化问题对于约束优化问题（）minfX.st（）0jgX（1,2,3,）jm=鬃（）fX（）jgX（1,2,3,）jm=鬃若、都为凸函数，则称此问题为凸规划。
都为凸函数，则称此问题为凸规划。
2422242217:
3217:
324545凸规划的性质：
凸规划的性质：
22）可行域为凸集）可行域为凸集。
（）1,2,.,0jjmgxRx=33）凸规划的任何局部最优解就是全局最优解。
）凸规划的任何局部最优解就是全局最优解。
11）若给定一点，则集合）若给定一点，则集合为凸集为凸集。
（）（）0fxfxRx=0x2422242217:
3217:
324646不论是无约束或有约束的优化问题，在实际应用不论是无约束或有约束的优化问题，在实际应用中，要证明一个优化问题是否为凸规划，一般比较困难中，要证明一个优化问题是否为凸规划，一般比较困难，有时甚至比求解优化问题本身还要麻烦。
尤其对一些，有时甚至比求解优化问题本身还要麻烦。
尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难实工程问题，由于其数学模型的性态都比较复杂，更难实现。
因此，在优化设计的求解中，就不必花精力进行求现。
因此，在优化设计的求解中，就不必花精力进行求证，而通常是从几个初始点出发，找出几个局部最优解证，而通常是从几个初始点出发，找出几个局部最优解，从中选择目标函数值最好的解。
，从中选择目标函数值最好的解。
注意：
注意：
注意：
注意：
2422242217:
3217:
324747（）minfx.st（）0khx=等式约束优化问题：
求解等式约束化问题的理论基础是导出极值求解等式约束化问题的理论基础是导出极值存在的条件。
存在的条件。
对这一问题在数学上有两种处理方法：
对这一问题在数学上有两种处理方法：
消元消元法（降维法）法（降维法）和和拉格朗日乘子法（升维法）拉格朗日乘子法（升维法）。
）,2,1（mk第五节等式约束优化问题的极值条件第五节等式约束优化问题的极值条件2422242217:
3217:
32484811、消元法（降维法）、消元法（降维法）2422242217:
3217:
3249492422242217:
3217:
32505022、拉格朗日乘子法（升维法）、拉格朗日乘子法（升维法）思想思想:
通过增加变量将等式约束化问题变成无约通过增加变量将等式约束化问题变成无约束化问题。
束化问题。
所以又称作所以又称作升维法升维法。
1,2,）kkll=鬃（（）（）（）1,lkkkFXfxhXll=+引入拉格朗日乘子，并构成一个新的目标函数新的目标函数拉格朗日函数拉格朗日函数拉格朗日乘子拉格朗日乘子新目标函数的极值的新目标函数的极值的必要条件：
必要条件：
0iFx=0kFl=2422242217:
3217:
3251512422242217:
3217:
325252库恩库恩塔克条件（塔克条件（K-TK-T条件）条件）不等式约束的多元函数极值的必要条件是著不等式约束的多元函数极值的必要条件是著名的名的库恩库恩塔克（塔克（Kuhn-TuckerKuhn-Tucker）条件）条件,它是非它是非线性优化问题的重要理论。
线性优化问题的重要理论。
为了便于理解库恩为了便于理解库恩塔克条件，首先分析塔克条件，首先分析一元函数在给定区间的极值条件。
一元函数在给定区间的极值条件。
第六节不等式约束优化问题的极值条件第六节不等式约束优化问题的极值条件2422242217:
3217:
325353（）minfx.st（）10gxax=-（）20gxxb=-11、一元函数在给定区间上的极值条、一元函数在给定区间上的极值条件件一元函数一元函数f（x）f（x）在区间在区间a,ba,b的极值问题，可表示为的极值问题，可表示为：
求解思想求解思想:
引入松弛变量使不等式约束变成等式约束，引入松弛变量使不等式约束变成等式约束，再利用拉格朗日乘子法求解等式约束的极值问题。
再利用拉格朗日乘子法求解等式约束的极值问题。
2422242217:
3217:
325454（）（）2211111,0hxagxaaxa=+=-+=（）（）2221211,0hxbgxbxbb=+=-+=这样可以转化为拉格朗日函数：
（）（）（）（）（）（）1112111221221121,（）Fxabfxhxahxbfxaxaxbbmmmmmm=+=+-+-+12,mm是对应于不等式约束的拉格朗日乘子，是对应于不等式约束的拉格朗日乘子，其值均为非负的。
其值均为非负的。
设为松弛变量，则上两个不等式可写设为松弛变量，则上两个不等式可写为如下两个等式：
为如下两个等式：
11,ba2422242217:
3217:
32555512120dgdgdfdxdxdxmm+=（）110gxm=（）220gxm=10m20m（）fx,ab对于一元函数在给定区间在给定区间上的极值条件，可完整的表示为：
结论：
结论：
2422242217:
3217:
325656从以上分析可以看出，对应于不起作用的约束的从以上分析可以看出，对应于不起作用的约束的拉格朗日乘子拉格朗日乘子取零值取零值，因此可以引入起作用约束，因此可以引入起作用约束的下标集合。
的下标集合。
（）（）0,1,2jgxjJxj=一元函数在给定区间的极值条件，可以改写为：
一元函数在给定区间的极值条件，可以改写为：
极值条件中只考虑起作用的约束和相应的
升级会员 