第二章优化设计的理论与数学基础.ppt

1、1第二篇 机械优化设计第二篇 机械优化设计第二篇 机械优化设计第二篇 机械优化设计第二章第二章第二章第二章 优化设计的理论与数学基础优化设计的理论与数学基础优化设计的理论与数学基础优化设计的理论与数学基础 2.1 2.1 目标函数的泰勒目标函数的泰勒(Taylor)(Taylor)展开式展开式 2.2 2.2 目标函数的等值线目标函数的等值线(面面)2.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件2.4 2.4 凸集与凸函数凸集与凸函数 2.5 2.5 约束极值点条件约束极值点条件2.6 优化计算的数值解法及收敛条件优化计算的数值解法及收敛条件2二元二次函数 22121

2、12212()(,)abF XF x xxxcdxxxexf=+令:12,xXx轾=犏臌22,轾=犏臌abAbc,dBe轾=犏臌Cf=则:1()2TTF XXXCXAB=+梯度:()BF XXA+11221222()22xaxbxdabdF XAXBxbxcxebce+轾轾轾轾+=+=犏犏犏犏+臌臌臌臌验证:二次函数的矩阵表示方法二次函数的矩阵表示方法(补充)其中：:1121222()2轾犏+轾犏=犏+犏臌犏臌FxaxbxdF XbxcxeFx3二次函数的矩阵表示方法二次函数的矩阵表示方法(补充)例题例题:将将 F(X)=x12-2-2x1x2+x22-8-8x1+9+9x2+10+10 写成

3、矩阵表示式，并求其写成矩阵表示式，并求其梯度。解:2222A-轾=犏-臌89B-轾=犏臌10C=1()2TTF XX AXB XC=+1112222218910222xxxxxx-轾轾轾=+-+犏犏犏-臌臌臌112212228228()229229xxxF XAXBxxx-轾轾轾轾+=+=犏犏犏犏-+-臌臌臌臌验证:121122228()229xxxxFF XxxF-轾轾=犏犏-+臌臌42.1 2.1 目标函数的泰勒目标函数的泰勒(Taylor)(Taylor)展开式 展开式 工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。为便于研究函数极值问题，需用简单函数作局部逼近，通

4、常采用泰勒展开式作为函数在某点附近的近似表达式，以近似于原函数。一元函数 f(x)在 x(k)点的泰勒展开式：二元函数 F(X)=F(x1,x2)=在 X(k)=x1(k)x2(k)T点的泰勒展开式为：5()()()()()112222()()()1 111 2122 22()()()()1()2()()2kkkxxkkkx xx xx xF XF XFXxFXxFXxFXxxFXx譊+譊轾+D+譊譊譊臌()()2211221 111 2122 221()22kxxx xx xx xF XFFxFxFxFxxFx轾譊+譊+譊+譊D+譊臌矩阵矩阵形式形式111 11 21212222 12 21

5、()2x xx xkxxx xx xxxFFF XFFFxxxxFFDD轾轾轾轾+DD犏犏犏臌DD臌臌臌1()2TTkkF XFFXX HX炎D+DDuu v()1 11 22 12 2()轾=犏臌Kx xx xx xx xFFH XFF海赛矩阵 即即:其中其中:6多元函数 F(X)在 X(k)=x1(k)x2(k)xn(k)T点的泰勒展开式为：1 11 21()2 12 2212.().x xx xx xnkx xx xx xnkxnxxnxxnxnFFFFFFHH XFFF轾犏犏=犏犏犏臌(二阶偏导数矩阵)n n阶的对称方阵 xixjxjxiFF=Q1()2TTkkF XFFXX HX炎D

6、+DDuu v1212(),轾犏犏犏犏犏轾 抖犏=鬃犏抖犏臌犏犏犏犏犏臌gTnnFxFxFFFF XxxxFx同上：一阶偏导数矩阵称为函数在 K点的梯度：鬃但其中：12,TnXxxxD=DD鬃 譊7 称为函数在 点称为函数在 点的梯度的梯度.梯度是一个向量梯度是一个向量,其其方向是函数在 点处数方向是函数在 点处数值增长最快的方向值增长最快的方向.()()()()12()()()(),TKKKKnF XF XF XF Xxxx轾 抖鬃犏抖臌)()(KXF)(KX)(KX82.2 目标函数的等值线目标函数的等值线(面面)910函数的极值与极值点函数的极值与极值点2.3 2.3 无约束目标函数极值

7、点存在条件无约束目标函数极值点存在条件11极值点存在条件极值点存在条件一元函数的情况一元函数的情况极值点存在的必要条件极值点存在的必要条件 的点称为驻点，极值的点称为驻点，极值点必为驻点，但驻点不一定为极值点。点必为驻点，但驻点不一定为极值点。极值点存在的充分条件极值点存在的充分条件若在驻点附近 若在驻点附近 0*)(xF0*)(xF点为极大点则*0)(*xxF点为极小点则*0)(*xxF12(一)极值存在的必要条件:各一阶偏导数等于零1*200().0 xxxnFFF XF轾轾犏犏犏犏=犏犏犏犏犏臌臌H驻点二元函数的情况二元函数的情况多元函数的情况多元函数的情况:13(二)极值存在的充分条件

8、:海赛矩阵 H(X*)正定点 X*为极小点海赛矩阵 H(X*)负定点 X*为极大点海赛矩阵 H(X*)不定点 X*为鞍点海赛矩阵 H(X*)正定点 X*为极小点证明:*1()()()2-=D+DD炎uu vTTF XF XFXX H XX*1()()()2TTF XF XFXX H XX=+D+DD炎uu v=0处处 F(X)F(X*),故点 X*为极小点二次型二次型 0若：14什么是矩阵正定、负定、不定？111212122212.nnnnnnaaaaaaAaaa轾犏犏=犏犏臌 若各阶主子行列式均大于零正定11110aa=11121122122121220aaaaaaaa=1112121222

9、12.0.nnnnnnaaaaaaaaa 若各阶主子行列式如下负定110a1112132122233132330aaaaaaaaa 不是正定或负定不定152.3 2.3 无约束目标函数极值点存在条件无约束目标函数极值点存在条件极 大H(X*)定负极 小H(X*)正定充分条件二元函数一元函数必要条件函数极值*()F XH*()0fx=*()0fx*()0fx1 10 x xF1 10 x xF1 11 22 12 21 100 x xx xx xx xx xFFFFF*1 11 22 12 2()x xx xx xx xFFH XFF轾=犏臌正定16极值存在的必要条件:各一阶偏导数等于零1*20

10、0().0 xxxnFFF XF轾轾犏犏犏犏=犏犏犏犏犏臌臌H驻点极值存在的充分条件:海赛矩阵 H(X*)正定点 X*为极小点1 11 21()2 12 2212.().轾犏犏=犏犏犏臌x xx xx xnkx xx xx xnxnxxnxxnxnFFFFFFH XFFF各阶主子行列式均大于零正定小结小结:无约束目标函数极值点存在条件无约束目标函数极值点存在条件17例题例题试判断试判断 X0=2 4T是否为下面函数的极小点：是否为下面函数的极小点：4222112121()245F Xxx xxxx=-+-+解：3111210221204424()022xxFxx xxF XFxx轾轾-+-轾=

11、犏犏犏-+臌臌臌满足极值存在的必要条件21 11 21202 12 234812424()8242-轾轾-+-轾=犏犏犏-臌臌臌11x xx xx xx xFFxxxH XFFx348340,342(8)(8)4082-=-=-Q各阶主子行列式均大于零 H(X0)正定X0是极小点18例：求解 极值点和极值例：求解 极值点和极值解 的极值点必须满足解 的极值点必须满足：解此联立方程得：解此联立方程得：即点 为一驻点。再利用海赛矩阵的性质来判断即点 为一驻点。再利用海赛矩阵的性质来判断此驻点是否为极值点。此驻点是否为极值点。362252)(21332232221xxxxxxxxXf024)(311

12、xxxXf06210)(322xxxXf0222)(3213xxxxXf,1,121xx23xTX2,1,1*362252)(21332232221xxxxxxxxXf192222100204)()()()()()()()()()(*)22(*)21(*)22(*)222(*)212(*)21(*)221(*)211(*)2(*)nnnnnnxxXfxxXfxxXfxxXfxxXfxxXfxxXfxxXfxxXfXH11121121224040,400010aaaaa=则20因此，赫森矩阵是正定的。故驻点 为极小点。因此，赫森矩阵是正定的。故驻点 为极小点。对应于该极小点的函数极小值为对应于该

13、极小点的函数极小值为由由:TX2,1,1*03161)2(2)2(12)2(1512)(222*Xf362252)(21332232221xxxxxxxxXf21设平面上有点的集合 ，在该集合中任意取两个设计点设平面上有点的集合 ，在该集合中任意取两个设计点 x x1 1和和 x x2 2，如果连接点，如果连接点 x x1 1与与 x x2 2直线上的一切内点均属于该集合，则此集直线上的一切内点均属于该集合，则此集合称为合称为 x x1 1oxox2 2平面上的一个凸集，平面上的一个凸集，2.4 凸集与凸函数凸集与凸函数22凸集的数学定义如下：对某集合内的任意两点凸集的数学定义如下：对某集合内

14、的任意两点 x1与与 x2连线，如果连线，如果连线上的任意点连线上的任意点 x 均满足均满足 x x1+(1-)x2，则该集定义为一个，则该集定义为一个凸集凸集 23优化设计总是期望得到全局最优解优化设计总是期望得到全局最优解局部最优解局部最优解全局最优解全局最优解2.4.2 凸函数凸函数由前局部极小点与全局极小点由前局部极小点与全局极小点:24 凸函数 凸函数 函数的凸性函数的凸性(单峰性单峰性)最优值最优值(最小值最小值)与极小值是有区别的与极小值是有区别的,在什么情况下极小在什么情况下极小点就是最小点点就是最小点?极小值就是最优值极小值就是最优值?函数的凸性：实质就是单峰性。如果函数在定

15、域内是单峰的函数的凸性：实质就是单峰性。如果函数在定域内是单峰的,即只有一个峰值即只有一个峰值,则其极大值就是全域内的最大值则其极大值就是全域内的最大值,则其极小则其极小值就是全域内的最小值值就是全域内的最小值25几何解释几何解释：如图所示的一元函数如图所示的一元函数 f(x)，在定义域内在定义域内任取两点任取两点 x1与与 x2，函数曲线上的对应点，函数曲线上的对应点为为 K1与与 K2，连该两点的直线方程设为，连该两点的直线方程设为 。如在。如在 x1，x2 内任取一点内任取一点 x，则该点，则该点对应的对应的 f(x)与直线 两个函数值之关系与直线 两个函数值之关系为为 f(x)，则称，

16、则称 f(x)为为 a，b 区间内的区间内的凸函数。凸函数。)(x)(x)(x数学定义：数学定义：设设 F(x)为定义在为定义在 n n 维欧氏空间中一个凸集 上的函数维欧氏空间中一个凸集 上的函数，x1与与x2为 上的任意两设计点，取任意实数为 上的任意两设计点，取任意实数 ，0，1，将，将x1与与 x2连线上的内点连线上的内点 x 表达为：表达为：x x1+(1-)x2，如果恒有下如果恒有下式成立式成立 Fx1+(1-)x20、0，则线性组合，则线性组合 F(x)F1(x)+F2(x)也是域上也是域上的凸函数。的凸函数。27函数的凸性与局部极值及全域最优值之间的关系：函数的凸性与局部极值及

17、全域最优值之间的关系：若若 F(x)为凸集 上的一个凸函数，则 上的任何一个为凸集 上的一个凸函数，则 上的任何一个极值点，同时也是它的最优点。极值点，同时也是它的最优点。282122212141060)(xxxxxxXf)2,1(|ixXi2112)()()()()(222122212112xxXfxxXfxxXfxxXfAXH032112,022221121111aaaaa令)(Xf 例：判别函数例：判别函数在 上是否为凸函数。在 上是否为凸函数。解：利用海赛矩阵来判别：解：利用海赛矩阵来判别：因海赛矩阵是正定的，故 为严格凸函数。因海赛矩阵是正定的，故 为严格凸函数。292.5 约束极值

18、点条件约束极值点条件(P11-94)在约束条件下求得的函数极值点,称为约束极值点.K-T条件(约束极小点的必要条件):如果有 n个起作用的约束条件,即 n个约束函数交于一点,则该点成为约束极值点的必要条件是:该点目标函数的梯度方向应处在由该点的 n个约束函数梯度方向所组成的锥形空间内.303132 对于凸规划问题(可行域为凸集,目标函数为凸函数),则局部极值点和全域最优点相重合,但对于非凸规划问题则不然.如图:33()()()v11:()()()0qjKKKuuvuvKTf XgXh Xlm=-邋条件可表示为点的不等式约束面数在)(KXq点的等式约束面数在)(KXj非负值的乘子vu34例例:用

19、 条件检验点 用 条件检验点 是否为目标函数 是否为目标函数 在不等式约束在不等式约束 、条件下的约束最优点。条件下的约束最优点。解：计算诸约束函数值解：计算诸约束函数值-KTTKX0,2)(2221)3()(xxXf04)(2211xxXg0)(22xXg05.0)(13xXg)(kX0)()(2kXg0044)()(1kXg05.15.02)()(3kXg 点是可行点，该点起作用约束函数为点是可行点，该点起作用约束函数为)(1Xg)(2Xg)(kX计算 计算 点有关诸梯度点有关诸梯度022)3(2)(0221)(21xxkxxXf35解得：，乘子均为非负，解得：，乘子均为非负，故满足 条件

20、，点 为约束极故满足 条件，点 为约束极值点，参看左图，亦得到证实。而且，值点，参看左图，亦得到证实。而且，由于 是凸函数，可行域为凸集，由于 是凸函数，可行域为凸集，所以点 所以点 也是约束最优点。也是约束最优点。1412)(021)(121xxkxXg1010)(02)(221xxkXg0)()()()(22)(11)(kkkXgXgXf0101402215.021TKTKX0,2)()(Xf)(kX代入式，求拉格朗日乘子代入式，求拉格朗日乘子36 K-T条件只能检验起作用约束的可行点,如下图中 X*是约束极值点,但 K-T条件对它不实用.372.6 优化计算的数值解法及收敛条件优化计算的

21、数值解法及收敛条件(P11-14)2.6.1 数值计算法的迭代过程数值计算法的迭代过程 选初始点 x(0)确定搜索方向 S(0),沿 S(0)搜索,步长为(0)求得第一个迭代点 x(1)()()(1)(0)(0)(1)(0)(0)F xx=x+aS,F xur()()(2)(1)(1)(2)(1)(1)F xx=x+aS,F xur()()()(1)()()(1)().kkkkkkx=x+F xF xS,a+urox1x2(1)x(2)x(0)x()kx(0)a(1)kx+*x(0)Suv(1)Suv()kSuv()(1)()()kkkkx=x+Sa+uv基本迭代公式:(0)(1)(2*)()

22、(1)0121,.,.,.,.kkkkxxxxxFFFFFxF+步长方向步步下降步步逼近38 数值计算法的基本思想及迭代格式数值计算法的基本思想及迭代格式：在设计空间从一个初始点在设计空间从一个初始点 x(0)出发，应用某一规定的算法出发，应用某一规定的算法,按某一按某一方向方向 S(0)和步长和步长(0)，产生改进设计的新点，产生改进设计的新点 x(1)，使满足，使满足 F(x(1)F(x(0)，再以再以 x(1)为新起点，仍为新起点，仍应用同一算法应用同一算法,按某一方向按某一方向 S(1)和步长和步长(1)，产生第二个设计新点产生第二个设计新点 x(2)，使满足，使满足 F(x(2)F(

23、x(1)，这样这样一步一一步一步地搜索下去步地搜索下去，依次得设计点，依次得设计点 x(1)、x(2)、x(3)、x(k)、x(k+1)、使目标函数值逐步下降，直至得到满足所规定精度要求的理论极小使目标函数值逐步下降，直至得到满足所规定精度要求的理论极小点点x(1)=x(0)+(0)S(0)x(2)=x(1)+(1)S(1)x(k+1)=x(k)+(k)S(k)迭代格式迭代格式:391）点距准则）点距准则2）函数下降量准则）函数下降量准则或或3）梯度准则：）梯度准则：()()KKXXee-1规定的某一很小正数()(1)(1,2,)KKiiXXine-鬃也可用各坐标轴上的分量差来表示()(1)()()()()1)KKKF XF XF Xe-()(1)()()()()()1)()KKKKF XF XF XF Xe-()()KF Xe眩2.6.2 迭代计算的终止准则(收敛准则)40 xo()f x41作 业作 业PII-34 题题 2、题、题 7 PII-142 题题 1 4221()30gXx=-32()0gXx=2112()10g Xxx=-222212212min()44(2)F Xxxxxx=+-+=+-1x2xo11()g X3()gX2()gX*1X*2X1*1X4344