最优化方法的Matlab实现及常见错误分析Word格式.docx

1、quadprog二次课题2方程求解函数表9-2 方程求解函数表线性方程求解fsolve非线性方程求解fzero标量非线性方程求解3最小二乘（曲线拟合）函数表9-3 最小二乘函数表线性最小二乘lsqlin有约束线性最小二乘lsqcurvefit非线性曲线拟合lsqnonlin非线性最小二乘lsqnonneg非负线性最小二乘4实用函数表9-4 实用函数表optimset设置参数optimget5大型方法的演示函数表9-5 大型方法的演示函数表circustent马戏团帐篷问题二次课题molecule用无约束非线性最小化进行分子组成求解optdeblur用有边界线性最小二乘法进行图形处理6中型方法的

2、演示函数表9-6 中型方法的演示函数表bandemo香蕉函数的最小化dfildemo过滤器设计的有限精度goaldemo目标达到举例optdemo演示过程菜单tutdemo教程演示9.1.3 参数设置利用optimset函数，可以创建和编辑参数结构；利用optimget函数，可以获得options优化参数。 optimget函数功能：获得options优化参数。语法：val = optimget（options,param）,default）描述：） 返回优化参数options中指定的参数的值。只需要用参数开头的字母来定义参数就行了。,default） 若options结构参数中没有定义指定参

3、数，则返回缺省值。注意，这种形式的函数主要用于其它优化函数。举例：1 下面的命令行将显示优化参数options返回到my_options结构中：val = optimget（my_options,Display2 下面的命令行返回显示优化参数options到my_options结构中（就象前面的例子一样），但如果显示参数没有定义，则返回值final:optnew = optimget（my_options,）;参见： optimset函数创建或编辑优化选项参数结构。options = optimset（param1,value1,param2,value2,.）options = optims

4、etoptions = optimset（optimfun）options = optimset（oldopts,value1,.）options = optimset（oldopts,newopts）,value2,.） 创建一个称为options的优化选项参数，其中指定的参数具有指定值。所有未指定的参数都设置为空矩阵（将参数设置为表示当options传递给优化函数时给参数赋缺省值）。赋值时只要输入参数前面的字母就行了。optimset函数没有输入输出变量时，将显示一张完整的带有有效值的参数列表。options = optimset （with no input arguments） 创建一

5、个选项结构options，其中所有的元素被设置为。options = optimset（optimfun） 创建一个含有所有参数名和与优化函数optimfun相关的缺省值的选项结构options。,value1,.） 创建一个oldopts的拷贝，用指定的数值修改参数。options = optimset（oldopts,newopts） 将已经存在的选项结构oldopts与新的选项结构newopts进行合并。newopts参数中的所有元素将覆盖oldopts参数中的所有对应元素。1下面的语句创建一个称为options的优化选项结构，其中显示参数设为iter，TolFun参数设置为1e-8:T

6、olFun,1e-8）2下面的语句创建一个称为options的优化结构的拷贝，改变TolX参数的值，将新值保存到optnew参数中:optnew = optimset（options,TolX,1e-4）;3下面的语句返回options优化结构，其中包含所有的参数名和与fminbnd函数相关的缺省值：fminbnd4若只希望看到fminbnd函数的缺省值，只需要简单地键入下面的语句就行了：optimset fminbnd或者输入下面的命令，其效果与上面的相同：optimset（9.1.4 模型输入时需要注意的问题使用优化工具箱时，由于优化函数要求目标函数和约束条件满足一定的格式，所以需要用户在

7、进行模型输入时注意以下几个问题：1.目标函数最小化优化函数fminbnd、fminsearch、fminunc、fmincon、fgoalattain、fminmax和lsqnonlin都要求目标函数最小化，如果优化问题要求目标函数最大化，可以通过使该目标函数的负值最小化即-f（x）最小化来实现。近似地，对于quadprog函数提供-H和-f，对于linprog函数提供-f。2.约束非正优化工具箱要求非线性不等式约束的形式为Ci（x）0，通过对不等式取负可以达到使大于零的约束形式变为小于零的不等式约束形式的目的，如Ci（x）0形式的约束等价于- Ci（x）0；Ci（x）b形式的约束等价于- C

8、i（x）+b0。3.避免使用全局变量9.1.5 （函数句柄）函数MATLAB6.0中可以用函数进行函数调用。函数返回指定MATLAB函数的句柄，其调用格式为：handle = function利用函数进行函数调用有下面几点好处： 用句柄将一个函数传递给另一个函数； 减少定义函数的文件个数； 改进重复操作； 保证函数计算的可靠性。下面的例子为humps函数创建一个函数句柄，并将它指定为fhandle变量。fhandle = humps;同样传递句柄给另一个函数，也将传递所有变量。本例将刚刚创建的函数句柄传递给fminbnd函数，然后在区间0.3,1上进行最小化。x = fminbnd （hump

9、s, 0.3, 1）x =0.63709.2 最小化问题9.2.1 单变量最小化9.2.1.1 基本数学原理本节讨论只有一个变量时的最小化问题，即一维搜索问题。该问题在某些情况下可以直接用于求解实际问题，但大多数情况下它是作为多变量最优化方法的基础在应用，因为进行多变量最优化要用到一维搜索法。该问题的数学模型为： 其中，x,x1,和x2为标量，f（x）为函数，返回标量。该问题的搜索过程可用下式表达：其中xk为本次迭代的值，d为搜索方向，为搜索方向上的步长参数。所以一维搜索就是要利用本次迭代的信息来构造下次迭代的条件。求解单变量最优化问题的方法有很多种，根据目标函数是否需要求导，可以分为两类，即

10、直接法和间接法。直接法不需要对目标函数进行求导，而间接法则需要用到目标函数的导数。1直接法常用的一维直接法主要有消去法和近似法两种。（1）消去法 该法利用单峰函数具有的消去性质进行反复迭代，逐渐消去不包含极小点的区间，缩小搜索区间，直到搜索区间缩小到给定的允许精度为止。一种典型的消去法为黄金分割法（Golden Section Search）。黄金分割法的基本思想是在单峰区间内适当插入两点，将区间分为三段，然后通过比较这两点函数值的大小来确定是删去最左段还是最右段，或同时删去左右两段保留中间段。重复该过程使区间无限缩小。插入点的位置放在区间的黄金分割点及其对称点上，所以该法称为黄金分割法。该法

11、的优点是算法简单，效率较高，稳定性好。（2）多项式近似法 该法用于目标函数比较复杂的情况。此时寻找一个与它近似的函数代替目标函数，并用近似函数的极小点作为原函数极小点的近似。常用的近似函数为二次和三次多项式。二次内插涉及到形如下式的二次函数数据拟合问题：其中步长极值为：然后只要利用三个梯度或函数方程组就可以确定系数a和b，从而可以确定*。得到该值以后，进行搜索区间的收缩。在缩短的新区间中，重新安排三点求出下一次的近似极小点*，如此迭代下去，直到满足终止准则为止。其迭代公式为：其中 二次插值法的计算速度比黄金分割法的快，但是对于一些强烈扭曲或可能多峰的函数，该法的收敛速度会变得很慢，甚至失败。2

12、间接法间接法需要计算目标函数的导数，优点是计算速度很快。常见的间接法包括牛顿切线法、对分法、割线法和三次插值多项式近似法等。优化工具箱中用得较多的是三次插值法。三次插值的基本思想与二次插值的一致，它是用四个已知点构造一个三次多项式P3（x），用它逼近函数f（x），以P3（x）的极小点作为f（x）的近似极小点。一般讲，三次插值法比二次插值法的收敛速度要快些，但每次迭代需要计算两个导数值。三次插值法的迭代公式为如果函数的导数容易求得，一般来说首先考虑使用三次插值法，因为它具有较高的效率。对于只需要计算函数值的方法中，二次插值法是一个很好的方法，它的收敛速度较快，尤其在极小点所在区间较小时尤其如此。

13、黄金分割法则是一种十分稳定的方法，并且计算简单。由于以上原因，Matlab优化工具箱中使用得较多的方法是二次插值法、三次插值法、二次、三次混合插值法和黄金分割法。9.2.1.2 相关函数介绍找到固定区间内单变量函数的最小值。x = fminbnd（fun,x1,x2）x = fminbnd（fun,x1,x2,options）x = fminbnd（fun,x1,x2,options,P1,P2,.）x,fval = fminbnd（.）x,fval,exitflag = fminbnd（.）x,fval,exitflag,output = fminbnd（.）fminbnd求取固定区间内单变

14、量函数的最小值。x = fminbnd（fun,x1,x2）返回区间x1，x2上fun参数描述的标量函数的最小值x。x = fminbnd（fun,x1,x2,options）用options参数指定的优化参数进行最小化。x = fminbnd（fun,x1,x2,options,P1,P2,.）提供另外的参数P1,P2等,传输给目标函数fun。如果没有设置options选项，则令options=。x,fval = fminbnd（.）返回解x处目标函数的值。x,fval,exitflag = fminbnd（.）返回exitflag值描述fminbnd函数的退出条件。x,fval,exitf

15、lag,output = fminbnd（.）返回包含优化信息的结构输出。变量：函数的输入变量在表9-7中进行描述，输出变量在表9-8中描述。与fminbnd函数相关的细节内容包含在fun,options,exitflag和output等参数中，如表9-10所示。表9-10 参数描述表参 数fun需要最小化的目标函数。fun函数需要输入标量参数x，返回x处的目标函数标量值f。可以将fun函数指定为命令行，如x = fminbnd（inline（sin（x*x）,x0）同样，fun参数可以是一个包含函数名的字符串。对应的函数可以是M文件、内部函数或MEX文件。若fun=myfun，则M文件函数m

16、yfun.m必须右下面的形式。function f = myfun（x）f = . %计算x处的函数值。options优化参数选项。你可以用optimset函数设置或改变这些参数的值。options参数有以下几个选项：l Display 显示的水平。选择off，不显示输出；，显示每一步迭代过程l 的输出；，显示最终结果。 MaxFunEvals 函数评价的最大允许次数。l MaxIter 最大允许迭代次数。l TolX x处的终止容限。exitflag描述退出条件:l 0 表示目标函数收敛于解x处。l 0 表示已经达到函数评价或迭代的最大次数。l 0 表示目标函数不收敛。output该参数包含

17、下列优化信息：l output.iterations 迭代次数。l output.algorithm 所采用的算法。l output.funcCount 函数评价次数。算法：fminbnd是一个M文件。其算法基于黄金分割法和二次插值法。文献1中给出了实现同样算法的Fortran程序。局限性：1目标函数必须是连续的。2fminbnd函数可能只给出局部最优解。3当问题的解位于区间边界上时，fminbnd函数的收敛速度常常很慢。此时，fmincon函数的计算速度更快，计算精度更高。4fminbnd函数只用于实数变量。fminsearch, fmincon, fminunc, optimset, in

18、line文献：1 Forsythe, G.E., M.A. Malcolm, and C.B. Moler, Computer Methods for Mathematical Computations, Prentice Hall, 1976.9.2.1.3 应用实例例一 在区间（0，2）上求函数sin（x）的最小值：x = fminbnd（sin,0,2*pi）x = 4.7124所以区间（0，2）上函数sin（x）的最小值点位于x=4.7124处。最小值处的函数值为：y = sin（x）y = -1.0000磁盘中该问题的M文件名为opt21_1.m。例三 对边长为3m的正方形铁板，在四

19、个角处剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？假设剪去的正方形的边长为x，则水槽的容积为现在要求在区间（0，1.5）上确定一个x，使 最大化。因为优化工具箱中要求目标函数最小化，所以需要对目标函数进行转换，即要求 最小化。首先编写M文件opt21_3o.m:f = -（3-2*x）.2 * x;然后调用fminbnd函数（磁盘中M文件名为opt21_3.m）：x = fminbnd（opt21_3o,0,1.5）得到问题的解：0.5000即剪掉的正方形的边长为0.5m时水槽的容积最大。水槽的最大容积计算：y = optim2（x）y = -2.0000所以水槽的最大容积

20、为2.0000m3。9.2.2 线性规划9.2.2.1 基本数学原理线性规划是处理线性目标函数和线性约束的一种较为成熟的方法，目前已经广泛应用于军事、经济、工业、农业、教育、商业和社会科学等许多方面。线性规划问题的标准形式是：或写成矩阵形式为：其中，0为n维列向量。线性规划的标准形式要求目标函数最小化，约束条件取等式，变量非负。不符合这几个条件的线性模型要首先转化成标准形。线性规划的求解方法主要是单纯形法（Simple Method），该法由Dantzig于1947年提出，以后经过多次改进。单纯形法是一种迭代算法，它从所有基本可行解的一个较小部分中通过迭代过程选出最优解。其迭代过程的一般描述为

21、：1 将线性规划化为典范形式，从而可以得到一个初始基本可行解x（0）（初始顶点），将它作为迭代过程的出发点，其目标值为z（x（0）。2 寻找一个基本可行解x（1），使z（x（1）z（x（0）。方法是通过消去法将产生x（0）的典范形式化为产生x（1）的典范形式。3 继续寻找较好的基本可行解x（2），x（3），使目标函数值不断改进，即z（x（1）z（x（2） z（x（3） 。当某个基本可行解再也不能被其它基本可行解改进时，它就是所求的最优解。Matlab优化工具箱中采用的是投影法，它是单纯形法的一种变种。9.2.2.2 相关函数介绍linprog函数求解线性规划问题。数学模型：其中f, x, b,

22、 beq, lb和ub为向量，A 和Aeq为矩阵。x = linprog（f,A,b,Aeq,beq）x = linprog（f,A,b,Aeq,beq,lb,ub）x = linprog（f,A,b,Aeq,beq,lb,ub,x0）x = linprog（f,A,b,Aeq,beq,lb,ub,x0,options）x,fval = linprog（.）x,fval,exitflag = linprog（.）x,fval,exitflag,output = linprog（.）x,fval,exitflag,output,lambda = linprog（.）x = linprog（f,A

23、,b）求解问题 min f*x，约束条件为A*x = b。x = linprog（f,A,b,Aeq,beq）求解上面的问题，但增加等式约束，即Aeq*x = beq。若没有不等式存在，则令A=、b=。x = linprog（f,A,b,Aeq,beq,lb,ub）定义设计变量x的下界lb和上界ub，使得x始终在该范围内。若没有等式约束，令Aeq=、beq=。x = linprog（f,A,b,Aeq,beq,lb,ub,x0）设置初值为x0。该选项只适用于中型问题，缺省时大型算法将忽略初值。x = linprog（f,A,b,Aeq,beq,lb,ub,x0,options）用options

24、指定的优化参数进行最小化。x,fval = linprog（.） 返回解x处的目标函数值fval。x,lambda,exitflag = linprog（.）返回exitflag值，描述函数计算的退出条件。x,lambda,exitflag,output = linprog（.） 返回包含优化信息的输出变量output。x,fval,exitflag,output,lambda = linprog（.） 将解x处的拉格朗日乘子返回到lambda参数中。lambda参数lambda参数是解x处的拉格朗日乘子。它有以下一些属性：l lambda.lower lambda的下界。l lambda.u

25、pper lambda的上界。l lambda.ineqlin lambda的线性不等式。l lambda.eqlin lambda的线性等式。其它参数意义同前。大型优化算法 大型优化算法采用的是LIPSOL法，该法在进行迭代计算之前首先要进行一系列的预处理。中型优化算法 linprog函数使用的是投影法，就象quadprog函数的算法一样。linprog函数使用的是一种活动集方法，是线性规划中单纯形法的变种。它通过求解另一个线性规划问题来找到初始可行解。诊断：大型优化问题 算法的第一步涉及到一些约束条件的预处理问题。有些问题可能导致linprog函数退出，并显示不可行的信息。在本例中，exi

26、tflag参数将被设为负值以表示优化失败。若Aeq参数中某行的所有元素都为零，但Beq参数中对应的元素不为零，则显示以下退出信息：Exiting due to infeasibility: an all zero row in the constraint matrix does not have a zero in corresponding right hand size entry.若x的某一个元素没在界内，则给出以下退出信息： objective f*x is unbounded below.若Aeq参数的某一行中只有一个非零值，则x中的相关值称为奇异变量。这里，x中该成分的值可以用Aeq和Beq算得。若算得的值与另一个约束条件相矛盾，则给出以下退出信息： Singleton variable