最优控制理论读书报告.docx

1、最优控制理论读书报告最优控制理论读书报告第一章最优控制问题与极大值原理最优控制问题具有广泛性、多样性及重要性，它可以应用到不同的领域中，例如升降机的最快升降问题、防天拦截问题、雷达跟踪问题及生产库存控制问题等等。通过对这些问题的研究，我们可以看出它们都具有如下共同的特点：(1)都有一个被控对象。它通常是由常微分方程组描述的动态模型来表征的，即其 中xRn是状态量，&=f(x,u,t),tt0,tfuUrRr是控制量，(1.1)tt0,tf是时间变量，f:RnUrt0,tfRn,r,nZ*,rn是描述被控对象动态特征的矢值函数，t0,tf分别是初始和终端时刻，通常t0为定值，而tf可为定值，也可

2、待求。通常假设：对有限时间区间t0,tf给定的任一分段连续矢值函数u(t)Ur，(1.1)都存在唯一解。(2)都要求把被控系统的初态x0通过控制作用，在某个终端时刻tft0引导到某个终端状态x(tf)。通常要求终端状态x(tf)属于Rn中某个点集S，S称为目标集，且S:=xg(x(tf),tf)=0,gRp,pn(3)都有一个容许控制集合。容许控制集合Ut0,tf为Ut0,tf:=u(t)u(t)=(u1(t),u2(t),L,ur(t)T,ui(t)是定义在t0,tf上的分段连续函数，i=1,2,L,r;u(t)Ur,且把(1.1)的初态x0在终端时刻tf引导到目标集S上(1.2)(1.3)

3、(4)都有一个表征系统品质优劣的性能指标。由于它是一个依赖控制函数u(t)的“函数”，又称为性能指标泛函或代价泛函。记为Ju()，它是一个依赖于控制u()的有限实数，即-Ju()+一般说Ju()的表达式中既应包含依赖于终端时刻tf和终端状态x(tf)的末值型项，又应包含依赖于整个控制过程的积分型项，即Ju()=K(x(tf),tf)+L(x(t),u(t),t)dttft0(1.4)其中KR1,LR1，即K,L皆为标量函数。x(t)是(1.1)和x(t0)=x0对应于控制u(t)的解，又称为轨线。问题，否则为时变系统的最优控制问题；当目标集 仅含一个固定点时为固定端点问题；当 时为自S S R

4、=1() (),) (),(),) ()() (,)Tf fJu Kxt t Lxtutt txt fxut dt= + + - &归纳起来最优控制问题可叙述为：寻求一个容许控制u(t)Ut0,tf，使得系统(1.1)在该控制作用下从初态x(t0)=x0出发，在某个大于t0的终端时刻tf达到目标集S上，且使性能指标Ju()达到极小（若要求性能指标达到极大时，只要讨论J=-Ju()的极小便可）。如果最优控制有解即使(1.4)达到极小的控制函数存在，记为u*(t),tt0,tf。u*(t)称为最优控制，与u*(t)相对应的系统(1.1)的解x*(t)称为最优轨线，相应的性能指标J*=Ju*(t)称

5、为最优性能指标，(u*(t),x*(t)称为最优控制问题(1.1)(1.4)的最优解。从最优控制问题的叙述可知J*Ju*(t)Ju(t),u(t)Ut0,tf。在最优控制问题中，根据涉及的函数f(.),g(.),K(.),L(.)的不同，有几种不同的称谓。例如K(.)=0,L(.)=1时为快速控制问题；当f(.),g(.),K(.),L(.)都不显含t,tf时为定常系统的最优控制n由端点问题；当tf固定时为固定终端时刻问题，否则为终端时刻自由问题；当L(.)=0,K(.)0时为末值指标；当L(.)0,K(.)=0时为积分型指标；当L(.)0,K(.)0时为混合型指标。虽然最优控制问题的指标有混

6、合型、末值型和积分型三种，但在某些条件下，三种指标是可以相互转换的，这种相互转换在理论研究上是很有意义的，例如在最优控制问题的几何解释时就会用到这种转换。以下我们分别介绍不同条件下的最优控制问题。一控制量不受约束的最优控制问题控制量不受约束的最优控制问题是指在前面最优控制问题的叙述中，控制量的取值范围不受约，即uRr或uUr,Ur为Rr中的开集。设最优控制问题叙述中所涉及的函数f(.),g(.),K(.),L(.)关于变元都是二次连续可微的。1终端时刻tf固定，终端状态x(tf)自由终端时刻固定是指tf是已知的，终端状态自由是指x(tf)不受任何约束，即x(tf)Rn。然后利用Ju*(t)Ju

7、(t),u(t)Ut0,tf来讨论最优控制所应满足的必要条件，即如果最优解(u*(t),x*(t)存在，(u*(t),x*(t)所应满足的条件。通过引入拉格朗日乘子矢值函数(t)=1(t),2(t),L,n(t)TRn，将求Ju()的条件极小问题化为求tft0的无条件极小值问题。其中(t)为待定的矢值函数。利用分部积分，并且取哈密顿函数H(x,u,t)=-L(x,u,t)+Tf(x,u,t)。通过对J1u()的变分计算，我们得到最优控制问题中x*(t),u*(t),(t)所应满足的必要条件： (1)&*(t)=f(x*(t),u*(t),t)=H(x*(t),u*(t),(t),t)T=HT|

8、*，x*(t0)=x0，T&(t)=-Hx|*=L(x*(t),u*(t),t)x-T(t)f(x*(t),u*(t),t)x，K(x*(tf),u*(tf)T(tf)=-x(2)在u*(t)的一切连续时刻上皆有。H(x*(t),u*(t),(t),t)u=0，2H(x*(t),u*(t),(t),t)u20，故哈密顿函数H(x,u,t)=-L(x,u,t)+ f(x,u,t)作为u的函数在u*(t)处取得极大。当f(.),L(.)不T显含t时，有H(x*(t),u*(t),(t),t)=H(x*(tf),u*(tf),(tf),tf)=常量。2终端时刻tf固定，终端状态x(tf)受约束设x(

9、tf)S，即g(x(tf),tf)=0。此时的最优控制问题是在约束(1.1)和(1.2)条件下求(1.4)的极小问题。如前，通过引进拉格朗日乘子矢值函数(t)Rn和拉格朗日乘子Rp，将求Ju()的条件极小问题化为求tft0T优控制问题中x*(t),u*(t),(t),所应满足的必要条件：x(1)&*(t)=f(x*(t),u*(t),t)，x*(t0)=x0。(2)&(t)=-H(x*(t),u*(t),(t),t)xTK(x*(tf),tf)x-Tg(x*(tf),tf)x。(3)在u*(t)的一切连续时刻tt0,tf上皆有H(x*(t),u*(t),(t),t)u=0，2H(x*(t),u

10、*(t),(t),t)u20tt0,tf。-(4)H(x*(t),u*(t),(t),t)=H(x*(tf),u*(tf),(tf),tf)+ttfL(x*(t),u*(t),t)t+T(t)f(x*(t),u*(t),t)tdt3终端时刻tf自由与控制量不受约束的极大值原理3.1终端状态x(tf)自由用类似于1中的方法，可得到该条件下最优控制问题中x*(t),u*(t),(t)所应满足的必要条件：x(1)&*(t)=f(x*(t),u*(t),t)，x*(t0)=x0，(2)&(t)=-H(x*(t),u*(t),(t),t)xTK(x*(tf),tf*)x。(3)在u*(t)的一切连续时刻

11、tt0,tf上皆有H(x*(t),u*(t),(t),t)u=0，H(x*(t),u*(t),(t),t)=H(x*(tf*),u*(tf*),(tf*),tf*)+-2H(x*(t),u*(t),(t),t)u2(4)故哈密顿函数沿最优轨线有0tt0,tf*。ttf*L(x*(t),u*(t),t)t+T(t)f(x*(t),u*(t),t)tdtH(x*(tf*),u*(tf*),(tf*),tf*)=K(x*(tf*),tf*)tf当f(.),L(.),K(.)不显依赖于时间t时，有H(x*(t),u*(t),(t),t)=0。3.2终端状态x(tf)受约束用类似于2中的方法，可得到该条

12、件下最优控制问题中x*(t),u*(t),(t),所应满足的必要条件；除了将3.1.2中的横截条件改为 (tf*)=-TK(x*(tf),tf*)x-Tg(x(tf*),tf*)x和H(x*(tf*),u*(tf*),(tf*),tf*)=K(x*(tf*),tf*)tf+Tg(x*(tf*),tf*)tf且Ur=R。记哈密顿函数为H(x,u,t)=-L(x,u,t)+ f(x,u,t)。若(u*(t),x*(t)为最优解，则一其余均与3.1中的相同。将以上结果综合到一起，可得到如下控制量不受约束的极大值原理：定理1给定时变最优控制问题(1.1)(1.4)。设f(.),g(.),K(.),L(

13、.)关于变元都是二次连续可微的，r T定存在矢值函数(t)R和矢值常量 R，使得x*(t),u*(t),(t), 一起满足：n px(1)&*(t)=f(x*(t),u*(t),t)，x*(t0)=x0，(2)&(t)=-H(x*(t),u*(t),(t),t)xTK(x*(tf),u*(tf)x-Tg(x*(tf),tf)x(3)在u*(t)的一切连续时刻tt0,tf上皆有H(x*(t),u*(t),(t),t)u=0，2H(x*(t),u*(t),(t),t)u20tt0,tf。-(4)H(x*(t),u*(t),(t),t)=H(x*(tf),u*(tf),(tf),tf)+ttfL(x

14、*(t),u*(t),t)t+T(t)f(x*(t),u*(t),t)tdt(5)若tf自由时，有H(x*(tf),u*(tf),(tf),tf)=K(x*(tf),tf)tf+Tg(x*(tf),tf)tf。当f(.),L(.),K(.)不控制变量受约束是指u(t)UrR,Ur是有界闭集。由于最优控制的改变量特别是其取值不能是任意显依赖于时间t时，有H(x*(t),u*(t),(t),t)=常量，若tf固定时这个常数可能不为零，但当tf自由时，这个常数一定为零。二控制量受约束的最优控制问题庞德里亚金极大值原理r的，因此不可能按以上所讨论方法来获得最优控制所应满足的必要条件。虽如此，但其处理问

15、题的思路和某些技巧，仍然可以被用来获得控制量受约束条件下最优控制应满足的必要条件。由于时变最优控制问题都可以通过引入新的状态变量将其化为定常最优控制问题，故我们只给出了定常最优控制问题的极大值原理。定常最优控制问题可叙述如下：状态方程为x&=f(x,u),x(t0)=x0其中xRn是状态，uRr是控制，fRn。目标集为(x(tf)自由容许控制集合Ut0,tf:=u(t)u(t)的分量为分段连续函数，且u(t)UrRr,Ur为有界闭集。记与u(t)对应的轨线x(t)，它满足x(t0)=x0性能指标为(1.5)(1.6)(1.7)Ju()=K(x(tf)+L(x(t),u(t)dttft0关于定常

16、最优控制问题(1.5)(1.8)作如下假设：设（1）f(x,u),L(x,u),K(x)关于变元是连续的，而关于x是连续可微的。(1.8)（2）f(x,u), ,x x都是有界的。我们分别就终端时刻tf固定与自由两种情况进行了讨论，从而得到定常最优控制问题的极大值原理(庞德里亚金极大值原理)。1定常最优控制问题的极大值原理(庞德里亚金极大值原理)给定定常最优控制问题(1.5)(1.8)和目标集g(x(tf)=0。设u(t)UrRr,Ur为有界闭集且(1)f(x,u),L(x,u),K(x),g(x)关于其变元是连续的，关于x是连续可微的。(2)f(x,u), ,x x记哈密顿函数为都是有界的。

17、H(x,u,)=-L(x,u)+Tf(x,u)若(u*(t),x*(t)是最优解，则必存在n维矢值函数(t)Rn和p维常矢值Rp，使得x*(t),u*(t),(t)和一起满足：x*(1)&(t)=f(x*(t),u*(t),x*(t0)=x0T(2)&(t)=-H(x*(t),u*(t),(t)x,T(tf)=-K(x*(tf)x-Tg(x*(tf)x(3)对u*(t)在t0,tf上的一切连续时刻t上有H(x*(t),u*(t),(t)=maxH(x*(t),u,(t)uUr(4)H(x*(t),u*(t),(t)作为u的函数沿着最优控制u*(t)恒为常数，即H(x*(t),u*(t),(t)

18、=常量,tt0,tf当终端时刻tf固定时，这个常数可能不为零；但当tf自由时，这个常数必为零。由于时变最优控制问题都可以通过引入新的状态变量将其化为定常最优控制问题，故我们可直接给出时变最优控制问题的极大值原理。2时变最优控制问题的极大值原理(庞德里亚金极大值原理)给定时变最优控制问题：f(x,u,t),L(x,u,t),g(x(tf),tf),K(x(tf),tf)。设：(1)f(x,u,t),L(x,u,t),g(x,t),K(x,t)关于其变元是连续的，关于变元x,t是连续可微的。(2)f(x,u,t), , ,x t x t记哈密顿函数为都是有界的。H(x,u,t)=-L(x,u,t)

19、+Tf(x,u,t)如果u(t)UrRr,Ur为有界闭集且(u*(t),x*(t)是最优解，则一定存在矢值函数(t)Rn和常值矢量Rp，使得x*(t),u*(t),(t),一起满足：(1)x*(t)=f(x*(t),u*(t),t),x*(t0)=x0T(2)&(t)=-H(x*(t),u*(t),(t),t)x,T(tf)=-K(x*(tf),tf)x-Tg(x*(tf)tf)x(3)对u*(t)在t0,tf上的一切连续时刻t上有H(x*(t),u*(t),(t),t)=maxH(x*(t),u,(t),t)uUr(4)哈密顿函数沿最优解具有性质H(x*(t),u*(t),(t),t)=H(

20、x*(tf),u*(tf),(tf),tf)+当终端时刻tf自由时有ttfH(x*(t),u*(t),(t),t)tdtH(x*(tf),u*(tf),(tf),tf)=K(x*(tf),tf)tf+Tg(x*(tf),tf)tf当终端时刻tf固定时H(x*(tf),u*(tf),(tf),tf)无明确解析表达式。三与极大值原理应用有关的几个问题通常称满足极大值原理的控制和轨线为极值控制和极值轨线。极值控制和极值轨线称为极值解。如果已知最优控制存在且唯一，而极值控制又只有一个，则这个极值解就是最优解。但是极大值原理只是最优控制应满足的必要条件，因此极值控制不一定是最优控制。所以需要讨论最优控制

21、的充分条件。1最优控制的充分条件定理2给定最优控制问题状态方程x(&t)=A(t)x(t)+f(u(t),t),x(t0)=x0容许控制集合Ut0,tf:=u(t)|u(t)的分量为t的分段连续函数，u(t)UrRr,Ur为有界闭集(1.9)(1.10）性能指标Ju()=cTx(tf)+pT(t)x(t)+L(u(t),t)dttft0(1.11)其中A(t)Rnn和p(t)Rn分别是已知t的连续阵值和矢值函数；cRn是常矢量，f(u,t)和L(u,t)关于变元是连续的，关于t是连续可微的；tf是固定的。记H(x,u,t)=-pT(t)x-L(u,t)+TA(t)x+Tf(u,t)设u*(t)

22、Ut0,tf，相应轨线为x*(t)，且满足x*&(t)=A(t)x*(t)+f(u*(t),t),x*(t0)=x0而(t)Rn满足T&(t)=-如果u*(t),x*(t),(t)一起满足Hx*=pT(t)-T(t)A(t),T(tf)=-cTH(x*(t),u*(t),(t),t)=maxH(x*(t),u,(t),t)uUr即x*(t),u*(t),(t)满足极大值原理的所有条件，则u*(t)必是最优控制。对给定的最优控制问题，能利用极大值原理求解其最优控制的先决条件是其最优控制的存在性，但并不是所有的最优控制问题都存在最优控制。实际上在所有的最优控制问题中，最优控制不存在的情况可分为两类

23、：(1)给定状态方程、目标集和控制约束后，通过分析可得其容许控制集合Ut0,tf=。由于容许控制不存在，当然就不会存在最优控制了。它反映了关于最优控制问题的提法是不合理的。(2)虽然控制问题的提法是合理的，即容许控制集合Ut0,tf，但最优控制确实不存在。2极小值原理最优控制所应满足的必要条件，除了极大值原理原理外，还有极小值原理。实际上，只要注意到两种叙述中哈密顿函数和共轭方程的终端条件的区别，可知这两种叙述是等价的。现在我们以时变最优控制问题的极大值原理为例来叙述其相对应的极小值原理。定理3最优控制所应满足的必要条件极小值原理给定时变最优控制问题：f(x,u,t),L(x,u,t),K(x(tf),tf),g(x(tf),tf)。设：(1)f(x,u,t