最优化理论与算法资料下载.pdf
《最优化理论与算法资料下载.pdf》由会员分享，可在线阅读，更多相关《最优化理论与算法资料下载.pdf（36页珍藏版）》请在冰点文库上搜索。
eAO?
d=f（x）f3x?
e3.152y21?
A/y1?
f（x）Td0?
f（x+d）=f（x）+f（x）Td+o（）0KxK（3.1.1）?
2?
n1?
/?
7n3.1.2（?
7）?
f:
DRnR3m8DY.exD（3.1.1）?
Kf（x）=0.（3.1.2）y?
x4?
S?
x（k）=xkf（x）.|Taylor,u?
k,k0f（x（k）f（x）=kf（x）Tf（k）,kx（k）x?
|.k,?
4.dufC1,?
k0kf（x）k2.w,=?
f（x）=0,.n3.1.3（?
DRnR3m8D?
Y,exD（3.1.1）?
Kf（x）=0,2f（x）?
0,（3.1.3）y（3.1.3）13n3.1.2y,?
Ly1?
.S?
x（k）=x+kd,d?
.dufC2f（x）=0,?
dTaylor,u?
k,k0f（x（k）f（x）=122kdT2f（k）d,kx（k）x?
|.dux4?
fC2,K122k,?
4,?
dT2f（x）d0,dRn.l?
（2.1.3）1?
.31n?
zvf（x）=0?
xf?
-:
7:
.XJf（x）=0,KxU4?
U4:
.Q4?
4:
Q:
.Xx=0f（x）=x2?
f（x）=x3?
n!
n3.1.4（?
）?
Y,KxDf?
f（x）=02f（x）?
0.（3.1.4）y?
（3.1.4）,KdTaylor,?
d,f（x+d）=f（x）+122dT2f（x+d）d.du2f（x）?
fC2,?
J,?
x+dN（x）,l?
dT2f（x+d）d0,?
f（x+d）f（x）,=x4?
.5n3.1.4?
7Xx=（0,0）Tf（x）=x41+x42?
2f（x）?
3.1.5|4）Kminf（x）=13x31+13x32x21x2.）?
O?
f（x）=x212x1x221!
2f（x）=2x12002x2!
.df（x）=0?
x
（1）=01!
x
（2）=01!
x（3）=21!
x（4）=21!
q2f（x（3）=2002!
x（3）4?
/,8I?
e8I,K-:
.n3.1.6（5n）?
RnRY.Kf?
xK（3.1.1）?
7f（x）=0.3.2?
954ykyf?
K3x?
+U（x）?
f（x）f（x）,xU（x）.?
xRn?
0?
x+（xx）U（x）.df?
5?
f（x）f（x+（xx）f（x）+
（1）f（x）.?
f（x）f（x）=xf?
eyxK（3.1.1）?
f（x）=0.fRn?
f（x）=0,?
kf（x）f（x）f（x）（xx）=0,xD.LxDf?
.3.2?
95?
z?
gl,:
x（0）u?
E:
x（k）?
f（xk+1）f（x（k）,k=0,1,.?
8I:
:
4:
K（3.1.1）?
）-:
d（k）f3x（k）?
ef（x（k）Td（k）0?
f（x（k）+d（k）0?
f（x（k）+kd（k）f（x（k）.3.2.11.:
x（0）Rn0-k=02.ekf（x（k）k?
）x（k）K=33.（ed（k）?
f（x（k）Td（k）0?
f（x（k）+kd（k）0f（x（k）+d（k）,（）（3.2.1）?
kKkf（x（k）+kd（k）Td（k）=0.=?
k=argmin0（）=f（x（k）+d（k）k=U?
yve?
3d（k）eD=f（x（k）f（x（k）+kd（k）?
I?
O3SOLduOiO?
Cq）u?
g4?
zKminf（x）=12xTQx+qTx,QRnn?
d（k）f3x（k）?
evf（x（k）Td（k）0eD=f（x（k）f（x（k+1）?
k?
=?
OL|?
J（|70.6187（|?
u?
Kk?
m?
Vg3.2.1?
a,bRe3ta,b（t）3a,t43t,b4OKa,b（t）?
mw,（t）3?
mk?
ty3y?
5n3.2.2?
a,b（t）?
m,a,b（）K,b（t）?
m3.2?
956y?
t（t）3a,b?
1da,b（t）?
mIytyb?
tKa,b（t）?
m（）gdt2nyn3.2.2?
3uL?
（t）3:
7|?
5y3|Kmin（t）s.t.ta,b（3.2.3）a,b（t）?
mK3?
ta,bt（3.2.3）?
）7?
gL?
c?
&
8I,?
#?
（3.2.3）?
Cq）?
ai,bi?
mi,i（ai,bi）?
c&
i（i）Ki,bi（t）?
-ai+1=i,bi+1=biv1?
（0,1）?
=bi+1ai+1=（biai）;
（3.2.6）21e?
i2e?
iai+1,bi+1?
31ek1d（3.2.6）（3.2.5）“（3.2.4）?
i=ai+
（1）（biai）,i=ai+（biai）.（3.2.7）22d（3.2.7）!
（3.2.5）（3.2.6）i+1=ai+1+
（1）（bi+1ai+1）=ai+
（1）（biai）,（3.2.8）71n?
zi+1=ai+1+（bi+1ai+1）=ai+2（biai）,（3.2.9）?
（3.2.8）（3.2.7）（0,1）i+1Ui?
ki+1=idd?
2=1=5120.6180339887418948.（3.2.10）32e?
i+1=i（3.2.10）=5127X7|7X?
1?
e7?
NS“3.2.371.?
ma,b07Xeba?
t=（b+a）/2K=22.z-a0,b0=a,b0=a0+
（1）（b0a0）0=a0+（b0a0）（0）（0）-i=0=33.?
8Ie（i）（i）=4K=54.|-ai+1=aibi+1=ii+1=i（i+1）=（i）i+1=ai+1+（bi+1i+1）（i+1）=65.m|-ai+1=ibi+1=bii+1=i（i+1）=（i）i+1=bi+1（i+1ai+1）（i+1）=66.?
Oebi+1ai+1?
t=（bi+1ai+1）/2K=77.-#m?
Oei+1i+1Ki=i+1=3Ka=ai+1b=bi+1=23.2.47zKmint0,3t3t+1?
（|（|?
8?
（|?
8I?
）=?
O（|Kmin（t）s.t.ta,b（3.2.11）?
）t（t）=f（x（k）+td（k）x（k）S“:
d（k）K（3.1.1）3x（k）?
|0（0）=f（x（k）Td（k）0-?
tk=tK#?
S“:
x（k+1）=x（k）+tkd（k）eD=f（x（k）f（x（k）+tkd（k）=（0）（t）.3.2?
958e0?
（|1!
Armijo.|?
evf（x（k）Td（k）0?
f（x（k）+kd（k）f（x（k）+1kf（x（k）Td（k）,（3.2.12）=（k）（0）+1k0（0）.（3.2.12）?
kFkU?
0,（0,1）?
k8i,i=0,1,?
（3.2.12）?
3.2.5Armijo.|1.ek=1v（3.2.12）K?
k=1K=22.0,（0,1）-k=3.ev（3.2.12）KO?
kK=44.-k:
=k=351k=1-?
3?
-?
2&
U?
e（0,1）?
g&
UC?
Ig|U?
ke（0,1）?
dL?
kU?
3.2.6?
Kminf（x）=12x21+x22.?
x（0）=（1,1）T?
yd（0）=（1,1）Tf3x（0）?
eArmijo|（0=0.5i?
f（x（0）+0d（0）f（x（0）+0.90f（x（0）Td（0）.2!
WolfePowell.|Armijo.|?
WolfePowell.|WolfePowell.|1,2v0112,120?
（f（x（k）+kd（k）f（x（k）+1kf（x（k）Td（k）,f（x（k）+kd（k）Td（k）2f（x（k）Td（k）,（3.2.13）=（k）（0）+1k0（0）,0（k）20（0）.91n?
zyed（k）f3x（k）?
ef（x（k）Td（k）0ke.K3ma,b?
a,b?
vWolfePowell.|（3.2.13）WolfePowell.|Armijo.|?
（3.2.13）?
yL1UArmijo|（:
（0）k=i?
（0）kv（3.2.13）?
P（0）k:
=1（0）k2e（0）kv（3.2.13）?
1（0,1）-
（1）k8（0）k+i1（0）k（0）k）,i=0,1,?
（3.2.13）1?
3e
（1）kv（3.2.13）?
-
（1）k=11
（1）k-EdL?
（ik）kv（3.2.13）?
3.2.7WolfePowell.|1.ek=1v（3.2.13）K?
k=1K=22.0,1（0,1）-（0）k8i,i=0,1,2,?
-i=03.e（i）kv（3.2.13）1?
KO?
k=（i）kK-（i）k=1（i）k=44.-（i+1）k8（i）k+i1（i）k（i）k）,i=0,1,?
-i:
=i+1=3n!
5（Je3.2.1?
55kLd（k）f?
KFf（x（k）?
Y?
=cosk=f（x（k）Td（k）kf（x（k）kkd（k）k.（3.2.14）?
5n3.2.8?
f（x）Yke.fLipschitzY=3L0?
kf（x）f（y）kLkxyk,x,yRn.?
x（k）d3.2.1?
）kd（|（KXi=0kf（x（k）k2cos2k0?
coskKlimkkf（x（k）k=0.（3.2.16）3.2?
9510y（3.2.16）d（3.2.15）?
ey（3.2.15）dn?
0kf（x（k）+d（k）=f（x（k）+f（x（k）+tkd（k）Td（k）=f（x（k）+f（x（k）Td（k）+f（x（k）+tkd（k）f（x（k）Td（k）f（x（k）+f（x（k）Td（k）+kf（x（k）+tkd（k）f（x（k）kkd（k）kf（x（k）+f（x（k）Td（k）+L2kd（k）k2,tk（0,1）AO?
-k=f（x（k）Td（k）2Lkd（k）k2,kf（x（k）+kd（k）f（x（k）kf（x（k）Td（k）+L2kkd（k）k2=14L（f（x（k）Td（k）2kd（k）k2.（3.2.17）d（|kvf（x（k+1）f（x（k）=f（x（k）+kd（k）f（x（k）f（x（k）+kd（k）f（x（k）=14L（f（x（k）Td（k）2kd（k）k2=14Lkf（x（k）k2cos2k,=f（x（k）f（x（k+1）14Lkf（x（k）k2cos2k.dfke.（3.2.15）n3.2.9?
n3.2.8?
x（k）dWolfe-Powell.|?
3.2.1?
）=kv（3.2.13）Kn3.2.8?
（yd（3.2.13）?
9f?
LipschitzY5?
（12）f（x（k）Td（k）（f（x（k+1）f（x（k）Td（k）kLkd（k）k2,?
k12Lf（x（k）Td（k）kd（k）k2,c1f（x（k）Td（k）kd（k）k2,（3.2.18）111n?
zc1=（12）L1l?
d（3.2.13）?
f（x（k+1）f（x（k）1c1（f（x（k）Td（k）2kd（k）k2=1c1kf（x（k）k2cos2k.（3.2.19）aqun3.2.8?
（3.2.15）.n3.2.10?
x（k）dArmijo.|?
）=kd3.2.5?
）2b?
3C0?
kf（x（k）kCkd（k）k.（3.2.20）Kn3.2.8?
（y3n3.2.83.2.10?
ee3.2.1?
n3.2.11?
）kd（|（dWolfe-Powell.|（dArmijo.|（3.2.20）e30?
k1Yi=0cosik,（3.2.21）Kliminfkkf（x（k）k=0.（3.2.22）y?
（3.2.22）K30?
kf（x（k）k,kd（3.2.15）3M0?
kk0k2k1Xi=0cos2ik1Xi=0kf（x（i）k2cos2iM.k|A?
（3.2.21）?
222（k1Yi=0cos2i）1/k21kk1Xi=0cos2iMk.-k?
g?
2203.3e12n3.2.11Le?
（3.2.21）3.2.1?
x（k）k.Kx（k）k4:
xf?
5n3.2.12?
f（x）?
gY:
）kdWolfe-Powell.|（dArmijo.|（1（0,1/2）?
x（k）xf（x）=0,2f（x）?
elimkkf（x（k）+2f（x（k）d（k）kkd（k）k=0,（3.2.23）K1?
kk=12:
x（k）5ux3.3eeqFICauchyu1947cJ?
|KF|）?
55yK?
S“y5!
55yK（UNP）=minxRnf（x）,（UNP）f:
RnRkY?
n3.1.2I?
xf（x）=0eKF4?
e,qF,?
f（x（k）6=0.dTaylorf（x）=f（x（k）+（xx（k）Tf（x（k）+o（kxx（k）k）,ePxx（k）=tkd（k）,Kvd（k）Tf（x（k）0D=f（x（k）f（x（k）+tkd（k）?
f（x（k）Td（k）?
2/kd（k）k2（3.3.1）k=d!
（|!
Armijo|9WolfePowell|?
v53.3.3kOB?
d（k）=f（x（k）0,3.3.4e）?
55yKminxf（x）=x21+2x22,:
x（0）=11!
=0.1kf（x）=2x14x2!
1gS“f（x（0）=24!
=212!
kf（x（0）k=25?
d（0）=12!
|x（0）+td（0）=1t12t!
（t）=f（x（0）+td（0）=（1t）2+2（12t）20（t）=2（1t）8（12t）=10+18t-0（t）=0?
（t）?
t0=5/9du00（t0）=180dt0=5/9mint0（t）=f（x（0）+td（0）?
）#?
x
（1）=x（0）+t0d（0）=15/9110/9!
=4/91/9!
gS“f（x
（1）=8/94/9!
=4921!
kf（x
（1）k=495?
d
（1）=21!
3.3e14|x
（1）+td
（1）=4/92t1/9+t!
（t）=f（x
（1）+td
（1）=（4/92t）2+2（1/9+t）20（t）=4（4/92t）+4（1/9+t）=20/9+12t-0（t）=0?
t1=5/27du00（t1）=120dt1=5/27mint0（t）=f（x
（1）+td
（1）?
x
（2）=x
（1）+t1d
（1）=4/910/271/9+5/27!
=2/272/27!
1ngS“f（x
（2）=4/278/27!
=42712!
kf（x
（2）k=4275?
d
（2）=12!
|x
（2）+td
（2）=2/27t2/272t!
（t）=f（x
（2）+td
（2）=（2/27t）2+2（2/272t）20（t）=2（2/27t）8（2/272t）=20/27+18t-0（t）=0?
t2=10/243du00（t2）=180dt2=10/243mint0（t）=f（x
（2）+td
（2）?
x（3）=x
（2）+t2d
（2）=2/2710/2432/2720/243!
=8/2432/243!
1ogS“f（x
（2）=16/2438/243!
=824321!
kf（x（3）k=824350（3.3.1）k1e?
）kS?
x
（1）,x（k）Kf（x（k）=02e?
）S?
x
（1）,x
（2）,Klimkkf（x（k）k=0y1?
O=?
2k=0,1,?
Od（k）=f（x（k）6=0x（k+1）=x（k）+tkd（k）tk（3.3.1）kduf（x（k）Td（k）=kf（x（k）k20kf（x（k）+td（k）f（x（k）,df（x（k+1）=f（x（k）+tkd（k）=mint0f（x（k）+td（k）0oku（UNP）?
Cq-:
x（k）vkf（x（k）klwekB!
;
duF=N?
5KF,:
5e?
N5e?
duzgS“tk（t）=mintf（x（k）+td（k）?
d0=0（tk）=f（x（k）+tkd（k）Td（k）=f（x（k+1）Td（k）=（d（k+1）Td（k）,=c?
|pRe.%C（UNP）?
C）?
ye=k5n3.3.7?
QRnn?
qRnPmaxminOQ?
=max/minXe?
zKminf（x）=12xTQx+qTx.?
x（k）（|?
kkkx（k+1）xkQ?
1+1?
kx（k）xkQ,（3.3.3）xK?
）kxkQ=（xTQx）1/23.4）?
Newton|8I?
gTaylor?
E|?
NewtonNewton,?
Newton?
ZNewton?
y5!
55yK（UNP）=minxRnf（x）（UNP）3.416f（x）?
gY?
cS“:
Kf（x）3x（k）?
Taylorf（x）=f（x（k）+f（x（k）T（xx（k）+12（xx（k）T2f（x（k）（xx（k）+o（k（xx（k）k2）,?
g5yKminxf（x）=f（x（k）T（xx（k）+12（xx（k）T2f（x（k）（xx（k）,?
2f（x（k）?
）x=x（k）?
1f（x（k）.x#?
x（k+1）?
x（k+1）=x（k）?
1f（x（k）.ePd（k）=?
1f（x（k）,（3.4.1）Kx（k+1）=x（k）+d（k）.d（k）=?
1f（x（k）f（x）3x（k）?
NewtondNewtonNewton|1=|?
1S“?
eNewton?
NS“3.4.1Newton1.:
x（0）Rn0-k=02.?
Oekf（x（k）k?
x=x（k）K=33.?
E|）5|2f（x（k）d=f（x（k）?
d（k）4.（#?
-x（k+1）=x（k）+d（k）,k:
=k+1=23.4.2Newton）?
zKminxf（x）=x21+2x22,:
x（0）=12!
=106171n?
zkf（x）=2x14x2!
2f（x）=2004!
1=1/2001/4!
kf（x（0）k=25d（0）=2f（x（0）1f（x（0）=1/2001/4!
24!
=11!
x
（1）=x（0）+d（0）=00!
gS“f（x1）=00!
kf（x
（1）k=00?
x（0）U（x）,x|kxxk0?
k2f（x）2f（x）kLkxxk,xU（x）,Kx（k）?
gux=3C0?
kkx（k+1）xkCkx（k）xk2.ydf?
gY!
10,?
xU1（x）,M0,?
k2f（x）1kM,xU1（x）,1,?
k2f（x）2f（x）k14M,xU（x）.?
x（0）U（x）kkx
（1）xk=kx（0）x2f（x（0）1f（x（0）k3.418=k2f（x（0）1（f（x（0）f（x）2f（x（0）（x（0）x）kMkf（x（0）f（x）2f（x（0）（x（0）x）kMZ10k2f（x+t（x（0）x）2f（x（0）kkx（0）xkdtM?
Z10k2f（x+t（x（0）x）2f（x）kkx（0）xkdt+Z10k2f（x（0）2f（x）kkx（0）xkdt?
12kx（0）xk.（3.4.2）Lx
（1）U（x）k?
k1kkx（k+1）xk12kx（k）xk.l?
x（k）ux?
kkx（k+1）xkMZ10k2f（x+t（x（k）x）2f（x（k）kkx（k）xkdt=o（kx（k）xk）,=x（k）5uxe2f3x?
LipschitzYKkx（k+1）xkM?
Z10k2f（x+t（x（k）x）2f（x）kkx（k）xkdt+Z10k2f（x（k）2f（x）kkx（k）xkdt?
LM?
Z10tdt+1?
kx（k）xk2=32LMkx（k）xk2,=x（k）?
gux5u?
55yK（UNP）Newton）QU?
yLkgS“?
（）U?
yTk5d（3.4.1）Newtone?
Newtonk5?
ENewton|?
|（ZNewtoneZNewton?
N3.4.4ZNewton1.:
x=x（k）K=3191n?
z3.?
d（k）4.?
1|mint0f（x（k）+td（k）?
tk5.（#?
-x（k+1）=x（k）+tkd（k）,k:
=k+1=253.4.53（tkQ?
30D=f（x（k）f（x（k）+tkd（k）（f（x（k）Td（k）2/kd（k）k2,（3.4.3）?
（3.4.3）k1e?
k=0,1,f（x）?
302f（x）?
n（2f（x）,xRn,d?
zRndzT2f（x（k）zkzk2,（3.4.4）d（k）=?
1f（x（k）eS?
f（k）?
zRnd（3.4.4）kzk2zT2f（x（k）zkzkk2f（x（k）zk,=k2f（x（k）zkkzk.3?
z=d（k）=?
1f（x（k）Kkf（x（k）kkd（k）k.（3.4.5）k2f（x）kk.3M0k2f（x）k0?
Ak?
NewtonZNewton?
3u（d（k）?
5|3.4.8?
Newton1.:
E|）5|Akd=f（x（k）?
=k+1=2n3.4.9b?
1Y8=x|f（x）f（x（0）211n?
zk.f3?
k.48?
gY2:
x（k）d（|!
Armijo|WolfePowell|?
）3x（k）?
x?
3kk.Kliminfkkf（x（k）k=0.ex（k）xk03Armijo|（3.2.12）WolfePowell|（3.2.13）?
1（0,1/2）Kx（k）5ux?
e
升级会员 