最優(yōu)化方法習(xí)題一

習(xí)題一考慮二次函數(shù)f(x)=寫(xiě)出它的矩陣—向量形式:f(x)=矩陣Q是不是奇異的?證明:f(x)是正定的f(x)是凸的嗎?寫(xiě)出f(x)在點(diǎn)=處的支撐超平面(即切平面)方程解:1)f(x)==+其中 x=,Q=,b=2)因?yàn)镼=,所以|Q|==8>0即可知Q是非奇異的3)因?yàn)閨2|>0,=8>0,所以Q是正定的,故f(x)是正定的4)因?yàn)?,所以||=8>0,故推出是正定的,即是凸的5)因?yàn)?,所以=(5,11)所以f(x)在點(diǎn)處的切線方程為5()+11()=0二、求以下函數(shù)的梯度問(wèn)題和Hesse矩陣1)f(x)=2++2)f(x)=ln(+)解:1)=(,)=2)=(,)=設(shè)f(x)=,取點(diǎn).驗(yàn)證=(1,0,-1)是f(x)在點(diǎn)處的一個(gè)下降方向,并計(jì)算f(+t)證明:=d=(1,0,-1)=-3<0所以是f(x)在處的一個(gè)下降方向f(+t)=f((1+t,1,1-t))=f(+t)=6t-3=0所以t=0.5>0所以f(+t)=3*0.25-3*0.5+4=3.25設(shè)，b，〔j=1,2,….,n〕考慮問(wèn)題Minf(x)=s.t.(j=1,2,….,n)寫(xiě)出其KuhnTuker條件證明問(wèn)題最優(yōu)值是解：1〕因?yàn)槟繕?biāo)函數(shù)的分母故所以〔j=1,…,n〕都為0所以KuhnTuker條件為即+=02〕將代入h(x)=0只有一點(diǎn)得故有所以最優(yōu)解是五、使用KuhnTuker條件，求問(wèn)題minf(x)=s.t.的KuhnTuker點(diǎn)，并驗(yàn)證此點(diǎn)為問(wèn)題的最優(yōu)解解：x=(1/2,3/2)故，=0那么即而故即其為最優(yōu)解六、在習(xí)題五的條件下證明L()其中L〔x,〕=f(x)+證明：L()=f()+=f()=f()++2)==f()=)習(xí)題二設(shè)f(x)為定義在區(qū)間[a,b]上的實(shí)值函數(shù)，是問(wèn)題min{f(x)|a}的最優(yōu)解。證明：f(x)是[a,b]上的單谷函數(shù)的充要條件是對(duì)任意滿足f()<max{f(),f()},證明：不妨設(shè)<,那么<“必要性”假設(shè)那么由單谷函數(shù)定義知故有“充分性”由，的任意性取=時(shí)，f()>f()那么>>=且f()<f()假設(shè)取=時(shí),f()>f()=<<且f()<f()滿足單谷函數(shù)的定義二、設(shè)<,1)證明:滿足條件的二次函數(shù)是〔嚴(yán)格〕凸函數(shù)2〕證明：由二次插值所得f(x)的近似極小值點(diǎn)〔即的駐點(diǎn)〕是或者證明：1〕設(shè)=〔〕那么由得或故1〕得證2〕的駐點(diǎn)為或三、設(shè)f(x)=試證：共軛梯度法的線性搜索中，有，其中證明：由，得令為t的凸二次函數(shù)。要使是的極小點(diǎn)即為駐點(diǎn)，故滿足而===故有得四、用共軛梯度法求解：minf(x)=,x取初始點(diǎn)解：易知第一次迭代：線性搜索得步長(zhǎng)從而=第二次迭代：線性搜索得步長(zhǎng)：所以最優(yōu)解為用擬Newton法求解：min取初始點(diǎn)解：1〕DFC法取初始對(duì)稱矩陣第一次迭代：計(jì)算得，經(jīng)一維線性搜索得：=0.25置第二次迭代經(jīng)一維線性搜索得：=6.25故最優(yōu)解為：2〕BFGS法取定初始對(duì)稱矩陣第一次迭代：計(jì)算得，經(jīng)一維線性搜索得：=0.25同DFP法，初始修正矩陣第二次迭代：經(jīng)一維線性搜索得：故最優(yōu)解為：習(xí)題三給定問(wèn)題mins.t.取初始點(diǎn)，用簡(jiǎn)約梯度法求其最優(yōu)解解：約束條件為那么，==得得故為問(wèn)題的K-T點(diǎn)用梯度投影法求解問(wèn)題mins.t.取初始點(diǎn)解：迭代〔1〕投影矩陣故故投影矩陣令故為其 K-T 點(diǎn)3、用可行方向法求解問(wèn)題mins.t.取初始點(diǎn)解：迭代一：有效約束確定下降方向min-4s.t.i=1,2解得且其最優(yōu)值為-6，即處的搜索方向線性搜索而迭代2：有效約束確定下降方向min-s.t.i=1,2得且其最優(yōu)值為-2線性搜索而迭代3：有效約束確定下降方向min-s.t.i=1,2得，其最優(yōu)值為-