最優(yōu)化方法習(xí)題一

./習(xí)題一考慮二次函數(shù)f<x>=寫出它的矩陣—向量形式:f<x>=矩陣Q是不是奇異的?證明:f<x>是正定的f<x>是凸的嗎?寫出f<x>在點(diǎn)=處的支撐超平面<即切平面>方程解:1>f<x>==+其中 x=,Q=,b=2>因?yàn)镼=,所以|Q|==8>0即可知Q是非奇異的3>因?yàn)閨2|>0,=8>0,所以Q是正定的,故f<x>是正定的4>因?yàn)?,所以||=8>0,故推出是正定的,即是凸的5>因?yàn)?,所以=<5,11>所以f<x>在點(diǎn)處的切線方程為5<>+11<>=0二、求下列函數(shù)的梯度問題和Hesse矩陣1>f<x>=2++2>f<x>=ln<+>解:1>=<,>=2>=<,>=設(shè)f<x>=,取點(diǎn).驗(yàn)證=<1,0,-1>是f<x>在點(diǎn)處的一個(gè)下降方向,并計(jì)算f<+t>證明:=d=<1,0,-1>=-3<0所以是f<x>在處的一個(gè)下降方向f<+t>=f<<1+t,1,1-t>>=f<+t>=6t-3=0所以t=0.5>0所以f<+t>=3*0.25-3*0.5+4=3.25設(shè),b,〔j=1,2,….,n考慮問題Minf<x>=s.t.<j=1,2,….,n>寫出其KuhnTuker條件證明問題最優(yōu)值是解：1因?yàn)槟繕?biāo)函數(shù)的分母故所以〔j=1,…,n都為0所以KuhnTuker條件為即+=02將代入h<x>=0只有一點(diǎn)得故有所以最優(yōu)解是五、使用KuhnTuker條件,求問題minf<x>=s.t.的KuhnTuker點(diǎn),并驗(yàn)證此點(diǎn)為問題的最優(yōu)解解：x=<1/2,3/2>故,=0則即而故即其為最優(yōu)解六、在習(xí)題五的條件下證明L<>其中L〔x,=f<x>+證明：L<>=f<>+=f<>=f<>++2>==f<>=>習(xí)題二設(shè)f<x>為定義在區(qū)間[a,b]上的實(shí)值函數(shù),是問題min{f<x>|a}的最優(yōu)解。證明：f<x>是[a,b]上的單谷函數(shù)的充要條件是對任意滿足f<><max{f<>,f<>},證明：不妨設(shè)<,則<"必要性"若則由單谷函數(shù)定義知故有"充分性"由,的任意性取=時(shí),f<>>f<>則>>=且f<><f<>若取=時(shí),f<>>f<>=<<且f<><f<>滿足單谷函數(shù)的定義二、設(shè)<,1>證明:滿足條件的二次函數(shù)是〔嚴(yán)格凸函數(shù)2證明：由二次插值所得f<x>的近似極小值點(diǎn)〔即的駐點(diǎn)是或者證明：1設(shè)=〔則由得或故1得證2的駐點(diǎn)為或三、設(shè)f<x>=試證：共軛梯度法的線性搜索中,有,其中證明：由已知,得令為t的凸二次函數(shù)。要使是的極小點(diǎn)即為駐點(diǎn),故滿足而===故有得四、用共軛梯度法求解：minf<x>=,x取初始點(diǎn)解：易知第一次迭代：線性搜索得步長從而=第二次迭代：線性搜索得步長：所以最優(yōu)解為用擬Newton法求解：min取初始點(diǎn)解：1DFC法取初始對稱矩陣第一次迭代：計(jì)算得,經(jīng)一維線性搜索得：=0.25置第二次迭代經(jīng)一維線性搜索得：=6.25故最優(yōu)解為：2BFGS法取定初始對稱矩陣第一次迭代：計(jì)算得,經(jīng)一維線性搜索得：=0.25同DFP法,初始修正矩陣第二次迭代：經(jīng)一維線性搜索得：故最優(yōu)解為：習(xí)題三給定問題mins.t.取初始點(diǎn),用簡約梯度法求其最優(yōu)解解：約束條件為則,==得得故為問題的K-T點(diǎn)用梯度投影法求解問題mins.t.取初始點(diǎn)解：迭代〔1投影矩陣故故投影矩陣令故為其 K-T 點(diǎn)3、用可行方向法求解問題mins.t.取初始點(diǎn)解：迭代一：有效約束確定下降方向min-4s.t.i=1,2解得且其最優(yōu)值為-6,即處的搜索方向線性搜索而迭代2：有效約束確定下降方向min-s.t.i=1,2得且其最優(yōu)值為-2線性搜索而迭代3：有效約束確定下降方向min-s.t.i=1,2得,其最優(yōu)值為-