第4章 優(yōu)化設(shè)計(約束優(yōu)化)

1、 約束優(yōu)化 解析法解析法 這類方法這類方法是需要利用函數(shù)的一階偏導(dǎo)數(shù)甚至二階偏導(dǎo)數(shù)是需要利用函數(shù)的一階偏導(dǎo)數(shù)甚至二階偏導(dǎo)數(shù)構(gòu)造搜構(gòu)造搜索方向索方向，如梯度法、共軛梯度法、牛頓法和變尺度法等。，如梯度法、共軛梯度法、牛頓法和變尺度法等。由于需要計算偏導(dǎo)數(shù)，故這類方法計算量大，但收斂較快。由于需要計算偏導(dǎo)數(shù)，故這類方法計算量大，但收斂較快。 直接法直接法 這類方法這類方法是僅利用迭代點的函數(shù)值來是僅利用迭代點的函數(shù)值來構(gòu)造搜索方向構(gòu)造搜索方向，如坐標(biāo)輪換，如坐標(biāo)輪換法、法、powell 共軛方向法和單純形法等。共軛方向法和單純形法等。由于只需要由于只需要計算函數(shù)值計算函數(shù)值，對于無法求導(dǎo)或求導(dǎo)困難

2、的函數(shù)，則這，對于無法求導(dǎo)或求導(dǎo)困難的函數(shù)，則這類方法就有突出的優(yōu)越性，但是其收斂速度較慢。類方法就有突出的優(yōu)越性，但是其收斂速度較慢。無約束優(yōu)化無約束優(yōu)化牛頓法與變尺度法的迭代公式(1)( )( )( )1( )()()kkkkkXXH Xf X(1)( )( )( )( )( )( )( )()kkkkkkkkXXSXAf X4.5 約束優(yōu)化方法約束優(yōu)化方法 工程中的大量優(yōu)化設(shè)計問題，都是工程中的大量優(yōu)化設(shè)計問題，都是，這類問題的一般這類問題的一般為：為： min (), . .()01, 2, , ()01, 2, , nuvf XXRstgXumhXvpn 求解這類問題的方法稱求解這類

3、問題的方法稱，所求得的所求得的稱為稱為。大致可歸納為大致可歸納為兩大類兩大類：（4-44） 直接解法直接解法間接解法間接解法這類方法的基本思想這類方法的基本思想：在約束的在約束的可行域內(nèi)可行域內(nèi)直接搜索出它的直接搜索出它的約束最優(yōu)解約束最優(yōu)解。屬于這類方法的主要有屬于這類方法的主要有：網(wǎng)格法，可行方向法，網(wǎng)格法，可行方向法，復(fù)合形法等。復(fù)合形法等。這類方法這類方法對于只有對于只有不等式約束不等式約束的優(yōu)化的優(yōu)化問題是有效的。問題是有效的。直接解法直接解法：這類方法這類方法的基本思想的基本思想：將復(fù)雜的將復(fù)雜的約束問題約束問題轉(zhuǎn)化為一系列轉(zhuǎn)化為一系列無約束優(yōu)化問題無約束優(yōu)化問題，即按一定原則即按

4、一定原則構(gòu)造構(gòu)造一個一個新的目標(biāo)函數(shù)新的目標(biāo)函數(shù)，并以它的，并以它的最最優(yōu)解優(yōu)解去逐步逼近去逐步逼近原約束問題原約束問題的的最優(yōu)解最優(yōu)解。約束問題通。約束問題通過這種方法的處理，就可以采用無約束優(yōu)化方法求過這種方法的處理，就可以采用無約束優(yōu)化方法求解。解。主要介紹：主要介紹：屬于這類方法的主要有屬于這類方法的主要有：消元法、簡約梯度法、拉格消元法、簡約梯度法、拉格朗日乘子法、懲罰函數(shù)法等。朗日乘子法、懲罰函數(shù)法等。 這類方法這類方法對于解決具有對于解決具有不等式約束不等式約束和和等式約束條件等式約束條件的的優(yōu)化問題都有效。優(yōu)化問題都有效。間接解法間接解法：4.5.1 復(fù)合形法復(fù)合形法 是適用于

5、求解具有不等式約束優(yōu)化問題的一種是適用于求解具有不等式約束優(yōu)化問題的一種直接算法直接算法在在 n 維優(yōu)化設(shè)計空間的維優(yōu)化設(shè)計空間的可行域可行域 D 內(nèi)，內(nèi)，構(gòu)造構(gòu)造具有具有 k 個頂點個頂點 的的多邊形多邊形(或或多面體多面體)稱作稱作復(fù)合形復(fù)合形。復(fù)合形復(fù)合形的的每個頂點每個頂點都代表一個都代表一個設(shè)計方案設(shè)計方案。然后然后計算復(fù)合形計算復(fù)合形各頂點的目標(biāo)函數(shù)值并逐一進行比各頂點的目標(biāo)函數(shù)值并逐一進行比較，取函數(shù)值最大者為較，取函數(shù)值最大者為最壞點最壞點，最小者為，最小者為最好點最好點。再以去掉再以去掉最壞點最壞點的其余各點的的其余各點的中心點中心點為為映射軸心映射軸心，在在最壞點最壞點和其

6、余各點的和其余各點的中心點中心點的連線上，的連線上，尋找尋找一個既滿一個既滿足約束條件，又使目標(biāo)函數(shù)值有所改善的足約束條件，又使目標(biāo)函數(shù)值有所改善的壞點映射點壞點映射點，并以并以該映射點該映射點替換替換壞點壞點而構(gòu)成而構(gòu)成新的復(fù)合形新的復(fù)合形。按照按照上述步驟上述步驟重復(fù)多次，不斷地去掉重復(fù)多次，不斷地去掉最壞點最壞點，這樣不斷，這樣不斷調(diào)整調(diào)整復(fù)合形的復(fù)合形的頂點，使頂點，使復(fù)合形復(fù)合形不斷向不斷向最優(yōu)點最優(yōu)點靠攏，最后搜索到靠攏，最后搜索到。(12 )nkn 該法的該法的基本思路：基本思路：對于對于二維問題二維問題，復(fù)合形法復(fù)合形法的搜索原理，如的搜索原理，如圖圖4-24所示。所示。圖圖4

7、-24 復(fù)合形法原理復(fù)合形法原理 因此，因此，實際就是通過對實際就是通過對復(fù)合形復(fù)合形各頂點的函數(shù)各頂點的函數(shù)值計算與比較，反復(fù)進行值計算與比較，反復(fù)進行點的映射點的映射與與復(fù)合形的收縮復(fù)合形的收縮，使之逐步逼近約，使之逐步逼近約束問題束問題最優(yōu)解最優(yōu)解的。的。 min(), . . ()0, (12,)nuf XXRstgXum， ，根據(jù)上述根據(jù)上述的的，對于求解，對于求解的優(yōu)化問題時，采用的優(yōu)化問題時，采用來求解，需分來求解，需分：第一步：第一步：是在設(shè)計空間的是在設(shè)計空間的內(nèi)產(chǎn)生內(nèi)產(chǎn)生 k個初始頂點構(gòu)成一個不規(guī)則的個初始頂點構(gòu)成一個不規(guī)則的多面體多面體，即生成，即生成初始復(fù)合形初始復(fù)合形

8、。一般取一般取為：為：。第二步第二步：進行：進行該復(fù)合形該復(fù)合形的的調(diào)優(yōu)迭代計算調(diào)優(yōu)迭代計算。 通過對通過對各頂點函數(shù)值各頂點函數(shù)值大小的比較，判斷下降方向，不斷用新的大小的比較，判斷下降方向，不斷用新的可可行好點行好點取代取代壞點壞點，構(gòu)成，構(gòu)成新的復(fù)合形新的復(fù)合形，使它逐步向，使它逐步向約束最優(yōu)點約束最優(yōu)點移動、收移動、收縮和逼近，直到滿足一定的收斂精度為止?？s和逼近，直到滿足一定的收斂精度為止。()0,1,2, uDX gXum12nkn 通常，通常，主要采用如下主要采用如下：生成生成，就是確定，就是確定 作為作為初始復(fù)合形初始復(fù)合形的的頂點頂點。 可由可由設(shè)計者設(shè)計者預(yù)先選擇預(yù)先選擇

9、k 個設(shè)計方案個設(shè)計方案，即人工構(gòu)造一個，即人工構(gòu)造一個初始復(fù)合形初始復(fù)合形。k 個頂點都個頂點都必須滿足必須滿足所有的約束條件。所有的約束條件。 ( )( )()jjiiiiiXarba)( jir,iia b在高維且多約束情況下，一般是人為地確定在高維且多約束情況下，一般是人為地確定一個初始可行點一個初始可行點 ，其，其余余 個頂點個頂點 可用可用隨機法隨機法產(chǎn)生，即產(chǎn)生，即(4-47)式中式中： 復(fù)合形頂點的標(biāo)號復(fù)合形頂點的標(biāo)號 ； 設(shè)計變量的標(biāo)號設(shè)計變量的標(biāo)號 ，表示點的坐標(biāo)分量；，表示點的坐標(biāo)分量； 設(shè)計變量設(shè)計變量 的解域或上下界；的解域或上下界； 0，1區(qū)間內(nèi)服從均勻分布偽隨機數(shù)

10、。區(qū)間內(nèi)服從均勻分布偽隨機數(shù)。( )(2,3, )jXjk(1,2, )in(2,3, )jkij(1)X1k (1,2, )iX in( )( )11qcjjXXq)1( qX)(cX(1)( )(1)( )0.5()qcqcXXXX(1)qX(1)qX(2)(3)( ),qqpXXX用上述方法用上述方法隨機產(chǎn)生隨機產(chǎn)生的的 k-1個頂點，雖然可以滿足設(shè)計變量的個頂點，雖然可以滿足設(shè)計變量的邊邊界約束條件界約束條件，但不一定是，但不一定是可行點可行點，所以還必須，所以還必須逐個檢查逐個檢查其可行性，并其可行性，并使其成為使其成為可行點可行點。設(shè)有設(shè)有 q(1qk) 個頂點個頂點滿足全部約束條

11、件，滿足全部約束條件，第第 q+1點點X(q+1)不是可行不是可行點，則先求出點，則先求出 q 個頂點個頂點的的中心點中心點然后將不滿足約束條件的然后將不滿足約束條件的點點向向中心點中心點 靠攏，即靠攏，即若新得到的仍在若新得到的仍在可行域外可行域外，則重復(fù)上，則重復(fù)上式式進行調(diào)整，直到點進行調(diào)整，直到點成為成為可行點可行點為止。為止。然后，然后，同樣處理同樣處理其余其余 諸點，使其全部進入諸點，使其全部進入可可行域內(nèi)行域內(nèi)，從而構(gòu)成一個，從而構(gòu)成一個所有頂點所有頂點均在均在可行域內(nèi)可行域內(nèi)的初始復(fù)合形。的初始復(fù)合形。 初始復(fù)合形生成后，其初始復(fù)合形生成后，其按按下述步驟下述步驟進行：進行：(

12、1) 計算計算初始復(fù)合形各頂點的函數(shù)值，初始復(fù)合形各頂點的函數(shù)值， 選出選出好點、壞點、次壞點：好點、壞點、次壞點： ( )( )( )()()( )()()( ): ()min (), 1,2, : ()max (), 1,2, : ()max (), 1,2, ; LLjHHjGGjXf Xf XjkXf Xf XjkXf Xf XjkjH(2) 計算除計算除壞點壞點X(H) 外其余外其余k-1 個頂點的個頂點的幾何中心點幾何中心點： 1( )( )11, 1kSjjXXjHk 并并檢驗檢驗X(S)點點是否在可行域內(nèi)。是否在可行域內(nèi)。 如果如果X(S) 是是可行點可行點，則執(zhí)行下步，則執(zhí)行

13、下步(3) ；否則轉(zhuǎn)第；否則轉(zhuǎn)第(4)(4)步。步。 (3) 沿沿X(H) 和和 X(S) 連線方向連線方向求映射點求映射點X(R) ()( )( )()()RSSHXXXX 式中，式中， 稱稱映射系數(shù)映射系數(shù)，常取，常取 。 然后，檢驗然后，檢驗 X(R) 可行性。可行性。 1.3(4) 若若X(S) 在可行域外在可行域外，此時，此時D可能是可能是非凸集非凸集，如，如圖圖4-d所示。所示。 此時此時利用利用X(S) 和和X(L) 重復(fù)確定一個區(qū)間，重復(fù)確定一個區(qū)間， 在在此區(qū)間內(nèi)此區(qū)間內(nèi)重新隨機重新隨機產(chǎn)生產(chǎn)生 k 個頂點構(gòu)成個頂點構(gòu)成復(fù)合形復(fù)合形。圖圖4-d可行域為非凸集可行域為非凸集 重

14、新構(gòu)成重新構(gòu)成后，重復(fù)第重復(fù)第(1)、(2)步，直到成為步，直到成為為止。為止。 )()(LiiSiiXbXa(1,2, )in( )( )( )( )(),LSLSiiXXXX即點在的右邊 則取則取 )()(SiiLiiXbXa(1,2, )in)(SX如如所示：所示：( )( )( )( )(),1,2, ,LSLSiiXXXXin即點在的左邊 則取則取(5) 計算計算映射點映射點的目標(biāo)函數(shù)值的目標(biāo)函數(shù)值 f(X(R)，若若 f(X(R) f(X(H) ，則將則將映射系數(shù)映射系數(shù)減半減半，重新計算，重新計算映射點映射點。如果新的如果新的映射點映射點X(R)既為既為可行點可行點，又滿足，又滿

15、足 f(X(R) c 0；)()1(kkcrr)(1XgGumu為以為以 為函數(shù)的復(fù)合函數(shù)，為函數(shù)的復(fù)合函數(shù)，或稱與不等式約束有關(guān)的或稱與不等式約束有關(guān)的。 )(Xgu然后對然后對按按，即，即(k)*(k)min ( , )XrX在求解過程中，針對不同的在求解過程中，針對不同的 ，就有一個與之對應(yīng)的，就有一個與之對應(yīng)的極小值極小值點點 ，隨著，隨著 的減小，使求得的的減小，使求得的 也逐步向原問也逐步向原問題的題的逼近。逼近。所以所以該方法該方法也稱為也稱為 “序列無約束極小化序列無約束極小化” 方法。方法。( )kr*( )*( )()kkXXr( )kr *( )kX對于對于，要求保證：要

16、求保證： (1)初始點初始點 和所求得的序列最優(yōu)點和所求得的序列最優(yōu)點 ，都應(yīng)是，都應(yīng)是可行點可行點； (2)求解到最后，求解到最后，序列最優(yōu)點序列最優(yōu)點 應(yīng)逼近應(yīng)逼近*。)0(X *( )kX *( )kX對于不等式約束優(yōu)化問題，根據(jù)對于不等式約束優(yōu)化問題，根據(jù)罰函數(shù)法罰函數(shù)法的基本思想，的基本思想， 將將罰函數(shù)罰函數(shù)定義在可行域內(nèi)，可構(gòu)造其定義在可行域內(nèi)，可構(gòu)造其內(nèi)點罰函數(shù)內(nèi)點罰函數(shù)的的一般形式一般形式為為( )( )11(,)()()mkkuuX rf XrgX或或 (4-56) (4-55) ( )( )1(,)()ln()mkkuuX rf XrgX式中，式中，懲罰因子懲罰因子 ，是

17、一，是一遞減的正數(shù)序列遞減的正數(shù)序列，即，即 (0)(1)(2)( )krrrr( )0krlim0k且且 。 理解 由式(4-55)和式(4-56)可以看出，對于給定的某一懲罰因子h，當(dāng)點在可行域內(nèi)時，兩種形式的懲罰項的值均大于零，而當(dāng)點向約束邊界靠近時，兩種形式的懲罰項的值迅速增大并趨于無窮。這就是說，只要初始點取在可行域內(nèi)，迭代點就不可能越出可行域的邊界?？尚行?其次，兩種形式的懲罰項的大小也受懲罰因子的影響。當(dāng)懲罰因子逐漸減小并趨于零時，對應(yīng)懲罰項的值也逐漸減小并趨子零，懲罰函數(shù)的值和目標(biāo)函數(shù)的值逐漸接近并趨于相等，懲罰函數(shù)的極小點逼近于約束問題的最優(yōu)點?？梢?，懲罰函數(shù)的極小點是從可行

18、域內(nèi)向最優(yōu)點逼近的。)0(X)0(r( )( )11(,)()()mkkuuX rf XrgX(3) 構(gòu)造構(gòu)造懲罰函數(shù)懲罰函數(shù)( )min (,)kX r*( )()kX r(1)( )kkXX(1)( )( )()()()kkkf Xf Xf X*( )*( )(), ()kkXXrff Xr*, Xf (4) ) 求解求解無約束優(yōu)化問題無約束優(yōu)化問題 ，得，得 ； (5) 進行進行收斂判斷，若滿足收斂判斷，若滿足或或則令則令 ，停止停止迭代計算，迭代計算，輸出輸出最優(yōu)解最優(yōu)解 ；否則轉(zhuǎn)下步；否則轉(zhuǎn)下步； (1) 在在可行域內(nèi)可行域內(nèi)確定確定一個初始點一個初始點 ； (2) 給定給定初始罰因

19、子、懲罰因子初始罰因子、懲罰因子遞減系數(shù)遞減系數(shù)C 和和收斂精度收斂精度；置置 k = 0；如下：如下：(6) 取取 ，以，以 ，置置 轉(zhuǎn)步驟轉(zhuǎn)步驟 (3)繼續(xù)迭代。繼續(xù)迭代。 (1)( )kkrCr(0)*( )()kXXr1kk，見，見圖圖2-36。 在在內(nèi)點法內(nèi)點法中，中，初始罰因子初始罰因子的選擇很重要。的選擇很重要。根據(jù)經(jīng)驗，一般可取根據(jù)經(jīng)驗，一般可取 =1 50，但多數(shù)情況是取，但多數(shù)情況是取=1。也有建議按初始懲罰項作用與初始目標(biāo)函數(shù)作用相近原則來確定值也有建議按初始懲罰項作用與初始目標(biāo)函數(shù)作用相近原則來確定值，即，即)0(r)0(r)0(r)0(r(0)(0)1()1()muu

20、f XrgX 一般取為：一般取為：C = 0.10.5，常取，常取0.1。 初始罰因子和遞減系數(shù)的選擇初始罰因子和遞減系數(shù)的選擇：圖圖2-36 內(nèi)點法程序框圖內(nèi)點法程序框圖 內(nèi)點法例題內(nèi)點法例題例例4-b 試用試用求解如下優(yōu)化問題求解如下優(yōu)化問題：1min ( ), . . ( )10f xxxRstg xx 解解： 此題的此題的為：為： 。根據(jù)根據(jù)的基本思想，首先構(gòu)造的基本思想，首先構(gòu)造，按，按可寫出：可寫出：*1 , ( ) 1xf x( )( )( )11( ,)( )( )1kkkx rf xrxrg xx可以看出可以看出由由兩部分兩部分組成，即組成，即 ，其中：其中：( )( ,)k

21、x r( )( )21111kkrrxx1( )f xx12即：是即：是原目標(biāo)函數(shù)原目標(biāo)函數(shù)，為一直線；，為一直線；是一族是一族倒數(shù)曲線倒數(shù)曲線，當(dāng)，當(dāng) 。則則則構(gòu)成則構(gòu)成 曲線曲線，如，如下圖下圖4-26 所示。所示。12( )( ,)kx r21 , x時圖圖4-26 內(nèi)點法的求解內(nèi)點法的求解對對 求導(dǎo)求導(dǎo)并令并令，即，即( )( ,)kx r( )( )( )2( ,)11101(1)kkkdx rdxrrdxdxxx 可求得其可求得其無約束極值點無約束極值點：懲罰函數(shù)值懲罰函數(shù)值為：為：*( )( )( )(),)12kkkx rrr 當(dāng)選用不同的當(dāng)選用不同的懲罰因子懲罰因子 時，可得

22、到不同的時，可得到不同的及及。取遞減數(shù)列，由上式取遞減數(shù)列，由上式可得可得序列如下：序列如下：( )kr*( )*( )() (,)kkx rx r和( )*( )*( ) 1, 0.1, 0.01, 0.001, 0 () 2, 1.316, 1.10, 1.0316, 1(,)3, 1.632, 1.20, 1.0630, 1kkkrx rx r表示出取值不同時所得到的表示出取值不同時所得到的 逐步逼逐步逼近近的情形。的情形。( )kr*x( )kr*( ) ()kx r kkrrx1*由由上圖上圖可以看出，當(dāng)可以看出，當(dāng)懲罰因子懲罰因子為一個遞減數(shù)列時，為一個遞減數(shù)列時，無約束極值點無約

23、束極值點 離離約束最優(yōu)解約束最優(yōu)解愈來愈近，愈來愈近，當(dāng)即得到了真正的當(dāng)即得到了真正的約束最優(yōu)解約束最優(yōu)解。此時，此時，罰函數(shù)罰函數(shù)也收斂于也收斂于原目標(biāo)函數(shù)原目標(biāo)函數(shù)的的最優(yōu)值最優(yōu)值，即，即*x( )*( )*0 () 1,kkrx rx時,*( )( )*(),)()1kkx rrf x*( ) ()kx r2. 外點外點罰函數(shù)罰函數(shù)法法 適用于具有適用于具有和和。 搜索策略與搜索策略與內(nèi)點罰函數(shù)法內(nèi)點罰函數(shù)法相似，不同點是將相似，不同點是將懲罰函數(shù)懲罰函數(shù)的定的定義域為非可行域，即在義域為非可行域，即在可行域外可行域外進行搜索。進行搜索。( )( )2u1(,)()max0, g (X)

24、mkkuX rf Xr()0 (1,2,) ugXum取取外點罰函數(shù)外點罰函數(shù)的形式為的形式為其其懲罰項的含義懲罰項的含義如下：如下：u2u21u0, g (X)0max0, g ()() g (X) 0 mujXgX當(dāng)當(dāng)(4-57) 對于對于不等式約束問題不等式約束問題：上式上式說明說明:當(dāng)當(dāng) X 是是可行點可行點時，時，懲罰項懲罰項為零。為零。 也就是說當(dāng)極小化懲罰函數(shù)也就是說當(dāng)極小化懲罰函數(shù) 時，時，X由不可行點迭代成可由不可行點迭代成可行點，此時，行點，此時，懲罰函數(shù)懲罰函數(shù)將與將與原目標(biāo)函數(shù)原目標(biāo)函數(shù) 等價等價。 此時懲罰函數(shù)的此時懲罰函數(shù)的最優(yōu)可行點最優(yōu)可行點，也將是原目標(biāo)函數(shù)的，

25、也將是原目標(biāo)函數(shù)的最優(yōu)點最優(yōu)點。( )(,)kX r()f X外點罰函數(shù)中的外點罰函數(shù)中的罰因子罰因子是一遞增數(shù)列，即是一遞增數(shù)列，即 (k)()2()1()0(r lim ,kkrrrr對于對于，取，取為為( )( ) 21(,)()()pkkvvX rf Xrh X對于對于同時具有同時具有不等式和等式約束問題不等式和等式約束問題，其，其罰函數(shù)的表達式罰函數(shù)的表達式為為(4-57b) (4-57a) 在在外點罰函數(shù)法外點罰函數(shù)法中，為保證中，為保證罰因子罰因子 為遞增數(shù)列，取為遞增數(shù)列，取)(kr(1)( )kkrc r式中：式中：c 為遞增系數(shù)，為遞增系數(shù)，c 1。的的與與內(nèi)點法內(nèi)點法基本相同?；鞠嗤?。pvvmuukkXhXgrXfrX1221)()(, 0max()(),(解：構(gòu)造解