非線性規(guī)劃-多維約束優(yōu)化-0507

1、第六章 非線性規(guī)劃 多維約束非線性優(yōu)化 求解方法解有約束非線性規(guī)劃的方法分類 將約束合并到目標(biāo)函數(shù)中，問(wèn)接地加以處理，把有約束的非線性規(guī)劃問(wèn)題轉(zhuǎn)化為一個(gè)無(wú)約束的非線性規(guī)劃問(wèn)題，然后再用無(wú)約束問(wèn)題的方法求解，例如懲罰函數(shù)法、碰壁函數(shù)法、廣義乘子法等均屬于此類解法。利用適當(dāng)調(diào)整搜索方向和步長(zhǎng)把無(wú)約束方法推廣到有約束問(wèn)題去，即以直接方式處理約束。但在迭代過(guò)程中時(shí)時(shí)考慮到迭代點(diǎn)的位置不要超出約束約束函數(shù)的允許范圍（即不要越出可行域），例如可行方向法、梯度投影法、既約梯度法等均屬于此類解法。利用線性函數(shù)逼近方法，把非線性規(guī)劃問(wèn)題歸結(jié)為解一系列線性規(guī)劃問(wèn)題。把非線性問(wèn)題轉(zhuǎn)化為線性問(wèn)題是常用方法之一。拉格朗

2、日乘子法 等式約束下的拉格朗日乘子法 拉格朗日乘子法拉格朗日乘子法例1 求解非線性規(guī)劃問(wèn)題拉格朗日乘子法不等式約束下的拉格朗日乘子法 拉格朗日乘子法拉格朗日乘子法例2 用拉格朗日乘子法求解非線性規(guī)劃問(wèn)題 拉格朗日乘子法序列無(wú)約束極小化法 概述外點(diǎn)罰函數(shù)法 懲罰項(xiàng)定義外點(diǎn)罰函數(shù)法 懲罰函數(shù)懲罰因子的取法 關(guān)于懲罰因子的取法，根據(jù)計(jì)算經(jīng)驗(yàn)可以選取： 外點(diǎn)罰函數(shù)法 計(jì)算步驟 外點(diǎn)罰函數(shù)法 收斂性分析外點(diǎn)罰函數(shù)法 例1外點(diǎn)罰函數(shù)法外點(diǎn)罰函數(shù)法內(nèi)點(diǎn)障礙函數(shù)法 障礙項(xiàng)定義內(nèi)點(diǎn)障礙函數(shù)法 內(nèi)點(diǎn)障礙函數(shù)法 內(nèi)點(diǎn)障礙函數(shù)法 迭代步驟 內(nèi)點(diǎn)障礙函數(shù)法 例1混合懲罰函數(shù)法 外點(diǎn)罰函數(shù)法和內(nèi)點(diǎn)障礙函數(shù)法的比較 由表可

3、以看出，外點(diǎn)法和內(nèi)點(diǎn)法各有優(yōu)缺點(diǎn)并有不同的適用范圍。因此，可以將兩者結(jié)合起來(lái)使用，對(duì)于具有等式和不等式兩種約束的非線性規(guī)劃問(wèn)題，在給出之后，對(duì)等式約束和不能滿足的不等式約束使用懲罰函數(shù)，對(duì)可以滿足的不等式約束使用障礙函數(shù)。 混合懲罰函數(shù)法 混合法的目標(biāo)函數(shù)混合懲罰函數(shù)法 混合懲罰函數(shù)法 迭代步驟 近似規(guī)劃法 近似規(guī)劃法 例1近似規(guī)劃法 多維約束優(yōu)化的MATLAB求解 多維約束優(yōu)化的MATLAB求解 調(diào)用格式x = fmincon(fun,x0,A,b)x = fmincon(fun,x0,A,b,Aeq,beq)x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub)x =

4、fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon)x = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options)x = fmincon(problem)x,fval = fmincon(.)x,fval,exitflag = fmincon(.)x,fval,exitflag,output = fmincon(.)x,fval,exitflag,output,lambda = fmincon(.)x,fval,exitflag,output,lambda,grad = fmincon(.)x,fval,exitflag

5、,output,lambda,grad,hessian = fmincon(.)多維約束優(yōu)化的MATLAB求解 輸入?yún)?shù)和輸出參數(shù) 多維約束優(yōu)化的MATLAB求解 求解算法選擇有效集算法并不使用用戶提供的有關(guān)Hessian矩陣的信息，而是利用擬牛頓法取Hessian矩陣的近似值?；谟成渑ｎD法的置信域算法使用用戶提供目標(biāo)函數(shù)的Hessian矩陣的解析形式，該解析形式由目標(biāo)函數(shù)的第三個(gè)輸出參數(shù)給出。由于該算法的約束形式僅限于邊界約束和線性約束，故其在拉格朗日乘子處的Hessian矩陣和目標(biāo)函數(shù)的Hessian矩陣形式相同。通過(guò)下述命令使得fmincon在求解過(guò)程中使用Hessian矩陣的解析形式

6、options = optimset(Hessian,user-supplied);如果不設(shè)置該參數(shù)，則算法采用有限差分近似。內(nèi)點(diǎn)算法使用用戶提供的Hessian矩陣的信息，但是方式和置信域算法不同，它不是由目標(biāo)函數(shù)的第三個(gè)輸出參數(shù)得到，而是需要建立單獨(dú)的描述Hessian矩陣的文件，文件的形式為：hessian = hessianfcn(x, lambda)如果最優(yōu)化問(wèn)題的設(shè)計(jì)變量是n維列向量，則hessian是一個(gè)n維方陣，稀疏形式或者稠密形式均可。lambda是非線性約束的拉格朗日乘子結(jié)構(gòu)變量，它是與最優(yōu)化問(wèn)題的非線性約束相關(guān)的向量，其中包含：lambda.ineqnonlin和lamb

7、da.eqnonlinoptions = optimset(Hessian,user-supplied,.HessFcn,hessianfcn);多維約束優(yōu)化的MATLAB求解 約束函數(shù)nonlcon 多維約束優(yōu)化的MATLAB求解 輸出參數(shù)exitflag的物理意義輸出參數(shù)lambda給出了在解x處的拉格朗日乘子信息，該結(jié)構(gòu)變量中所包含的屬性及其相應(yīng)的含義輸出參數(shù)output結(jié)構(gòu)變量中所包含的信息 多維約束優(yōu)化的MATLAB求解 控制參數(shù)設(shè)置 多維約束優(yōu)化的MATLAB求解 命令詳解 多維約束優(yōu)化的MATLAB求解 多維約束優(yōu)化的MATLAB求解 多維約束優(yōu)化的MATLAB求解幾點(diǎn)說(shuō)明需要注

8、意的是，函數(shù)fmincon基于梯度信息求解非線性規(guī)劃問(wèn)題。一般而言，需要目標(biāo)函數(shù)和約束函數(shù)均為連續(xù)函數(shù)且連續(xù)一階可微。對(duì)于fmincon中使用的基于牛頓映射的置信域算法，它不允許設(shè)計(jì)變量的上下界相等，如果對(duì)于某個(gè)設(shè)計(jì)變量有l(wèi)b(i)=ub(i)，則fmincon會(huì)返回錯(cuò)誤信息： Equal upper and lower bounds not permitted in this large-scale method. Use equality constraints and the medium-scale method instead.在fmincon中有兩種傳遞Hessian的方法，對(duì)于不

9、同的算法將采用不同的傳遞方式，對(duì)于置信域算法，由于無(wú)非線性約束，故其拉格朗日乘子函數(shù)的Hessian矩陣與目標(biāo)函數(shù)的Hessian矩陣的形式相同，故只需通過(guò)目標(biāo)函數(shù)的第三個(gè)輸出函數(shù)進(jìn)行傳遞。但對(duì)于內(nèi)點(diǎn)算法，拉格朗日乘子函數(shù)包含了非線性約束函數(shù)的拉格朗日乘子形式，故需要需要建立獨(dú)立的函數(shù)文件對(duì)x處的拉格朗日乘子函數(shù)以及拉格朗日乘子結(jié)構(gòu)變量lambda進(jìn)行描述。多維約束優(yōu)化的MATLAB求解例1多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解例2多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解例3多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解例4 自定義梯度和

10、Hessian矩陣的計(jì)算公式求解最優(yōu)化問(wèn)題 多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解例5多維約束優(yōu)化的MATLAB求解例6多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解多維約束優(yōu)化的MATLAB求解綜合實(shí)例例1綜合實(shí)例綜合實(shí)例綜合實(shí)例綜合實(shí)例綜合實(shí)例綜合實(shí)例例2綜合實(shí)例綜合實(shí)例綜合實(shí)例本章重點(diǎn)回顧(1) 非線性規(guī)劃問(wèn)題的建模方法，包括一維的問(wèn)題和多維的問(wèn)題；(2) 非線性規(guī)劃問(wèn)題的極值條件，重點(diǎn)是K-T條件；(3) 一維搜索的試探法和插值法的原理和實(shí)施方法；(4) 多維無(wú)約束