最優(yōu)化優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)

第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)2.1多元函數(shù)的導(dǎo)數(shù)與梯度2.4凸集、凸函數(shù)與凸規(guī)劃2.2多元函數(shù)的泰勒展開2.3無約束優(yōu)化極值條件2.5等式約束優(yōu)化極值條件2.6不等式約束優(yōu)化極值條件§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度一、方向?qū)?shù)二元函數(shù)f(x1，x2)在X

(0)的偏導(dǎo)數(shù)為：分別表示沿坐標(biāo)軸x1和x2方向在X

(0)處的f(X)變化率。f(X)在X0點(diǎn)沿d方向的方向?qū)?shù):§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度表示沿d方向在X(0)處的f(X)變化率。Δddθ2Δx2Δx1x1x20x1(0)x2(0)X

(0)θ1n維函數(shù)f(X)在X

(0)點(diǎn)沿d方向的方向?qū)?shù):§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度x1x2x3x2(0)x1(0)x3(0)0X(0)θ2θ1dθ3二、梯度對于二維函數(shù)f(X)在X

(0)點(diǎn)處的梯度:設(shè)為d方向的單位向量，則有§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度投影形式：§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度方向?qū)?shù)最大值發(fā)生在:結(jié)論:

d方向取梯度方向時,函數(shù)值的變化率最大。可見梯度方向是函數(shù)值變化最大的方向§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度x1x20-▽f(X

(0))▽f(X

(0))最速上升方向最速下降方向下降方向上升方向d:等值線的切線方向，X

(0)函數(shù)值變化率為零的方向進(jìn)一步推導(dǎo)到n維:沿d方向的方向向量即§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度梯度重要性質(zhì)：

①梯度是X

(0)點(diǎn)處最大的方向?qū)?shù)；②梯度方向是過點(diǎn)的等值線的法線方向；③梯度是X(0)點(diǎn)處的局部性質(zhì)；④梯度指向函數(shù)變化率最大的方向；⑤正梯度方向是函數(shù)值最速上升的方向，負(fù)梯度方向是函數(shù)值最速下降的方向?！?.1

多元函數(shù)的導(dǎo)數(shù)與梯度

x1x20X(0)▽f(X(0))-▽f(X(0))最速上升方向最速下降方向下降方向上升方向變化率為零的方向例:求函數(shù)f(X)=x12+x22-4x1+4在點(diǎn)[3,2]T的梯度。在點(diǎn)X(0)=[3,2]T處的梯度為：解：§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度例：試求目標(biāo)函數(shù)f(X)=3x12-4x1x2+x22在點(diǎn)X(0)=[0,1]T處的

最速下降方向，并求沿這個方向移動一個單位長度后

新點(diǎn)的目標(biāo)函數(shù)值。函數(shù)在X(0)=[0,1]T處的最速下降方向是解：由于§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度新點(diǎn)是這個方向上的單位向量是：§2.1

多元函數(shù)的導(dǎo)數(shù)與梯度§2.2

多元函數(shù)的泰勒展開一元函數(shù)泰勒展開:二元函數(shù)泰勒展開:§2.2

多元函數(shù)的泰勒展開二元函數(shù)泰勒展開矩陣形式:其中:稱為海賽（Hessian）矩陣§2.2

多元函數(shù)的泰勒展開n元函數(shù)泰勒展開矩陣形式:§2.3

無約束優(yōu)化問題的極值條件一元函數(shù)極值條件:必要條件極小值極大值偶次階導(dǎo)數(shù)不為零為極值點(diǎn)奇次階導(dǎo)數(shù)不為零為拐點(diǎn)§2.3

無約束優(yōu)化問題的極值條件二元函數(shù)極值必要條件:即:二元函數(shù)極值充分條件:海塞矩陣各階主子式均大于零?！?.3

無約束優(yōu)化問題的極值條件求函數(shù)f(X)=x12+x22-4x1-2x2+5的極值解：1）根據(jù)極值的必要條件求駐點(diǎn)2）利用海塞矩陣判斷駐點(diǎn)是否為極值點(diǎn)§2.3

無約束優(yōu)化問題的極值條件一階主子式：二階主子式：為極值點(diǎn)，f(X

(0))=0為極值§2.3

無約束優(yōu)化問題的極值條件n元函數(shù)極值充分條件:海塞矩陣為正定。函數(shù)f(X)在X*附近的一切X均滿足不等式函數(shù)f(X)在X*處取得局部極小值，稱X*為局部極小點(diǎn)。而優(yōu)化問題一般是要求目標(biāo)函數(shù)在某一區(qū)域內(nèi)的全局極小點(diǎn)?！?.4

凸集、凸函數(shù)與凸規(guī)劃一、凸集一個點(diǎn)集（或區(qū)域），如果連接其中任意兩點(diǎn)的線段都全部包含在該集合內(nèi)，就稱該點(diǎn)集為凸集，否則為非凸集?！?.4

凸集、凸函數(shù)與凸規(guī)劃x1x20凸集非凸集x1x2yx2x1x1x20y凸集性質(zhì):

1)凸集乘一個實(shí)數(shù)后依然是凸集

2)兩個凸集的和依然是凸集

3)兩個凸集的交集還是凸集§2.4

凸集、凸函數(shù)與凸規(guī)劃0A2AA+BAB0AB二、凸函數(shù)x1、x2為凸集域內(nèi)的任意兩點(diǎn)，如存在不等式：§2.4

凸集、凸函數(shù)與凸規(guī)劃稱f(x)是定義在凸集上的一個凸函數(shù)。x1x2xab0xf(x)三、凸性條件1.一階導(dǎo)數(shù)判斷2.二階導(dǎo)數(shù)（

Hessian矩陣)判斷§2.4

凸集、凸函數(shù)與凸規(guī)劃Hessian矩陣G(X)在R上處處半正定。主子式>0時矩陣正定主子式≥0時矩陣半正定主子式＜0時矩陣負(fù)定主子式≤0時矩陣半負(fù)定四、凸規(guī)劃對于約束優(yōu)化問題若，都為凸函數(shù)，則此問題為凸規(guī)劃?！?.4

凸集、凸函數(shù)與凸規(guī)劃凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解等式約束優(yōu)化形式：求解消元法拉格朗日乘子法§2.5

等式約束優(yōu)化極值條件1.消元法（降維法）§2.5

等式約束優(yōu)化極值條件降維處理：1.消元法（降維法）§2.5

等式約束優(yōu)化極值條件降維處理：方法直觀易理解，但是實(shí)際操作很困難變?yōu)闊o約束優(yōu)化問題：2、拉格朗日乘子法（升維法）改造后優(yōu)化模型：§2.5

等式約束優(yōu)化極值條件原優(yōu)化模型：拉格朗日函數(shù)待定系數(shù)2、拉格朗日乘子法（升維法）§2.5

等式約束優(yōu)化極值條件n+l個方程n+l個未知變量例:用拉格朗日乘子法求下列問題的最優(yōu)解解構(gòu)造拉格朗日函數(shù)令▽L=0,得到求解得：一、一元函數(shù)在給定區(qū)間上的極值條件§2.6不等式優(yōu)化極值條件引入松弛變量a1,b1，將不等式約束變成等式約束。根據(jù)拉格朗日乘子法，此問題的極值條件：§2.6不等式優(yōu)化極值條件二、庫恩－塔克條件：§2.6不等式優(yōu)化極值條件J代表所有起作用的約束在約束的極小值處，函數(shù)f(x)的負(fù)梯度方向一定能表示成所有起作用約束梯度的非負(fù)線性組合庫恩－塔克條件的幾何意義§2.6不等式優(yōu)化極值條件Xk為最優(yōu)點(diǎn)Xk不是最優(yōu)點(diǎn)x1x20可行域Xk▽g1(Xk)▽g2(Xk)點(diǎn)Xk處的切平面-▽f(Xk)f(X)=Cg2(X)=0g1(X)=0x1x20點(diǎn)Xk處的切平面▽g1(Xk)▽g2(Xk)-▽f(Xk)g2(X)=0g1(X)=0f(X)=CxkK-T條件的作用：判別邊界設(shè)計點(diǎn)x(k)

為最優(yōu)點(diǎn)的依據(jù)