工程優(yōu)化方法第二章

工程優(yōu)化方法第二章第一頁，共四十九頁，編輯于2023年，星期六§1.1多元函數(shù)的定義n元函數(shù)：

n元線性函數(shù)：

n元二次函數(shù)：

n元向量值線性函數(shù)：其中第二頁，共四十九頁，編輯于2023年，星期六§1.2多元函數(shù)的可導(dǎo)性和可微性在點存在,的偏導(dǎo)數(shù)，記為的某鄰域內(nèi)極限則稱此極限為函數(shù)設(shè)函數(shù)在點對第i個分量注意：(1)式也可寫為其中定義1.2.1(偏導(dǎo)數(shù))第三頁，共四十九頁，編輯于2023年，星期六§1.2多元函數(shù)的可導(dǎo)性和可微性可表示成稱為函數(shù)在點(x1,x2)的全微分,記作則稱函數(shù)f(x1,x2

)在點(x1,x2)可微，定義1.2.2（二元函數(shù)的可微性）如果二元函數(shù)z=f(x1,x2)在定義域D

的內(nèi)點(x1,x2)處全增量第四頁，共四十九頁，編輯于2023年，星期六§1.2多元函數(shù)的可導(dǎo)性和可微性定義中增量的表達(dá)式等價于記第五頁，共四十九頁，編輯于2023年，星期六§1.2多元函數(shù)的可導(dǎo)性和可微性

若函數(shù)z=f(x1,x2)在點(x1,x2)可微，則該函數(shù)在該點偏導(dǎo)數(shù)必存在,稱向量是函數(shù)z=f(x1,x2)在點(x1,x2)的梯度。且有二元多元可微第六頁，共四十九頁，編輯于2023年，星期六§1.2多元函數(shù)的可導(dǎo)性和可微性定義1.2.3（多元函數(shù)的可微性）

設(shè)若

使

有：則稱f(x)在處可微。給定區(qū)域D上的n

元實值函數(shù)與二元函數(shù)可微的等價形式類似引入第七頁，共四十九頁，編輯于2023年，星期六§1.2多元函數(shù)的可導(dǎo)性和可微性定理1.2.1（可微必可導(dǎo)）

若在處可微，則在該點處關(guān)于各變量的一階偏導(dǎo)數(shù)存在，且

證明：令，依次取兩邊除以并取的極限有：

在處可微，則(3)對成立，第八頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度定義1.3.1（多元函數(shù)梯度）以的n個偏導(dǎo)數(shù)為分量的向量稱為

f(x)在x處的梯度，若f在處可微,令p=x-x0,

由得記為注：梯度也可稱為函數(shù)f(x)關(guān)于向量x

的一階導(dǎo)數(shù)。這與一元函數(shù)展開到兩項的Taylor

公式是相對應(yīng)的。第九頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度性質(zhì)1的證明:過點的等值面方程為：

設(shè)f(x)

在定義域內(nèi)有連續(xù)偏導(dǎo)數(shù)，即有連續(xù)梯度，則梯度有以下兩個重要性質(zhì)：設(shè)是過點同時又完全在等值面(6)上的任一條光滑曲線L的方程，為參數(shù)，點對應(yīng)的參數(shù)就是把此曲線方程代入(6),得到性質(zhì)1:

函數(shù)在某點的梯度不為零，則必與過該點的等值面垂直。性質(zhì)2:

梯度方向是函數(shù)具有最大變化率的方向。第十頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度即函數(shù)f(x)在處的梯度與過該點在等值面上的任一條曲線L在此點的切線垂直。從而與過該點的切平面垂直，性質(zhì)1成立。兩邊同時在處關(guān)于求導(dǎo)數(shù)，根據(jù)求導(dǎo)的鏈?zhǔn)椒▌t有：向量恰為曲線L在處的切向量，則第十一頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度定義1.3.2(方向?qū)?shù))設(shè)在點x處可微,p=te為固定向量,其中t是向量p的模，e

為向量p的單位向量，則稱極限：注：若則f(x)從出發(fā)在附近沿p方向是下降的。為說明性質(zhì)2:

梯度方向是函數(shù)具有最大變化率的方向為函數(shù)f(x)在點處沿方向p的方向?qū)?shù)，記為，

若則f(x)從出發(fā)在附近沿p方向是上升的。引進(jìn)方向?qū)?shù)當(dāng)t＞0充分小時，有第十二頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度

若則f(x)從出發(fā)在附近沿p方向是下降的。

若則f(x)從出發(fā)在附近沿p方向是上升的。

因此又將方向?qū)?shù)稱為f(x)在處沿方向p的變化率。

方向?qū)?shù)正負(fù)決定了函數(shù)升降;升降速度的快慢由方向?qū)?shù)絕對值大小來決定，絕對值越大升降速度越大;第十三頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度定理1.3.1

若在點處可微，則其中e

為p方向上的單位向量。證明：f在可微，則根據(jù)可微定義，容易看到：當(dāng)時，有由前面證明即知p為下降方向。利用方向?qū)?shù)定義并將上式中的p換成te有：第十四頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度由于,β為方向p與的夾角。

從而梯度方向是函數(shù)具有最大變化率的方向，性質(zhì)2成立。推論1.3.1

若，則p是函數(shù)f(x)在處的下降方向；若，則p是函數(shù)f(x)在處的上升方向。

可見梯度方向即為函數(shù)的最速上升方向；負(fù)梯度方向即為函數(shù)的最速下降方向。

當(dāng)夾角為0(β=0o)

，即沿梯度方向()時，方向?qū)?shù)取得最大值；當(dāng)夾角為180o(β=180o)

，即沿負(fù)梯度方向()時，方向?qū)?shù)取得最小值。第十五頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度

上升方向變化率為0方向下降方向結(jié)論：函數(shù)在與其梯度正交的方向上變化率為0；成銳角的方向上是上升的；成鈍角的方向上是下降的。

第十六頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度解：由于則函數(shù)在處的最速下降方向例1.3.1試求目標(biāo)函數(shù)在點處的最速下降方向，并求沿這個方向移動一個單位長度后新點的目標(biāo)函數(shù)值。此方向上的單位向量新點是第十七頁，共四十九頁，編輯于2023年，星期六§1.3多元函數(shù)的梯度幾個常用的梯度公式：第十八頁，共四十九頁，編輯于2023年，星期六§1.4多元函數(shù)的Hesse矩陣定義1.4.1（Hesse矩陣）多元函數(shù)記f(x)的Hesse矩陣為第十九頁，共四十九頁，編輯于2023年，星期六§1.4多元函數(shù)的Hesse矩陣常用的梯度和Hesse陣公式：第二十頁，共四十九頁，編輯于2023年，星期六§1.4多元函數(shù)的Hesse矩陣多元函數(shù)的Taylor展開：設(shè)

二階可導(dǎo)。在x*的鄰域內(nèi)Lagrange余項

對x,,記xx*+(x-x*)一階Taylor展開式二階Taylor展開式一階中值公式

對x,,使第二十一頁，共四十九頁，編輯于2023年，星期六第二章基本概念和理論基礎(chǔ)本章主要內(nèi)容：§1多元函數(shù)的梯度及其Hesse矩陣§2多元函數(shù)的極值及其判別條件§3等高線§4多元函數(shù)分析（二次函數(shù)）§5凸集、凸函數(shù)、凸規(guī)劃§6幾個重要的不等式第二十二頁，共四十九頁，編輯于2023年，星期六§2多元函數(shù)的極值及其判別條件

對于一個極小化問題，我們希望知道的是全局極小點，而到目前為止的一些最優(yōu)化算法卻基本上是求局部極小值點的。因此一般要先求出所有局部極小值點，再從中找出全局極小點。

為了求出函數(shù)的局部極小值點，考察函數(shù)f在局部極小點處滿足什么條件？反過來，滿足什么條件的點是局部極小點？

這就是接下來我們要考慮的多元函數(shù)的極值條件。首先回顧二元函數(shù)的極值條件。第二十三頁，共四十九頁，編輯于2023年，星期六§2.1二元函數(shù)的極值判別條件定理2.1.1(必要條件)

設(shè)(1)為D的一個內(nèi)點;可微;(2)在處,則在的極值點;(3)為且注：可微的極值點一定是駐點，反之不一定成立。第二十四頁，共四十九頁，編輯于2023年，星期六§2.1二元函數(shù)的極值判別條件定理2.1.2(充分條件)

設(shè)(1)為D的一個內(nèi)點;二次連續(xù)可微;(2)在的駐點，即(3)為且令則(1)當(dāng)時，具有極值取嚴(yán)格極大值取嚴(yán)格極小值(2)當(dāng)時，不是的極值點，稱為函數(shù)的鞍點；(3)當(dāng)時，不能確定，需另行討論。第二十五頁，共四十九頁，編輯于2023年，星期六§2.2多元函數(shù)的極值判別條件定理2.2.1(必要條件)

設(shè)(1)x*為D的一個內(nèi)點;可微;(2)在則的極值點;(3)為且定義2.2.1

設(shè)是D的內(nèi)點，若則稱為f的駐點。第二十六頁，共四十九頁，編輯于2023年，星期六§2.2多元函數(shù)的極值判別條件

設(shè)為任意單位向量,是的局部極小點。由定義知：當(dāng),即時，總有：令則而是D的內(nèi)點，從而與之對應(yīng)的t=0是

的局部極小點。

由一元函數(shù)極小點必要性條件知

,而由前述性質(zhì)知

則

,由單位向量任意性，即知。證明:（若，取，則矛盾。）第二十七頁，共四十九頁，編輯于2023年，星期六§2.2多元函數(shù)的極值判別條件例2.2.1

在處梯度為，但只是雙曲拋物面的鞍點，而不是極小點。f第二十八頁，共四十九頁，編輯于2023年，星期六§2.2多元函數(shù)的極值判別條件定理2.2.2(充分條件)

設(shè)(1)x*為D的一個內(nèi)點;(2)二次連續(xù)可微;在(3)則的嚴(yán)格局部極小點。為(4)正定；第二十九頁，共四十九頁，編輯于2023年，星期六§2.2多元函數(shù)的極值判別條件證明：因正定，則使對，均有：（x充分接近時）。將f在處按Taylor公式展開注意,有：當(dāng)x充分接近時，上式左端的符號取決于右端的第一項（為正）。故第三十頁，共四十九頁，編輯于2023年，星期六課后作業(yè)P382.12.32.9--2.14第三十一頁，共四十九頁，編輯于2023年，星期六第二章基本概念和理論基礎(chǔ)本章主要內(nèi)容：§1多元函數(shù)的梯度及其Hesse矩陣§2多元函數(shù)的極值及其判別條件§3等高線§4多元函數(shù)分析（二次函數(shù)）§5凸集、凸函數(shù)、凸規(guī)劃§6幾個重要的不等式第三十二頁，共四十九頁，編輯于2023年，星期六§3等高線例3.1

求解，這是定義在平面上的無約束極小化問題，其目標(biāo)函數(shù)在三維空間中代表一個曲面。

二元函數(shù)最優(yōu)化問題，具有明顯的幾何特征，從幾何圖形上，可以直觀了解函數(shù)的變化，我們把這種幾何解釋推廣到n維空間中，對后面優(yōu)化方法的研究是有益處的。第三十三頁，共四十九頁，編輯于2023年，星期六§3等高線在平面上任給一點，就對應(yīng)有一個目標(biāo)函數(shù)值是過點作平面的垂線與S曲面交點的縱坐標(biāo)。反之，任給一個值f0,使目標(biāo)函數(shù)f(z)取值為f0的點z的個數(shù)就不相同了。可能沒有，可能只有一個，可能有多個。

這一事實的幾何意義是：過f

軸上坐標(biāo)為f0的點作坐標(biāo)平面的平行平面L，可能與曲面S無交點(f0<0),可能與S有一個交點(f0=0),可能與S交成一條曲線(f0>0).第三十四頁，共四十九頁，編輯于2023年，星期六§3等高線定義3.1（等值線）平面L截曲面S得到一個圓，將它投影到平面上，仍為同樣大小的圓，在這個圓上每一點的目標(biāo)函數(shù)值均為f0。若一條曲線上任何一點的目標(biāo)函數(shù)值等于同一常數(shù)，則稱此曲線為目標(biāo)函數(shù)的等值線。我們感興趣的是至少有一個交點（f0≥0）的情形。注意：變動

f的值，得到不同等值線，這是一組同心圓；對應(yīng)f0=0的等值線縮為一點G；對應(yīng)f0<0的等值線為空集.隨著f值變小，等值線圓半徑變小，最后縮為一點，即為問題的最小值點

G，即第三十五頁，共四十九頁，編輯于2023年，星期六§3等高線例3.2

用圖解法求解解：先畫出目標(biāo)函數(shù)等值線，再畫出約束曲線。對應(yīng)的最優(yōu)值為由圖易見約束直線與等值線的切點是最優(yōu)點，利用解析幾何的方法得該切點為本處約束曲線是一條直線，這條直線就是可行域；而最優(yōu)點就是可行域上使等值線具有最小值的點.第三十六頁，共四十九頁，編輯于2023年，星期六§3等高線定義3.2（等值面）在三維和三維以上的空間中，使目標(biāo)函數(shù)取同一常數(shù)值的面{x|f(x)=r,r是常數(shù)}

稱為目標(biāo)函數(shù)的等值面。定理3.1

若多元函數(shù)在其極小點處的

Hesse陣正定，則它在這個極小點附近的等值面近似地呈現(xiàn)為同心橢球面族。第三十七頁，共四十九頁，編輯于2023年，星期六§3等高線證明：設(shè)是多元函數(shù)f的極小點。并設(shè)是充分靠近極小點的一個等值面，即充分小。將在點展開因為極小值點,

這是等值面的一個近似曲面。由于假設(shè)正定，則

是以為中心的橢球面方程。又是高階無窮小量，則第三十八頁，共四十九頁，編輯于2023年，星期六§3等高線等值面的性質(zhì)：不同值的等值面之間不相交，因為目標(biāo)函數(shù)是單值函數(shù)；除了極值點所在的等值面外，不會在區(qū)域內(nèi)部中斷，因為目標(biāo)函數(shù)是連續(xù)的；等值面稠的地方，目標(biāo)函數(shù)值變化得較快，而稀疏的地方變化得比較慢；一般地，在極值點附近，等值面（線）近似地呈現(xiàn)為同心橢球面族（橢圓族）；二次函數(shù)的等值面是同心橢球面族，極值點是這個橢圓球面的共同中心。

第三十九頁，共四十九頁，編輯于2023年，星期六第二章基本概念和理論基礎(chǔ)本章主要內(nèi)容：§1多元函數(shù)的梯度及其Hesse矩陣§2多元函數(shù)的極值及其判別條件§3等高線§4多元函數(shù)分析§5凸集、凸函數(shù)、凸規(guī)劃§6幾個重要的不等式第四十頁，共四十九頁，編輯于2023年，星期六§4.1二次函數(shù)在n元函數(shù)中，除了線性函數(shù)：

或最簡單最重要的一類就是二次函數(shù)。第四十一頁，共四十九頁，編輯于2023年，星期六§4.1二次函數(shù)定義4.1.1（二次型）

代數(shù)學(xué)中將特殊的二次函數(shù)稱為二次型。二次函數(shù)的一般形式為其中均為常數(shù)，向量矩陣表示形式其中Q為對稱矩陣第四十二頁，共四十九頁，編輯于2023年，星期六§4.1二次函數(shù)定義4.1.2

設(shè)Q為n×n對稱矩陣,若，均有，則稱矩陣Q是正定的。若，均有

，則稱矩陣Q是半正定的。若-Q是正定的，則稱Q是負(fù)定的。若-Q是半正定的，則稱Q是半負(fù)定的。對于二次函數(shù)，我們更關(guān)心的是Q為正定矩陣的情形。第四十三頁，共四十九頁，編輯于2023年，星期六§4.1二次函數(shù)A是正定矩陣等價于以下4個條件成立：

（1）存在非奇異矩陣G,使得A=GTG;

（2）A的所有特征根大于零;

（3）有滿秩矩陣G，使A=GTG;

（4）A的所有順序主子式都大于零.怎么判定一個對稱矩陣Q是不是正定的？Sylvester（西爾維斯特

）定理：一個n×n對稱矩陣Q是正定矩陣的充要條件是矩陣Q的各階順序主子式都是正的。第四十四頁，共四十九頁，編輯于2023年，星期六§4.1二次函數(shù)解：對稱矩陣Q的三個順序主子式依次為例4.1.1

判定矩陣是否正定:矩陣Q是正定的。第四十五頁，共四十九頁，編輯于2023年，星期六§4.1二次函數(shù)證明：作變換,代入二次函數(shù)式中：根據(jù)解析幾何知識，Q為正定矩陣的二次型的等值面是以坐標(biāo)原點為中心的同心橢球面族。由于上式中的是常數(shù)，所以的等值面也是以為中心的同心橢球面族，回到原坐標(biāo)系中去