機(jī)械優(yōu)化設(shè)計(jì)-第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)課件

第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一、多元函數(shù)的方向?qū)?shù)和梯度二、多元函數(shù)的泰勒展開(kāi)三、無(wú)約束優(yōu)化問(wèn)題的極值條件四、凸集、凸函數(shù)與凸規(guī)劃五、等式約束優(yōu)化問(wèn)題的極值條件六、不等式約束優(yōu)化問(wèn)題的極值條件第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一、多元函數(shù)的方向?qū)?shù)和梯度二、11、方向?qū)?shù)二元函數(shù)在點(diǎn)處的偏導(dǎo)數(shù)的定義是：

二元函數(shù)在點(diǎn)處沿某一方向的變化率，其定義為方向?qū)?shù)

一、多元函數(shù)的方向?qū)?shù)和梯度1、方向?qū)?shù)二元函數(shù)在點(diǎn)處的偏導(dǎo)數(shù)的定義是：2X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二維空間中的方向=+偏導(dǎo)數(shù)與方向?qū)?shù)的關(guān)系X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二3n元函數(shù)在點(diǎn)x0處沿d方向的方向?qū)?shù)n元函數(shù)在點(diǎn)x0處沿d方向的方向?qū)?shù)42、二元函數(shù)的梯度令梯度2、二元函數(shù)的梯度令梯度5當(dāng)梯度方向和d方向重合時(shí)，方向?qū)?shù)值最大，即梯度方向是函數(shù)值變化最快方向，而梯度的模就是函數(shù)值變化率的最大值。梯度的模：當(dāng)梯度方向和d方向重合時(shí)，方向?qū)?shù)值最大，即梯度方向是6多元函數(shù)的梯度多元函數(shù)的梯度7多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直，也就是和等值面上過(guò)x0的一切曲線(xiàn)相垂直。由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直8梯度的兩個(gè)重要性質(zhì)：

①函數(shù)在某點(diǎn)的梯度不為零，則必與過(guò)該點(diǎn)的等值面垂直（即為過(guò)點(diǎn)的等值線(xiàn)的法線(xiàn)方向）；②梯度方向具有最大變化率方向正梯度方向是函數(shù)值最速上升的方向，負(fù)梯度方向是函數(shù)值最速下降的方向。梯度的兩個(gè)重要性質(zhì)：9例1：求二次函數(shù)在點(diǎn)處的梯度。

解：在點(diǎn)處的梯度為：例1：求二次函數(shù)在點(diǎn)處的梯度。解：在點(diǎn)處的梯度為：10例2：試求二次函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)度后新點(diǎn)的目標(biāo)函數(shù)值。

解：則函數(shù)在處的最速下降方向?yàn)槔?：試求二次函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一11該方向上的單位向量為新點(diǎn)該點(diǎn)函數(shù)值該方向上的單位向量為新點(diǎn)該點(diǎn)函數(shù)值12常用梯度公式：注意：梯度為向量二次型常用梯度公式：注意：梯度為向量二次型13二、多元函數(shù)的泰勒展開(kāi)在

點(diǎn)處的泰勒展開(kāi)為：其中1、一元函數(shù)二、多元函數(shù)的泰勒展開(kāi)在點(diǎn)處的泰勒展開(kāi)為：其中1142、二元函數(shù)其中：二元函數(shù)在點(diǎn)處的泰勒展開(kāi)式為：2、二元函數(shù)其中：二元函數(shù)在15上式寫(xiě)成矩陣形式：上式寫(xiě)成矩陣形式：16令上式可寫(xiě)成稱(chēng)為函數(shù)在點(diǎn)處的海賽（Hessian）矩陣參見(jiàn)教材例題P30令上式可寫(xiě)成稱(chēng)為函數(shù)在17海賽矩陣是由函數(shù)在點(diǎn)處的二階偏導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：所以矩陣為對(duì)陣方陣。海賽矩陣是由函數(shù)在點(diǎn)處的二階偏導(dǎo)數(shù)18海賽矩陣3、多元函數(shù)其中：梯度泰勒展開(kāi)式海賽矩陣3、多元函數(shù)其中：梯度泰勒展開(kāi)式19若將函數(shù)的泰勒展開(kāi)式只取到線(xiàn)性項(xiàng)，即取則是過(guò)點(diǎn)和函數(shù)所代表的超曲面相切的切平面。若將函數(shù)的泰勒展開(kāi)式取到二次項(xiàng)時(shí)，則得到二次函數(shù)形式，在線(xiàn)性代數(shù)中將二次齊次函數(shù)稱(chēng)為二次型。矩陣形式-----對(duì)稱(chēng)矩陣若將函數(shù)的泰勒展開(kāi)式只取到線(xiàn)性項(xiàng)，即取則是過(guò)20當(dāng)對(duì)任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。當(dāng)對(duì)任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。21海賽矩陣的特征：是實(shí)對(duì)稱(chēng)矩陣。4、海賽矩陣與正定矩陣正定的充要條件：矩陣G的各階順序主子式為正，即矩陣負(fù)定的充要條件：矩陣G的奇數(shù)階主子式主子式偶數(shù)階主子式海賽矩陣的正定性：正定-----為全局極小值點(diǎn)的充分條件負(fù)定-----為全局極大值點(diǎn)的充分條件海賽矩陣的特征：是實(shí)對(duì)稱(chēng)矩陣。4、海賽矩陣與正定矩陣正定的充22例3

判定矩陣是否正定？解：該對(duì)稱(chēng)矩陣的三個(gè)主子式依次為：故可知矩陣G是正定的。例3判定矩陣是否正定？解23定理：若二次函數(shù)中Q正定，則它的等值面是同心橢球面族，且中心為證明：作變換，代入二次函數(shù)式中：結(jié)論：Q為正定矩陣的二次型的等值面是以的同心橢球面族。原二次函數(shù)就是以為中心的同心橢球面族，橢圓中心為極小值點(diǎn)。定理：若二次函數(shù)24例4把二次函數(shù)化為矩陣向量形式并檢驗(yàn)Q是否正定，如正定，試用公式求這個(gè)函數(shù)的極小點(diǎn)。解：與題中函數(shù)比較各系數(shù)得：由計(jì)算知Q正定，極小點(diǎn)例4把二次函數(shù)25三、無(wú)約束優(yōu)化問(wèn)題的極值條件1、一元函數(shù)對(duì)于可微的一元函數(shù)判斷在處是否取得極值的過(guò)程：則為極小點(diǎn)。逐次檢驗(yàn)其更高階導(dǎo)數(shù)的符號(hào)，開(kāi)始不為零的導(dǎo)數(shù)階數(shù)若為偶次，則為極值點(diǎn)，若為奇次，則為拐點(diǎn)。

則為極大點(diǎn)。三、無(wú)約束優(yōu)化問(wèn)題的極值條件1、一元函數(shù)對(duì)于可微的一元函數(shù)262、二元函數(shù)

定理1：若二元可微函數(shù)在處取得極值的必要條件是：即凡滿(mǎn)足上式的點(diǎn)稱(chēng)為函數(shù)的駐點(diǎn)（零向量）2、二元函數(shù)定理1：若二元可微函數(shù)27如下圖所示的二元函數(shù)，在M0點(diǎn)雖有和是個(gè)駐點(diǎn)，但它不是極值點(diǎn)。如下圖所示的二元函數(shù)，在M0點(diǎn)雖有28定理2：若二元可微函數(shù)在的某個(gè)鄰域取得極小值的充分條件是要求在該點(diǎn)附近的一切點(diǎn)均滿(mǎn)足：若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當(dāng)滿(mǎn)足則泰勒展開(kāi)式的函數(shù)增量近似式（略三階以上高階微量）為：定理2：若二元可微函數(shù)在29令則可見(jiàn)，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)。可以證明，當(dāng)滿(mǎn)足以下條件時(shí)，為極小值（證明略）。此條件反映了函數(shù)在該點(diǎn)的海賽矩陣的各階主子式均大于零（即正定）。令則可見(jiàn)，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)?？梢宰C明，當(dāng)滿(mǎn)30結(jié)論：二元函數(shù)在某點(diǎn)取得極小值的充分條件是要求該點(diǎn)處的海賽矩陣為正定。且

對(duì)于二元函數(shù)在處取得極值的充分必要條件是：參見(jiàn)教材例題P32

結(jié)論：二元函數(shù)在某點(diǎn)取得極小值的充分條件是要求該點(diǎn)313、多元函數(shù)對(duì)于多元函數(shù)若在處取得極值，則必要條件：充分條件：正定或負(fù)定3、多元函數(shù)對(duì)于多元函數(shù)32四、凸集、凸函數(shù)與凸規(guī)劃當(dāng)極值點(diǎn)x*能使f(x*)在整個(gè)可行域中為最小值時(shí)，即在整個(gè)可行域中對(duì)任一x都有f(x)>=f(x*),則x*為全域最優(yōu)點(diǎn)（全域極小點(diǎn)）。若f(x*)為局部可行域中的極小值而非整個(gè)可行域的最小值時(shí)，則稱(chēng)x*為局部最優(yōu)點(diǎn)或相對(duì)最優(yōu)點(diǎn)。優(yōu)化的目標(biāo)是全域最優(yōu)點(diǎn)。為了判斷某個(gè)極值點(diǎn)是否為全域最優(yōu)點(diǎn)，研究函數(shù)的凸性是必要的。函數(shù)的凸性表現(xiàn)為單峰性。對(duì)于具有凸性特點(diǎn)的函數(shù)來(lái)說(shuō)，其極值點(diǎn)只有一個(gè)，因而該點(diǎn)既是局部最優(yōu)亦是全域最優(yōu)點(diǎn)。為了研究函數(shù)的凸性，下面引入凸集的概念：四、凸集、凸函數(shù)與凸規(guī)劃當(dāng)極值點(diǎn)x*能使f(x*)在整331、凸集如果對(duì)一切及一切滿(mǎn)足的實(shí)數(shù)，點(diǎn)則稱(chēng)集合為凸集，否則稱(chēng)為非凸集。yx2x1若y是x1和x2連線(xiàn)上的點(diǎn)，則有整理后即得1、凸集如果對(duì)一切及一切滿(mǎn)足的實(shí)數(shù)34凸集的性質(zhì)：若D為凸集，為一個(gè)實(shí)數(shù)，則集合仍是凸集；若D和F均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。凸集的性質(zhì)：若D為凸集，為一個(gè)實(shí)數(shù)，則集合352、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱(chēng)為凸函數(shù)或單峰函數(shù)。其數(shù)學(xué)定義是：設(shè)f(x)為定義在n維歐式空間中的一個(gè)凸集D上的函數(shù)，如果對(duì)于任何實(shí)數(shù)以及對(duì)D中任意兩點(diǎn)x1，x2恒有：則為D上的凸函數(shù)，若不滿(mǎn)足上式，則為凹函數(shù)。如式中的等號(hào)去掉，則稱(chēng)其為嚴(yán)格凸函數(shù)。2、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值36凸函數(shù)的幾何意義：在函數(shù)曲線(xiàn)上取任意兩點(diǎn)連成一直線(xiàn)段，則該線(xiàn)段上任一點(diǎn)的縱坐標(biāo)值必大于或等于該點(diǎn)處的原函數(shù)值。凸函數(shù)的幾何意義：在函數(shù)曲線(xiàn)上取任意兩點(diǎn)連成一直線(xiàn)段，則該線(xiàn)37凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個(gè)凸函數(shù)，對(duì)于任意實(shí)數(shù)a>0，則af(x)也是凸集D上的凸函數(shù)；2）定義在凸集D上的兩個(gè)凸函數(shù)f1(x),f2(x)，其和f1(x)+f2(x)亦為該凸集上的一個(gè)凸函數(shù)；3）若f1(x),f2(x)為定義在凸集D上的兩個(gè)凸函數(shù)，為兩個(gè)任意正數(shù)，則仍為D上的凸函數(shù)。凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個(gè)凸函數(shù)，對(duì)于383、凸性條件（1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性設(shè)f(x)為定義在凸集R上，且具有連續(xù)的一階導(dǎo)數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件是對(duì)凸集R內(nèi)任意不同兩點(diǎn)、，下面不等式恒成立。3、凸性條件（1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性39（2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣)來(lái)判斷函數(shù)的凸性設(shè)f(x)為定義在凸集R上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件為：海賽矩陣在R上處處半正定。對(duì)于嚴(yán)格的凸函數(shù)，其充要條件為海賽矩陣為正定。當(dāng)海賽矩陣G的主子式:det(G)＞0時(shí)，矩陣正定det(G)≥0時(shí)，矩陣半正定det(G)＜0時(shí)，矩陣負(fù)定det(G)≤0時(shí)，矩陣半負(fù)定G(x*)正定，是x*為全局極小值點(diǎn)的充分條件；G(x*)半正定,是x*為局部極小值點(diǎn)的充分條件；G(x*)負(fù)定，是x*為全局極大值點(diǎn)的充分條件；G(x*)半負(fù)定,是x*為局部極大值點(diǎn)的充分條件。說(shuō)明：（2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣)來(lái)判斷函數(shù)的凸性設(shè)f(x)為定404、凸規(guī)劃對(duì)于約束優(yōu)化問(wèn)題

若、都為凸函數(shù)，則稱(chēng)此問(wèn)題為凸規(guī)劃。4、凸規(guī)劃對(duì)于約束優(yōu)化問(wèn)題若、都為凸41凸規(guī)劃的性質(zhì)：2）可行域?yàn)橥辜?）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1）若給定一點(diǎn)，則集合為凸集。凸規(guī)劃的性質(zhì)：2）可行域42五、等式約束優(yōu)化問(wèn)題的極值條件等式約束優(yōu)化問(wèn)題：求解等式約束化問(wèn)題的理論基礎(chǔ)是導(dǎo)出極值存在的條件。五、等式約束優(yōu)化問(wèn)題的極值條件等式約束優(yōu)化問(wèn)題：求解等431、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過(guò)增加變量將等式約束化問(wèn)題變成無(wú)約束化問(wèn)題。引入拉格朗日乘子，并構(gòu)成一個(gè)新的目標(biāo)函數(shù)拉格朗日函數(shù)拉格朗日乘子新目標(biāo)函數(shù)的極值的必要條件：參見(jiàn)教材例題1、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過(guò)44六、不等式約束優(yōu)化問(wèn)題的極值條件庫(kù)恩—塔克條件（K-T條件）不等式約束的多元函數(shù)極值的必要條件是著名的庫(kù)恩—塔克（Kuhn-Tucker）條件,它是非線(xiàn)性?xún)?yōu)化問(wèn)題的重要理論。為了便于理解庫(kù)恩—塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。六、不等式約束優(yōu)化問(wèn)題的極值條件庫(kù)恩—塔克條件（K-T條件）451、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)f(x)在區(qū)間[a,b]的極值問(wèn)題，可表示為：求解思想:引入松弛變量使不等式約束變成等式約束，再利用拉格朗日乘子法求解等式約束的極值問(wèn)題。1、一元函數(shù)在給定區(qū)間上的極值條件一元函數(shù)f(x)在區(qū)間[a46這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：是對(duì)應(yīng)于不等式約束的拉格朗日乘子，其值均為非負(fù)的。設(shè)為松弛變量，則上兩個(gè)不等式可寫(xiě)為如下兩個(gè)等式：這樣可以轉(zhuǎn)化為拉格朗日函數(shù)：是對(duì)應(yīng)于不等式約束的拉格朗日乘子47對(duì)于一元函數(shù)在給定區(qū)間上的極值條件，可完整的表示為：結(jié)論：對(duì)于一元函數(shù)在給定區(qū)間上的極值條件，可完整的表示48從以上分析可以看出，對(duì)應(yīng)于不起作用的約束的拉格朗日乘子取零值，因此可以引入起作用約束的下標(biāo)集合。一元函數(shù)在給定區(qū)間的極值條件，可以改寫(xiě)為：極值條件中只考慮起作用的約束和相應(yīng)的乘子。從以上分析可以看出，對(duì)應(yīng)于不起作用的約束的拉格朗日乘子取零值492、庫(kù)恩—塔克條件

庫(kù)恩—塔克條件（K-T條件）可表述為：對(duì)于多元函數(shù)不等式的約束優(yōu)化問(wèn)題：2、庫(kù)恩—塔克條件庫(kù)恩—塔克條件（K-T條件）50庫(kù)恩—塔克條件表明：如點(diǎn)是函數(shù)的極值點(diǎn)，要么（此時(shí)）或者目標(biāo)函數(shù)的負(fù)梯度等于起作用約束梯度的非負(fù)線(xiàn)性組合（此時(shí)）。庫(kù)恩—塔克條件表明：如點(diǎn)是函數(shù)的51機(jī)械優(yōu)化設(shè)計(jì)_第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)課件52庫(kù)恩—塔克條件的幾何意義：在約束極小值點(diǎn)處，函數(shù)的負(fù)梯度一定能表示成起作用約束在該點(diǎn)梯度（法向量）的非負(fù)線(xiàn)性組合。從圖中可以看出，處在和即線(xiàn)性組合的系數(shù)為正，是在取得極值的必要條件。角錐之內(nèi)，庫(kù)恩—塔克條件的幾何意義：在約束極小值點(diǎn)處，函數(shù)53同時(shí)具有等式和不等式約束的優(yōu)化問(wèn)題：庫(kù)恩—塔克條件（K-T條件）：同時(shí)具有等式和不等式約束的優(yōu)化問(wèn)題：庫(kù)恩—塔克條件（K-T條54庫(kù)恩—塔克條件是多元函數(shù)取得約束極值的必要條件，可用來(lái)作為約束極值的判斷條件，又可以來(lái)直接求解較簡(jiǎn)單的約束優(yōu)化問(wèn)題。對(duì)于目標(biāo)函數(shù)和約束函數(shù)都是凸函數(shù)的情況，符合K-T條件的點(diǎn)一定是全局最優(yōu)點(diǎn)。這種情況K-T條件即為多元函數(shù)取得約束極值的充分必要條件。庫(kù)恩—塔克條件是多元函數(shù)取得約束極值的必要條件，可55例5庫(kù)恩—塔克（K-T）條件應(yīng)用舉例判斷是否為約束最優(yōu)點(diǎn)？例5庫(kù)恩—塔克（K-T）條件應(yīng)用舉例判斷56解：（1）當(dāng)前點(diǎn)為可行點(diǎn)，因滿(mǎn)足約束條件（2）在起作用約束為，因（3）求各函數(shù)梯度：解：（1）當(dāng)前點(diǎn)為可行點(diǎn)，因滿(mǎn)足57（4）求拉格朗日乘子由于拉格朗日乘子均為非負(fù)，說(shuō)明是一個(gè)局部最優(yōu)點(diǎn)，因?yàn)樗鼭M(mǎn)足K-T條件。（4）求拉格朗日乘子由于拉格朗日乘子均為非負(fù)，說(shuō)明是一個(gè)局部58機(jī)械優(yōu)化設(shè)計(jì)_第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)課件59第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一、多元函數(shù)的方向?qū)?shù)和梯度二、多元函數(shù)的泰勒展開(kāi)三、無(wú)約束優(yōu)化問(wèn)題的極值條件四、凸集、凸函數(shù)與凸規(guī)劃五、等式約束優(yōu)化問(wèn)題的極值條件六、不等式約束優(yōu)化問(wèn)題的極值條件第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)一、多元函數(shù)的方向?qū)?shù)和梯度二、601、方向?qū)?shù)二元函數(shù)在點(diǎn)處的偏導(dǎo)數(shù)的定義是：

二元函數(shù)在點(diǎn)處沿某一方向的變化率，其定義為方向?qū)?shù)

一、多元函數(shù)的方向?qū)?shù)和梯度1、方向?qū)?shù)二元函數(shù)在點(diǎn)處的偏導(dǎo)數(shù)的定義是：61X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二維空間中的方向=+偏導(dǎo)數(shù)與方向?qū)?shù)的關(guān)系X1X10X20X2X0△X1△X2△dθ2θ1Od圖1二62n元函數(shù)在點(diǎn)x0處沿d方向的方向?qū)?shù)n元函數(shù)在點(diǎn)x0處沿d方向的方向?qū)?shù)632、二元函數(shù)的梯度令梯度2、二元函數(shù)的梯度令梯度64當(dāng)梯度方向和d方向重合時(shí)，方向?qū)?shù)值最大，即梯度方向是函數(shù)值變化最快方向，而梯度的模就是函數(shù)值變化率的最大值。梯度的模：當(dāng)梯度方向和d方向重合時(shí)，方向?qū)?shù)值最大，即梯度方向是65多元函數(shù)的梯度多元函數(shù)的梯度66多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直，也就是和等值面上過(guò)x0的一切曲線(xiàn)相垂直。由于梯度的模因點(diǎn)而異，即函數(shù)在不同點(diǎn)處的最大變化率是不同的。因此，梯度是函數(shù)的一種局部性質(zhì)。多元函數(shù)的梯度的模：函數(shù)的梯度方向與函數(shù)的等值面相垂直67梯度的兩個(gè)重要性質(zhì)：

①函數(shù)在某點(diǎn)的梯度不為零，則必與過(guò)該點(diǎn)的等值面垂直（即為過(guò)點(diǎn)的等值線(xiàn)的法線(xiàn)方向）；②梯度方向具有最大變化率方向正梯度方向是函數(shù)值最速上升的方向，負(fù)梯度方向是函數(shù)值最速下降的方向。梯度的兩個(gè)重要性質(zhì)：68例1：求二次函數(shù)在點(diǎn)處的梯度。

解：在點(diǎn)處的梯度為：例1：求二次函數(shù)在點(diǎn)處的梯度。解：在點(diǎn)處的梯度為：69例2：試求二次函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)度后新點(diǎn)的目標(biāo)函數(shù)值。

解：則函數(shù)在處的最速下降方向?yàn)槔?：試求二次函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一70該方向上的單位向量為新點(diǎn)該點(diǎn)函數(shù)值該方向上的單位向量為新點(diǎn)該點(diǎn)函數(shù)值71常用梯度公式：注意：梯度為向量二次型常用梯度公式：注意：梯度為向量二次型72二、多元函數(shù)的泰勒展開(kāi)在

點(diǎn)處的泰勒展開(kāi)為：其中1、一元函數(shù)二、多元函數(shù)的泰勒展開(kāi)在點(diǎn)處的泰勒展開(kāi)為：其中1732、二元函數(shù)其中：二元函數(shù)在點(diǎn)處的泰勒展開(kāi)式為：2、二元函數(shù)其中：二元函數(shù)在74上式寫(xiě)成矩陣形式：上式寫(xiě)成矩陣形式：75令上式可寫(xiě)成稱(chēng)為函數(shù)在點(diǎn)處的海賽（Hessian）矩陣參見(jiàn)教材例題P30令上式可寫(xiě)成稱(chēng)為函數(shù)在76海賽矩陣是由函數(shù)在點(diǎn)處的二階偏導(dǎo)數(shù)組成的方陣。由于函數(shù)的二次連續(xù)性，有：所以矩陣為對(duì)陣方陣。海賽矩陣是由函數(shù)在點(diǎn)處的二階偏導(dǎo)數(shù)77海賽矩陣3、多元函數(shù)其中：梯度泰勒展開(kāi)式海賽矩陣3、多元函數(shù)其中：梯度泰勒展開(kāi)式78若將函數(shù)的泰勒展開(kāi)式只取到線(xiàn)性項(xiàng)，即取則是過(guò)點(diǎn)和函數(shù)所代表的超曲面相切的切平面。若將函數(shù)的泰勒展開(kāi)式取到二次項(xiàng)時(shí)，則得到二次函數(shù)形式，在線(xiàn)性代數(shù)中將二次齊次函數(shù)稱(chēng)為二次型。矩陣形式-----對(duì)稱(chēng)矩陣若將函數(shù)的泰勒展開(kāi)式只取到線(xiàn)性項(xiàng)，即取則是過(guò)79當(dāng)對(duì)任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。當(dāng)對(duì)任何非零向量x使則二次型函數(shù)正定，G為正定矩陣。80海賽矩陣的特征：是實(shí)對(duì)稱(chēng)矩陣。4、海賽矩陣與正定矩陣正定的充要條件：矩陣G的各階順序主子式為正，即矩陣負(fù)定的充要條件：矩陣G的奇數(shù)階主子式主子式偶數(shù)階主子式海賽矩陣的正定性：正定-----為全局極小值點(diǎn)的充分條件負(fù)定-----為全局極大值點(diǎn)的充分條件海賽矩陣的特征：是實(shí)對(duì)稱(chēng)矩陣。4、海賽矩陣與正定矩陣正定的充81例3

判定矩陣是否正定？解：該對(duì)稱(chēng)矩陣的三個(gè)主子式依次為：故可知矩陣G是正定的。例3判定矩陣是否正定？解82定理：若二次函數(shù)中Q正定，則它的等值面是同心橢球面族，且中心為證明：作變換，代入二次函數(shù)式中：結(jié)論：Q為正定矩陣的二次型的等值面是以的同心橢球面族。原二次函數(shù)就是以為中心的同心橢球面族，橢圓中心為極小值點(diǎn)。定理：若二次函數(shù)83例4把二次函數(shù)化為矩陣向量形式并檢驗(yàn)Q是否正定，如正定，試用公式求這個(gè)函數(shù)的極小點(diǎn)。解：與題中函數(shù)比較各系數(shù)得：由計(jì)算知Q正定，極小點(diǎn)例4把二次函數(shù)84三、無(wú)約束優(yōu)化問(wèn)題的極值條件1、一元函數(shù)對(duì)于可微的一元函數(shù)判斷在處是否取得極值的過(guò)程：則為極小點(diǎn)。逐次檢驗(yàn)其更高階導(dǎo)數(shù)的符號(hào)，開(kāi)始不為零的導(dǎo)數(shù)階數(shù)若為偶次，則為極值點(diǎn)，若為奇次，則為拐點(diǎn)。

則為極大點(diǎn)。三、無(wú)約束優(yōu)化問(wèn)題的極值條件1、一元函數(shù)對(duì)于可微的一元函數(shù)852、二元函數(shù)

定理1：若二元可微函數(shù)在處取得極值的必要條件是：即凡滿(mǎn)足上式的點(diǎn)稱(chēng)為函數(shù)的駐點(diǎn)（零向量）2、二元函數(shù)定理1：若二元可微函數(shù)86如下圖所示的二元函數(shù)，在M0點(diǎn)雖有和是個(gè)駐點(diǎn)，但它不是極值點(diǎn)。如下圖所示的二元函數(shù)，在M0點(diǎn)雖有87定理2：若二元可微函數(shù)在的某個(gè)鄰域取得極小值的充分條件是要求在該點(diǎn)附近的一切點(diǎn)均滿(mǎn)足：若函數(shù)存在連續(xù)的一階及二階偏導(dǎo)數(shù)，當(dāng)滿(mǎn)足則泰勒展開(kāi)式的函數(shù)增量近似式（略三階以上高階微量）為：定理2：若二元可微函數(shù)在88令則可見(jiàn)，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)。可以證明，當(dāng)滿(mǎn)足以下條件時(shí)，為極小值（證明略）。此條件反映了函數(shù)在該點(diǎn)的海賽矩陣的各階主子式均大于零（即正定）。令則可見(jiàn)，函數(shù)增量的性態(tài)與A,B,C的值有關(guān)?？梢宰C明，當(dāng)滿(mǎn)89結(jié)論：二元函數(shù)在某點(diǎn)取得極小值的充分條件是要求該點(diǎn)處的海賽矩陣為正定。且

對(duì)于二元函數(shù)在處取得極值的充分必要條件是：參見(jiàn)教材例題P32

結(jié)論：二元函數(shù)在某點(diǎn)取得極小值的充分條件是要求該點(diǎn)903、多元函數(shù)對(duì)于多元函數(shù)若在處取得極值，則必要條件：充分條件：正定或負(fù)定3、多元函數(shù)對(duì)于多元函數(shù)91四、凸集、凸函數(shù)與凸規(guī)劃當(dāng)極值點(diǎn)x*能使f(x*)在整個(gè)可行域中為最小值時(shí)，即在整個(gè)可行域中對(duì)任一x都有f(x)>=f(x*),則x*為全域最優(yōu)點(diǎn)（全域極小點(diǎn)）。若f(x*)為局部可行域中的極小值而非整個(gè)可行域的最小值時(shí)，則稱(chēng)x*為局部最優(yōu)點(diǎn)或相對(duì)最優(yōu)點(diǎn)。優(yōu)化的目標(biāo)是全域最優(yōu)點(diǎn)。為了判斷某個(gè)極值點(diǎn)是否為全域最優(yōu)點(diǎn)，研究函數(shù)的凸性是必要的。函數(shù)的凸性表現(xiàn)為單峰性。對(duì)于具有凸性特點(diǎn)的函數(shù)來(lái)說(shuō)，其極值點(diǎn)只有一個(gè)，因而該點(diǎn)既是局部最優(yōu)亦是全域最優(yōu)點(diǎn)。為了研究函數(shù)的凸性，下面引入凸集的概念：四、凸集、凸函數(shù)與凸規(guī)劃當(dāng)極值點(diǎn)x*能使f(x*)在整921、凸集如果對(duì)一切及一切滿(mǎn)足的實(shí)數(shù)，點(diǎn)則稱(chēng)集合為凸集，否則稱(chēng)為非凸集。yx2x1若y是x1和x2連線(xiàn)上的點(diǎn)，則有整理后即得1、凸集如果對(duì)一切及一切滿(mǎn)足的實(shí)數(shù)93凸集的性質(zhì)：若D為凸集，為一個(gè)實(shí)數(shù)，則集合仍是凸集；若D和F均為凸集，則其和（或并）仍是凸集；任何一組凸集的積（或交）仍是凸集。凸集的性質(zhì)：若D為凸集，為一個(gè)實(shí)數(shù)，則集合942、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值亦即全域最優(yōu)值的函數(shù)，稱(chēng)為凸函數(shù)或單峰函數(shù)。其數(shù)學(xué)定義是：設(shè)f(x)為定義在n維歐式空間中的一個(gè)凸集D上的函數(shù)，如果對(duì)于任何實(shí)數(shù)以及對(duì)D中任意兩點(diǎn)x1，x2恒有：則為D上的凸函數(shù)，若不滿(mǎn)足上式，則為凹函數(shù)。如式中的等號(hào)去掉，則稱(chēng)其為嚴(yán)格凸函數(shù)。2、凸函數(shù)具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值95凸函數(shù)的幾何意義：在函數(shù)曲線(xiàn)上取任意兩點(diǎn)連成一直線(xiàn)段，則該線(xiàn)段上任一點(diǎn)的縱坐標(biāo)值必大于或等于該點(diǎn)處的原函數(shù)值。凸函數(shù)的幾何意義：在函數(shù)曲線(xiàn)上取任意兩點(diǎn)連成一直線(xiàn)段，則該線(xiàn)96凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個(gè)凸函數(shù)，對(duì)于任意實(shí)數(shù)a>0，則af(x)也是凸集D上的凸函數(shù)；2）定義在凸集D上的兩個(gè)凸函數(shù)f1(x),f2(x)，其和f1(x)+f2(x)亦為該凸集上的一個(gè)凸函數(shù)；3）若f1(x),f2(x)為定義在凸集D上的兩個(gè)凸函數(shù)，為兩個(gè)任意正數(shù)，則仍為D上的凸函數(shù)。凸函數(shù)的性質(zhì)1）若f(x)為定義在凸集D上的一個(gè)凸函數(shù)，對(duì)于973、凸性條件（1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性設(shè)f(x)為定義在凸集R上，且具有連續(xù)的一階導(dǎo)數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件是對(duì)凸集R內(nèi)任意不同兩點(diǎn)、，下面不等式恒成立。3、凸性條件（1）根據(jù)一階導(dǎo)數(shù)（函數(shù)的梯度）來(lái)判斷函數(shù)的凸性98（2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣)來(lái)判斷函數(shù)的凸性設(shè)f(x)為定義在凸集R上且具有連續(xù)二階導(dǎo)數(shù)的函數(shù)，則f(x)在R上為凸函數(shù)的充要條件為：海賽矩陣在R上處處半正定。對(duì)于嚴(yán)格的凸函數(shù)，其充要條件為海賽矩陣為正定。當(dāng)海賽矩陣G的主子式:det(G)＞0時(shí)，矩陣正定det(G)≥0時(shí)，矩陣半正定det(G)＜0時(shí)，矩陣負(fù)定det(G)≤0時(shí)，矩陣半負(fù)定G(x*)正定，是x*為全局極小值點(diǎn)的充分條件；G(x*)半正定,是x*為局部極小值點(diǎn)的充分條件；G(x*)負(fù)定，是x*為全局極大值點(diǎn)的充分條件；G(x*)半負(fù)定,是x*為局部極大值點(diǎn)的充分條件。說(shuō)明：（2）根據(jù)二階導(dǎo)數(shù)（海賽矩陣)來(lái)判斷函數(shù)的凸性設(shè)f(x)為定994、凸規(guī)劃對(duì)于約束優(yōu)化問(wèn)題

若、都為凸函數(shù)，則稱(chēng)此問(wèn)題為凸規(guī)劃。4、凸規(guī)劃對(duì)于約束優(yōu)化問(wèn)題若、都為凸100凸規(guī)劃的性質(zhì)：2）可行域?yàn)橥辜?）凸規(guī)劃的任何局部最優(yōu)解就是全局最優(yōu)解。1）若給定一點(diǎn)，則集合為凸集。凸規(guī)劃的性質(zhì)：2）可行域101五、等式約束優(yōu)化問(wèn)題的極值條件等式約束優(yōu)化問(wèn)題：求解等式約束化問(wèn)題的理論基礎(chǔ)是導(dǎo)出極值存在的條件。五、等式約束優(yōu)化問(wèn)題的極值條件等式約束優(yōu)化問(wèn)題：求解等1021、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過(guò)增加變量將等式約束化問(wèn)題變成無(wú)約束化問(wèn)題。引入拉格朗日乘子，并構(gòu)成一個(gè)新的目標(biāo)函數(shù)拉格朗日函數(shù)拉格朗日乘子新目標(biāo)函數(shù)的極值的必要條件：參見(jiàn)教材例題1、消元法（降維法）2、拉格朗日乘子法（升維法）思想:通過(guò)103六、不等式約束優(yōu)化問(wèn)題的極值條件庫(kù)恩—塔克條件（K-T條件）不等式約束的多元函數(shù)極值的必要條件是著名的庫(kù)恩—塔克（Kuhn-Tucker）條件,它是非線(xiàn)性?xún)?yōu)化問(wèn)題的重要理論。為了便于理解庫(kù)恩—塔克條件，首先分析一元函數(shù)在給定區(qū)間的極值條件。六、不等式約束優(yōu)化問(wèn)題的極值條件庫(kù)恩—塔克條件（K-T條件）1041