優(yōu)化設(shè)計(jì)基礎(chǔ)

關(guān)于優(yōu)化設(shè)計(jì)基礎(chǔ)第1頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度

一個(gè)多元函數(shù)可用偏導(dǎo)數(shù)的概念來研究函數(shù)沿各坐標(biāo)方向的變化率。

二元函數(shù)的偏導(dǎo)數(shù)：第2頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度方向?qū)?shù)：第3頁，講稿共38頁，2023年5月2日，星期三θ2θ1o偏導(dǎo)數(shù)與方向?qū)?shù)之間的數(shù)量關(guān)系：第4頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度多元函數(shù)的方向?qū)?shù)：第5頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度例：第6頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度梯度：方向?qū)?shù)與梯度的關(guān)系：第7頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度梯度：梯度的性質(zhì)：

1）梯度是一個(gè)向量；

2）梯度方向是方向?qū)?shù)最大的方向，即函數(shù)值變化最快（函數(shù)值變化率最大）的方向；

3）梯度方向是等值面（線）的法線方向。第8頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度多元函數(shù)的梯度：第9頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度例題：解：

函數(shù)變化率最大的方向就是梯度方向，用單位向量表示，函數(shù)變化率最大的數(shù)值就是梯度的模。第10頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開一元函數(shù)第11頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開二元函數(shù)：二元函數(shù)泰勒展開式的矩陣形式：對稱矩陣第12頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開多元函數(shù)泰勒展開式的矩陣形式：

是函數(shù)在該點(diǎn)的梯度第13頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開多元函數(shù)的海賽矩陣：第14頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開正定矩陣：第15頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)矩陣正定與負(fù)定的判定：正定：矩陣A正定的條件是A的各階主子式大于零；負(fù)定：矩陣A負(fù)定的條件是各階主子式負(fù)、正相間。第二節(jié)多元函數(shù)的泰勒展開第16頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第三節(jié)無約束優(yōu)化問題的極值條件必要條件充分條件第17頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第三節(jié)無約束優(yōu)化問題的極值條件第18頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第三節(jié)無約束優(yōu)化問題的極值條件例：第19頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

當(dāng)極值點(diǎn)x*能使f（x*）在整個(gè)可行域中為最小值（最大值）時(shí)，即在整個(gè)可行域中對任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））時(shí)，則x*就是全局極小點(diǎn)（全局極大點(diǎn)）。全局極值點(diǎn)（最優(yōu)點(diǎn)）：第20頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

若f（x*）為局部可行域中的極小值（極大值）而不是整個(gè)可行域中的最小值（或最大值）時(shí)，則稱x*為局部極小點(diǎn)（局部極大點(diǎn)）。局部極值點(diǎn)（相對極值點(diǎn)）：第21頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

一個(gè)下凸的函數(shù)，它的極值點(diǎn)只有一個(gè)，并且該點(diǎn)既是局部極值點(diǎn)也是全局極值點(diǎn)，我們就稱這個(gè)函數(shù)具有凸性。

函數(shù)的凸性（單峰性）：第22頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

設(shè)R是一個(gè)點(diǎn)集（或區(qū)域），若連接其中任意兩點(diǎn)x1和x2的直線都屬于R，則稱這種集合R是一個(gè)凸集。凸集：第23頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃凸集的性質(zhì)：第24頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值，即全局最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。凸函數(shù)：第25頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃1．若f(x)為定義在凸集R上的一個(gè)凸函數(shù)，且α是一個(gè)正數(shù)（α>0），則αf(x)也必是定義在凸集R上的凸函數(shù)。

2．定義在凸集R上的兩個(gè)凸函數(shù)f1(x)和f2(x)，其和f(x)=f1(x)+f2(x)

也一定是該凸集上的一個(gè)凸函數(shù)。

3．若f1(x)、f2(x)是定義在凸集R上的兩個(gè)凸函數(shù)，α和β為兩個(gè)任意正數(shù)，則函數(shù)αf1(x)+βf2(x)

仍是R上的凸函數(shù)。

4．若定義在凸集R上的一個(gè)凸函數(shù)f(x)有兩個(gè)最小點(diǎn)x1和x2則這兩點(diǎn)處的函數(shù)值f(x1)和f(x2)必相等，否則，其中較大的點(diǎn)就不是f(x)的最小點(diǎn)了。

5．若x1和x2是定義在凸集R上的一個(gè)凸函數(shù)f(x)的兩個(gè)最小點(diǎn)，則其連接線段上的一切點(diǎn)必為f(x)的最小點(diǎn)。凸函數(shù)的性質(zhì)：第26頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃凹函數(shù)：凸函數(shù)下凸——有極小值上凸——有極大值凹函數(shù)第27頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃凸規(guī)劃：目標(biāo)函數(shù)與約束條件均為凸函數(shù)的優(yōu)化問題稱為凸規(guī)劃。

凸規(guī)劃的性質(zhì)第28頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題的數(shù)學(xué)模型：消元法——降維法拉格朗日乘子法——升維法解法第29頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件消元法：（二維）（一維）二元函數(shù)（一個(gè)等式約束）：第30頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件n元函數(shù)（l個(gè)等式約束條件）：（n-l維無約束優(yōu)化問題）消元法第31頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件n元函數(shù)（l個(gè)等式約束條件）：拉格朗日乘子法極值必要條件第32頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件例：第33頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第六節(jié)不等式約束優(yōu)化問題的極值條件求解不等式約束優(yōu)化問題的基本思想：

——將不等式約束條件變成等式約束條件。具體做法：

——引入松弛變量。第34頁，講稿共38頁，2023年5月2日，星期三松弛變量第二章優(yōu)化設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)第六節(jié)不等式約束優(yōu)化問題的極值條件一元函數(shù)f(x)在給定區(qū)間[a,b]上的極值優(yōu)化問題：拉格朗日函數(shù)：第35頁，講稿共38頁，2023年5月2日，星期三第二章優(yōu)