優(yōu)化設(shè)計基礎(chǔ)

關(guān)于優(yōu)化設(shè)計基礎(chǔ)第1頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度

一個多元函數(shù)可用偏導(dǎo)數(shù)的概念來研究函數(shù)沿各坐標(biāo)方向的變化率。

二元函數(shù)的偏導(dǎo)數(shù)：第2頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度方向?qū)?shù)：第3頁，課件共38頁，創(chuàng)作于2023年2月θ2θ1o偏導(dǎo)數(shù)與方向?qū)?shù)之間的數(shù)量關(guān)系：第4頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度多元函數(shù)的方向?qū)?shù)：第5頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度例：第6頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度梯度：方向?qū)?shù)與梯度的關(guān)系：第7頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度梯度：梯度的性質(zhì)：

1）梯度是一個向量；

2）梯度方向是方向?qū)?shù)最大的方向，即函數(shù)值變化最快（函數(shù)值變化率最大）的方向；

3）梯度方向是等值面（線）的法線方向。第8頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度多元函數(shù)的梯度：第9頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第一節(jié)多元函數(shù)的方向?qū)?shù)和梯度例題：解：

函數(shù)變化率最大的方向就是梯度方向，用單位向量表示，函數(shù)變化率最大的數(shù)值就是梯度的模。第10頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開一元函數(shù)第11頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開二元函數(shù)：二元函數(shù)泰勒展開式的矩陣形式：對稱矩陣第12頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開多元函數(shù)泰勒展開式的矩陣形式：

是函數(shù)在該點的梯度第13頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開多元函數(shù)的海賽矩陣：第14頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第二節(jié)多元函數(shù)的泰勒展開正定矩陣：第15頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)矩陣正定與負(fù)定的判定：正定：矩陣A正定的條件是A的各階主子式大于零；負(fù)定：矩陣A負(fù)定的條件是各階主子式負(fù)、正相間。第二節(jié)多元函數(shù)的泰勒展開第16頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第三節(jié)無約束優(yōu)化問題的極值條件必要條件充分條件第17頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第三節(jié)無約束優(yōu)化問題的極值條件第18頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第三節(jié)無約束優(yōu)化問題的極值條件例：第19頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

當(dāng)極值點x*能使f（x*）在整個可行域中為最小值（最大值）時，即在整個可行域中對任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））時，則x*就是全局極小點（全局極大點）。全局極值點（最優(yōu)點）：第20頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

若f（x*）為局部可行域中的極小值（極大值）而不是整個可行域中的最小值（或最大值）時，則稱x*為局部極小點（局部極大點）。局部極值點（相對極值點）：第21頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

一個下凸的函數(shù)，它的極值點只有一個，并且該點既是局部極值點也是全局極值點，我們就稱這個函數(shù)具有凸性。

函數(shù)的凸性（單峰性）：第22頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

設(shè)R是一個點集（或區(qū)域），若連接其中任意兩點x1和x2的直線都屬于R，則稱這種集合R是一個凸集。凸集：第23頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃凸集的性質(zhì)：第24頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃

具有凸性（表現(xiàn)為單峰性）或只有唯一的局部最優(yōu)值，即全局最優(yōu)值的函數(shù)，稱為凸函數(shù)或單峰函數(shù)。凸函數(shù)：第25頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃1．若f(x)為定義在凸集R上的一個凸函數(shù)，且α是一個正數(shù)（α>0），則αf(x)也必是定義在凸集R上的凸函數(shù)。

2．定義在凸集R上的兩個凸函數(shù)f1(x)和f2(x)，其和f(x)=f1(x)+f2(x)

也一定是該凸集上的一個凸函數(shù)。

3．若f1(x)、f2(x)是定義在凸集R上的兩個凸函數(shù)，α和β為兩個任意正數(shù)，則函數(shù)αf1(x)+βf2(x)

仍是R上的凸函數(shù)。

4．若定義在凸集R上的一個凸函數(shù)f(x)有兩個最小點x1和x2則這兩點處的函數(shù)值f(x1)和f(x2)必相等，否則，其中較大的點就不是f(x)的最小點了。

5．若x1和x2是定義在凸集R上的一個凸函數(shù)f(x)的兩個最小點，則其連接線段上的一切點必為f(x)的最小點。凸函數(shù)的性質(zhì)：第26頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃凹函數(shù)：凸函數(shù)下凸——有極小值上凸——有極大值凹函數(shù)第27頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第四節(jié)凸集、凸函數(shù)和凸規(guī)劃凸規(guī)劃：目標(biāo)函數(shù)與約束條件均為凸函數(shù)的優(yōu)化問題稱為凸規(guī)劃。

凸規(guī)劃的性質(zhì)第28頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件等式約束優(yōu)化問題的數(shù)學(xué)模型：消元法——降維法拉格朗日乘子法——升維法解法第29頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件消元法：（二維）（一維）二元函數(shù)（一個等式約束）：第30頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件n元函數(shù)（l個等式約束條件）：（n-l維無約束優(yōu)化問題）消元法第31頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件n元函數(shù)（l個等式約束條件）：拉格朗日乘子法極值必要條件第32頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第五節(jié)等式約束優(yōu)化問題的極值條件例：第33頁，課件共38頁，創(chuàng)作于2023年2月第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第六節(jié)不等式約束優(yōu)化問題的極值條件求解不等式約束優(yōu)化問題的基本思想：

——將不等式約束條件變成等式約束條件。具體做法：

——引入松弛變量。第34頁，課件共38頁，創(chuàng)作于2023年2月松弛變量第二章優(yōu)化設(shè)計的數(shù)學(xué)基礎(chǔ)第六節(jié)不等式約束優(yōu)化問題的極值條件一元函數(shù)f(x)在給定區(qū)間[a,b]上的極值優(yōu)化問題：拉格朗日函數(shù)：第35頁，課件共38頁，創(chuàng)作于2023年2月第二