最優(yōu)化問(wèn)題數(shù)學(xué)基礎(chǔ)

關(guān)于最優(yōu)化問(wèn)題數(shù)學(xué)基礎(chǔ)第1頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月§1.1二次型與正定矩陣

一、二次型與實(shí)對(duì)稱(chēng)矩陣二次型理論在最優(yōu)化設(shè)計(jì)中應(yīng)用十分廣泛．應(yīng)用矩陣的乘法運(yùn)算，二次型與實(shí)對(duì)稱(chēng)矩陣緊密地聯(lián)系在一起了，從而二次型的基本問(wèn)題又可轉(zhuǎn)化成實(shí)對(duì)稱(chēng)矩陣問(wèn)題．二次型理論問(wèn)題起源于化二次曲線和二次曲面的方程為標(biāo)準(zhǔn)形式的問(wèn)題．推廣到n維空間中，二次超曲面的一般方程為第2頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

第3頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月用矩陣表示為其中，矩陣A的元素正是二次型的項(xiàng)的系數(shù)的一半，是二次型的項(xiàng)的系數(shù)．因此，二次型和它的矩陣A是相互唯一決定的，且．第4頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月二、正定矩陣定義2.1如果二次型對(duì)于任何一組不全為零的數(shù)恒有則稱(chēng)正定，且二次型矩陣A也稱(chēng)為正定．簡(jiǎn)言之，一個(gè)對(duì)稱(chēng)矩陣A如果是正定的，則二次型對(duì)于所有非零向量X其值總為正．類(lèi)似可以給出定義，若二次型則A為半正定矩陣；若，則A為半負(fù)定矩陣；若二次型既不是半正定又不是半負(fù)定，就稱(chēng)矩陣A為不定的．第5頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

矩陣A為正定的充要條件是它的行列式的順序主子式全部大于零，即由此可見(jiàn)，正定矩陣必然是非奇異的．例2.1判斷矩陣是否正定．解∵，∴A是正定的．第6頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月一、方向?qū)?shù)所謂方向?qū)?shù)的概念是作為偏導(dǎo)數(shù)的一個(gè)推廣而引入，它主要研究函數(shù)沿任一給定方向的變化率．定義2.2設(shè)在點(diǎn)處可微，P是固定不變的非零向量，是方向P上的單位向量，則稱(chēng)極限

(2.1)為函數(shù)在點(diǎn)處沿P方向的方向?qū)?shù)，式中

是它的記號(hào)．§2.2方向?qū)?shù)與梯度第7頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

定義2.3設(shè)是連續(xù)函數(shù)，，且，若存在，當(dāng)時(shí)都有，則稱(chēng)P為在點(diǎn)處的下降方向．若，則稱(chēng)P為在點(diǎn)處的上升方向．由以上兩個(gè)定義可立刻得到如下的結(jié)論：若，則從出發(fā)在附近沿P方向是下降；若，則從出發(fā)在附近沿P方向是上升．第8頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月二、梯度定義2.4以的n個(gè)偏導(dǎo)數(shù)為分量的向量稱(chēng)為在X處的梯度，記為． 梯度也可以稱(chēng)為函數(shù)關(guān)于向量的一階導(dǎo)數(shù)．以下幾個(gè)特殊類(lèi)型函數(shù)的梯度公式是常用的：（1）若（常數(shù)），則，即；（2） ．證設(shè)，則于是的第個(gè)分量是．所以（3）．（4）若Q是對(duì)稱(chēng)矩陣，則第9頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月三、梯度與方向?qū)?shù)之間的關(guān)系定理2.1設(shè)在點(diǎn)處可微，則，其中是方向上的單位向量.由這個(gè)定理容易得到下列結(jié)論：(1)若，則P的方向是函數(shù)在點(diǎn)處的下降方向；(2)若，則的方向是函數(shù)在點(diǎn)處的上升方向．方向?qū)?shù)的正負(fù)決定了函數(shù)值的升降，而升降的快慢就由它的絕對(duì)值大小決定．絕對(duì)值越大，升降的速度就越快，即第10頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月=·1·

上式中的等號(hào)，當(dāng)且僅當(dāng)?shù)姆较蚺c的方向相同時(shí)才成立．由此可得如下重要結(jié)論(如圖2.1所示）：(1)梯度方向是函數(shù)值的最速上升方向；(2)函數(shù)在與其梯度正交的方向上變化率為零；(3)函數(shù)在與其梯度成銳角的方向上是上升的，而在與其梯度成鈍角的方向上是下降的；(4)梯度反方向是函數(shù)值最速下降方向．

·1·第11頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月對(duì)于一個(gè)最優(yōu)化問(wèn)題，為了盡快得到最優(yōu)解，在每一步迭代過(guò)程中所選取的搜索方向總是希望它等于或者是靠近于目標(biāo)函數(shù)的負(fù)梯度-----圖2.1的方向，這樣才能使函數(shù)值下降的最快．第12頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月例2.2試求目標(biāo)函數(shù)在點(diǎn)處的最速下降方向，并求沿這個(gè)方向移動(dòng)一個(gè)單位長(zhǎng)后新點(diǎn)的目標(biāo)函數(shù)值．解因?yàn)樗宰钏傧陆捣较蚴牵?=．這個(gè)方向上的單位向量是故新點(diǎn)是對(duì)應(yīng)目標(biāo)函數(shù)值為第13頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月§2.3海色矩陣及泰勒展式

一、海色（Hesse）矩陣前面說(shuō)過(guò)，梯度是關(guān)于的一階導(dǎo)數(shù)，現(xiàn)在要問(wèn)關(guān)于的二階導(dǎo)數(shù)是什么？定義2.5設(shè)：:，，如果在點(diǎn)處對(duì)于自變量的各分量的二階偏導(dǎo)數(shù)都存在，則稱(chēng)函數(shù)在點(diǎn)處二階可導(dǎo)，并且稱(chēng)矩陣第14頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月是在點(diǎn)處的Hesse矩陣．在數(shù)學(xué)分析中已經(jīng)知道，當(dāng)在點(diǎn)處的所有二階偏導(dǎo)數(shù)為連續(xù)時(shí)有因此，在這種情況下Hesse矩陣是對(duì)稱(chēng)的．第15頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月例2.3求目標(biāo)函數(shù)的梯度和Hesse矩陣．解因?yàn)?/p>

所以第16頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月又因?yàn)樗缘?7頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月例2.4設(shè)，求線性函數(shù)在任意點(diǎn)X處的梯度和Hesse矩陣．解:設(shè),則

（2.2）

∴

由式（2.2）進(jìn)而知∴（階零矩陣）．第18頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

例2.5設(shè)是對(duì)稱(chēng)矩陣，，求二次函數(shù)在任意點(diǎn)處的梯度和Hesse矩陣．解設(shè)則將它對(duì)各變量求偏導(dǎo)數(shù)，得∴

第19頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月在上式中顯然再對(duì)它們求偏導(dǎo)數(shù)得∴以上例子說(shuō)明，元函數(shù)求導(dǎo)與一元函數(shù)的求導(dǎo)在形式上是一致的，即線性函數(shù)的一階導(dǎo)數(shù)為常向量，其二階導(dǎo)數(shù)為零矩陣；而二次函數(shù)的一階導(dǎo)數(shù)為線性向量函數(shù)，二階導(dǎo)數(shù)為常矩陣．最后介紹在今后的計(jì)算中要用到的向量函數(shù)的導(dǎo)數(shù)．第20頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定義2.6設(shè)，記如果在點(diǎn)處于自變量的各分量的偏導(dǎo)數(shù)都存在，則稱(chēng)向量函數(shù)在點(diǎn)處是一階可導(dǎo)的，并且稱(chēng)矩陣第21頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月是在點(diǎn)處的一階導(dǎo)數(shù)或Jacobi矩陣，簡(jiǎn)記為由于n元函數(shù)的梯度是向量函數(shù)所以的一階導(dǎo)數(shù)或Jacobi矩陣為第22頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

得到第23頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月?lián)?，從上式得知，函?shù)梯度的Jacobi矩陣即為此函數(shù)的Hesse矩陣．下面給出今后要用到的幾個(gè)公式：（1），其中是分量全為常數(shù)的維向量，是階零矩陣．（2），其中是維向量，是階單位矩陣．（3），其中是階矩陣．（4）設(shè)，其中，則第24頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月二、泰勒展開(kāi)式

多元函數(shù)的泰勒展開(kāi)在最優(yōu)化方法中十分重要，許多方法及其收斂性的證明是從它出發(fā)，這里給出泰勒展開(kāi)定理及其證明．

定理2.2設(shè)具有二階連續(xù)偏導(dǎo)數(shù)，則（2.3）其中，而．證設(shè)，于是．對(duì)按一元函數(shù)在點(diǎn)展開(kāi)，得到其中．令，于是(2.4)第25頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月又因?yàn)榇胧剑?.4）中，所以

式（2.3）還可以寫(xiě)成

第26頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月§2.4極小點(diǎn)的判定條件函數(shù)在局部極小點(diǎn)應(yīng)滿足什么條件？反之，滿足什么條件的是局部極小點(diǎn)？這是我們關(guān)心的基本問(wèn)題．下面針對(duì)多元函數(shù)的情形給出各類(lèi)極小點(diǎn)的定義．定義2.7

對(duì)于任意給定的實(shí)數(shù)，滿足不等式集合稱(chēng)為點(diǎn)的鄰域，記為定義2.8

設(shè)，若存在點(diǎn)和數(shù)，都有，則稱(chēng)為局部極小點(diǎn)（非嚴(yán)格）．第27頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定義2.9

設(shè)，若存在點(diǎn)和數(shù)，但，都有，則稱(chēng)為的嚴(yán)格局部極小點(diǎn)．定義2.10

設(shè)，若存在點(diǎn)和數(shù)，都有，則稱(chēng)為在D上的全局極小點(diǎn)（非嚴(yán)格）．定義2.11

設(shè)，若存在點(diǎn)，但，都有，則稱(chēng)為在D上的嚴(yán)格全局極小點(diǎn)．第28頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月由以上定義看到，是局部極小點(diǎn)，是指在以為中心的一個(gè)鄰域中在點(diǎn)處取得最小的值；而是全局極小點(diǎn)，是指在定義域D中在點(diǎn)處取得最小的值．全局極小點(diǎn)可能在某個(gè)局部極小點(diǎn)處取得，也可能在D的邊界上取得．實(shí)際問(wèn)題通常是求全局極小點(diǎn)，但是直到目前為止，最優(yōu)化中絕大多數(shù)方法都是求局部極小點(diǎn)的，解決這一矛盾的一種方法是先求出所有的局部極小點(diǎn)，再求全局極小點(diǎn)．第29頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.3

設(shè)具有連續(xù)的一階偏導(dǎo)數(shù)．若是的局部極小點(diǎn)并且是D的內(nèi)點(diǎn)，則（2.5）證設(shè)是任意單位向量，因?yàn)槭堑木植繕O小點(diǎn)，所以存在，當(dāng)或時(shí)總有． （2.6）引入輔助一元函數(shù)，此時(shí)，由式（2.6）得．又因第30頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月是D的內(nèi)點(diǎn)，所以與它對(duì)應(yīng)的是的局部極小點(diǎn)．又根據(jù)一元函數(shù)極小點(diǎn)的必要條件，得到，即再由單位向量的任意性得．這里條件（2.5）僅僅是必要的，而不是充分的．例如在點(diǎn)處的梯度是，但是雙曲面的鞍點(diǎn)，而不是極小點(diǎn)（如圖2.2所示）．第31頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定義2.12

設(shè)是D的內(nèi)點(diǎn)．若，則稱(chēng)為的駐點(diǎn)．定理2.4

設(shè)具有連續(xù)二階偏導(dǎo)數(shù)，是D的一個(gè)內(nèi)點(diǎn)．若，并且是正定的，則是的嚴(yán)格局部極小點(diǎn)．第32頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月證因?yàn)槭钦ň仃?，則必存在，使得對(duì)于所有的都有（參看高等代數(shù)二次型理論）．現(xiàn)在將在點(diǎn)處按泰勒公式展開(kāi)，并注意到，于是可得第33頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月當(dāng)充分接近（但）時(shí)，上式左端的符號(hào)取決于右端第一項(xiàng)，因此一般說(shuō)來(lái)，這個(gè)定理僅具有理論意義．因?yàn)閷?duì)于復(fù)雜的目標(biāo)函數(shù)，Hesse矩陣不易求得，它的正定性就更難判定了．第34頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.5

若多元函數(shù)在其極小點(diǎn)處的Hesse矩陣是正定的，則它在這個(gè)極小點(diǎn)附近的等值面近似地呈現(xiàn)為同心橢球面族．證設(shè)是多元函數(shù)的極小點(diǎn)，并設(shè)是充分靠近極小點(diǎn)的一個(gè)等值面，即充分?。言邳c(diǎn)展成泰勒表達(dá)式，即右端第二項(xiàng)因是極小點(diǎn)有而消失．如果略去第4項(xiàng),那么又因?yàn)?，所以?.7）按假設(shè)正定，由二次型理論知式（2.7）是以為中心的橢球面方程．第35頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月§2.5錐、凸集、凸錐

在本節(jié)中，給出維Euclid空間中的錐、凸集和凸錐的定義，以及與其相關(guān)的一些概念和性質(zhì)．一、定義與簡(jiǎn)單性質(zhì)定義2.13

集合．若，及任意的數(shù)，均有，則稱(chēng)C為錐．定義2.14

設(shè)是中的個(gè)已知點(diǎn)．若對(duì)于某點(diǎn)存在常數(shù)且使得，則稱(chēng)是的凸組合．若且，則稱(chēng)是的嚴(yán)格凸組合．第36頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定義2.15

集合．若和，以及任-意的數(shù)，均有則稱(chēng)C為凸集．定義2.16

設(shè)且，，則集合稱(chēng)為中的半空間．特別地，規(guī)定：空集是凸集．容易驗(yàn)證，空間、半空間、超平面、直線、點(diǎn)、球都是凸集．第37頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.6

任意一組凸集的交仍然是凸集．證設(shè)，其中I是的下標(biāo)集，都是凸集．任取，則對(duì)于任意都是．任取且，因是凸集,有于是，即C是凸集．若集合C為錐，C又為凸集，則稱(chēng)C為凸錐．若C為凸集，也為閉集，則稱(chēng)C為閉凸集．若C為凸錐，也為閉集，則稱(chēng)C為閉凸錐．第38頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月由數(shù)學(xué)歸納法不難證明如下的定理2.7和2.8．定理2.7

集合C為凸集的充分必要條件是，及任意數(shù)（），有定理2.8

集合C為凸錐的充分必要條件是，及任意數(shù),()，均有定義2.17

有限個(gè)半空間的交稱(chēng)為多面集,其中為矩陣，為向量第39頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月例2.6

集合為多面集，其幾何表示如圖2.3畫(huà)斜線部分．圖2.3在多面集的表達(dá)式中，若，則多面集也是凸錐，稱(chēng)為多面錐．在有關(guān)凸集的理論及應(yīng)用中，極點(diǎn)和極方向的概念有著重要作用．第40頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定義2.18

設(shè)C為非空凸集，,若不能表示成C中兩個(gè)不同點(diǎn)的凸組合；換言之，若設(shè),必推得，則稱(chēng)是凸集C的極點(diǎn)．按此定義，圖2.4(a)中多邊形的頂點(diǎn)，，，和是極點(diǎn)，而和不是極點(diǎn)．圖2.4(b)中圓周上的點(diǎn)均為極點(diǎn)．由圖2.4可以看出，在給定的兩個(gè)凸集中，任何一點(diǎn)都能表示成極點(diǎn)的凸組合．第41頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

定義2.19

設(shè)C為中的閉凸集，P為非零向量，如果對(duì)C中的每一個(gè)，都有射線，則稱(chēng)向量P為C的方向．又設(shè)和是的兩個(gè)方向，若對(duì)任何正數(shù)，有，則稱(chēng)和是兩個(gè)不同的方向．若C的方向P不能表示成該集合的兩個(gè)不同方向的正的線性組合，則稱(chēng)p為c的極方向．第42頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月概括起來(lái)，有下列定理：定理2.9

（RepresentationTheorem）設(shè)為非空多面集，則有（1）極點(diǎn)集非空，且存在有限個(gè)極點(diǎn)（2）極方向集合為空集的充要條件是C有界．若無(wú)界，則存在有限個(gè)極方向（3）的充要條件是其中第43頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月二、凸集分離定理凸集分離定理是凸分析中最重要的定理之一，它在最優(yōu)化理論和模型當(dāng)中具有重要的應(yīng)用．所謂集合的分離是指對(duì)于兩個(gè)集合C1和C2存在一個(gè)超平面H，使得C1在H的一邊，而C2在H的另一邊．如果超平面方程為，那么對(duì)位于H某一邊的點(diǎn)必有，而對(duì)位于H另一邊的必有．定義2.20

設(shè)C1和C2是中的兩個(gè)非空集合，是超平面，若對(duì)于每一個(gè)都有，對(duì)于每一個(gè)都有（或情況恰好相反），則稱(chēng)超平面H分離集合C1和C2．第44頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.10若C為閉凸集，，則存在以及數(shù)，對(duì)，有并且存在，使得．定理2.11設(shè)C為凸集，，則存在使得，有定理2.12設(shè)C為閉凸集，則C可表為所有包含C的半空間的交，即其中第45頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月§2.6凸函數(shù)

一、各類(lèi)凸函數(shù)定義及性質(zhì)設(shè)函數(shù)定義在凸集R上，其中定義2.21若存在常數(shù)，使得以及，有則稱(chēng)為一致凸函數(shù)；有則稱(chēng)為嚴(yán)格凸函數(shù)；有則稱(chēng)為凸函數(shù)．第46頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定義2.22設(shè)為可微函數(shù)．若滿足都有則稱(chēng)為偽凸函數(shù)．定義2.23對(duì)，且，以及，若則稱(chēng)為嚴(yán)格擬凸函數(shù)；定義2.24對(duì)，以及，若則稱(chēng)為擬凸函數(shù)；定義2.25對(duì)則稱(chēng)為強(qiáng)擬凸函數(shù)．第47頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.13

若為一致凸函數(shù)，則為嚴(yán)格凸函數(shù)．證：設(shè)為一致凸函數(shù)，則，，，及，有即為嚴(yán)格凸函數(shù)．第48頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.14若為嚴(yán)格凸函數(shù)，則為凸函數(shù)．定理2.15設(shè)為可微函數(shù)．若為凸函數(shù)，則為偽凸函數(shù)．定理2.16設(shè)為偽凸函數(shù)，則為嚴(yán)格擬凸函數(shù)．定理2.17設(shè)為下半連續(xù)的嚴(yán)格擬凸函數(shù)，則為擬凸函數(shù)．定理2.18若為嚴(yán)格凸函數(shù)，則為強(qiáng)擬凸函數(shù)．定理2.19設(shè)為強(qiáng)擬凸函數(shù)，則為嚴(yán)格擬凸函數(shù)．第49頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月凸函數(shù)與凸集之間有如下關(guān)系：定理2.20

設(shè)，其中C為非空凸集．若f是凸函數(shù)，則對(duì)于任意實(shí)數(shù)，水平集是凸集．證若是空集，則是凸集．以下設(shè)非空，任取，則．設(shè)且，由f是凸函數(shù)知即，所以是凸集．判定一個(gè)函數(shù)是否為凸函數(shù)，一般說(shuō)來(lái)是比較困難，但當(dāng)函數(shù)可微時(shí)，有如下幾個(gè)定理可供使用．第50頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.21

設(shè)是可微函數(shù)，其中C為凸集．則（1）為凸函數(shù)的充要條件是，，都有 （2.11）（2）為嚴(yán)格凸函數(shù)的充要條件是，且都有證（1）必要性已知f是C上的凸函數(shù)，要證式（2.11）．由凸函數(shù)定義知，對(duì)滿足的任意數(shù)都有令，則．代入上式中，經(jīng)移項(xiàng)可得第51頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月

（2.12）令，由f的可微性，利用一階泰勒展式、方向?qū)?shù)定義及式（2.12），可得這就證明了式（2.11）．充分性任取一對(duì)數(shù)且考慮點(diǎn)，根據(jù)充分性假設(shè)，應(yīng)有第52頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月兩式分別乘以和后相加，得到由凸函數(shù)定義知,f是C上的凸函數(shù)．（2）充分性可依照（1）的充分性證得．必要性因?yàn)閲?yán)格凸函數(shù)本身是凸函數(shù)，所以且,都有以下證明式中只能取“>”號(hào)．假設(shè)存在，且，使得 （2.12）第53頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月取，由的嚴(yán)格凸性，有 （2.13）把式（2.12）代入式（2.13）中，經(jīng)整理得根據(jù)本定理（1）部分結(jié)論得知，此式與是凸函數(shù)相矛盾．定理2.22

設(shè)是二次可微函數(shù)，C為非空開(kāi)凸集，則f為c上凸函數(shù)的充要條件是，Hesse矩陣在C上到處半正定．證明略．第54頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.23

設(shè)是二次可微函數(shù)，C為非空凸集．若Hesse矩陣在C上到處正定，則f在C上為嚴(yán)格凸函數(shù)．證明略，需要注意，該定理的逆命題不真．例如為嚴(yán)格凸函數(shù)，但是它的Hesse矩陣在點(diǎn)x=0處是半正定的．二、凸規(guī)劃定義2.26

設(shè)，其中C是非空凸集，f是凸函數(shù)，則形式為的問(wèn)題稱(chēng)為凸規(guī)劃問(wèn)題．第55頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月更進(jìn)一步，設(shè)若都是上的凸函數(shù)，都是上的線性函數(shù)，則容易驗(yàn)證C是凸集．事實(shí)上，因?yàn)槎际峭购瘮?shù)，根據(jù)定理2.20集合也都是凸集．此外，超平面，也都是凸集．顯然，C是的交集，根據(jù)定理2.6，C是凸集．于是，在這種情況下凸規(guī)劃問(wèn)題又可表示成如下形式：第56頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月定理2.24設(shè)是凸規(guī)劃問(wèn)題的局部極小點(diǎn)，（1）若f是凸函數(shù)，則是凸規(guī)劃問(wèn)題全局極小點(diǎn)；（2）若f是嚴(yán)格凸函數(shù)，則是凸規(guī)劃問(wèn)題的唯一全局極小點(diǎn)．證（1）使用反證法．假設(shè)不是全局極小點(diǎn)，則必存在使得．對(duì)于Z與的任意凸組合，其中且，根據(jù)的凸性，有由此看到，當(dāng)充分小時(shí)，充分接近,注意到此時(shí)也有,而這與是局部極小點(diǎn)相矛盾．因此必是全局極小點(diǎn)．第57頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月（2）假設(shè)不是唯一全局極小點(diǎn)．必存在但使得考慮中點(diǎn)．由f的嚴(yán)格凸性，有．此式與為全局極小點(diǎn)相矛盾．這就證明了唯一性．定義2.27形式為（2.14）的函數(shù)稱(chēng)為n元二次函數(shù)，其中第58頁(yè)，課件共67頁(yè)，創(chuàng)作于2023年2月這里的Q是對(duì)稱(chēng)矩陣，即．若Q為正定，則稱(chēng)（2.14）為正定二次函數(shù)．注意到，由定理2.23知，正定二次函數(shù)是嚴(yán)格凸函數(shù)，在最優(yōu)化算法構(gòu)造中它起著特殊的作用．定義2.28形式為