這個(gè)方向上的單位向量是新點(diǎn)是幾個(gè)常用的梯度公式例

1、這個(gè)方向上的單位向量是： 新點(diǎn)是 幾個(gè)常用的梯度公式： 例：求下列函數(shù)的梯度： 解： 故 故 三、Hesse矩陣： 下面我們來(lái)考察多元函數(shù) 關(guān)于X的二階導(dǎo)數(shù)。首先定義向量變量值函數(shù)的導(dǎo)數(shù)：定義：設(shè) 如果g（x）的所有分量 在 點(diǎn)均可微，則向量值函數(shù)g（x）在 處稱為可微。 根據(jù)前面多元函數(shù)定義，若g（x）在點(diǎn) 處可微，則對(duì)任意n維向量P均有： 因?yàn)橄蛄康臉O限是通過(guò)它所有分量的極限來(lái)定義的。則上式等價(jià)于： 其中： 稱之為向量值函數(shù)g（x）在 處的導(dǎo)數(shù)，也稱響亮值函數(shù)g（x）在點(diǎn) 處的Jacoi矩陣。 設(shè)m=n。且 其中 為n元函數(shù)，有二階連續(xù)偏導(dǎo)數(shù)。 從而由上面（8）可得： 這就是多元函數(shù)f（X

2、） 關(guān)于X的二階導(dǎo)數(shù)，稱為f（X） 的Hessian矩陣。 多元函數(shù)的一階導(dǎo)數(shù)即梯度 。二階導(dǎo)數(shù)即Hesse陣 . 這兩個(gè)概念在最優(yōu)化中是最常用的。 在高等數(shù)學(xué)中我們已經(jīng)證明過(guò)當(dāng)f（X）的所有二階偏導(dǎo)數(shù)連續(xù)時(shí)，有 j=1，2n因此在這種情況下，Hesse矩陣是對(duì)稱的。例：求目標(biāo)函數(shù)f（X）=的梯度和Hesse矩陣。 解：因?yàn)?則 又因?yàn)椋?故Hesse陣為： 下面幾個(gè)Jacobi公式是今后常用到的：（1） 則 （2） 則 （單位陣） （3） Q對(duì)稱。 則（4）若 其中f： 則： 證明（4）：對(duì)t求導(dǎo)，根據(jù)多元函數(shù)復(fù)合函數(shù)求導(dǎo)公式： 再對(duì)t求一次導(dǎo)數(shù)有： 7 多元函數(shù)的Taylor展開(kāi)公式 多元

3、函數(shù)Taylor展開(kāi)式在最優(yōu)化理論中十分重要。許多方法及其收斂性的證明都是從它出發(fā)的。下面就給出多元函數(shù)Taylor展開(kāi)式及其證明： 定理：設(shè)f： 具有二階連續(xù)偏導(dǎo)數(shù)。則： 其中 而01 證明：設(shè) 于是 按一元函數(shù)Taylor展開(kāi)定理把 在t=0點(diǎn)展開(kāi)。 有： 其中01 而 由前節(jié)（4） 代入上式 并令t=1 有： Taylor展開(kāi)式還可寫(xiě)成如下形式： 這是因?yàn)?的每一個(gè)分量都是連續(xù)函數(shù)。則 當(dāng) 時(shí) 從而定理中T aylor公式可以寫(xiě)成： 8 極小點(diǎn)及其判定條件一，極小點(diǎn)概念： f 例如：圖中一元函數(shù)f定義在區(qū)間a b上 為嚴(yán)格局部極小點(diǎn)， 0 X a b 為非嚴(yán)格局部極小點(diǎn)。 a為全局嚴(yán)格極

4、小點(diǎn) 。 定義1 滿足不等式 的點(diǎn)X的集合稱為 的鄰域。記為：定義2： 設(shè) 若 使 （1） 均有： 則稱 為f的非嚴(yán)格局部極小點(diǎn)。 （2） 。且 有 則稱 為f的嚴(yán)格局部極小點(diǎn)。定義3： 設(shè) 若 使 （1） 均有 則稱 為f在D上的非嚴(yán)格全局極小點(diǎn)。 （2） 有 則稱 f在D上的嚴(yán)格全局極小點(diǎn)。局部極小點(diǎn) 是指在 的某個(gè)鄰域內(nèi)，f在 處取極小值 全局極小點(diǎn) 是指在整個(gè)定義域D中，f在 處取極小值。 全局極小點(diǎn)可能在某個(gè)局部極小點(diǎn)達(dá)到，也可能在邊界達(dá)到。 我們希望知道的當(dāng)然是全局極小點(diǎn)，而到目前為止的一些最優(yōu)化算法卻基本上是求局部極小值點(diǎn)的。因此一般要先求出所有局部極小值點(diǎn)，再?gòu)闹姓页鋈謽O小點(diǎn)

5、。二、 局部極小點(diǎn)的判定條件： 為了求出函數(shù)的局部極小值點(diǎn)，我們首先希望知道函數(shù)f在局部極小點(diǎn)處滿足什么條件？以及滿足什么條件的點(diǎn)是局部極小點(diǎn)。定理1： 設(shè) 具有連續(xù)的一階偏導(dǎo)數(shù)，若 是f的局部極小點(diǎn)，且為D的內(nèi)點(diǎn)，則 證明：設(shè)e為任意單位向量。因?yàn)?是f（Z）的局部極小點(diǎn)。由定義知： 當(dāng)|t| 即 時(shí)，總有：令 （一元輔助函數(shù)）則上式即為：而 是D的內(nèi)點(diǎn)。從而與之對(duì)應(yīng)的t=0是 的局部極小點(diǎn)。根據(jù)一元函數(shù)極小點(diǎn)必要性條件知：而由前述性質(zhì)知： 則由單位向量任意性，即知（否則 取 則 矛盾注意：定理中條件僅為必要的，而不是充分的。例： 在 處梯度為但 只是雙曲拋物面的鞍點(diǎn)，而不是極小點(diǎn)。 f定義

6、：設(shè) 是D的內(nèi)點(diǎn)，若 則稱 為f的駐點(diǎn)。定理2、設(shè) 具有連續(xù)的二階偏導(dǎo)數(shù)， 是D的內(nèi)點(diǎn)，若 且 正定，則 是f（X）的嚴(yán)格局部極小點(diǎn)。 證明：因 正定，則 使對(duì) 均有： 將f在 處按Taylor公式展開(kāi)。注意 有： 當(dāng)X充分接近 時(shí)，上式左端的符號(hào)取決于右端的一項(xiàng)0（為正）。故 （X充分接近 時(shí)）。但我們實(shí)際中解最優(yōu)化問(wèn)題時(shí)，一般難以求得目標(biāo)函數(shù)的Hesse矩陣。更難以判別其正定性了。因此定理又只具有理論上的意義。推論：對(duì)于具有對(duì)稱正定矩陣的二次函數(shù)： 是它的唯一極小點(diǎn)。證明：求此二次函數(shù)的駐點(diǎn)： 由 知有唯一駐點(diǎn) 而這點(diǎn)處的Hesse陣 正定。 故由定理又知： 是其唯一極小點(diǎn)。 若多元函數(shù)在

7、其極小點(diǎn)處的Hesse陣正定，則它在這個(gè)極小點(diǎn)附近的等值面近似地呈現(xiàn)為同心橢球面族。 9、下降迭代算法及其收斂性證明：設(shè) 是多元函數(shù)f的極小點(diǎn)。并設(shè)f（X）=r是充分靠近極小點(diǎn) 的一個(gè)等值面，即 充分小。將f（X）在 點(diǎn)展開(kāi)為Taylor公式。 因 為極小值點(diǎn)。又 是高階無(wú)窮小量。省略。則有： 這是等值面f=（X）的一個(gè)近似曲面。由于假設(shè) 正定，則 是以 為中心的橢球面方程。T 我們知道求解最優(yōu)化問(wèn)題 可以通過(guò)求出其全部駐點(diǎn)，即求解非線性方程組： 達(dá)到。 但求解此非線性方程組的難度并不比原最優(yōu)化問(wèn)題求解難度小。因此一般不采用此法，而利用對(duì)原問(wèn)題的直接迭代法。一、下降迭代算法： 設(shè) 是f的一個(gè)局

8、部極小點(diǎn)。一般的尋找最優(yōu)點(diǎn)的方法是先找到極小點(diǎn)的一個(gè)初始估計(jì)點(diǎn) 然后按一定規(guī)則即算法產(chǎn)生一個(gè)序列 如果： 稱算法產(chǎn)生的序列收斂于 最常見(jiàn)的最優(yōu)化算發(fā)是下降算法。即給定初始點(diǎn)之后，如果每迭代一步均使目標(biāo)函數(shù)有所下降，即 在一般算法中，若以迭代到點(diǎn) 那么下一次迭代有下面兩種情形之一發(fā)生： 從 出發(fā)沿任何方向移動(dòng)，目標(biāo)函數(shù)不再下降。 根據(jù)定義知，此點(diǎn) 即為局部極小點(diǎn)。迭代終止。 如果算法在某步迭代時(shí)找到了極小點(diǎn) 則稱算法是有限步終止的。這種情形極少見(jiàn)。 從 出發(fā)至少有一個(gè)方向使目標(biāo)函數(shù)有所下降。 這時(shí)從中選定一個(gè)下降方向 再沿這個(gè)方向迭代一步。即在直線 上適當(dāng)找一個(gè)新點(diǎn) 使 此時(shí)我們說(shuō)完成了一次迭代。其中 稱為步長(zhǎng)因子。一個(gè)算法是有效的，如果它所產(chǎn)生的序列 收斂于極小點(diǎn) 在利用計(jì)算機(jī)求解是，總只能進(jìn)行有限次迭代，一般難求解精確的極小點(diǎn)，而只得到近似解。如何使計(jì)算機(jī)終止迭代而又得到一定精度的近似解。就需要預(yù)先給出算法終止準(zhǔn)則。 一個(gè)自然的想法就是當(dāng) 小于預(yù)先給定的誤差時(shí)，