人工神經(jīng)網(wǎng)絡函數(shù)導數(shù)最值

1、人工神經(jīng)網(wǎng)絡函數(shù)導數(shù)最值第1頁，共99頁，2022年，5月20日，20點17分，星期日2第四章 函數(shù)、導數(shù)、最值1. 導數(shù)和方向?qū)?shù) 2. 導數(shù)的幾何意義3. 函數(shù)的最值4. 梯度下降法第2頁，共99頁，2022年，5月20日，20點17分，星期日3導數(shù)的概念函數(shù)f (x)在x=x0處的瞬時變化率為：我們稱它為函數(shù)f (x)在x=x0處的導數(shù)記作：第3頁，共99頁，2022年，5月20日，20點17分，星期日4導數(shù)的概念xoyx0 x0+xx0+xyx0y = f (x)比如, y = f (x),如圖第4頁，共99頁，2022年，5月20日，20點17分，星期日5方向?qū)?shù)的概念表示在 x0處

2、沿 x 軸正方向的變化率.表示在 x0處沿 x 軸負方向的變化率.第5頁，共99頁，2022年，5月20日，20點17分，星期日6方向?qū)?shù)的概念又比如, z = f (x, y), 偏導數(shù)分別表示函數(shù)在點 (x0, y0)沿 x 軸方向,沿 y 軸方向的變化率.第6頁，共99頁，2022年，5月20日，20點17分，星期日7方向?qū)?shù)的概念如圖xoyzx0(x0, y0)y第7頁，共99頁，2022年，5月20日，20點17分，星期日8方向?qū)?shù)的概念表示在 (x0, y0)處沿 y 軸正方向的變化率.表示在 (x0, y0)處沿 y 軸負方向的變化率.第8頁，共99頁，2022年，5月20日，2

3、0點17分，星期日9方向?qū)?shù)的概念yxzoz = f (x, y)X0M0即 f x (x0, y0) 表示 y = y0 與 z = f (x, y)的交線在 M0處的切線對 x 的斜率.T11 : z = f (x, y0)1y0把偏導數(shù)概念略加推廣即可得到方向?qū)?shù)的概念.第9頁，共99頁，2022年，5月20日，20點17分，星期日10方向?qū)?shù)的概念yxzoz = f (x, y)M0X022 : z = f (x0 , y)即 f y (x0, y0) 表示 x = x0 與 z = f (x, y)的交線在 M0處的切線對 y 的斜率.x0T2第10頁，共99頁，2022年，5月20

4、日，20點17分，星期日11方向?qū)?shù)的概念如圖xoyzM0lX0=(x0, y0)X = (x0+x, y0+y)MN第11頁，共99頁，2022年，5月20日，20點17分，星期日12方向?qū)?shù)的概念若 z = f (X) = f (x, y)在 X0 = (x0, y0)處偏導存在.則在 X0 處沿 x 軸正向的方向?qū)?shù),第12頁，共99頁，2022年，5月20日，20點17分，星期日13方向?qū)?shù)的概念在 X0 處沿 x 軸負方向的方向?qū)?shù),同樣可得沿 y 軸正向的方向?qū)?shù)為 f y (x0, y0), 而沿 y 軸負方向的方向?qū)?shù)為 f y (x0, y0).第13頁，共99頁，2022年

5、，5月20日，20點17分，星期日14導數(shù)的概念設求例：解：第14頁，共99頁，2022年，5月20日，20點17分，星期日導數(shù)的幾何意義y=f(x)PQMxyOxyPy=f(x)QMxyOxy 如圖,曲線C是函數(shù)y=f(x)的圖象,P(x0,y0)是曲線C上的任意一點,Q(x0+x,y0+y)為P鄰近一點,PQ為C的割線,PM/x軸,QM/y軸,為PQ的傾斜角.斜率!則第15頁，共99頁，2022年，5月20日，20點17分，星期日導數(shù)的幾何意義PQoxyy=f(x)割線切線T請看當點Q沿著曲線逐漸向點P接近時,割線PQ繞著點P逐漸轉(zhuǎn)動的情況.第16頁，共99頁，2022年，5月20日，20

6、點17分，星期日導數(shù)的幾何意義 設切線的傾斜角為,那么當x0時,割線PQ的斜率,稱為曲線在點P處的切線的斜率.提供了求曲線上某點切線的斜率的一種方法;切線斜率的本質(zhì)函數(shù)在x=x0處的導數(shù).第17頁，共99頁，2022年，5月20日，20點17分，星期日(3)當 t = t2 時, 曲線 h(t) 在 t2處的切線 l2 的斜率 h(t2) 0 .故在 t = t2 附近曲線下降,即函數(shù) h(t) 在t = t2 附近也單調(diào)遞減.導數(shù)的幾何意義例曲線h(t)在t0 , t1 , t2 附近的變化情況.解:可用曲線 h(t) 在 t0 , t1 , t2 處的切線刻畫曲線 h(t) 在上述三個時刻

7、附近的變化情況.(1)當 t = t0 時, 曲線 h(t) 在 t0 處的切線 l0 平行于 x 軸.故在 t = t0 附近曲線比較平坦, 幾乎沒有升降.(2)當 t = t1 時, 曲線 h(t) 在 t1 處的切線 l1 的斜率 h(t1) 0f (x)0設函數(shù)y=f(x) 在某個區(qū)間內(nèi)可導，函數(shù)單調(diào)性與導數(shù)關系為增函數(shù)為減函數(shù)為常數(shù)第19頁，共99頁，2022年，5月20日，20點17分，星期日凹凸曲線的凹凸性第20頁，共99頁，2022年，5月20日，20點17分，星期日定理:設f (x)在a, b上連續(xù)，在(a, b)內(nèi)具有一階和二階導數(shù)，那么例1解所以曲線是凸的。曲線的凹凸性第

8、21頁，共99頁，2022年，5月20日，20點17分，星期日例2解曲線的凹凸性第22頁，共99頁，2022年，5月20日，20點17分，星期日拐點定義：曲線的凹凸性一般地，設 y = f (x) 在I上連續(xù)，x0 是 I 的內(nèi)點，如果曲線 y = f (x) 在經(jīng)過點(x0，f (x0) 時，曲線的凹凸性改變了，那么稱點(x0，f (x0)為這曲線的拐點。第23頁，共99頁，2022年，5月20日，20點17分，星期日解凹的凸的凹的拐點拐點曲線的凹凸性第24頁，共99頁，2022年，5月20日，20點17分，星期日25 下圖是導函數(shù) 的圖象, 試找出函數(shù) 的極值點, 并指出哪些是極大值點,

9、哪些是極小值點.abxyx1Ox2x3x4x5x6第25頁，共99頁，2022年，5月20日，20點17分，星期日函數(shù)的極值定義設函數(shù)f (x)在點x0附近有定義，如果對x0附近的所有點，都有f (x)f (x0), 則f (x0) 是函數(shù)f (x)的一個極小值，記作y 極小值= f (x0)；函數(shù)的極大值與極小值統(tǒng)稱為極值 使函數(shù)取得極值的點x0稱為極值點第26頁，共99頁，2022年，5月20日，20點17分，星期日用導數(shù)法求解函數(shù)極值的步驟(1)求導函數(shù)f (x)；(2)求解方程f (x) = 0；(3)檢查f (x)在方程f (x) = 0的根的左右的符號,并根據(jù)符號確定極大值與極小值

10、.口訣：左負右正為極小，左正右負為極大。第27頁，共99頁，2022年，5月20日，20點17分，星期日函數(shù)極值的判定定理 如果函數(shù)f (x)在x0附近有連續(xù)的二階導數(shù)f (x) ，f (x0) 0， f (x)0，那么若f (x0)0，則函數(shù)f (x)在點x0處取得極大值若f (x0)0，則函數(shù)f (x)在點x0處取得極小值第28頁，共99頁，2022年，5月20日，20點17分，星期日例：求下列函數(shù)的極值f (x)2x33x2解： f (x)6x26x，f (x)12x6令6x26x0，得駐點為x11，x20f (1)60，f (0)60把x11，x20代入原函數(shù)計算得f (1)1、f (

11、0)0當x1時，y極小1，x0時，y極大0函數(shù)極值的判定第29頁，共99頁，2022年，5月20日，20點17分，星期日例：求下列函數(shù)的極值f (x)sinxcosx，x0,2解： f (x)cosxsinx，令cosxsinx0，得駐點為x1 ，x2 ，又f (x)sinxcosx，把x1 ，x2 代入原函數(shù)計算得f ( ) 、f ( ) 。所以當x 時，y極大 ，x 時，y極小注意 如果f (x0)0，f (x0)0或不存在，本定理無效，則需要考察點x0兩邊f(xié) (x0)的符號來判定是否為函數(shù)的極值點。函數(shù)極值的判定第30頁，共99頁，2022年，5月20日，20點17分，星期日實例問題的實

12、質(zhì)：問題：一塊長方形的金屬板，四個頂點的坐標是(1,1)，(5,1)，(1,3)，(5,3)在坐標原點處有一個火焰，它使金屬板受熱假定板上任意一點處的溫度與該點到原點的距離成反比在(3,2)處有一個螞蟻，問這只螞蟻應沿什么方向爬行才能最快到達較涼快的地點？應沿由熱變冷變化最驟烈的方向（即梯度方向）爬行第31頁，共99頁，2022年，5月20日，20點17分，星期日梯度的概念第32頁，共99頁，2022年，5月20日，20點17分，星期日在幾何上 表示一個曲面曲面被平面 所截得所得曲線在xoy面上投影如圖等高線梯度為等高線上的法向量梯度的概念第33頁，共99頁，2022年，5月20日，20點17

13、分，星期日等高線的畫法第34頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第35頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第36頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第37頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第38頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第39頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第40頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第41頁，共99頁，2022年，5月20日，2

14、0點17分，星期日等高線的畫法第42頁，共99頁，2022年，5月20日，20點17分，星期日等高線的畫法第43頁，共99頁，2022年，5月20日，20點17分，星期日例如,等高線的畫法第44頁，共99頁，2022年，5月20日，20點17分，星期日梯度與等高線的關系：第45頁，共99頁，2022年，5月20日，20點17分，星期日類似于二元函數(shù)，此梯度也是一個向量，其方向與取得最大方向?qū)?shù)的方向一致，其模為方向?qū)?shù)的最大值.梯度的概念可以推廣到三元函數(shù)第46頁，共99頁，2022年，5月20日，20點17分，星期日梯度的概念可以推廣到三元函數(shù)第47頁，共99頁，2022年，5月20日，20

15、點17分，星期日在 處梯度解由梯度計算公式得故梯度的概念可以推廣到三元函數(shù)第48頁，共99頁，2022年，5月20日，20點17分，星期日49 梯度下降法又稱最速下降法。函數(shù)J(a)在某點ak的梯度 是一個向量，其方向是J(a)增長最快的方向。顯然，負梯度方向是J(a)減少最快的方向。 在梯度下降法中，求某函數(shù)極大值時，沿著梯度方向走，可以最快達到極大點；反之，沿著負梯度方向走，則最快地達到極小點。 梯度下降法第49頁，共99頁，2022年，5月20日，20點17分，星期日梯度下降法第50頁，共99頁，2022年，5月20日，20點17分，星期日51 求函數(shù)J(a)極小值的問題，可以選擇任意初

16、始點a0 ，從a0出發(fā)沿著負梯度方向走，可使得J(a)下降最快。 s(0)：點a0的搜索方向。梯度下降法第51頁，共99頁，2022年，5月20日，20點17分，星期日52 對于任意點ak，可以定義ak點的負梯度搜索方向的單位向量為: 從ak點出發(fā)，沿著 方向走一步，步長為 ,得到新點ak+1,表示為：梯度下降法第52頁，共99頁，2022年，5月20日，20點17分，星期日53梯度下降法第53頁，共99頁，2022年，5月20日，20點17分，星期日54因此，在新點ak+1，函數(shù)J(a)的函數(shù)值為：所有的ak組成一個序列，該序列由迭代算法生成 a0, a1, a2, . , ak, ak+1

17、, .該序列在一定條件下收斂于使得J(a)最小的解a*迭代算法公式：梯度下降法第54頁，共99頁，2022年，5月20日，20點17分，星期日55迭代算法公式：關鍵問題：如何設計步 長如果選得太小，則算法收斂慢，如果選得太大， 可能會導致發(fā)散。 梯度下降法第55頁，共99頁，2022年，5月20日，20點17分，星期日56梯度法的迭代過程：選取初始點a0，給定允許誤差0,0,并令k=0。計算負梯度 及其單位向量 。檢查是否滿足條件 ，若滿足則轉(zhuǎn)8，否則繼續(xù)。計算最佳步長 。令：計算并檢驗另一判據(jù)： ，滿足轉(zhuǎn)8，否則繼續(xù)。令k=k+1,轉(zhuǎn)2。輸出結(jié)果，結(jié)束。梯度下降法第56頁，共99頁，2022

18、年，5月20日，20點17分，星期日57目標函數(shù)曲面J(W)第57頁，共99頁，2022年，5月20日，20點17分，星期日58目標函數(shù)曲面J(W) -連續(xù)、可微第58頁，共99頁，2022年，5月20日，20點17分，星期日59目標函數(shù)曲面J(W) -連續(xù)、可微第59頁，共99頁，2022年，5月20日，20點17分，星期日60全局極小點第60頁，共99頁，2022年，5月20日，20點17分，星期日61局部極小點1第61頁，共99頁，2022年，5月20日，20點17分，星期日62局部極小點2第62頁，共99頁，2022年，5月20日，20點17分，星期日63目標函數(shù)曲面J(W)第63頁，

19、共99頁，2022年，5月20日，20點17分，星期日64目標函數(shù)曲面J(W) -連續(xù)第64頁，共99頁，2022年，5月20日，20點17分，星期日65目標函數(shù)曲面J(W) -連續(xù)、可微第65頁，共99頁，2022年，5月20日，20點17分，星期日66初始狀態(tài)1第66頁，共99頁，2022年，5月20日，20點17分，星期日67搜索尋優(yōu)梯度下降第67頁，共99頁，2022年，5月20日，20點17分，星期日68搜索尋優(yōu)梯度下降第68頁，共99頁，2022年，5月20日，20點17分，星期日69搜索尋優(yōu)梯度下降第69頁，共99頁，2022年，5月20日，20點17分，星期日70搜索尋優(yōu)梯度下

20、降第70頁，共99頁，2022年，5月20日，20點17分，星期日71搜索尋優(yōu)梯度下降第71頁，共99頁，2022年，5月20日，20點17分，星期日72搜索尋優(yōu)梯度下降第72頁，共99頁，2022年，5月20日，20點17分，星期日73搜索尋優(yōu)梯度下降第73頁，共99頁，2022年，5月20日，20點17分，星期日74搜索尋優(yōu)梯度下降第74頁，共99頁，2022年，5月20日，20點17分，星期日75搜索尋優(yōu)梯度下降第75頁，共99頁，2022年，5月20日，20點17分，星期日76搜索尋優(yōu)梯度下降第76頁，共99頁，2022年，5月20日，20點17分，星期日77搜索尋優(yōu)梯度下降第77頁，共99頁，2022年，5月20日，20點17分，星期日78搜索尋優(yōu)梯度下降第78頁，共99頁，2022年，5月20日，20點17分，星期日79搜索尋優(yōu)梯度下降第79頁，共99頁，2022年，5月20日，20點17分，星期日80搜索尋優(yōu)梯度下降第80頁，共99頁，2022年，5月20日，20點17分，星期日81搜索尋優(yōu)梯度下降第81頁，共99頁，2022年，5月20日，20點17分，星期日82目標函數(shù)全局極小點第82頁，共99頁，2022年，5月20日，20點17分，星期日83目標函數(shù)全局極小點第83頁，共99頁，2022年