第三章梯度法和共軛梯度法

第三章梯度法和共軛梯度法第1頁，課件共26頁，創(chuàng)作于2023年2月一.無約束最優(yōu)化問題解析方法：利用函數(shù)的解析性質(zhì)構(gòu)造迭代公式，使之收斂到最優(yōu)解。第2頁，課件共26頁，創(chuàng)作于2023年2月下降迭代算法的概念回顧1.一般迭代算法集合S上的迭代算法A：（1）初始點(diǎn)；（2）按照某種規(guī)則A產(chǎn)生下一個(gè)迭代點(diǎn)。（i）如果點(diǎn)列收斂于最優(yōu)解，則稱算法A收斂。（ii）如果，則稱算法A為下降迭代算法。...第3頁，課件共26頁，創(chuàng)作于2023年2月2.下降迭代算法步驟（1）給出初始點(diǎn)，令；（2）按照某種規(guī)則確定下降搜索方向；（3）按照某種規(guī)則確定搜索步長(zhǎng)，使得；（4）令，；（5）判斷是否滿足停止條件。是則停止，否則轉(zhuǎn)第2步。搜索步長(zhǎng)確定方法：稱。為最優(yōu)步長(zhǎng)，且有第4頁，課件共26頁，創(chuàng)作于2023年2月二.最速下降法（梯度法）迭代公式：如何選擇下降最快的方向？第5頁，課件共26頁，創(chuàng)作于2023年2月最速下降法（梯度法）：最速下降法算法步驟：第6頁，課件共26頁，創(chuàng)作于2023年2月解：第7頁，課件共26頁，創(chuàng)作于2023年2月收斂性性質(zhì).第8頁，課件共26頁，創(chuàng)作于2023年2月第9頁，課件共26頁，創(chuàng)作于2023年2月共軛梯度法1.共軛方向和共軛方向法共軛是正交的推廣。第10頁，課件共26頁，創(chuàng)作于2023年2月第11頁，課件共26頁，創(chuàng)作于2023年2月幾何意義第12頁，課件共26頁，創(chuàng)作于2023年2月第13頁，課件共26頁，創(chuàng)作于2023年2月第14頁，課件共26頁，創(chuàng)作于2023年2月共軛方向法第15頁，課件共26頁，創(chuàng)作于2023年2月2.共軛梯度法

如何選取一組共軛方向？以下分析算法的具體步驟。第16頁，課件共26頁，創(chuàng)作于2023年2月第17頁，課件共26頁，創(chuàng)作于2023年2月第18頁，課件共26頁，創(chuàng)作于2023年2月第19頁，課件共26頁，創(chuàng)作于2023年2月第20頁，課件共26頁，創(chuàng)作于2023年2月第21頁，課件共26頁，創(chuàng)作于2023年2月第22頁，課件共26頁，創(chuàng)作于2023年2月第23頁，課件共26頁，創(chuàng)作于2023年2月第24頁，課件共26頁，創(chuàng)作于2023年2月3.用于一般函