智能優(yōu)化理論- 課件 第12、13章 猴群算法、自由搜索算法

智能優(yōu)化理論-第12章猴群算法引言猴群算法的原理和實(shí)現(xiàn)猴群算法的應(yīng)用場景和優(yōu)勢猴群算法的改進(jìn)和擴(kuò)展結(jié)論contents目錄引言01在自然界中，猴群通常由多個(gè)個(gè)體組成，它們在尋找食物、逃避天敵等生存活動(dòng)中表現(xiàn)出協(xié)同合作和競爭的行為特征。猴群算法借鑒了這些行為特征，通過模擬猴群在尋找食物過程中的行為模式，來解決優(yōu)化問題。猴群算法是受到自然界中猴群行為啟發(fā)的一種優(yōu)化算法，其起源可以追溯到對動(dòng)物行為的研究。猴群算法的起源和背景猴群算法的基本概念包括個(gè)體、種群、食物源、領(lǐng)地等，其中個(gè)體代表算法中的解，種群代表一組解的集合，食物源代表問題的最優(yōu)解，領(lǐng)地代表猴子的活動(dòng)范圍。在算法執(zhí)行過程中，猴子會(huì)根據(jù)一定的規(guī)則在領(lǐng)地內(nèi)移動(dòng)，探索不同的解，并通過與其他猴子的交互來更新自己的狀態(tài)和位置。猴群算法的優(yōu)點(diǎn)包括簡單易實(shí)現(xiàn)、魯棒性強(qiáng)、能夠處理多峰值問題等，但也存在一些局限性，如易陷入局部最優(yōu)解、搜索速度較慢等。猴群算法的基本原理是通過模擬猴群在尋找食物過程中的行為模式，如個(gè)體間的競爭、合作、學(xué)習(xí)等，來不斷迭代更新種群中的解，最終找到問題的最優(yōu)解。猴群算法的基本概念和原理猴群算法的原理和實(shí)現(xiàn)02逃離行為當(dāng)遇到威脅時(shí)，猴群中的猴子會(huì)選擇逃離或躲藏。挑戰(zhàn)行為在猴群中，地位高的猴子會(huì)挑戰(zhàn)地位低的猴子，奪取食物和領(lǐng)地。跟隨行為當(dāng)某個(gè)猴子找到食物時(shí)，它會(huì)發(fā)出信號吸引其他猴子跟隨，形成向食物聚集的趨勢。猴群行為模式猴群算法模擬了猴群在尋找食物過程中的行為模式，包括搜索、跟隨、挑戰(zhàn)和逃離等。搜索行為猴群中的個(gè)體在搜索食物時(shí)，會(huì)隨機(jī)選擇方向進(jìn)行探索，并逐漸向食物源靠近。猴群的行為模式跟隨根據(jù)適應(yīng)度值的大小，選擇優(yōu)秀的猴子作為領(lǐng)頭猴，其他猴子跟隨領(lǐng)頭猴移動(dòng)。初始化設(shè)定猴群規(guī)模、初始位置、初始速度等參數(shù)。搜索模擬猴群的搜索行為，每個(gè)猴子隨機(jī)選擇方向進(jìn)行探索。挑戰(zhàn)在算法運(yùn)行過程中，地位低的猴子有機(jī)會(huì)挑戰(zhàn)地位高的猴子，奪取其食物和位置。逃離當(dāng)遇到問題規(guī)模或復(fù)雜度過大等威脅時(shí)，算法會(huì)選擇停止進(jìn)化或采用其他策略。猴群算法的步驟和流程根據(jù)具體問題，需要設(shè)置猴群規(guī)模、迭代次數(shù)、維度等參數(shù)。參數(shù)設(shè)置參數(shù)優(yōu)化自適應(yīng)調(diào)整通過實(shí)驗(yàn)和調(diào)整，找到最優(yōu)的參數(shù)組合，提高算法的性能和求解質(zhì)量。根據(jù)算法的運(yùn)行情況，動(dòng)態(tài)調(diào)整參數(shù)，如學(xué)習(xí)因子、慣性權(quán)重等，以適應(yīng)不同階段的需求。030201猴群算法的參數(shù)設(shè)置和優(yōu)化猴群算法的應(yīng)用場景和優(yōu)勢03函數(shù)優(yōu)化組合優(yōu)化機(jī)器學(xué)習(xí)信號處理猴群算法在優(yōu)化問題中的應(yīng)用猴群算法可以用于求解多維、高維、非線性、離散和連續(xù)的函數(shù)優(yōu)化問題，如最大值、最小值問題等。猴群算法可以用于優(yōu)化機(jī)器學(xué)習(xí)模型的參數(shù)，如神經(jīng)網(wǎng)絡(luò)的權(quán)重和閾值等。猴群算法可以應(yīng)用于求解諸如旅行商問題、背包問題、圖著色問題等組合優(yōu)化問題。猴群算法可以用于優(yōu)化信號處理中的參數(shù)，如濾波器系數(shù)、頻帶劃分等。猴群算法對初始解的依賴性較小，不易陷入局部最優(yōu)解，具有較強(qiáng)的全局搜索能力。魯棒性強(qiáng)適用范圍廣可擴(kuò)展性好計(jì)算效率高猴群算法適用于多種類型的優(yōu)化問題，包括連續(xù)型、離散型、單目標(biāo)或多目標(biāo)優(yōu)化問題。猴群算法可以通過增加種群數(shù)量、調(diào)整參數(shù)等方式進(jìn)行擴(kuò)展，以適應(yīng)更大規(guī)模和更復(fù)雜的優(yōu)化問題。猴群算法采用并行計(jì)算的方式，能夠快速地搜索解空間，提高計(jì)算效率。猴群算法與其他優(yōu)化算法的比較優(yōu)勢適用范圍猴群算法適用于求解多維、高維、非線性、離散和連續(xù)的優(yōu)化問題，尤其適用于大規(guī)模、復(fù)雜的問題。限制對于一些特殊類型的優(yōu)化問題，如約束優(yōu)化問題或需要特殊處理的問題（如處理噪聲或異常值），猴群算法可能需要進(jìn)行一些調(diào)整或與其他算法結(jié)合使用。猴群算法的適用范圍和限制猴群算法的改進(jìn)和擴(kuò)展04與其他算法結(jié)合將猴群算法與其他優(yōu)化算法（如遺傳算法、粒子群算法等）相結(jié)合，形成混合優(yōu)化策略，以充分利用各種算法的優(yōu)勢，提高整體優(yōu)化效果。動(dòng)態(tài)調(diào)整參數(shù)根據(jù)問題的特性，動(dòng)態(tài)調(diào)整算法中的參數(shù)，如猴子的數(shù)量、移動(dòng)步長、視野范圍等，以提高算法的搜索效率和精度。引入多樣性保持機(jī)制通過引入多樣性保持機(jī)制，如精英猴群策略、猴群自適應(yīng)變異等，以增強(qiáng)猴群算法的全局搜索能力和避免早熟收斂。并行化實(shí)現(xiàn)將猴群算法并行化，利用多核處理器或分布式計(jì)算環(huán)境，提高算法的計(jì)算效率和可擴(kuò)展性。猴群算法的改進(jìn)方向?qū)⒑锶核惴ㄖ械暮镒右暈檫z傳算法中的個(gè)體，通過遺傳操作（選擇、交叉、變異）來進(jìn)化猴群，同時(shí)保持猴群算法中的猴子的移動(dòng)和視野范圍等特性。與遺傳算法的融合將猴群算法中的猴子視為粒子群算法中的粒子，利用粒子間的相互作用和信息共享機(jī)制，提高猴群算法的全局搜索能力。與粒子群算法的融合將模擬退火算法中的隨機(jī)接受準(zhǔn)則引入猴群算法中，以增強(qiáng)猴群算法跳出局部最優(yōu)解的能力。與模擬退火算法的融合猴群算法與其他算法的融合研究動(dòng)態(tài)和時(shí)變優(yōu)化問題針對動(dòng)態(tài)和時(shí)變優(yōu)化問題，研究如何利用猴群算法進(jìn)行實(shí)時(shí)優(yōu)化和調(diào)整，以滿足實(shí)際應(yīng)用的需求。研究與其他智能技術(shù)的結(jié)合將猴群算法與其他智能技術(shù)（如深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等）相結(jié)合，以拓展其在復(fù)雜優(yōu)化問題中的應(yīng)用范圍。研究多目標(biāo)優(yōu)化問題針對多目標(biāo)優(yōu)化問題，研究如何利用猴群算法進(jìn)行求解，以提高多目標(biāo)優(yōu)化問題的求解效率和精度。猴群算法的前沿研究和發(fā)展趨勢結(jié)論05猴群算法是一種基于猴群行為特征的優(yōu)化算法，通過模擬猴群在森林中的覓食、回巢和相互協(xié)作等行為，尋找最優(yōu)解。該算法具有簡單、易實(shí)現(xiàn)、魯棒性強(qiáng)等優(yōu)點(diǎn)，尤其在處理復(fù)雜、多峰值、非線性等優(yōu)化問題時(shí)表現(xiàn)出良好的性能。總結(jié)猴群算法在解決實(shí)際問題時(shí)，如函數(shù)優(yōu)化、組合優(yōu)化、多目標(biāo)優(yōu)化等，均取得了較好的效果。與其他智能優(yōu)化算法相比，猴群算法在收斂速度、全局搜索能力、穩(wěn)定性等方面具有一定的優(yōu)勢。然而，該算法也存在一些不足，如對參數(shù)敏感、易陷入局部最優(yōu)等，需要在后續(xù)研究中加以改進(jìn)。評價(jià)猴群算法的總結(jié)和評價(jià)展望未來研究可以針對猴群算法的不足之處進(jìn)行改進(jìn)，如改進(jìn)算法的搜索策略、調(diào)整參數(shù)設(shè)置、結(jié)合其他優(yōu)化算法等，以提高算法的性能和適用范圍。此外，可以進(jìn)一步拓展猴群算法的應(yīng)用領(lǐng)域，如機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別等領(lǐng)域。啟示猴群算法的啟示在于，自然界中的生物群體行為具有高度的智能和自適應(yīng)性，通過模擬這些行為特征可以設(shè)計(jì)出高效的優(yōu)化算法。此外，猴群算法也強(qiáng)調(diào)了群體協(xié)作的重要性，為解決復(fù)雜問題提供了新的思路和方法。對未來研究的展望和啟示THANKYOU感謝觀看第13章自由搜索算法目錄contents自由搜索算法的提出自由搜索算法的優(yōu)化原理自由搜索算法的數(shù)學(xué)描述自由搜索算法的實(shí)現(xiàn)步驟及流程動(dòng)態(tài)拉伸目標(biāo)函數(shù)的自由搜索算法復(fù)習(xí)思考題自由搜索算法的提出01自由搜索算法（FS）是由英國學(xué)者Penev和Littlefair在2005年提出的一種群智能優(yōu)化算法。自由搜索算法不是模擬某一種社會(huì)性群居動(dòng)物的生物習(xí)性，而是博采眾長，模擬多種動(dòng)物的生物特征及生活習(xí)性。自由搜索算法不僅采用螞蟻的信息素通信機(jī)制，以信息素指導(dǎo)其活動(dòng)行為，而且還借鑒高等動(dòng)物感知能力和機(jī)動(dòng)性的生物特征。自由搜索算法模擬了生物界中相對高等的群居動(dòng)物，如馬牛羊等的覓食過程。自由搜索算法借鑒動(dòng)物個(gè)體存在各異的嗅覺和機(jī)動(dòng)性，提出了靈敏度和鄰域搜索半徑的概念，并利用螞蟻釋放信息素的機(jī)理確定尋優(yōu)目標(biāo)。自由搜索算法對于函數(shù)優(yōu)化結(jié)果顯示出良好的性能，已用于函數(shù)優(yōu)化、灌溉制度的優(yōu)化、無線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)定位等問題。自由搜索算法的提出自由搜索算法的優(yōu)化原理0203尋優(yōu)過程中，個(gè)體不斷地調(diào)節(jié)其靈敏度，類似于自然界的學(xué)習(xí)和掌握知識(shí)的過程。01自由搜索算法中，個(gè)體模仿高等動(dòng)物覓食行為，利用嗅覺感知、機(jī)動(dòng)性和關(guān)系進(jìn)行抽象建模。02不同個(gè)體具有各異的特征，感知被定義為靈敏度，使個(gè)體在搜索域內(nèi)具有不同的辨別能力。自由搜索算法的優(yōu)化原理010203個(gè)體考慮過去積累的經(jīng)驗(yàn)知識(shí)，并不受限制，可在規(guī)定范圍內(nèi)任意區(qū)域自由搜索。自由搜索算法具有靈活性，個(gè)體可進(jìn)行局部或全局搜索，自己決定搜索步長。算法模型中，一個(gè)搜索循環(huán)（一代）個(gè)體移動(dòng)一個(gè)搜索步(Walk)，每個(gè)搜索步包含T小步(Step)。自由搜索算法的優(yōu)化原理自由搜索算法的優(yōu)化原理01個(gè)體在多維空間作小步移動(dòng)，其目的是發(fā)現(xiàn)目標(biāo)函數(shù)更好的解。02信息素大小和目標(biāo)函數(shù)解的質(zhì)量成正比，完成一個(gè)搜索步以后，信息索將完全更新。03FS算法的個(gè)體實(shí)際上是搜索過程中的標(biāo)記信息素位置的一種抽象，這種抽象是對搜索空間認(rèn)知的記憶。自由搜索算法的優(yōu)化原理01每個(gè)個(gè)體對于信息素都有自己的嗅覺靈敏度和傾向性，利用靈敏度選擇坐標(biāo)點(diǎn)，信息素和靈敏度函數(shù)。02增大靈敏度，個(gè)體將局部搜索，趨近于整個(gè)群體的當(dāng)前最佳值；減小靈敏度，個(gè)體可以在其他鄰域進(jìn)行全局搜索。03在搜索步中，個(gè)體在預(yù)先設(shè)定的鄰域空間內(nèi)小步移動(dòng)，不同個(gè)體的鄰域大小不同，同一個(gè)個(gè)體在搜索過程中鄰域空間也可以變化。04搜索步中的移動(dòng)小步反映了個(gè)體的活動(dòng)能力，它可小可大、可變化。自由搜索算法的數(shù)學(xué)描述03初始種群產(chǎn)生方法選取單一值法：該方法在搜索開始前，將所有個(gè)體都置于同一個(gè)坐標(biāo)點(diǎn)上，然后根據(jù)一定的搜索策略進(jìn)行探索和擴(kuò)展。選取確定值法：該方法在一個(gè)確定的數(shù)上，通過將其作為每個(gè)個(gè)體的初始值來開始搜索。隨機(jī)賦初值法：該方法通過在搜索空間中隨機(jī)選取m個(gè)個(gè)體，并賦予它們初值。除了這三種方法外，還有一些其他的種群初始化策略，如隨機(jī)漫步法、偽隨機(jī)數(shù)法等。在實(shí)際應(yīng)用中，需要根據(jù)具體情況選擇合適的種群初始化方法，以確保優(yōu)化問題的順利解決。個(gè)體j完成第t搜索步后的適應(yīng)度；為完成T搜索步后個(gè)體j最大的適應(yīng)度。算法搜索過程中，對目標(biāo)函數(shù)的符號作如下規(guī)定種群完成一次搜索后的最大適應(yīng)度值。信息素定義搜索過程中個(gè)體的行動(dòng)搜索過程中個(gè)體的行動(dòng)靈敏度定義：和分別為靈敏度的最大值和最小值；rand(0,1)是均勻分布的隨機(jī)數(shù)。123規(guī)定和分別為信息素的最大值和最小值。在一輪搜索結(jié)束后，確定下一輪搜索的起點(diǎn)。搜索過程中個(gè)體的行動(dòng)02030401搜索過程中個(gè)體的行動(dòng)更新策略為信息素大于靈敏度的個(gè)體以上一輪標(biāo)記的位置為新一輪的搜索起始點(diǎn)，其他的個(gè)體以上一輪的搜索起始點(diǎn)重復(fù)搜索。式中，k為標(biāo)記位數(shù)，自由搜索算法的終止策略包括以下三種情況：當(dāng)目標(biāo)函數(shù)達(dá)到目前函數(shù)的全局最優(yōu)解時(shí)，可以終止算法。當(dāng)當(dāng)前迭代次數(shù)g達(dá)到終止代數(shù)G時(shí)，可以終止算法。當(dāng)同時(shí)滿足上述兩個(gè)終止條件時(shí)，可以終止算法。010203終止策略自由搜索算法的實(shí)現(xiàn)步驟及流程04初始化設(shè)定搜索初始值種群規(guī)模m，搜索代數(shù)G，搜索小步總數(shù)T和個(gè)體的鄰域半徑。產(chǎn)生初始種群按式之一產(chǎn)生初始種群，其中隨機(jī)值法應(yīng)用最為廣泛。初始化搜索初始化結(jié)束后，根據(jù)上述兩步產(chǎn)生的初始值，生成并釋放初始信息素xk是標(biāo)記信息素的點(diǎn)的坐標(biāo)，k＝1,2…個(gè)體k的信息素Pk和個(gè)體j尋優(yōu)的最優(yōu)位置。計(jì)算靈敏度，按式計(jì)算。搜索步計(jì)算，計(jì)算目標(biāo)函數(shù)，其中由式計(jì)算。釋放信息素，按式計(jì)算信息素，并按式利用信息素得到本次搜索結(jié)果：個(gè)體j的信息素Pj和個(gè)體j尋優(yōu)的最優(yōu)位置。確定初始點(diǎn)，選擇新一輪搜索的起始點(diǎn)。搜索過程判斷終止條件自由搜索算法的流程如圖13.1所示。在搜索過程中，需要不斷根據(jù)搜索結(jié)果和預(yù)設(shè)條件進(jìn)行判斷。如果搜索結(jié)果符合預(yù)設(shè)條件，則可以終止搜索并返回結(jié)果。在開始搜索前，先要確定搜索的目標(biāo)和范圍。動(dòng)態(tài)拉伸目標(biāo)函數(shù)的自由搜索算法05要有效解決多模態(tài)函數(shù)的全局優(yōu)化問題，必須使優(yōu)化問題及時(shí)從各局部極值點(diǎn)逃逸出來，以保證以較大幾率收斂于全局最優(yōu)解。ParsopoulosKE等人提出了基于拉伸技術(shù)的粒子群優(yōu)化算法。拉伸技術(shù)根據(jù)已經(jīng)探測到的局部極值點(diǎn)信息，對原始目標(biāo)函數(shù)進(jìn)行兩次拉伸變化。優(yōu)化問題中，目標(biāo)函數(shù)可能存在多個(gè)局部極值或全局極值，導(dǎo)致以較大概率收斂于某些局部極值，即“早熟”。動(dòng)態(tài)拉伸技術(shù)動(dòng)態(tài)拉伸技術(shù)兩個(gè)變換函數(shù)如下所示:γ1、γ2、μ為任意參數(shù):γ1控制原目標(biāo)函數(shù)向上拉伸的幅度。γ2控制變換函數(shù)作用范圍。μ控制局部極值點(diǎn)提升的幅度。引入拉伸技術(shù)前，對所有個(gè)體進(jìn)行一次基本FS優(yōu)化。當(dāng)搜索到某一局部極值點(diǎn)x*后，根據(jù)f(x)信息把函數(shù)解空間劃分為兩個(gè)部分A:在R1內(nèi)，原目標(biāo)函數(shù)不變。剔除了函數(shù)值高于f(x*)的部分極值。第二次變換G(x)→H(x)，函數(shù)進(jìn)一步向上拉伸，距離x*越近，且函數(shù)值越接近f(x*)的點(diǎn)，其拉伸程度越大。進(jìn)一步縮小了后續(xù)搜索空間。拉伸技術(shù)有效地降低了目標(biāo)函數(shù)的復(fù)雜性，但未改變搜索目標(biāo)，把它與全局優(yōu)化算法FS結(jié)合，降低了后續(xù)搜索難度，從而提高了算法的搜索效率和精度。B:在R2內(nèi)，原目標(biāo)函數(shù)經(jīng)歷兩次拉伸變化。第一次變化f(x)→G(x)，原目標(biāo)函數(shù)每一函數(shù)值均向上拉伸，離x*越遠(yuǎn)的點(diǎn)其函數(shù)值被拉伸的幅度越大。動(dòng)態(tài)拉伸技術(shù)動(dòng)態(tài)拉伸自由搜索算法的實(shí)現(xiàn)步驟包括初始化、搜索過程和終止判斷。在步驟1中，需要設(shè)定搜索初始值、種群規(guī)模m、搜索代數(shù)G、搜索小步數(shù)T和個(gè)體的鄰域半徑Rji。產(chǎn)生初始種群按照式產(chǎn)生初始種群；初始化搜索，根據(jù)初始值生成初始信息素，釋放初始信息素Pj→xk，得到