智能控制中的優(yōu)化方法微粒群優(yōu)化算法課件

1、2022/8/1微粒群優(yōu)化算法1微粒群優(yōu)化算法Particle Swarm Optimization Algorithm陳國初上海電機學院2022/8/1微粒群優(yōu)化算法2微粒群優(yōu)化算法（PSO）一、微粒群優(yōu)化算法綜述二、微粒群優(yōu)化算法的應(yīng)用實例三、與其他方法的比較2022/8/1微粒群優(yōu)化算法3PSO算法的基本原理常見的改進PSO算法多相微粒群優(yōu)化算法 MPPSO（Multi-Phase Particle Swarm Optimization Algorithm）PSO算法的應(yīng)用情況PSO算法的研究展望一、微粒群優(yōu)化算法綜述2022/8/1微粒群優(yōu)化算法4 微粒群優(yōu)化算法（Particle S

2、warm Optimization Algorithm, PSO）是由J.Kennedy和R.C.Eberhart于1995年提出的一種新的進化計算算法，它來源于鳥類或魚類覓食過程中遷徙和群集的模擬。 PSO一提出，立刻引起進化計算領(lǐng)域?qū)W者們的廣泛關(guān)注，短短幾年便獲得快速發(fā)展，在一些領(lǐng)域得到應(yīng)用而且應(yīng)用范圍會越來越廣泛，已形成學術(shù)界一個新的研究熱點，也已被“國際進化計算會議”列為討論專題之一。 目前在我國，PSO的研究不管是在理論研究上還是在實踐上，可見的報道都還很少。1PSO算法的基本原理2022/8/1微粒群優(yōu)化算法5 假設(shè)在一個 維搜索空間中，有 個微粒組成一微粒群，其中第 個微粒的空間

3、位置為 它是優(yōu)化問題的一個潛在解，將它代入優(yōu)化目標函數(shù)就可以計算出相關(guān)的適應(yīng)值，據(jù)適應(yīng)值的大小可衡量的 優(yōu)劣；第 個微粒所經(jīng)歷的最好位置記為 同時，每個微粒還具有各自的飛行速度1.1 算法原理(1)2022/8/1微粒群優(yōu)化算法6 在微粒群中，所有微粒經(jīng)歷過的最好位置記為 根據(jù)J.Kennedy和R.C.Eberhart最早提出的PSO，對每一代微粒，其第 維根據(jù)如下方程變化： (1) (2) 其中： 為慣性權(quán)值(inertia weight)； 和 都為正的常數(shù)，稱為加速系數(shù)(acceleration coefficients)； 和 是兩個在0，1范圍內(nèi)變化的隨機數(shù)。1.1 算法原理(2)

4、2022/8/1微粒群優(yōu)化算法7 搜索時,微粒的速度被一個最大速度 和一個最小速度 所限制。如果當前對微粒的加速度導致它在某維的速度 超過該維的最大速度 ，則該微粒該維的速度被限制為該維的最大速度；對于最小速度也如此。同樣，微粒的位置往往也被最大位置 和最小位置 所限制。 式(1)的第1部分為該微粒先前的速度；第2部分為“認知（cognition）”部分，表示微粒本身的思考；第3部分為“社會（social）”部分，表示微粒間的信息共享和相互合作。 1.1 算法原理(3)2022/8/1微粒群優(yōu)化算法81.2 算法流程Step1: 初始化設(shè)置群體的規(guī)模、參數(shù)維數(shù)、慣性權(quán)值、加速系數(shù)、最大允許迭代

5、次數(shù)或誤差限，各微粒的位置和速度等。Step2: 按預定準則評價各微粒的適應(yīng)值。Step3: 根據(jù)公式(1)、(2)計算各微粒新的速度和位置。Step4: 重新計算各微粒的適應(yīng)值，并比較其當前適應(yīng)值和該微粒歷史最好適應(yīng)值，若當前適應(yīng)值更優(yōu)，則令當前適應(yīng)值為該微粒歷史最好適應(yīng)值，當前位置為該微粒的歷史最好位置。Step5: 比較當前群體所有微粒的適應(yīng)值和群體歷史最好適應(yīng)值，若當前某微粒的適應(yīng)值更優(yōu)，則令當前該微粒的適應(yīng)值為群體歷史最好適應(yīng)值，該微粒的位置為群體歷史最好位置。Step6: 若滿足停止條件，搜索停止，群體歷史最好位置為所求結(jié)果。否則，返回Step3繼續(xù)搜索。 2022/8/1微粒群優(yōu)

6、化算法91.3 參數(shù)分析(1)（1）慣性權(quán)值 慣性權(quán)值 對PSO能否收斂起重要作用，它使微粒保持運動慣性，使其有擴展搜索空間的趨勢，有能力探索新的區(qū)域。 值大些有利于全局搜索，收斂速度快，但不易得到精確解且有時也會陷入局部最小值； 值小些有利于局部搜索、能得到更為精確的解且不易陷入局部最小值，但收斂速度慢。合適的 值在搜索能力和收斂速度方面能起到協(xié)調(diào)作用。 最初版本的PSO中， 為常數(shù)。后來，經(jīng)實驗證明，為了有較好的全局搜索能力， 剛開始大些，然后逐步減小以便有更精確的解。一般地，剛開始 ，然后逐步減小到 比較合適。也可以采用自適應(yīng)模糊慣性權(quán)值控制器來動態(tài)優(yōu)化 ，不過這種方法在實現(xiàn)時有一定困難

7、。2022/8/1微粒群優(yōu)化算法10（2）加速系數(shù) 加速系數(shù) 和 對PSO能否收斂不起很重要的作用，但對收斂速度影響頗大，合適的加速系數(shù)有利于算法較快收斂和脫離局部最小。它們代表將每個微粒推向 和 位置的統(tǒng)計加速項的權(quán)值。低的加速系數(shù)值允許微粒在被拉回之前可以在目標區(qū)域外徘徊，而高的加速系數(shù)值則導致微粒突然地沖向或越過目標區(qū)域。 在公式(1)中，若 ，微粒將一直以當前的速度飛行，直到到達邊界。由于它只能搜索有限的區(qū)域，所以很難找到好解。若 ，則微粒沒有認知能力，也就是“只有社會(social only)”的算法，所以 又稱為社會參數(shù)。在微粒的相互作用下，有能力到達新的搜索空間。它的收斂速度比基

8、本的PSO更快，但對復雜問題，則比基本的PSO更容易陷入局部最小點。1.3 參數(shù)分析(2)2022/8/1微粒群優(yōu)化算法11若 ，則微粒之間沒有社會信息共享，也就是“只有認知(cognitiononly)”的算法，所以又稱 為認知參數(shù)。因為個體間沒有交互，一個規(guī)模為 的群體等價于運行了 個單個微粒的運行，因而得到優(yōu)化解的機率非常小。 通常， 。也有實驗結(jié)果顯示當 時能取得更好的效果。最近一些研究還表明認知參數(shù) 選擇的大些而社會參數(shù) 選擇的小些，但 時能得到更好的結(jié)果。 此外，隨機數(shù) 、 可以保證微粒群體的多樣性。最大最小速度可以決定當前位置與最好位置之間的區(qū)域的分辨率(或精度)。如果最大速度太

9、高或最小速度太低，微?？赡軙w過好解；如果最大速度太小或最小速度太大，則微粒不能在局部好區(qū)間之外進行足夠的探索，導致陷入局部最小值。1.3 參數(shù)分析(3)2022/8/1微粒群優(yōu)化算法12 較大的慣性權(quán)值 有利于跳出局部極小點，而較小的 值有利于算法收斂。因此文獻3，4,5提出了慣性權(quán)值 的自適應(yīng)調(diào)整策略，即剛開始時 較大，隨著迭代的進行， 線性地減小。這種方法的進一步發(fā)展是模糊自適應(yīng)PSO(Fuzzy Adaptive PSO) 6 ，它用自適應(yīng)模糊慣性權(quán)值控制器來動態(tài)優(yōu)化 ，即構(gòu)造一個2輸入、單輸出的模糊推理機來動態(tài)地修改慣性權(quán)值 。模糊推理機的兩個輸入分別是當前 值以及當前全局最好位置，

10、輸出則是 的增量。 自適應(yīng)PSO算法對許多問題都能取得滿意的結(jié)果。通過自適應(yīng)調(diào)整全局系數(shù)，兼顧搜索速度和搜索精度，是一種有效的PSO算法。但是對許多復雜的非線性優(yōu)化問題，試圖通過自適應(yīng)調(diào)整一個全局系數(shù)提高搜索精度的余地是有限的，而且這種方法在實現(xiàn)時有一定困難。2常見的改進PSO算法2.1 自適應(yīng)PSO算法 2022/8/1微粒群優(yōu)化算法132.2 帶收縮因子的PSO算法（PSO with a constriction factor） 文獻9提出一種帶收縮因子的PSO算法。其微粒速度迭代方程為： （3） 式中， 稱為收縮因子， ， 。 類似慣性權(quán)值，收縮因子可以改善算法的收斂性；但在控制微粒速度

11、變化的幅度上，收縮因子不同于慣性權(quán)值，而是類似于最大速度限。有實驗表明10 ，在沒有最大速度限時，帶收縮因子的PSO算法比不帶收縮因子的PSO算法具有更好的性能。 2022/8/1微粒群優(yōu)化算法142.3 帶選擇機制的PSO（PSO with selection mechanism ） 文獻11提出一種帶選擇機制的PSO算法。這種算法依據(jù)某些特定的技術(shù)，將每個個體的適應(yīng)值，基于其當前位置，與其他個體進行比較，然后根據(jù)定義的規(guī)則將所有個體排序，得分最高的出現(xiàn)在群體的頭部。一旦群體排完序，群體中當前位置和速度最差的一半被群體中最好的另一半取代。帶選擇機制的PSO算法在解決單峰函數(shù)的優(yōu)化問題時效果明

12、顯，但并不一定對所有的優(yōu)化問題都很有效。這種算法由于有了選擇機制，加快了對當前較好區(qū)域的開發(fā)過程，使得收斂速度較快，但也增加了陷入局部解的可能性。 借鑒遺傳算法的思想，文獻12最早提出了雜交PSO算法的概念。文獻13將基本PSO和選擇機制相結(jié)合，進一步提出具有繁殖和子群的雜交PSO（Hybrid PSO，HPSO）。雜交PS0算法的選擇機制與遺傳算法十分相似。該法給微粒群中的每一微粒賦予一個繁殖概率，在每次迭代中，依據(jù)繁殖概率的高低選取一定數(shù)量的微粒放入一個池中。池中的微粒隨機地兩兩雜交，產(chǎn)生同樣數(shù)目的子代微粒，并用子代微粒代替父代微粒，以保持種群的微粒數(shù)目不變。子代微粒的位置由父代微粒的位置

13、的算術(shù)加權(quán)和計算。實驗結(jié)果12-14顯示，雜交PSO算法的收斂速度比較快，搜索精度也相對比較高，對一些非線性優(yōu)化問題可以得到滿意的結(jié)果，尤其使對多峰值函數(shù)具有更好的性能。 2022/8/1微粒群優(yōu)化算法152.4 帶空間鄰域的PSO（PSO with spatial neighbor） Angeline的研究表明15 ，盡管PSO算法能比其他進化算法更快地得到較為理想的解，但當?shù)螖?shù)增加時，PSO算法并不一定能進行更精確的搜索。為此，可引入一個變化的鄰域算子（Neighborhood Operator），在優(yōu)化的初始階段，一個微粒的鄰域就是它本身，隨著迭代次數(shù)的增加，根據(jù)候選個體與其他個體的

14、距離，逐步引入距離近的個體，鄰域逐漸變大，包含越來越多的微粒，最后將包含所有的微粒。這樣，原來的全局歷史最好位置搜索就變成了微粒鄰域的局部歷史最好位置搜索。文獻15更為詳細的資料和許多測試函數(shù)的仿真結(jié)果表明這一方法能有效地獲得全局最優(yōu)解。 結(jié)合空間鄰域和環(huán)狀拓撲結(jié)構(gòu)，文獻16，17進一步提出具有社會模式（Social Stereotyping）的簇分析PSO算法（PSO with Cluster Analysis）。該法將微粒群體中的一些微粒作為中心，再將離它最近的N個微粒和中心微粒作為一簇，然后計算每個簇的中心位置，并將這些中心位置來替代 和 。但文獻16，17所示的研究結(jié)果并沒表明這一方法

15、具有更好的性能，結(jié)果難以令人滿意，還有許多問題有待于研究。 2022/8/1微粒群優(yōu)化算法162.5 離散PSO算法 Kennedy和Eberhart在基本PS0的基礎(chǔ)上發(fā)展了離散二進制PSO18。 離散二進制PS0與基本PS0的主要區(qū)別在于運動方程(公式(1)、(2)，離散二進制PS0的運動方程如下： (4) if then ；else (5) 式(5)中， 是sigmoid函數(shù)； 是隨機矢量 的第 維分量。微粒的位置只有(0，1)兩種狀態(tài)，而速度 與某一概率的門限值相關(guān)，速度值越大，則粒子位置取1的可能性越大，反之越小。在式(4)中，為防止速度 過大，可以設(shè)置了 使函數(shù)不會過于接近0或1，

16、以保證算法能以一定的概率從一種狀態(tài)躍遷到另一種狀態(tài)?？梢钥闯?，除了式(5)不同，離散二進制的PS0與基本PS0幾乎一樣。 為了解決實際中的組合優(yōu)化問題，文獻19進一步推廣了離散二進制PSO，提出了離散版的PSO，并將其應(yīng)用于旅行商問題(TSP)的求解，取得了較好的效果。離散PSO擴展了基本PSO的應(yīng)用領(lǐng)域，給組合優(yōu)化問題的求解帶來更好的應(yīng)用前景。2022/8/1微粒群優(yōu)化算法172. 6 有拉伸功能的PS0（PSO with Function “ Stretching” ） 拉伸變換函數(shù)最早由Vrahatis于1996年提出20，然后Parsopoulos和Plagianakos于2001年將

17、拉伸技術(shù)用于PSO最小化問題的求解21-23，形成有拉伸功能的PS0，也稱為SPS0，它通過消除不理想的局部最小而保留全局最小來避免優(yōu)化時陷入局部最小。 SPSO在檢測到目標函數(shù) 的局部最小點 后，立即對待優(yōu)化的目標函數(shù)進行拉伸變換。拉伸變換操作的實現(xiàn)通過兩步完成20： （6） （7）其中 ， ， 為任意確定的正常數(shù)， 是三值符號函數(shù)。這一變換，首先通過式(6)的操作提升目標函數(shù) ，消除了所有位于 之上的局部最小區(qū)域；然后，通過式(7)的操作將 鄰域向上拉伸，使得該點具有更高的適應(yīng)值。由于在兩步操作中，都沒有改變 下部的局部最小區(qū)域，因此對全局最小值沒有影響，從而減小了PSO陷入局部最小區(qū)域的

18、概率。文獻21-23的研究結(jié)果表明，SPSO具有穩(wěn)健的收斂性和良好的搜索能力，在大多數(shù)高維度、多局部極值的函數(shù)最小值的求解問題上與基本PSO相比，搜索成功率顯著提高。但計算耗時相應(yīng)地也會增多。 2022/8/1微粒群優(yōu)化算法18除了以上幾類改進的PSO外，還有： 隨機PSO (Random PSO)24 多次啟動PSO（Multi-Start PSO）24 協(xié)作PSO (Cooperative PSO)25、26 智能PSO（Intelligent PSO）27 非受控分類PSO (Non-dominated Sorting PSO)28 2. 7 其他改進的PS02022/8/1微粒群優(yōu)化算

19、法193. 多相微粒群優(yōu)化算法（MPPSO） 3.1 算法原理 PSO采用全局搜索和局部搜索相結(jié)合的搜索模式，由于慣性權(quán)值的引入，PSO首先進行全局搜索以提高搜索速度，一旦找到全局最優(yōu)區(qū)域，立即進行局部搜索以得到高精度的搜索結(jié)果。事實上，PSO有兩個弱點：和其他的隨機算法一樣，為了不易陷入局部最小，擴大搜索空間的范圍，導致相當多的計算量用在低適應(yīng)值狀態(tài)的搜索上；微粒一直不斷地朝一個方向運動，直到這個方向被改變，這很容易導致微粒收斂于適應(yīng)值低的局部最小。 如果將微粒分成兩組，每一組有自己的搜索目標，即一組以全局最好為搜索目標，另一組以局部最好為搜索目標。一旦搜索受阻，適應(yīng)值得不到改善而又不能滿足

20、要求，就允許微粒改變搜索方向，即允許進行局部最優(yōu)搜索的微粒進行全局最優(yōu)搜索，也允許進行全局最優(yōu)搜索的微粒進行局部最優(yōu)搜索。假定進行全局最好位置搜索的速度和進行局部最好位置搜索的速度方向相反。這樣在整個搜索過程中，微粒有可能經(jīng)常從一個群體跑到另一個群體，搜索方式可能經(jīng)常變化，運行方向也有可能經(jīng)常改變。這就是多相微粒群優(yōu)化算法的基本原理。它與基本PSO的不同之處有：將微粒分成多群，增加了搜索的多樣性和搜索的廣泛性。引入不同的相，每相微粒運動的方式、方向都會隨之改變。從整體來看，搜索只朝適應(yīng)值得到改善的方向進行。 2022/8/1微粒群優(yōu)化算法203.2 參數(shù)分析(1) 在MPPSO中，除包含著基本

21、PSO的各參數(shù)，自己的算法參數(shù)主要有：相數(shù) 、相變換頻率 、組系數(shù) 、 、 和速度重置量 。（1）相數(shù) 對離散二進制情況來說，由于組系數(shù) 和 在每相的可能值只能是-1或1， 最大只能為4。對于連續(xù)空間，盡管組系數(shù) 和 可以隨機取值， 也不可取得太大，通常也不超過431。（2）相變換頻率 決定每相之間交換微粒的快慢。通常有兩種方法確定：經(jīng)驗比例法和自適應(yīng)調(diào)整法。 在經(jīng)驗比例法中， 。 是最大允許迭代次數(shù)， 是1， 之間的一個經(jīng)驗數(shù)。假如 ，則每迭代4次后，相之間就交換微粒。即，1-4代某微粒在某一相，第5-8代則在另一相，依次類推。 在自適應(yīng)調(diào)整法中，若在某一相中，微粒經(jīng)若干次迭代后適應(yīng)值沒有改

22、善，就跳到另一相中去。此時 為適應(yīng)值連續(xù)沒有改善的次數(shù)。假如 ， 若某一相微粒的適應(yīng)值連續(xù)4次都沒有改善，則下一次就該跳到另一相。2022/8/1微粒群優(yōu)化算法21（3）組系數(shù) 、 、 這三個系數(shù)實際上是標識符，它們的值在每相中各不相同。 和微粒的運動速度有關(guān)，必須為正。 和微粒當前的位置有關(guān)， 和全局歷史最好位置有關(guān)，且和 的標識值相反31。在PSO中，微?？偸浅粋€方向移動，而MPPSO允許微粒朝不同的方向移動，所以， 若為正， 必為負。（4）速度重置量 在隨機PSO(Random-PSO)和多次啟動PSO（Multi-Start PSO）中，為了盡可能不陷入局部極小，往往在效果不好時采用

23、重新開始的策略24。MPPSO也沿用這一思想，經(jīng)過一定的迭代次數(shù) 后就重新設(shè)置速度值。例如，若 ，則每迭代50次后就重新初始化微粒速度值。同 ， 也可以由自適應(yīng)調(diào)整法確定。3.2 參數(shù)分析(2)2022/8/1微粒群優(yōu)化算法22 在MPPSO中，對某一相的每一代微粒，其第 維 的速度和位置根據(jù)如下方程變化31： (8) (9) 式中， 是當前速度， 是全局歷史最好位置， 是當前位置。3.3 算法方程2022/8/1微粒群優(yōu)化算法234. PSO的應(yīng)用情況 微粒群優(yōu)化算法與其它進化算法一樣，可以解決大多數(shù)優(yōu)化問題，目前，其應(yīng)用領(lǐng)域主要有：函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓練、系統(tǒng)建模與優(yōu)化以及其他進化算法常用

24、的應(yīng)用領(lǐng)域等。 4.1 函數(shù)優(yōu)化 PSO最直接的應(yīng)用是函數(shù)優(yōu)化問題，包括多元函數(shù)優(yōu)化、帶約束優(yōu)化問題32。Angeline經(jīng)過大量的實驗研究發(fā)現(xiàn)11-12，微粒群優(yōu)化算法在解決一些典型函數(shù)優(yōu)化問題時，能夠取得比遺傳算法更好的優(yōu)化效果。這就說明微粒群優(yōu)化算法在解決實際問題時同樣具有很好的應(yīng)用前景，因為許多實際問題都可以歸結(jié)為函數(shù)優(yōu)化問題。此外，PSO還在各種復雜的優(yōu)化問題、動態(tài)問題和多目標優(yōu)化問題中得到成功應(yīng)用。例如，文獻19將離散PSO用于求解TSP問題，文獻33-34研究了PSO在噪聲和動態(tài)環(huán)境下的優(yōu)化問題，文獻5、28、35將PSO用于多目標優(yōu)化（Multi-objective probl

25、em）問題等，都取得了較好的效果。 2022/8/1微粒群優(yōu)化算法244.2 神經(jīng)網(wǎng)絡(luò)訓練 PSO是一種非常有潛力的神經(jīng)網(wǎng)絡(luò)訓練算法。PSO保留了基于種群的、并行的全局搜索策略，其采用的速度位移模型，操作簡單，避免了遺傳算法那樣復雜的交叉、變異操作，可以簡單有效地訓練神經(jīng)網(wǎng)絡(luò)，已被成功地用來解決許多實際問題。如：基于PSO的神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)療診斷36，分析人的顫抖。對人顫抖的診斷，包括帕金森(Parkinson)病和原發(fā)性顫抖，是一個非常具有挑戰(zhàn)性的領(lǐng)域。PSO已成功地應(yīng)用于訓練一個用來快速和準確地辨別普通個體和有顫抖個體的神經(jīng)網(wǎng)絡(luò)，而網(wǎng)絡(luò)的輸入則為從一個活動變化記錄系統(tǒng)中獲得的歸一化的移動振

26、幅。文獻25將PSO用于訓練積單元神經(jīng)網(wǎng)絡(luò)（product unit neural networks）進行模式分類，文獻37將PSO用于訓練模糊前向神經(jīng)網(wǎng)絡(luò)進行模式分類，從而從網(wǎng)絡(luò)的輸出中抽取規(guī)則，文獻38,39將基于PSO的神經(jīng)網(wǎng)絡(luò)應(yīng)用于香港市區(qū)環(huán)境污染狀況的分析，也都得到了很好的效果。 2022/8/1微粒群優(yōu)化算法254.3 其他應(yīng)用實例(1) PSO也被成功地應(yīng)用于電力系統(tǒng)領(lǐng)域。如：文獻27將智能PSO應(yīng)用于電磁場的優(yōu)化分析，文獻40將PSO用于多機電力系統(tǒng)穩(wěn)定器的優(yōu)化設(shè)計，文獻14將交叉PSO用于電力分布系統(tǒng)電壓、電流及負載的狀態(tài)分布預測和狀態(tài)值估計，文獻41使用PSO對一個電氣設(shè)備

27、的功率反饋和電壓進行控制，采用一種二進制與實數(shù)混合的PSO來決定對連續(xù)和離散的控制變量的控制策略，以得到穩(wěn)定的電壓，文獻42將PSO用于電力系統(tǒng)負荷模型的參數(shù)辨識，這些應(yīng)用都取得好的效果。 在電機和機械設(shè)計方面，文獻43將PSO用于機械結(jié)構(gòu)設(shè)計中尺寸和形狀的優(yōu)化設(shè)計，得到比遺傳算法和基于梯度下降算法更好的效果，文獻44 采用PSO對粗軋寬展控制模型進行優(yōu)化，結(jié)果表明優(yōu)化后的模型效果明顯優(yōu)于原來模型，體現(xiàn)了PSO在優(yōu)化領(lǐng)域的優(yōu)越性。文獻45將PSO應(yīng)用于發(fā)電機參數(shù)辨識，提出了一種同步發(fā)電機參數(shù)辨識的計算框架，結(jié)果表明，這種參數(shù)辨識算法簡單實用、具有可行性，文獻46結(jié)合直線感應(yīng)電機的設(shè)計特點，利用

28、改進的PSO對電機進行了優(yōu)化設(shè)計，都取得了滿意的效果。2022/8/1微粒群優(yōu)化算法26 在半導體器件設(shè)計方面，文獻47將PSO用于門級組合邏輯電路的設(shè)計,得到比遺傳算法更好的效果。文獻48將改進的PSO用于IIR數(shù)字濾波器的設(shè)計，仿真結(jié)果表明，與設(shè)計IIR數(shù)字濾波器的遺傳優(yōu)化算法相比，PSO具有更好的優(yōu)化性能。 此外，還有PSO用于實際系統(tǒng)的模擬49和控制50、通訊51、計算機應(yīng)用52、生物工程53、化學工程54等領(lǐng)域的應(yīng)用報道，也都取得很好的效果。 4.3 其他應(yīng)用實例(2) 2022/8/1微粒群優(yōu)化算法275. PSO的研究展望(1) PSO是一種新興的基于群體智慧的進化算法，人們對其

29、的研究剛剛開始,遠沒有像遺傳算法那樣具有堅實的應(yīng)用基礎(chǔ)、系統(tǒng)的分析方法和良好的理論基礎(chǔ)，許多問題還有待于進一步研究： 應(yīng)用領(lǐng)域的拓展。雖然PSO已被成功地用于常規(guī)測試函數(shù)的優(yōu)化求解問題、簡單系統(tǒng)的建模和優(yōu)化問題及神經(jīng)網(wǎng)絡(luò)的訓練問題。但在其它其他眾多領(lǐng)域的應(yīng)用許多還處于研究階段，可見報道還不多，關(guān)于MPPSO的應(yīng)用研究還沒有相關(guān)報道，應(yīng)用領(lǐng)域有待于拓展。開拓PSO新的應(yīng)用領(lǐng)域、在應(yīng)用的廣度和深度上進行拓展都是很有價值的工作。 算法參數(shù)的確定。PSO中的一些參數(shù)如加速系數(shù)、慣性權(quán)值以及微粒個數(shù)等往往依賴于具體問題、由應(yīng)用經(jīng)驗、經(jīng)多次測試來確定，并不具有通用性。而對于MPPSO中的參數(shù)確定的研究還處

30、于剛起步階段。因此，如何方便有效地選擇算法參數(shù)，也是迫切需要研究的問題。2022/8/1微粒群優(yōu)化算法28 算法的改進研究。由于實際問題的多樣性和復雜性，盡管目前已提出了MPPSO和許多改進的PSO，但遠不能滿足實際需要，研究新的改進的PSO以便能更好地用于實際問題的求解也是很有意義的工作。就目前來看，將PSO與其他優(yōu)化技術(shù)進行比較、更深入地了解它們的性能，并與其他進化算法、最小二乘、模糊邏輯、神經(jīng)網(wǎng)絡(luò)、支持向量機算法、復雜系統(tǒng)自組織與混沌理論以及其他優(yōu)化技術(shù)相結(jié)合，根據(jù)不同的優(yōu)化問題提出相應(yīng)的PSO和改進的MPPSO是PSO當前的研究熱點。 算法的基礎(chǔ)理論研究。與PSO相應(yīng)的相對鮮明的生物社

31、會特性基礎(chǔ)相比，PSO的數(shù)學基礎(chǔ)顯得相對薄弱，缺乏深刻且具有普遍意義的理論分析，不能對PSO的工作機理給出恰當?shù)臄?shù)學解釋；而MPPSO的基礎(chǔ)理論更為薄弱。雖然PSO的有效性、收斂性等性能在一些實例和測試函數(shù)的仿真研究中得到驗證，但沒能在理論上進行嚴謹推敲和嚴格證明。5. PSO的研究展望(2)2022/8/1微粒群優(yōu)化算法29因此，對PSO的基礎(chǔ)理論研究非常重要，包括對不同搜索問題的收斂性、收斂速度估計、防止陷入局部極小、參數(shù)設(shè)置的影響和實現(xiàn)難易程度等。雖然目前也出現(xiàn)了一些有益的探索，但還是遠遠不夠的，還需要做大量深入細致的研究。 對微粒群算法的研究，無論是在理論上還是在實踐上都處于發(fā)展之中，

32、可見的研究成果還相當少，隨著PSO和相關(guān)學科的發(fā)展和研究的進一步深入，PSO一定會得到越來越廣泛的應(yīng)用。 5. PSO的研究展望(3)2022/8/1微粒群優(yōu)化算法30微粒群優(yōu)化算法解題步驟舉例：求上述函數(shù)的最小值。 用PSO搜索最優(yōu)解時， PSO算法參數(shù)設(shè)置如下： PopSize=6； MaxIt=2000； ErrGoal=1e-8; maxw=1.5； minw=0.1； c1=2.0; c2=2.0; inertdec=(maxw-minw)/MaxIt; w=maxw-(iter-1)*inertdec;2022/8/1微粒群優(yōu)化算法311. 初始化，隨機產(chǎn)生初始粒子群和初始速度。相

33、應(yīng)的適應(yīng)值（也為初始個體歷史最佳適應(yīng)值）為：隨機產(chǎn)生的初始位置為：全局最佳：2022/8/1微粒群優(yōu)化算法32隨機產(chǎn)生的初始速度為：2. 根據(jù)公式修正各粒子的速度和位置v(k+1)=w*v(k)+c1*R1.*(pi(k)-p(k)+c2*R2.*(pg(k)-p(k)p(k+1)=p(k)+v(k+1)2022/8/1微粒群優(yōu)化算法33假如修正后計算得到各粒子的新位置為：計算相應(yīng)的適應(yīng)值，并調(diào)整各個體最優(yōu)適應(yīng)值和位置全局最佳變?yōu)椋?022/8/1微粒群優(yōu)化算法34各個體歷史最優(yōu)適應(yīng)值：相應(yīng)的各個體歷史最優(yōu)位置：再根據(jù)公式進行下一步的修正各粒子的速度和位置v(k+1)=w*v(k)+c1*R1

34、.*(pi(k)-p(k)+c2*R2.*(pg(k)-p(k)p(k+1)=p(k)+v(k+1)2022/8/1微粒群優(yōu)化算法35二、微粒群優(yōu)化算法的應(yīng)用實例 在函數(shù)優(yōu)化中的應(yīng)用 在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用 在過程控制中的應(yīng)用2022/8/1微粒群優(yōu)化算法361.在函數(shù)優(yōu)化中的應(yīng)用(1) 通常，將所要優(yōu)化的參數(shù)集中在一起，構(gòu)成一個微粒，即要優(yōu)化的各參數(shù)是微粒的一維。 將目標函數(shù)作為評判微粒優(yōu)劣的標準，即將某微粒的各參數(shù)代入目標函數(shù)求與其對應(yīng)的適應(yīng)值，根據(jù)適應(yīng)值的大小評判微粒的優(yōu)劣。 搜索完畢后，微粒的歷史全局最優(yōu)位置便是所要求的優(yōu)化參數(shù)，對應(yīng)的歷史全局最優(yōu)適應(yīng)值便是所要求的優(yōu)化函數(shù)的

35、最優(yōu)值。 由于搜索的隨機性，每次搜索的結(jié)果可能不同。若算法參數(shù)選得不當，基本PSO可能會陷入局部最小。對于復雜問題，有些改進的PSO往往能有效地逃脫局部最小，但往往也只是以一定的概率獲得更精確的優(yōu)化解。2022/8/1微粒群優(yōu)化算法371.在函數(shù)優(yōu)化中的應(yīng)用(2) 用PSO搜索最優(yōu)解時， PSO算法參數(shù)設(shè)置如下： PopSize=20； MaxIt=2000； ErrGoal=1e-18; maxw=1.5； minw=0.1； c1=2.0; c2=2.0; inertdec=(maxw-minw)/MaxIt; w=maxw-(iter-1)*inertdec;測試函數(shù)1選為2元Rosen

36、brock函數(shù)，求其最小解：約束條件：2022/8/1微粒群優(yōu)化算法381.在函數(shù)優(yōu)化中的應(yīng)用(3)2022/8/1微粒群優(yōu)化算法391.在函數(shù)優(yōu)化中的應(yīng)用(4)最好位置： x1=1.0000, x2=1.0000最好適應(yīng)值為: 4.6045e-017 迭代次數(shù)為: 2000次 2022/8/1微粒群優(yōu)化算法401.在函數(shù)優(yōu)化中的應(yīng)用(5)測試函數(shù)2選函數(shù) ，求其最大值：約束條件： 用PSO搜索最優(yōu)解時， PSO算法參數(shù)設(shè)置如下： PopSize=30； MaxIt=2500； maxw=1.8； minw=0.1； c1=2.0; c2=2.0; inertdec=(maxw-minw)/M

37、axIt; w=maxw-(iter-1)*inertdec;2022/8/1微粒群優(yōu)化算法411.在函數(shù)優(yōu)化中的應(yīng)用(6)2022/8/1微粒群優(yōu)化算法421.在函數(shù)優(yōu)化中的應(yīng)用(7)最好位置： x1=12.1000, x2= 5.7250 最好適應(yīng)值為: 38.7328 迭代次數(shù)為: 2500 2022/8/1微粒群優(yōu)化算法431.在函數(shù)優(yōu)化中的應(yīng)用(8)基本PSO: 最好位置： x1=12.1000, x2= 5.7250 最好適應(yīng)值為: 38.7328 改進PSO: 最好位置： x1=11.6255, x2= 5.7250 最好適應(yīng)值為: 38.8503 迭代次數(shù)均為: 1500次 2

38、022/8/1微粒群優(yōu)化算法442.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(1) 本文以實際裝置的操作數(shù)據(jù)為輸入、產(chǎn)品質(zhì)量指標為輸出、用前向神經(jīng)網(wǎng)絡(luò)（Neural Networks, NN）建立產(chǎn)品質(zhì)量的軟測量模型，用PSO搜索NN的最佳權(quán)值和最優(yōu)閥值，便可得到所需的基于PSONN的產(chǎn)品質(zhì)量軟測量模型。并與基于BPNN的軟測量模型進行比較。 建模時，以NN的各連接權(quán)值、各閥值作為微粒的維數(shù)。經(jīng)過搜索，最優(yōu)微粒的位置便是NN的最佳連接權(quán)值和最優(yōu)閥值。 本文是隨機選擇一定量的數(shù)據(jù)作為訓練樣本，余下的數(shù)據(jù)作為檢驗樣本。建模時，訓練樣本和檢驗樣本的數(shù)據(jù)順序均隨機重排，以便減小由于人為數(shù)據(jù)安排帶來的影響、有效

39、地測試出最優(yōu)模型。2022/8/1微粒群優(yōu)化算法452.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(2) 第1套裝置選用某一20萬噸/年的催化裂化裝置（FCCU），用PSO神經(jīng)網(wǎng)絡(luò)建立該裝置分餾塔粗汽油干點的軟測量模型，并與BPNN的進行比較。訓練過程中歷史全局最優(yōu)適應(yīng)值軌跡趨勢如圖所示：2022/8/1微粒群優(yōu)化算法462.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(3)模型的訓練結(jié)果對比、泛化結(jié)果對比如圖所示：2022/8/1微粒群優(yōu)化算法472.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(4)組合模型的訓練結(jié)果與實際值的對比、泛化結(jié)果對比如圖所示：2022/8/1微粒群優(yōu)化算法482.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用

40、(5)組合模型與BPNN的訓練結(jié)果對比、泛化結(jié)果對比如圖所示：2022/8/1微粒群優(yōu)化算法492.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(6) 第2套裝置選用某一80萬噸/年的催化裂化裝置（FCCU），用PSO神經(jīng)網(wǎng)絡(luò)建立該裝置主分餾塔粗汽油干點的軟測量模型，并與BPNN的進行比較。訓練過程中歷史全局最優(yōu)適應(yīng)值軌跡趨勢如圖所示：2022/8/1微粒群優(yōu)化算法502.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(7)基于PSONN的軟測量模型的訓練結(jié)果、泛化結(jié)果與實際值的對比：2022/8/1微粒群優(yōu)化算法512.在煉油裝置產(chǎn)品質(zhì)量軟測量中的應(yīng)用(8)2022/8/1微粒群優(yōu)化算法522.在煉油裝置產(chǎn)品質(zhì)量軟測

41、量中的應(yīng)用(9) 由于BP算法在尋找最優(yōu)權(quán)值和閥值是單一初始值以梯度下降模式進行；而PSO是以一群微粒，即很多個初始值采用依據(jù)自己的經(jīng)驗結(jié)合群體的經(jīng)驗、隨機搜索模式進行。在對復雜的煉油裝置建立產(chǎn)品質(zhì)量軟測量模型時，PSO算法陷入局部極小的概率大大降低，PSO算法比BP算法更容易找到全局最優(yōu)解。 由于BP算法在訓練NN時，反向調(diào)節(jié)權(quán)值大都是采用梯度下降模式，需要求出神經(jīng)元傳遞函數(shù)的導數(shù)和目標函數(shù)的導數(shù)，導致它的隱含層數(shù)不宜過多，目前基本上不超過2層。而PSO在搜索時采用依據(jù)自己的經(jīng)驗結(jié)合群體的經(jīng)驗、隨機搜索模式，無需求導，因而神經(jīng)網(wǎng)絡(luò)的層數(shù)可以不受限制。 一旦基于PSO算法的前向NN和基于BP算

42、法的前向NN都沒陷入局部極小、都找到最優(yōu)參數(shù)，則兩模型的性能（擬合性能和泛化性能）相當。 PSONN對訓練數(shù)據(jù)的適應(yīng)性（收斂性）比BPNN更好。2022/8/1微粒群優(yōu)化算法533.在過程控制中的應(yīng)用(1) 圖中冷水和熱水分別通過調(diào)節(jié)閥1和調(diào)節(jié)閥2進入容器，冷熱水混合后通過出水閥3給下一環(huán)節(jié)提供恒溫恒壓用水。系統(tǒng)通過調(diào)節(jié)閥1保持容器內(nèi)水溫恒定，通過調(diào)節(jié)閥2保持容器內(nèi)液位恒定，以使出水壓力恒定。其中， , , 為控制變量； , , 為體積流量； , 為溫度； 為溫度給定值； 為液位給定值。 2022/8/1微粒群優(yōu)化算法543.在過程控制中的應(yīng)用(2)對該系統(tǒng)，首先實施常規(guī)PID控制； 然后實施

43、Two-Phases-PSO-PID控制。采樣時間為0.5秒，圖中橫坐標為仿真中迭代步數(shù)。 對于PSO-PID控制來說，通常將三參數(shù)Kp、Ki、Kd作 為每一微粒所包含的維數(shù)。 就本系統(tǒng)而言，因有兩路控制，在實施PSO-PID時，采用兩相PSO，一相以溫度回路的誤差最小為優(yōu)化目標，另一相以液位回路的誤差最小為優(yōu)化目標。兩相微粒通過系統(tǒng)而關(guān)聯(lián)。2022/8/1微粒群優(yōu)化算法553.在過程控制中的應(yīng)用(3)溫度給定值增加10%，液位給定值減小10%時的輸出變量和控制作用在常規(guī)PID控制下的變化曲線。2022/8/1微粒群優(yōu)化算法563.在過程控制中的應(yīng)用(4)圖中為溫度給定值增加10%，液位給定值

44、減小6%時，常規(guī)PID和PSO-PID控制下輸出變量變化趨勢的對比。兩圖為兩次不同的PSO-PID控制參數(shù)時的輸出變量的變化曲線。2022/8/1微粒群優(yōu)化算法573.在過程控制中的應(yīng)用(5) 由于PSO-PID三參數(shù)的初始值完全可按照常規(guī)PID的方法確定，且又以輸出變量的最小誤差為優(yōu)化目標，因而采用PSO-PID控制可以獲得滿意的關(guān)于輸出量的控制效果。 用PSO-PID，在優(yōu)選微粒最優(yōu)位置（即：最佳三參數(shù)）時，如何結(jié)合實際、選擇符合實際情況的實用目標函數(shù)來評判各微粒的優(yōu)劣是一難點。 盡管輸出量的控制效果得到明顯的改善，但控制器的控制作用的性能并沒有得到改善。如何在輸出量的控制效果得到改善的同

45、時，控制器的控制作用的性能也能得到改善，還是有待于解決的問題。 本文只研究了PSO-PID控制在過程控制中的應(yīng)用，PSO在過程控制中的應(yīng)用研究還有待于深入。關(guān)于這方面的研究，國內(nèi)外可見的報道極少。2022/8/1微粒群優(yōu)化算法58三、與其他算法的比較1.與BP神經(jīng)網(wǎng)絡(luò)的比較(1) 從搜索方式來看，PSO不是從一個初始點開始、而是從多個初始點開始、依據(jù)自己的搜索經(jīng)驗和同伴的搜索經(jīng)驗、采用全局搜索和局部搜索相結(jié)合的隨機搜索方式獲取最優(yōu)解，因而可以有效地防止搜索過程收斂于局部最優(yōu)、以較大的可能獲得全部的最優(yōu)解。而BPNN是從一個初始點開始、采用梯度下降的確定性搜索方式，因而容易陷入局部極小。但PSO

46、的計算量會大大增大。 因搜索方式的不同，PSO對目標函數(shù)、傳遞函數(shù)等函數(shù)的性質(zhì)要求不高。而BPNN則要求目標函數(shù)、神經(jīng)元的傳遞函數(shù)必須可導。這使得PSO的應(yīng)用范圍會比BPNN的應(yīng)用范圍大大拓寬、應(yīng)用方式也更為靈活。2022/8/1微粒群優(yōu)化算法591.與BP神經(jīng)網(wǎng)絡(luò)的比較(2) 從對單峰連續(xù)函數(shù)的優(yōu)化來說，由于BP算法采用梯度下降方法，只要它的權(quán)值適當，會很容易地得到最優(yōu)解。當然，PSO算法若參數(shù)得當、也能很容易地獲得最優(yōu)解。但是，BP算法的計算量要小的多，從這點來說，BP算法的性能好。但對于復雜問題的優(yōu)化來說，自然是PSO要好。 由于BP算法調(diào)權(quán)公式的推導需要較復雜的偏導計算。而PSO算法微

47、粒速度、位置的更新很簡單、更方便。所以，從編程實現(xiàn)的角度來說，PSO算法要優(yōu)于BP算法。 通過實驗感覺：在訓練神經(jīng)網(wǎng)絡(luò)時，PSO算法對數(shù)據(jù)體的適應(yīng)性和收斂性比BP算法對數(shù)據(jù)體的適應(yīng)性和收斂性要好。 從學習的角度來說，應(yīng)該是PSO算法比BP算法容易掌握。2022/8/1微粒群優(yōu)化算法602.與遺傳算法（GA）的比較遺傳算法參考書：米凱利維茨美 演化算法-遺傳算法和數(shù)據(jù)編碼的結(jié)合M 周家駒,等譯 北京：科學出版社，2000（第2章，第24-33頁） PSO與GA都是新興的進化計算算法，兩者有很多類似的地方。都從多個初始點開始的并行隨機搜索方法，都可以有效地防止搜索過程收斂于局部最優(yōu)、以較大的可能獲

48、得全局最優(yōu)解。 不過，在迭代時，PSO是依據(jù)自己的搜索經(jīng)驗和同伴的搜索經(jīng)驗、采用全局搜索和局部搜索相結(jié)合搜索方式得到微粒下一個的位置；而GA是采用優(yōu)勢個體的交叉、變異的方式產(chǎn)生下一代。因而，PSO的計算較GA要簡單的多、收斂速度也比GA快。 由于PSO的簡潔，它的實用性比GA要好得多，編程實現(xiàn)相當容易(若GA是二進制編碼，還有編碼的問題及計算量相當大)。2022/8/1微粒群優(yōu)化算法61參考文獻：1 Kennedy J, and Eberhart R C. Particle swarm optimization A. Proc. IEEE Int. Conf. on Neural Networ

49、ksC. Perth, WA, Australia, 1995: 1942-1948 2 Eberhart R C, and Kennedy J. A new optimizer using particle swarm theoryA. Proc. the Sixth Int. Symposium on Micro Machine and Human ScienceC. Nagoya, Japan, 1995: 39-43. 3 Eberhart R C, and Shi Y. Particle swarm optimization: developments, applications a

50、nd resourcesA. Proc. 2001 Congress on Evolutionary Computation C. Seoul, South Korea, 2001: 81-86. 4 Shi Y, and Eberhart R C. A modified particle swarm optimizer A. Proc. IEEE Int. Conf. on Evolutionary ComputationC. Anchorage, AK, USA, 1998: 69-73. 5 G. Venter and J. Sobieszczanski-Sobieski Multidi

51、sciplinary optimization of a transport aircraft wing using particle swarm optimizationJ Struct Multidisc Optim 26, 2004: 121-131 6 Shi Y, and Eberhart R C. Fuzzy Adaptive Particle Swarm OptimizationA. Proc. IEEE Int. Conf. on Evolutionary ComputationC. Seoul, South Korea, 2001. 7 K.E. Parsopoulos an

52、d M.N. Vrahatis Recent approaches to global optimization problems through Particle Swarm OptimizationJ Natural Computing: Netherlands 2002: 2353062022/8/1微粒群優(yōu)化算法628 Carlisle A and Dozier G An Off-The-Shelf PSO. Proceedings of the Particle Swarm J Optimization Workshop, 2001: 16 9 Maurice Clerc, The

53、Swarm and the Queen: Towards a Deterministic and Adaptive Particle Swarm Optimization J Proc. Congress on Evolutionary Computation, Washington, DC, 1999:1927-193010 R. C. Eberhart and Y Shi, Comparing Inertia Weights and Constriction Factors in Particle Swarm Optimization Proc. Congress on Evolutionary ComputationJ San diego, California, USA, 2000:84-8811 Peter J. Angeline Using Selection to Improve Particle Swarm Optimization J Proc. International Conference 0n Evolutionary Computation, Anchorage, Alaska, USA, 1998: 84-8912 Peter J. Angeline Evolutionary Optimiza