2024元強化學習驅(qū)動的高比例分布式光伏智能配電網(wǎng)自適應調(diào)壓技術報告-天津大學（葛磊蛟）

1.元強化學習學習多個任務的經(jīng)驗，提高在新任務上的學習效率。元學習的核心思想是RL)的一種新興方法。它旨在通過學習如何學習，提高智能體在新任務?stepstep4:聚合階段一、元強化學習二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術三、基于強化學習的自適應電壓控制風/光/氫等多類型風/光/氫等多類型2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術2233較大等2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術根據(jù)電網(wǎng)狀態(tài)對分布式光伏并網(wǎng)功率進行控制是調(diào)節(jié)配網(wǎng)電壓的重要手段，結(jié)合不同的通信控制方式，電壓控制策略可以分為以下三種分布式控制分布式控制2.傳統(tǒng)智能配電網(wǎng)調(diào)壓技術時間/s配電系統(tǒng)資源群1資源利用效率低資源利用效率低效率二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術三、基于強化學習的自適應電壓控制天津大學3.天津大學3.1現(xiàn)有電壓控制方法的不足可再生能源和負荷羈個立簡化羈個立交互配電網(wǎng)模型交互配電網(wǎng)模型控制動作輸出輸出誤差大分布式柴油機3.基于強化學習的電壓自適應控制天津大學3.23.2強化學習的優(yōu)勢無模型的實時在線控制：強化學習具有遞歸神經(jīng)網(wǎng)絡等其他神經(jīng)網(wǎng)絡結(jié)構(gòu)具有記憶性和非線性擬合擬合能力。在控制階段不需要考慮配電網(wǎng)模型就環(huán)境智能體Wa?-環(huán)境a?-環(huán)境獎勵獎勵控制動作a。變成智能體的輸入；智能體接下來輸轉(zhuǎn)移到s?。這個過程中智能體會得到經(jīng)驗儲存起來。然后智能體根據(jù)這些經(jīng)驗更新神經(jīng)網(wǎng)絡參數(shù)得到控制經(jīng)驗天津大學3.33.3基于強化學習的電壓自適應控制數(shù)據(jù)控制數(shù)據(jù)控制P,=P?S+P"+P?-pod嘴=+(%27+2)里化學習數(shù)據(jù)輸入交互√使用電壓值建立獎勵函數(shù)求獎勵值3.4基于強化學習的電壓自適應控制案例分析n時間連續(xù)動作空間天津大學NetworkMLPNewok13.基于強化學習的電壓自適應控制強化學習訓練過程的收斂曲線獎勵值收斂曲線獎勵值收斂曲線所提算法有最優(yōu)收斂效果!—PA-DDPG3.基于強化學習的電壓自適應控制化學習輸入Vi∈N,Vt∈T輸出控制數(shù)據(jù)輸入輸出控制數(shù)據(jù)輸入控制策略數(shù)據(jù)輸入一、元強化學習二、傳統(tǒng)智能配電網(wǎng)調(diào)壓技術天津大學天津大學4.1深度強化學習存在的問題ChainofTransition圖1環(huán)境狀態(tài)轉(zhuǎn)移示意圖√非穩(wěn)態(tài)性源于打破了制約大多數(shù)單代理強化學習算法的一圖2多智能體強化學習√學習程度不均勻源于為合作關系的各個智天津大學天津大學4.2提升方案——元強化學習反映其自身的行為貢獻，而不是簡單地使用聯(lián)合獎勵。評論家網(wǎng)絡中應用Withprobablityp天津大學圖133總線網(wǎng)絡圖4.3元強化學習驅(qū)動的自適應電壓控制-案例分析圖133總線網(wǎng)絡圖4.3元強化學習驅(qū)動的自適應電壓控制-案例分析天津大學天津大學4.3元強化學習驅(qū)動的自適應電壓控制-案例分析圖1141總線網(wǎng)絡圖圖1141總線網(wǎng)絡圖電壓失控比電壓失控比可u00天津大學天津大學4.34.3元強化學習驅(qū)動的自適應電壓控制-案例分析aθ,o,r電壓平均值電壓平均值a