數據驅動的電網前瞻優(yōu)化調度

研究背景

基態(tài)下的電網前瞻調度模型

適應不確定場景的遷移強化學習決策

結語

1.1新能源裝機容量不斷增長

中國風電、光伏累計裝機容量（萬千瓦）

風電裝機光伏裝機

1.2人工智能技術蓬勃發(fā)展

人工智能方興未艾，已在圖像識別、自然語

言處理、自動駕駛、醫(yī)療影像、語言搜索等

領域得到應用

A深度、強化學習等人工智能技術正悄然向傳

edurekal

統(tǒng)能源行業(yè)進軍，已在可再生能源預測、負

荷預測等領域得到應用

＞如何與優(yōu)化調度相結合?

1.3人工智能技術支撐電網優(yōu)化調度

傳統(tǒng)電網調度面臨的挑戰(zhàn)

?源荷雙側不確定性，加劇了短時優(yōu)化決策的難度

?電網調度對象數量急劇增加所帶來的復雜度，對優(yōu)化決策的效率提出了挑戰(zhàn)

■隨機多運行場景下，電網調度智能化水平有待進一步提升

口人工智能技術對優(yōu)化調度的影響

v自適應性：挖運彳攢據內在規(guī)律，留心寸數學解析模型構建的俅賴

v智能性：敏捷地、自適應及通用化地完成從數據變化到統(tǒng)計模型參數改變的過程

V快速性：可離線地擬合逼近、泛化調度決策流程中輸入輸出的映射關系，無需在線

解析并迭代優(yōu)化

提綱

研究背景

基態(tài)下的電網前瞻調度模型

適應不確定場景的遷移強化學習決策

結語

6

2.1多時段滾動電網前瞻調度模型

口包含目標函數、決策變量、約束條件的安全約束經濟調度(SCED)及安全約束機組組合

前瞻窗口t+i對

應預測負荷：

前瞻窗口t+2對

應預測負荷：

8:008:158:308:459:009:159:309:4510:0010:1510:3010:4511:0011:1511:3011:4512:0012:1512:3012:4513:00

7

2.1多時段滾動電網前瞻調度模型

口目標函數、輸入量、決策變量、約束條件

輸入量節(jié)點負荷圖｝+新能源出力預測邛?，…,喈’）

決策變量機組有功出力邛,=｛吧,…，窗｝

孕/-I

目標函數發(fā)電+啟停成本最小minC（僅7+4（或」）+c,+C，+C：

Mlr?0

個限4吧+廳叫Vr

，=1▲=!

斤；甘丁斤~\

244Vi,r心嚴碎

機組出力上下限^4WrJeGi

約4Q：：sQfg,Vij

4一成七右丁z+旬-《一；;）+廳n-G

束

丁=0

片'-憶"N工…+^-（/：,-/；；'卜嚴一（I-/；；'）

條新能源出力

/mt=

低方Y'"/F&+嚴E（心工）+嚴E（I_/[J

件

-4瘵-咪4丁也1.V/.Z>Lr=II片：「尼2-/：,./,**，+中-3/：,“T，，卜始2（”4J

m41-螳44?皿*I.V?,r=1,./-I

S咒：Y'SW=1.V/.r=1.....r-lscuc

線路潮流約束P：，=7^t7<LV/.r

限"4v；,4VLzArSCED

00

2.2基于深度強化學習的電網前瞻調度模型

狀態(tài)輸入空間、動作輸出空間、獎勵函數的設計標

準L=[Z,ZZ

狀態(tài)StateS,=[L],L,…,L,A]--------------------------------化

處

理

珈乍ActionA.=[ao,a{,..,a,-]

過a/=[air,a2...,av]

5

獎勵Rewardr=r^程*=gG,（嚴4-嚴川）+（嚴皿+嚴b）]

—t

主線獎勵函數（發(fā)電成本最?。┮?-之（塔）'+〃喀川,

4-1r*0

點,=W|￡￡'（max{喑-V'R,0}+maxqj-琛,。}）

r-0i-l

比=叼$七地聯磔'-"iQ+max0f-媼0}

十

r?0

懲r.|A-

罰r；=嗎￡2.（max（陰'-/?「&（））+maxt-^A/-陰'.0}）

項r=4T

fpm

r=0j,sl''十￡

r==wS￡（maxM』-vL，0}+maxW）-%r，0}）

7Hi-l

2.3深度強化學習算法的選擇

□改進深度確定性策略梯度算法(DeepDeterministicPolicyGradient,DDPG)

LsyerLwuipm

在傳統(tǒng)DDPG算法的基礎上增設“良好經驗存儲

池”使智能體向滿足安全約束的方向探索，從而縮短神經網絡結構:

訓練探索時間。全連接神經網絡

環(huán)境般經驗

(suauTi,Si+i,done)InnutOutnut

存儲池LayerHiddenLayersLayer

at批次采樣

(SuTt,St+1)VV

batch__size*(sj,ai,r,Si+l)采用的兩種激活函數:

尹”(st)relu

優(yōu)

優(yōu)

2-

化

化

器

器L

-30123

tanh

TargetActor

io

2.4多時段滾動前瞻調度智能體訓練方式的設計

口多時段滾動前瞻調度智能體訓練框架

11

2.4多時段滾動前瞻調度智能體訓練方式的設計

智能體訓練方式的設計

狀態(tài)

根據智能體訓練方式不同，可分為:多時段拆分

state1state2stateT

多時段聯合優(yōu)化訓練方式（僅適用于

小規(guī)模系統(tǒng)，一般收斂時間較長）神經網絡

輸入：（節(jié)點數+機組數）*T;輸入：節(jié)點數+機組數;

多時段解耦優(yōu)化訓練方式（適用于輸出：機組數*T輸出：機組數

大規(guī)模系統(tǒng)，縮短訓練收斂時間）

action1actionT

輸出動作

12

2.4多時段滾動前瞻調度智能體訓練方式的設計

神經網絡參數的初始化-預訓練環(huán)節(jié)

環(huán)境?般經驗

(sa,r,S+done)存儲池

Qt批次采樣

(Sp,Tt,Sl+l)V

采用歷史調度數據進行深度土batch_size*(si,aj,r,Si+1)

兀(st)

學習，以初始化以及優(yōu)優(yōu)

Actor化

化

器

Critic網絡參數，使之更加合理，器

從而提高價值網絡的精度、

CriticTargetCritic

智能體探索到可行解的概率。

初始化網絡參數

歷史調度經驗

2.5融合模型驅動的多時段前瞻調度智能體訓練

□融合物理模型的不平衡量分配

為了解決大規(guī)模系統(tǒng)復雜度增加的問題，在網絡參數預訓練的基礎上，研究數據與模型聯合驅動的方法,

提出機組越限量與系統(tǒng)不平衡量分配的環(huán)節(jié)：機組的有功功率及爬坡越限的功率調節(jié)、系統(tǒng)不平衡有功功率的

2.5融合模型驅動的多時段前瞻調度智能體訓練

□智能體與環(huán)境交互示意圖

節(jié)點負荷、上一個窗口機組出力組成的State

DDPG:,DDPG正式訓練

Actor

前瞻窗口內機組出力JT/

獎勵

不平衡量分配/賽數RewardR|~舊利

//更新盒蟹_而蠹業(yè)"

/強化學習\/采樣

'網絡、/Batch1

5—采樣數據

市IJ/電網運行環(huán)境

/DDPG正式訓練

\'-------￡預訓練、’」

而露經過不平衡量分配過后開始前

的前瞻窗口機組出力〉歷史0PF調度

經驗

2.6算例分析

□測試系統(tǒng)：IEEE-30節(jié)點系統(tǒng)

系統(tǒng)基本參數

類別名稱節(jié)點總數M)us機組數量Ncen支路數量NZme

IEEE3030641

機組發(fā)電成本

發(fā)

電

成

本

美

元

010203040506070

機組有功出力八僧

16

2.6算例分析

機組前瞻調度結果

有

功

功

率

QE

/WMd

訓練時長與成本分析

離線訓練時間在線決策時間與OPF成本對比

IEEE3030h5s+0.031%

數據集規(guī)模n天1天11天

提綱

研究背景

2基態(tài)下的電網前瞻調度模型

3適應不確定場景的遷移強化學習決策

結語

18

3.1多運行場景下前瞻調度智能體的遷移架構

同時應對負荷、新能源等邊界條件變化與網絡拓撲變化

電網前瞧調度智能體

19

3J多運行場景下前瞻調度智能體的遷移架構

□多拗景下的i翔馳J

交互

源智能體

遷移

模擬基態(tài)時不同負荷水平及新能

源出力情況、故障態(tài)時不同線路開智能體1智能體2智能體N

交互交互相交互

斷場景并對其進行聚類。

運行場景1

完成對相應類別場景下基于遷移

智能體1,1智能體1.2

強化學習的智能體訓練，從而構建

歸類到王單態(tài)時聚類故障運彳蜴景IJ故障運行場景1,2故障運彳鐲景1,n

適應多運行場景的前瞻調度模型的1......N運行場景

It故障態(tài)時運行

場景1的聚類

遷移強化學習架構。電網正常態(tài)時多運行場景電網故障態(tài)時運行場景1

歸類結果

電網故障態(tài)時多運行場景電網故障態(tài)時運行場景N

3.2場景數據集構建及特征相似度分析

□場景特征相似度度量及聚類

針對電網運行的海量場景，量化前瞻調度場景的特征相似度,通過聚類降低調度決策復雜度，提高效率。

基于調度計劃結果，實現場景特征相似度度量及場景聚類。

特

特

特

制

提

征

征

征

定

調度場景1調度結果1取特征矩陣1

典型場景1

向

矩

相

優(yōu)

關

量

陣

似

化

調度場景2?調度結果2鍵特征矩陣2

的

的

度

調

特典型場景2

降

相

的

度

征

維

似

聚

策

矩

度

類

略

陣

調度場景N*調度結果N特征矩陣N

KYYv特征降維處理：

地分分析法PCA

YnYX2YUV

oNhnNItNn

PiP2Piv

>NhrpNhpNn

nniv空間距離相似度

PfP?R

P7P°PK-means聚類

J線路故障:節(jié)點導納矩陣中對應元素置為0

V新增線路:修改節(jié)點導納矩陣中對應元素至新值

21

3.3前瞻調度智能體的遷移訓練

□智能體的遷移訓練步驟

引入遷移學習的目的是找到新增拓撲運行方式與原有拓撲的相似性，運用現有知識更快地學習新場景下

的知識。其步驟分為：

構造源模型：針對電網正常拓撲下的運行場景，訓練智能體源模型。

模型遷移：使用源模型在拓撲改變情形下進行訓練，使模型快速適應新場景。

深度強化學習算法

交互

電網正常

運行場景智能體

I神經網絡模型遷移

遷移學習

交互

聚類故障L.

場景N智能體N

22

3.4離線訓練與在線決策機制

□前瞻調度智能體離線訓練與在線決策架構

在線決策階段，針對各類拓撲變化的運行場景，基于特征處理與場景歸類的方法對應到相應遷移智能體

并通過增加新未知故障場景對應的遷移智能體提升電網前瞻調度巡航路徑的場景包容性。

特原始數據集

征

處

特征提取

理

與

特征選擇

場

景

處理后場景特征數據集X

歸

十

類

遷移智能體對應場景特征

C,+—argmin,|x-|i

23

3.5算例分析

測試系統(tǒng)：SG126系統(tǒng)

系統(tǒng)基本參數（其中新能源電站18座）

類別名稱節(jié)點總數NBus^LMMNGen支路數量NL

SG12612654185

AM

話艙被8機，15958新能源機組

機組發(fā)電成本火七裝機：5328U火電機組

69?3.?

大方式負荷總加：3687M

---gen=0.069663*x2+26.2438*x+31.67

—喀n=0.010875*x、2+12.8875*x+6.78I-r>,r區(qū)域二

---gen=0.0128*x-2+17.82*X+10.15

---陰n=0.003*x~2+10.76*x+32.96新能源裝機：3805

發(fā)—gen=0.00240l*x'2+12.3299*x+28.0火電裝機:2483

電---8^n=0.0044*x'2+13.29*x+39.06找機：2863V

大方式負荷總加：M00M

成-gen=0.01059*X*2+8,3391*X+64.16

斗?

本一gen=0.045923*x*2+15.4708*X+74.33

一gen=0.028302*x'2+37.6968*x+17.95

-gen=0.009774*x'2+22.9423*X+58.81

元

區(qū)域三

區(qū)域一新能額裝機：100網

火電裝機:2570

總裝機：2670?1

新能源裝機：1U5M

&方式《荷BE：1193

火電裝機：275MK

IMb1502Ml350總裝機：1390X6

大方式負行總加：1Q94*

機組有功出力/\w

24

3.5算例分析

負荷數據

節(jié)900000

點

負

荷800000

有

功

700000

功

率

/

M

W600000

500000

650100150200250300350

------------------------------------------------1時間間隔/24h-------------------------------------------

離線訓練環(huán)節(jié)采用的負荷數據集為2019年10月后延一年的數據（綠色曲線）;在線測試環(huán)節(jié)采用

的負荷數據集為2020年10月后的數據（藍色曲線）。橫坐標對應天數，時間間隔為24小時；縱坐標

為對應的負荷（單位：MW）O

25

3.5算例分析

新能源預測數據

新

能

源300000

機

組250000

最

200000

大

有150000

功

功100000

率

/50000

M

W

0-

050100150200250300350

---------------------------------時間間隔/24h-----------------------------------------

SG126系統(tǒng)的訓練集與測試集對應的新能源機組預測最大有功出力。橫坐標對應天數，時間間

隔為24小時；縱坐標為對應的新能源預測（單位：MW）o

26

3.5算例分析

運行場景聚類-基態(tài)

K簇類別個數的選擇：3

基態(tài)運行時訓練集場景的映射特征集表4000

場景/天特征1特征2特征3特征4特征5

M'w6.792-7.3171.8239.1373.469

Mi23.1665.1390.3412.3902.635

Ml

9.7950.061-8.1801.5870.720

、亡9-2.765-6.7500.4633.8712.487

34579