基于深度強(qiáng)化學(xué)習(xí)的建筑能源系統(tǒng)優(yōu)化策略

01建筑能源系統(tǒng)結(jié)構(gòu)及設(shè)備模型建筑能源系統(tǒng)包括光伏發(fā)電組件、蓄電池儲(chǔ)能裝置以及電熱泵，具體結(jié)構(gòu)如圖1所示。圖1

建筑能源系統(tǒng)結(jié)構(gòu)Fig.1

Structureofbuildingenergysystem1.1

光伏發(fā)電組件決定光伏發(fā)電組件功率輸出的主要因素包括局部太陽(yáng)輻射強(qiáng)度、光伏板面積和光伏系統(tǒng)發(fā)電效率，其中發(fā)電效率主要考慮光伏系統(tǒng)逆變器和并網(wǎng)之間的轉(zhuǎn)換效率。t時(shí)刻光伏發(fā)電功率為式中：

Er

為太陽(yáng)輻射，kW/m2；

Apv

為光伏板總面積，m2；

ηpv

為發(fā)電效率，設(shè)定為0.104；k為溫度系數(shù)，設(shè)定為?3.7×10?3

；

Tref

為參照溫度，設(shè)定為25℃；

Tcell

為光伏發(fā)電計(jì)算溫度，具體表示為式中：

Tamb

為環(huán)境溫度。1.2

蓄電池儲(chǔ)能組件蓄電池儲(chǔ)能組件可以消納可再生能源和緩解負(fù)荷的不確定性。為t時(shí)刻電池荷電狀態(tài)，定義為電量與電池容量的比值，具體表示為式中：

σ

為蓄電池的自放電率；

ηch

、

ηdis

分別為蓄電池的充、放電效率；

為充放電功率；

Wb

為電池容量，kW·h；Δt

為時(shí)間步長(zhǎng)。儲(chǔ)能系統(tǒng)的約束包括充放電功率和電池容量狀態(tài)，具體表示為式中：分別為蓄電池荷電狀態(tài)的最小值、最大值；

Pmin

、

Pmax

分別為蓄電池充放電功率的最小值、最大值。1.3

電熱泵組件冬季建筑內(nèi)空氣溫度的變化與室外溫度、熱泵運(yùn)行參數(shù)和建筑熱參數(shù)等相關(guān)，故t+1時(shí)刻室內(nèi)溫度為式中：為t時(shí)刻室外溫度；

Cb

為建筑熱容量；

Ri?a

為室內(nèi)和環(huán)境之間的熱阻；

PHP

為電熱泵額定功率；為t時(shí)刻空調(diào)運(yùn)行狀態(tài)動(dòng)作；

αCOP

、

βCOP

為熱泵線性COP系數(shù)，分別設(shè)定為0.0606和2.612；

Aw

為窗戶面積；為窗戶太陽(yáng)輻射。

02基于深度強(qiáng)化學(xué)習(xí)算法求解過(guò)程2.1

馬爾可夫決策過(guò)程天氣狀況、電價(jià)以及光伏發(fā)電等不確定性因素給能源管理系統(tǒng)的實(shí)時(shí)最優(yōu)策略制訂帶來(lái)了極大的挑戰(zhàn)。本文旨在獲得最優(yōu)的系統(tǒng)時(shí)序性決策鏈，最優(yōu)意味著當(dāng)下的決策不僅要考慮下一步的效果，還要考慮該決策所產(chǎn)生的后效性。為此，需要簡(jiǎn)化時(shí)序模型的復(fù)雜度，故提出馬爾可夫假設(shè)，即假設(shè)系統(tǒng)下一時(shí)刻狀態(tài)僅與當(dāng)前時(shí)刻狀態(tài)有關(guān)，而與之前狀態(tài)無(wú)關(guān)。本文將該優(yōu)化問(wèn)題表述為1個(gè)馬爾可夫決策問(wèn)題，具體表示為(S,

A,

R,

π)，其中S為環(huán)境狀態(tài)集合，A為智能體動(dòng)作集合，S×A→R為獎(jiǎng)勵(lì)函數(shù)，π為智能體策略集。在每個(gè)時(shí)間步驟t中，智能體作為控制中心，通過(guò)觀察環(huán)境狀態(tài)

st∈S

，并基于策略π選擇動(dòng)作

at∈A(s)后，智能體得到獎(jiǎng)勵(lì)

r(st,at)，同時(shí)環(huán)境變成下一個(gè)狀態(tài)。智能體與環(huán)境交互如圖2所示。圖2

智能體與環(huán)境交互Fig.2

Schematicoftheagentinteractingwiththeenvironment2.2

要素定義1）狀態(tài)空間。狀態(tài)空間包含一組與環(huán)境相關(guān)的已知物理量，在能源管理系統(tǒng)調(diào)度的過(guò)程中，t時(shí)刻智能體觀察到的環(huán)境狀態(tài)空間St為式中：

pt

為實(shí)時(shí)電價(jià)，元/(kW·h)。2）動(dòng)作空間。智能體通過(guò)觀察環(huán)境狀態(tài)判斷后，作出控制策略的集合即為動(dòng)作空間。在本文系統(tǒng)中，控制變量包含熱泵的運(yùn)行功率和蓄電池儲(chǔ)能系統(tǒng)的充放電狀態(tài)，將其分別定義為離散動(dòng)作變量，具體表示為式中：分別為熱泵和電池離散動(dòng)作集合；為熱泵動(dòng)作取值（0，0.25，0.50，0.75，1.00），從0到1表示熱泵負(fù)荷逐漸增大；為儲(chǔ)能系統(tǒng)動(dòng)作取值(1,–1,0)，分別表示充電、放電和不充不放電。3）獎(jiǎng)勵(lì)函數(shù)。對(duì)于本文提出的能源管理系統(tǒng)，智能體優(yōu)化的目標(biāo)包括降低用電成本、合理控制室內(nèi)溫度和消納光伏發(fā)電量。為了實(shí)現(xiàn)多目標(biāo)優(yōu)化，提出多個(gè)任務(wù)獎(jiǎng)勵(lì)函數(shù)來(lái)實(shí)現(xiàn)聯(lián)合控制。電力成本獎(jiǎng)勵(lì)函數(shù)可以表示為式中：

ζ1

是權(quán)重因子。室內(nèi)溫度獎(jiǎng)勵(lì)函數(shù)可以表示為式中：

Tmax

、

Tmin

分別為設(shè)置室內(nèi)舒適溫度區(qū)間的上、下限；

Dt

為室內(nèi)溫度沒(méi)有控制在規(guī)定區(qū)間內(nèi)的懲罰值；

ζ2

為權(quán)重因子。蓄電池儲(chǔ)能過(guò)度充放電獎(jiǎng)勵(lì)函數(shù)可以表示為式中：

DSOC

為蓄電池過(guò)度充放電的懲罰值；

ζ3

為權(quán)重因子。當(dāng)時(shí)，蓄電池儲(chǔ)能系統(tǒng)充放電得到的獎(jiǎng)勵(lì)函數(shù)可以表示為式中：

ζ4

為權(quán)重因子。為鼓勵(lì)光伏發(fā)電本地消納，將此時(shí)充電動(dòng)作的獎(jiǎng)勵(lì)函數(shù)設(shè)定為正值，放電設(shè)定為負(fù)值。當(dāng)t時(shí)刻電價(jià)為峰值或谷值時(shí)，蓄電池儲(chǔ)能系統(tǒng)充電得到的獎(jiǎng)勵(lì)函數(shù)可以表示為式中：

ζ5

為權(quán)重因子。當(dāng)電價(jià)較高時(shí)，充電動(dòng)作得到負(fù)的獎(jiǎng)勵(lì)值；當(dāng)電價(jià)較低時(shí)，充電動(dòng)作得到正的獎(jiǎng)勵(lì)值。當(dāng)t時(shí)刻電價(jià)為峰值或谷值時(shí)，蓄電池儲(chǔ)能系統(tǒng)放電得到的獎(jiǎng)勵(lì)函數(shù)可以表示為式中：

ζ6

為權(quán)重因子。當(dāng)電價(jià)較高時(shí)，放電動(dòng)作得到正的獎(jiǎng)勵(lì)值；當(dāng)電價(jià)較低時(shí)，放電動(dòng)作得到負(fù)的獎(jiǎng)勵(lì)值。綜上，得到綜合獎(jiǎng)勵(lì)函數(shù)

rt

為充放電次數(shù)獎(jiǎng)勵(lì)函數(shù)

rSOC

為式中：

ζ7

和

ζ8

為權(quán)重因子；

nt

為表征t時(shí)刻與t–1時(shí)刻的充放電狀態(tài)是否發(fā)生變化的參數(shù)，如果發(fā)生變化取值為1，否則為0。2.3

算法求解1）Q學(xué)習(xí)。它是解決強(qiáng)化學(xué)習(xí)問(wèn)題的一種常用方法，通過(guò)定義Q函數(shù)，即狀態(tài)動(dòng)作價(jià)值函數(shù)，并采用貝爾曼方程進(jìn)行更新得到Q表格，Q值更新方式可以表示為式中：

Q(st,at)為狀態(tài)動(dòng)作價(jià)值函數(shù)，表示在狀態(tài)

st

采取動(dòng)作

at

產(chǎn)生的價(jià)值；

γ

為折扣因子，其大小代表著未來(lái)獎(jiǎng)勵(lì)的重要性；

α

為學(xué)習(xí)率。運(yùn)用貝爾曼方程更新Q函數(shù)的核心思想在于，評(píng)估當(dāng)前狀態(tài)

st

的決策動(dòng)作

at

的效果時(shí)，不僅要考慮這一步?jīng)Q策所產(chǎn)生的獎(jiǎng)勵(lì)函數(shù)

rt+1

，而且要考慮當(dāng)前的動(dòng)作對(duì)于未來(lái)的持續(xù)性收益。2）深度Q網(wǎng)絡(luò)。盡管Q學(xué)習(xí)算法經(jīng)過(guò)更新可以逼近Q函數(shù)最優(yōu)值，但是對(duì)于本文提出的環(huán)境狀態(tài)空間，如溫度、太陽(yáng)輻射和電價(jià)等屬于連續(xù)狀態(tài)空間，此時(shí)采用傳統(tǒng)強(qiáng)化學(xué)習(xí)算法會(huì)出現(xiàn)“維數(shù)災(zāi)難”問(wèn)題。為此，提出價(jià)值函數(shù)近似的方法，即用參數(shù)

θ

構(gòu)造出深度Q網(wǎng)絡(luò)替換Q學(xué)習(xí)中的價(jià)值函數(shù)，即式中：分別為狀態(tài)s下采取動(dòng)作a的價(jià)值函數(shù)近似值和準(zhǔn)確值；

θ

為價(jià)值網(wǎng)絡(luò)權(quán)重系數(shù)；采用這種利用深度神經(jīng)網(wǎng)絡(luò)近似取代Q函數(shù)的方式，可以得到DQN。DQN的目標(biāo)為最小化損失函數(shù)

L(θ)，即式中：

yt

為目標(biāo)網(wǎng)絡(luò)函數(shù)，可以表示為式中：

θ?

為目標(biāo)網(wǎng)絡(luò)權(quán)重系數(shù)。3）決斗雙深度Q網(wǎng)絡(luò)。D3QN結(jié)合雙深度Q網(wǎng)絡(luò)和決斗深度Q網(wǎng)絡(luò)。雙深度Q網(wǎng)絡(luò)相較于DQN算法，在計(jì)算目標(biāo)Q值時(shí)將動(dòng)作選擇和動(dòng)作評(píng)價(jià)分離，用評(píng)估網(wǎng)絡(luò)選擇動(dòng)作，目標(biāo)網(wǎng)絡(luò)確定動(dòng)作的價(jià)值，有效避免了過(guò)估計(jì)問(wèn)題。那么，

yt

可以表示為決斗深度Q網(wǎng)絡(luò)提出了一種新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖3所示。與DQN中深度神經(jīng)網(wǎng)絡(luò)在接受狀態(tài)值直接輸出Q值所不同的是，決斗深度Q網(wǎng)絡(luò)將輸出Q值分成了狀態(tài)價(jià)值V和動(dòng)作優(yōu)勢(shì)價(jià)值A(chǔ)，從而避免了網(wǎng)絡(luò)訓(xùn)練中過(guò)擬合問(wèn)題，加快了訓(xùn)練速度，具體表示為圖3

D3QN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3

D3QNneuralnetworkstructure式中：

ω

為全連接層參數(shù)；

α

和

β

分別為動(dòng)作優(yōu)勢(shì)價(jià)值A(chǔ)和狀態(tài)價(jià)值V支路的全連接層參數(shù)。D3QN的算法訓(xùn)練過(guò)程如圖4所示。圖4

D3QN訓(xùn)練過(guò)程Fig.4

D3QNtrainingprocess

03算例分析3.1

場(chǎng)景描述針對(duì)冬季工況下的系統(tǒng)優(yōu)化，選取2018年1月、11月和12月的湖南省長(zhǎng)沙市實(shí)測(cè)氣象數(shù)據(jù)進(jìn)行模擬，如圖5所示。光伏板面積設(shè)定為40m2，根據(jù)氣象數(shù)據(jù)計(jì)算得到冬季光伏發(fā)電量如圖6所示。儲(chǔ)能裝置型號(hào)為6-GFMJ-200，容量為7.2kW·h，充放電效率為90%，充放電功率設(shè)定為1.44kW，荷電狀態(tài)的最大/最小值為0.9/0.2。為考慮實(shí)時(shí)電價(jià)對(duì)系統(tǒng)策略的影響，采用澳洲能源網(wǎng)站中相似氣候條件下冬季實(shí)時(shí)電價(jià)數(shù)據(jù)，高峰電價(jià)和低谷電價(jià)分別設(shè)置為0.7和0.4元/(kW·h)，余電上網(wǎng)電價(jià)為0.4548元/(kW·h)。電熱泵與建筑相關(guān)參數(shù)如表1所示，將室內(nèi)舒適溫度上限和下限分別設(shè)置為22℃和18℃。圖5

2018年湖南長(zhǎng)沙氣象參數(shù)Fig.5

MeteorologicalparametersofChangsha,Hunanin2018圖6

電價(jià)與光伏發(fā)電功率Fig.6

Electricitypricesandphotovoltaicpower表1

熱泵與建筑參數(shù)Table1

Heatpumpandbuildingparameters3.2

基準(zhǔn)模式針對(duì)本文建筑能源系統(tǒng)，提出如下控制策略作為基準(zhǔn)模型。電熱泵和儲(chǔ)能系統(tǒng)分別通過(guò)調(diào)整運(yùn)行功率和充放電狀態(tài)控制系統(tǒng)運(yùn)行。其中熱泵運(yùn)行功率根據(jù)當(dāng)前時(shí)刻室內(nèi)溫度和電價(jià)確定；充放電狀態(tài)是在規(guī)定電池荷電狀態(tài)范圍內(nèi)，根據(jù)當(dāng)前時(shí)刻電價(jià)與光伏發(fā)電量確定。由此可知，基準(zhǔn)模型的優(yōu)勢(shì)在于能夠根據(jù)當(dāng)前環(huán)境參數(shù)給出確定的控制策略，并及時(shí)進(jìn)行動(dòng)態(tài)調(diào)整來(lái)應(yīng)對(duì)環(huán)境變化，從而滿足用戶的舒適性和經(jīng)濟(jì)性需求。具體控制策略如表2和表3所示。表2

基準(zhǔn)模式熱泵運(yùn)行策略Table2

Baselinemodeheatpumpoperationstrategy表3

基準(zhǔn)模式儲(chǔ)能運(yùn)行策略Table3

Baselinemodeenergystorageoperationstrategy3.3

參數(shù)設(shè)置設(shè)置最小優(yōu)化步長(zhǎng)為15min，優(yōu)化周期設(shè)為31天，即周期內(nèi)含有2976個(gè)優(yōu)化時(shí)段。系統(tǒng)模型的訓(xùn)練過(guò)程使用11月和12月數(shù)據(jù)集，訓(xùn)練共進(jìn)行1000個(gè)回合，訓(xùn)練時(shí)隨機(jī)選取其中連續(xù)31天的數(shù)據(jù)；測(cè)試過(guò)程使用1月數(shù)據(jù)集進(jìn)行性能驗(yàn)證。D3QN算法中Q網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)各包含3個(gè)全連接隱藏層，各層神經(jīng)元數(shù)分別為128、256、256，并使用整流線性單元作為隱藏層的激活函數(shù)，選用Adam優(yōu)化器來(lái)更新網(wǎng)絡(luò)權(quán)重。主要超參數(shù)包括學(xué)習(xí)率

α

=0.0001，折扣因子

γ

=0.99，最小批量為32，網(wǎng)絡(luò)更新速率τ=0.002。3.4

效果及對(duì)比分析為探究不同深度學(xué)習(xí)算法在訓(xùn)練過(guò)程中的特性，本文選取D3QN和DQN算法并設(shè)置相同的超參數(shù)，對(duì)比研究迭代過(guò)程中的獎(jiǎng)勵(lì)函數(shù)曲線和均值獎(jiǎng)勵(lì)函數(shù)曲線，如圖7所示。在前期訓(xùn)練過(guò)程中，2種算法的獎(jiǎng)勵(lì)函數(shù)都有不同程度震蕩，這是由于智能體尚處于探索階段，存在很多隨機(jī)動(dòng)作選擇。但經(jīng)過(guò)多次迭代之后，2條獎(jiǎng)勵(lì)函數(shù)曲線的收斂趨勢(shì)基本一致，后期獎(jiǎng)勵(lì)函數(shù)趨于穩(wěn)定且穩(wěn)定值接近，都取得了良好的訓(xùn)練效果。通過(guò)對(duì)比D3QN和DQN曲線的縮略圖，可以發(fā)現(xiàn)二者的獎(jiǎng)勵(lì)函數(shù)值在相同的訓(xùn)練回合內(nèi)，D3QN總體較高，收斂速度更快，這得益于D3QN在計(jì)算目標(biāo)Q值時(shí)將動(dòng)作選擇和動(dòng)作評(píng)價(jià)分離，避免了過(guò)估計(jì)，改進(jìn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從而加快了收斂速度。圖7

2種算法訓(xùn)練過(guò)程獎(jiǎng)勵(lì)函數(shù)對(duì)比Fig.7

Comparisonofrewardfunctionsduringtrainingoftwoalgorithms采用基準(zhǔn)模型和D3QN算法在同一場(chǎng)景下進(jìn)行優(yōu)化，并從供需側(cè)的角度對(duì)優(yōu)化結(jié)果進(jìn)行討論分析。需求側(cè)的控制策略需要權(quán)衡經(jīng)濟(jì)性和熱舒適性，要求模型對(duì)電價(jià)與天氣條件的變化即時(shí)響應(yīng)。采用1月份環(huán)境狀態(tài)參數(shù)對(duì)2種優(yōu)化模型進(jìn)行評(píng)估，如圖8所示。在一個(gè)月的時(shí)間尺度上室外溫度有較大波動(dòng)，基準(zhǔn)模型雖然大部分情況下能夠滿足室溫要求，但是在室外溫度持續(xù)偏高（第8~12天）或者偏低（第22~28天）時(shí)，控制效果并不理想，熱不舒適時(shí)長(zhǎng)共為3975min。這是由于基準(zhǔn)模型的控制策略面對(duì)一些特殊情況時(shí)，不具備自主調(diào)節(jié)的能力；對(duì)比D3QN優(yōu)化模型則較好地將室內(nèi)溫度控制在舒適區(qū)間內(nèi)，熱不舒適時(shí)長(zhǎng)降低為195min，充分體現(xiàn)了D3QN優(yōu)化模型具有較強(qiáng)的適應(yīng)性。圖8

1月份室溫對(duì)比Fig.8

RoomtemperaturecomparisoninJanuary為更直觀地對(duì)比2種控制模型的區(qū)別，選取1月典型日，如圖8中黑色虛線所示，得到熱泵功率曲線如圖9所示?？梢钥闯觯?種模型對(duì)電價(jià)變化的響應(yīng)基本一致，即高電價(jià)時(shí)功率相應(yīng)減小，低電價(jià)時(shí)功率增大。如在電價(jià)較低的時(shí)段06:00—08:00，二者的熱泵功率都處于較高的狀態(tài)，而在時(shí)段19:00—21:00，二者的熱泵功率都出現(xiàn)了不同程度上的降低。但是在D3QN優(yōu)化模型下熱泵的功率變化幅度更大，對(duì)電價(jià)信號(hào)更加敏感，說(shuō)明智能體經(jīng)過(guò)學(xué)習(xí)面對(duì)不確定性環(huán)境能做出更靈活的決策。圖9

1月份典型日熱泵功率對(duì)比Fig.9

ComparisonoftypicaldailyheatpumppowerinJanuary能源供應(yīng)側(cè)評(píng)價(jià)儲(chǔ)能系統(tǒng)控制策略的標(biāo)準(zhǔn)包括2點(diǎn)：1）蓄電池的充放電策略響應(yīng)峰谷電價(jià)以減少用電成本；2）在光伏發(fā)電較多的時(shí)段，蓄電池應(yīng)盡可能采取充電策略實(shí)現(xiàn)可再生能源的本地消納。選取1月份典型日，得到2種控制模型下的蓄電池充放電功率如圖10所示，基準(zhǔn)模型控制下儲(chǔ)能系統(tǒng)的充電時(shí)段分別在01:00—02:00（低谷電價(jià)）和09:00—13:00（高光伏發(fā)電），放電時(shí)段則集中在14:00—17:00（高峰電價(jià)）。經(jīng)計(jì)算電成本為11.36元，未消納光伏發(fā)電量為5.25kW·h。D3QN優(yōu)化儲(chǔ)能系統(tǒng)的整體控制邏輯與基準(zhǔn)模型一致，不同的是充放電頻率變高，主要體現(xiàn)在00:00—07:00和18:00—24:00（無(wú)光伏發(fā)電）時(shí)段，儲(chǔ)能系統(tǒng)在電價(jià)升高時(shí)放電，電價(jià)降低時(shí)充電，以保證供電的經(jīng)濟(jì)性。經(jīng)計(jì)算在該典型日用電成本為8.76元，未消納光伏發(fā)電量為4.84kW·h，相較于基準(zhǔn)模型分別降低22.89%、7.81%。圖10

1月份典型日儲(chǔ)能對(duì)比Fig.10

Comparisonoftypicalda