基于自編碼器和LSTM的模型降階方法

1、基于自編碼器和LSTM的模型降階方法摘要：自編碼器是一種有效的數(shù)據(jù)降維方法，可以學(xué)習(xí)到數(shù)據(jù)中的隱含特征，并重構(gòu)出原始輸入數(shù)據(jù)本文提出 了一種基于多層自編碼器和長(zhǎng)短期記憶網(wǎng)絡(luò)的模型降階方法，以提升降階模型的精度文中以二維圓柱繞流為 例，對(duì)該方法進(jìn)行了分析與驗(yàn)證首先用多層自編碼器對(duì)原始數(shù)據(jù)進(jìn)行降階和特征提取，然后構(gòu)建基于長(zhǎng)短期記 憶網(wǎng)絡(luò)的預(yù)測(cè)模型，最后將自編碼器和預(yù)測(cè)模型拼接并進(jìn)行微調(diào)，得到降階模型，并將其與基于主成分分析的降階 模型進(jìn)行對(duì)比結(jié)果表明，多層自編碼器能在保證精度的同時(shí)提升數(shù)據(jù)壓縮率&提出的降階方法有效地提升了模 型精度，使得預(yù)測(cè)速度場(chǎng)和原速度場(chǎng)之間的均方根誤差降低至3X1O3左右%關(guān)

2、鍵詞：降階模型&多層自編碼器&長(zhǎng)短期記憶&圓柱繞流Reduced order model based on autoencoder andlong shorlerm memory networkAbstract: Autoencoder is an effect i ve dimensionality reduct i on method that can learn the hidden information and features implicated in the data， and reconstruct the orig ina l input data. We propose

3、a model reduction method with improved accuracy based on a multilayer autoencoder and a long short-term memory network. The method is analyzed and verified through a two- d imensiona l flow past a cyiinder. Firstly，the mult -layer autoencoder is used to reduce the order and extract features of the o

4、riginal data. Then， a prediction model based on a long shoreterm memory network ?s establshed.At last，the autoencoder and the predcton model are splced ?nto a single network to obtain a finetuned reduced order model. This mode l is further compared with another one based on the principal component a

5、nalyss. Results show that the mu l ii- l ayer autoencoder can improve the data compression ratio whie ensuring the accuracy.The proposed reduced order method can effectively improve the model accuracy since the root mean square error between the predicted and the or i g i nal velocity fields i s red

6、uced to w i th i n 3 X 1O-3.Keywords: reduced order model & mult-layer autoencoder & long shoreterm memory； flow past a cylndero引言在計(jì)算流體力學(xué)領(lǐng)域中，數(shù)值模擬是解決科研問(wèn) 題和實(shí)現(xiàn)工程應(yīng)用的重要工具然而，進(jìn)行復(fù)雜系統(tǒng) 的高精度數(shù)值模擬需要耗費(fèi)大量的計(jì)算資源和時(shí)間 為了解決這一問(wèn)題，Dowell(1、Silva等提出了基于 數(shù)值模擬構(gòu)造降階模型(Reduced Order Model， ROM)的思路，能夠在保證計(jì)算精度的同時(shí)，有效地 節(jié)省計(jì)算成本自提出以來(lái)，降階模

7、型的相關(guān)研究已 經(jīng)取得了一定的進(jìn)展(3)%近年來(lái)，深度學(xué)習(xí)技術(shù)在基 因?qū)W山、圖像分類!.、疾病診斷!3等許多領(lǐng)域得到了 廣泛應(yīng)用$隨著相關(guān)技術(shù)的不斷發(fā)展，深度學(xué)習(xí)也開(kāi) 始在流體力學(xué)領(lǐng)域中嶄露頭角深度學(xué)習(xí)能從數(shù) 據(jù)中學(xué)習(xí)到相應(yīng)的隱藏信息和特征，使其在學(xué)習(xí)非線 性系統(tǒng)的多級(jí)表征和數(shù)據(jù)預(yù)測(cè)方面有著強(qiáng)大的優(yōu)勢(shì)$ 結(jié)合深度學(xué)習(xí)構(gòu)建降階模型也逐漸成為一個(gè)新的研 究熱點(diǎn)$在現(xiàn)有的結(jié)合深度學(xué)習(xí)的降階模型中，深度學(xué)習(xí) 主要被應(yīng)用于未來(lái)時(shí)刻流場(chǎng)的預(yù)測(cè)，即輸入過(guò)去的一 個(gè)或多個(gè)時(shí)刻的流場(chǎng)數(shù)據(jù)，輸出未來(lái)時(shí)刻的流場(chǎng)$考 慮到流場(chǎng)中離散點(diǎn)的數(shù)量，為了使數(shù)據(jù)便于處理并降 低神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，通常會(huì)先采用主成分分析 (Pri

8、nciple Component Analysis% PCA)/本征正交分 解(Proper Orthogonal Decomposition, POD)對(duì)數(shù)據(jù) 進(jìn)行降維$ Wang等在燃燒器的模型降階中成功 應(yīng)用了前饋神經(jīng)網(wǎng)絡(luò)對(duì)POD基系數(shù)進(jìn)行回歸建模$ 在神經(jīng)網(wǎng)絡(luò)中，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)和長(zhǎng)短期記憶(Long Short-Term Memory, LSTM)網(wǎng)絡(luò)在處理時(shí)間序列問(wèn)題上有 著獨(dú)特的優(yōu)勢(shì)，也因此在模型降階中備受青睞$ Mannarino 和 Mantegazze!12基于 RNN，構(gòu)建 了連續(xù) 時(shí)間的非定常非線性氣動(dòng)力降階模型

9、；Wang!#!等提 出了一種基于PCA和LSTM的降階模型，用于非定 常流場(chǎng)控制方程的降階)Mohan!14等研究了 LSTM 和雙向LSTM!1.在降階模型中的應(yīng)用，過(guò)擬合使雙 向LSTM的表現(xiàn)不及預(yù)期$ Kani!13等使用深度殘 差循環(huán)神經(jīng)網(wǎng)絡(luò)，與PCA相結(jié)合提出了一種非線性 動(dòng)力系統(tǒng)的模型降階方法$ Lindhorst等!#1組合了 POD方法與遞歸RBF神經(jīng)網(wǎng)絡(luò)模型，在低維空間中 建立了動(dòng)態(tài)的非線性系統(tǒng)辨識(shí)模型$ Yao和 Marques!18結(jié)合POD、離散經(jīng)驗(yàn)插值和徑向基函數(shù) (Radical Basis Function, RBF)神經(jīng)網(wǎng)絡(luò)，構(gòu)建了 針 對(duì)氣動(dòng)彈性問(wèn)題的非線性

10、ROM$隨著研究的不斷 深入，神經(jīng)網(wǎng)絡(luò)的擬合能力、泛化能力也為降階模型 的研究帶來(lái)了新的課題$尹明朗!#等在遞歸徑向基 函數(shù)(Recursive Radial Basis Function, RRBF)神經(jīng) 網(wǎng)絡(luò)氣動(dòng)力模型中引入差分進(jìn)化算法用于調(diào)整隱藏 層中神經(jīng)元的寬度，發(fā)展了一種具有高泛化能力的神 經(jīng)網(wǎng)絡(luò)氣動(dòng)力降階模型；Kou!)。等提出了多核神經(jīng) 網(wǎng)絡(luò)并將其應(yīng)用于降階模型的構(gòu)建，與基于單核 RBF神經(jīng)網(wǎng)絡(luò)的降階模型相比，基于多核神經(jīng)網(wǎng)絡(luò) 的降階模型在模型精度、泛化能力、抗噪能力上都得 到了提升$本文將多層自編碼器和LSTM應(yīng)用于降階模型 的構(gòu)建，并與基于PCA的降階模型進(jìn)行了對(duì)比$實(shí) 驗(yàn)表

11、明使用多層自編碼器和LSTM構(gòu)建的降階模型 有著更高的精度，且通過(guò)微調(diào)，降階模型的精度得到 了進(jìn)一步提升$深度學(xué)習(xí)可以優(yōu)化和改進(jìn)模型降階 方法，使降階模型的精度更高$1模型降階方法!本文提出的模型降階方法使用多層自編碼器對(duì) 數(shù)據(jù)進(jìn)行降維和特征提取，應(yīng)用LSTM構(gòu)建預(yù)測(cè)模 型，并通過(guò)微調(diào)改進(jìn)模型性能$1.1自編碼器自編碼器!)#是一種以最大程度還原原始輸入數(shù) 據(jù)為目標(biāo)的神經(jīng)網(wǎng)絡(luò)$它能夠從輸入數(shù)據(jù)中學(xué)習(xí)到 數(shù)據(jù)特征，并根據(jù)學(xué)習(xí)到的特征重構(gòu)出原始數(shù)據(jù)$自 編碼器含有一個(gè)隱變量層-，將自編碼器分為兩部 分:從輸入層到隱變量層的部分被稱為編碼器、從隱 變量層到輸出層的部分是解碼器$單層自編碼器的 結(jié)構(gòu)如

12、圖1所示$對(duì)于輸入數(shù)據(jù)，編碼器可以由- = *(?)表示，解碼器可以由? = g(-)表示，其中，? 表示重構(gòu)數(shù)據(jù)$經(jīng)過(guò)訓(xùn)練后，編碼器能夠提取輸入數(shù) 據(jù)？的特征-;解碼器可以根據(jù)隱變量-對(duì)輸入數(shù) 據(jù)進(jìn)行重構(gòu)，輸出？的近似？。為了達(dá)到最大程度 還原輸入數(shù)據(jù)的目標(biāo)，自編碼器的損失函數(shù)通常會(huì)選 取輸入數(shù)據(jù)和輸出數(shù)據(jù)的均方誤差，XLoss =X(1)式中，N表示？的維度，下標(biāo)I表示向量的第.個(gè)分 量$圖1自編碼器Fig.1 Sketch of an autoencoder為了保證隱變量h中信息的有效性，在構(gòu)建自 編碼器時(shí)，通常限制隱變量-的維度小于輸入數(shù)據(jù)？ 的維度$這使得自編碼器能夠完成數(shù)據(jù)壓縮的任

13、務(wù)$ 自編碼器作為深度學(xué)習(xí)中提取特征的一種有效手段, 已經(jīng)被證明可以應(yīng)用于流場(chǎng)特征的提取!) $1.2長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM是RNN的變體，能夠改善長(zhǎng)期依賴和梯 度消失/爆炸等問(wèn)題# LSTM的內(nèi)部結(jié)構(gòu)中引入了 三個(gè)門控單元：輸入門、輸出門和遺忘門,和記憶細(xì)胞 c # LSTM的門控單元采用了公式(2)所示的 sigmoid激活函數(shù)，使得輸出值在01之間，從而實(shí) 現(xiàn)對(duì)信息的保留或丟棄，0表示完全丟棄信息1表示 完全保留#；)= _*1 + e ;式(2)中，；是激活函數(shù)的輸入變量#三個(gè)門控單元 中，遺忘門控制從前面的記憶中丟棄/繼承多少信息； 輸入門決定了當(dāng)前時(shí)刻的輸入信息有多少被加入到 記憶

14、信息流中(輸出門決定了當(dāng)前時(shí)刻的記憶細(xì)胞中 傳輸給隱藏狀態(tài)的信息量#每個(gè)門都由上一時(shí)刻的 隱藏狀態(tài)T、細(xì)胞狀態(tài)c1和當(dāng)前時(shí)刻的輸入? 的線性組合及sigmoid函數(shù)構(gòu)成#利用三個(gè)門控單元更新當(dāng)前時(shí)刻的隱藏狀態(tài)和 記憶細(xì)胞，LSTM中當(dāng)前時(shí)刻的細(xì)胞狀態(tài)和隱藏狀 態(tài)的計(jì)算過(guò)程如公式(3)(7)。公式(3)(5)分別 是遺忘門、輸入門和輸出門的計(jì)算公式，公式(6)為細(xì) 胞狀態(tài)的計(jì)算公式，公式(7)計(jì)算當(dāng)前時(shí)刻的隱藏 狀態(tài)# TOC o 1-5 h z f =o(Wflx +Wfmm-# =Wfccc1 =br)(3).=o(W?x =W mm1 +W ,-=b.)(4)。=o(W?x =Wmm=Wx

15、c-# =b)(.) c = fcT =ztanh(Wc? =Wcmm-# =bc) (6) m =otanh(c)(7)其中i、f )、c、m分別表示輸入門、遺忘門、輸出門和 細(xì)胞狀態(tài)以及隱藏狀態(tài)(Wb分別表示對(duì)應(yīng)的權(quán)重 系數(shù)矩陣和偏置;#和tanh分別為sigmoid函數(shù)和公 式(/)中的tanh函數(shù)：e;tanh；) =(8)e; + e ;其中；表示函數(shù)的輸入變量#1.3微調(diào)當(dāng)模型參數(shù)采用隨機(jī)初始化時(shí)，深層網(wǎng)絡(luò)的訓(xùn)練 很難進(jìn)行,Hmton等例提出了逐層貪婪預(yù)訓(xùn)練，其 主要思想是逐層地訓(xùn)練網(wǎng)絡(luò)，將逐層訓(xùn)練好的網(wǎng)絡(luò)參 數(shù)作為整體網(wǎng)絡(luò)參數(shù)的初始化，最后再對(duì)整體的網(wǎng)絡(luò) 進(jìn)行微調(diào)#在本文中，我們

16、將完整的降階模型拆分成 兩個(gè)網(wǎng)絡(luò)，多層自編碼器和預(yù)測(cè)網(wǎng)絡(luò)#先分別對(duì)兩個(gè) 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將訓(xùn)練好的網(wǎng)絡(luò)拼接在一起，構(gòu)成 降階模型#對(duì)拼接后的網(wǎng)絡(luò)進(jìn)行微調(diào)，也就是對(duì)該網(wǎng) 絡(luò)再進(jìn)行訓(xùn)練，得到最終的降階模型#網(wǎng)絡(luò)拼接的過(guò)程如圖2所示圖2網(wǎng)絡(luò)拼接Fig.2 A sketch of the network stitching本文先分別訓(xùn)練多層自編碼器和預(yù)測(cè)網(wǎng)絡(luò)，將訓(xùn) 練好的多層自編碼器和LSTM拼接后，進(jìn)行微調(diào)獲 得最終的降階模型，降階模型的構(gòu)建流程如圖3#圖3降階模型構(gòu)建流程Fig.3 A flow chart of the reduced order model construction2二維圓柱繞

17、流降階模型本文選取二維圓柱繞流算例，使用Fluent軟件進(jìn) 行數(shù)值模擬以獲取實(shí)驗(yàn)數(shù)據(jù)，構(gòu)建降階模型。流場(chǎng)的計(jì) 算域如圖4(a)所示。流體的入場(chǎng)速度為7 = 0.5 m/s,流 體的密度為1kg/m3,雷諾數(shù)為150#流場(chǎng)計(jì)算域內(nèi) 的網(wǎng)格數(shù)量為6140。計(jì)算時(shí)間步長(zhǎng)為2X1002s#第 500個(gè)時(shí)間步時(shí)，流場(chǎng)的狀態(tài)如圖4(b)所示#2.1特征提取特征提取方法應(yīng)能從數(shù)據(jù)中提取有效的特征# 在特征提取階段，我們對(duì)三種降維方法的效果進(jìn)行了 比較和分析：?jiǎn)螌幼跃幋a器(SAE, Single-layer AutoEncoder)，多層自編碼器(MAE, MultiTayer AutoEncoder)以及P

18、CA#為了比較這三種方法在實(shí) 際使用中的效果，我們?cè)O(shè)定了五個(gè)特征維度,d.m = 8、16、32、48、64,并使用公式(9)均方根誤差(Root Mean Square Error, RMSE)評(píng)估三種方法的數(shù)據(jù)降 維和重構(gòu)效果#(b)流場(chǎng)速度云圖，第500個(gè)時(shí)間步圖K二維圓柱繞流算例Fig.4 The numerical simulation of flow past a cylinderRMSE =(9)式中，N(b)流場(chǎng)速度云圖，第500個(gè)時(shí)間步圖K二維圓柱繞流算例Fig.4 The numerical simulation of flow past a cylinderRMSE =(

19、9)選擇1000個(gè)時(shí)間步長(zhǎng)的流場(chǎng)數(shù)據(jù)構(gòu)造數(shù)據(jù)集, 并將數(shù)據(jù)隨機(jī)打亂，使其不再按時(shí)間順序排列$按順 序依次將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè) 試數(shù)據(jù)集，三個(gè)數(shù)據(jù)集的比例為6：2：2$此外，為 了提升模型精度和收斂速度，我們?cè)谟?xùn)練網(wǎng)絡(luò)前對(duì)流 場(chǎng)數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化處理，將每個(gè)時(shí)刻的流場(chǎng)數(shù)據(jù)都 縮放至& 1,1的范圍中，標(biāo)準(zhǔn)化公式如下：mean(10)meanz max z min其中，Z mean表示不同時(shí)刻流場(chǎng)數(shù)據(jù)的均值，Z max表 示不同時(shí)刻流場(chǎng)數(shù)據(jù)中的最大值，Zmn表示不同時(shí) 刻流場(chǎng)數(shù)據(jù)中的最小值$激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入了非線性，提高了模型 的表達(dá)能力$在實(shí)驗(yàn)中，我們使用了兩種激活函數(shù),

20、 tanh函數(shù)和Relu函數(shù),Relu函數(shù)見(jiàn)公式(11):Relu(z) = max)0 ,z*(11)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，我們使用輸入和輸出之間的均方誤 差作為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)；批大小為16,即每一次 訓(xùn)練從訓(xùn)練集中取16個(gè)樣本進(jìn)行訓(xùn)練；訓(xùn)練150個(gè) 時(shí)期，一個(gè)時(shí)期指對(duì)訓(xùn)練集所有數(shù)據(jù)進(jìn)行一次前向和 反向傳播；并使用Adam&2;優(yōu)化器$單層自編碼器 和多層自編碼器內(nèi)部均由全連接層構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)、節(jié)點(diǎn)數(shù)和激活函數(shù)的設(shè)置分別見(jiàn)表1和表2表1單層自編碼器結(jié)構(gòu)Table 1 The structure of a SAE網(wǎng)絡(luò)層節(jié)點(diǎn)數(shù)激活函數(shù)輸入層6140全連接層8/16/32/48/64Relu輸出層6

21、140tanh表2多層自編碼器結(jié)構(gòu)Table 2The structure of a MAE網(wǎng)絡(luò)層節(jié)點(diǎn)數(shù)激活函數(shù)輸入層6140全連接層1256Re u全連接層2128Re u全連接層38/16/32/48/64Re u全連接層;128Re u全連接層5256Re u輸出層6140tanh2.1.2應(yīng)用PCA進(jìn)行特征提取PCA方法對(duì)數(shù)據(jù)的協(xié)方差矩陣進(jìn)行特征值分 解，將特征值按照從大到小順序排列，選擇對(duì)應(yīng)的特 征向量組成投影矩陣，對(duì)原始數(shù)據(jù)進(jìn)行投影，得到數(shù) 據(jù)降維的結(jié)果$隨著選取的特征值及特征向量數(shù)量 的增加，PCA方法的效果也會(huì)不斷提升$實(shí)驗(yàn)中，我們選取與2.1.1節(jié)中相同的數(shù)據(jù)集進(jìn) 行PCA降

22、維實(shí)驗(yàn)，即600條數(shù)據(jù)被用于PCA中的投 影矩陣的構(gòu)建,200條數(shù)據(jù)被用于測(cè)試PCA的降維 效果$2.1.3實(shí)驗(yàn)結(jié)果分析表3、圖6和圖7展示了三種方法對(duì)流場(chǎng)數(shù)據(jù)進(jìn) 行數(shù)據(jù)重構(gòu)的效果$表3是三種方法在測(cè)試集上均 方根誤差的平均值$從數(shù)值上看，在特征維度較低 時(shí)，多層自編碼器的效果最好;在特征維度較大時(shí), PCA的效果最好；而由于模型的表達(dá)能力有限，單層 自編碼器的數(shù)據(jù)重構(gòu)效果最差$隨著特征維度的不 斷增加，各方法的性能都得到了不同程度的改善，尤 其是PCA方法，特征維度的大小對(duì)其性能起決定性 作用$而多層自編碼器的性能主要由神經(jīng)網(wǎng)絡(luò)的結(jié) 構(gòu)決定，受特征維度的影響小，因此在特征維度增大 時(shí)也沒(méi)有得

23、到較大的性能提升$表3 降維方法的均方根誤差Table 3 RMSE of dimensionality reduction methods(dimPCA/10 3單層自編碼器/103多層自編碼器/103815.7125.647.78168.0322.324.06322.9715.533.69481.3010.393.26640.658.013.19為了進(jìn)一步評(píng)估三種方法的性能，我們選取第 840個(gè)時(shí)間步的數(shù)據(jù)，通過(guò)數(shù)據(jù)可視化對(duì)三種方法進(jìn) 行直觀的比較。選取的原始流場(chǎng)速度云圖如圖5所 示。00.20.40.60.81.0圖5原始流場(chǎng)速度云圖Fig.5Velocity of the origin

24、al flow field自編碼器，從上到下依次是不同的特征維度，（蝠= 8、16、32、48、64。由于三種方法的降維效果大致相 近，直接根據(jù)流場(chǎng)數(shù)據(jù)的可視化結(jié)果難以進(jìn)行比較! 因此我們對(duì)原始流場(chǎng)數(shù)據(jù)和每種方法的重構(gòu)結(jié)果之 間的誤差也進(jìn)行了可視化，如圖1所示。圖1中數(shù)據(jù) 的排列與圖6相同，在不同情況下，流場(chǎng)內(nèi)誤差的數(shù) 值范圍不同，顏色越淺表示誤差越接近于0。圖6是三種方法對(duì)圖5中的流場(chǎng)數(shù)據(jù)進(jìn)行重構(gòu) 的結(jié)果，從左到右依次是PCA,單層自編碼器和多層PCA?!血=48,單層自編碼器ndim=48, 層自編碼器00.20.40.60.81.000.20.40.60.81.000.20.40.60.

25、81.0圖6 PCA、多層自編碼器、單層自編碼器的重構(gòu)結(jié)果Fig. 6 The reconstructed velocity by three methods從圖6中可以看出，各種情況下三種方法都能重 構(gòu)流場(chǎng)的整體規(guī)律。它們之間的差別主要在于一些 細(xì)節(jié)的重構(gòu)，如圖5中紅色箭頭指向的三個(gè)位置。圖6是三種方法對(duì)圖5中的流場(chǎng)數(shù)據(jù)進(jìn)行重構(gòu) 的結(jié)果，從左到右依次是PCA,單層自編碼器和多層PCA?!血=48,單層自編碼器ndim=48, 層自編碼器00.20.40.60.81.000.20.40.60.81.000.20.40.60.81.0圖6 PCA、多層自編碼器、單層自編碼器的重構(gòu)結(jié)果Fig. 6

26、 The reconstructed velocity by three methods圖1展示了各種方法的重構(gòu)數(shù)據(jù)和原始數(shù)據(jù)之 間的誤差！從圖中可以看出，隨著特征維度的增加， PCA方法的誤差出現(xiàn)的區(qū)域逐漸縮小，且誤差的數(shù) 值不斷降低，逐漸逼近0;自編碼器中存在誤差的區(qū) 域則相對(duì)固定，誤差的數(shù)值趨于穩(wěn)定，如多層自編碼 器的誤差范圍穩(wěn)定在$ 0.03,0.03%。自編碼器的性 能受網(wǎng)絡(luò)結(jié)構(gòu)的限制，不能達(dá)到PCA方法不斷降低 誤差的效果！綜合來(lái)看，在特征維度較小時(shí)，多層自編碼器是 三種方法中最優(yōu)的選擇，可以在確保較高精度的情況 下提供較高的數(shù)據(jù)壓縮率！-0.06 -0.036 -0.012 0.

27、012 0.036 0.06-0.0X -0.048 -0.0 6 0.0 6 0.048 0.0S-0.06 -0.036 -0.012 0.012 0.036 0.06PCA、多層自編碼器、單層自編碼器的重構(gòu)誤差圖7Fig.7 Error between the original velocity and the reconstruction by three methods-0.10 -0.06 -0.02 0.02吼=16, PCA-0.08 -0.048 -0.016 0.016 0.048 0.08月質(zhì)=64,單層自編碼器2.2預(yù)測(cè)模型應(yīng)用降維方法提取特征之后，我們需要對(duì)得到的 低

28、維特征建立預(yù)測(cè)模型！考慮到需要建模解決的問(wèn) 題是時(shí)間序列的預(yù)測(cè)問(wèn)題，我們使用LSTM構(gòu)建低 維特征的預(yù)測(cè)模型!由于2.1節(jié)中單層自編碼器的表現(xiàn)較差，我們僅 為多層自編碼器和PCA方法的降維結(jié)果構(gòu)建相應(yīng)的 預(yù)測(cè)模型。在實(shí)驗(yàn)中，綜合考慮數(shù)據(jù)的復(fù)雜度、模型 的精度和效率，我們使用兩層LSTM構(gòu)建預(yù)測(cè)網(wǎng)絡(luò)。 預(yù)測(cè)模型的結(jié)構(gòu)如表4所示。表4預(yù)測(cè)模型結(jié)構(gòu)Table 4 Structure of the prediction model網(wǎng)絡(luò)層節(jié)點(diǎn)數(shù)激活函數(shù)輸入層5X 8/16/32/48/64LSTM256ReluLSTM8/16/32/48/64Relu/tanh預(yù)測(cè)網(wǎng)絡(luò)同樣使用均方誤差作為損失函數(shù)，訓(xùn)練

29、 的批大小為16,訓(xùn)練時(shí)期為150,使用Adam優(yōu)化器。 預(yù)測(cè)網(wǎng)絡(luò)以過(guò)去五個(gè)時(shí)刻的低維特征為輸入，輸出下 一個(gè)時(shí)刻的低維特征。對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練集，驗(yàn)證集和 測(cè)試集的劃分，數(shù)據(jù)比例為6：2：2。對(duì)于PCA提取的特征，我們對(duì)其進(jìn)行標(biāo)準(zhǔn)化，將 數(shù)據(jù)縮放至# 1,1$,并將相應(yīng)預(yù)測(cè)網(wǎng)絡(luò)輸出層的激 活函數(shù)設(shè)為tanh。對(duì)于多層自編碼器提取的特征, 直接將編碼器的輸出作為預(yù)測(cè)網(wǎng)絡(luò)的輸入。由于在 2.1.1節(jié)中編碼器輸出層的激活函數(shù)為Relu,因此對(duì) 應(yīng)的預(yù)測(cè)網(wǎng)絡(luò)的輸出層的激活函數(shù)也設(shè)置為Relu。分別記PCA、多層自編碼器對(duì)應(yīng)的預(yù)測(cè)網(wǎng)絡(luò)為 P-LSTM和M-LSTM0表5給出了兩個(gè)預(yù)測(cè)模型在 測(cè)試集上均方根

30、誤差的平均值?？傮w上,M-LSTM 的誤差大于P-LSTM，這是因?yàn)槲磳?duì)編碼器提取的特 征進(jìn)行標(biāo)準(zhǔn)化，數(shù)值范圍較大。而隨著特征維度的增 加，P-LSTM的預(yù)測(cè)誤差不斷增加，是因?yàn)镻-LSTM 的輸入向量為稠密向量，需要建模的關(guān)系愈加復(fù)雜而 預(yù)測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)沒(méi)有改變；同時(shí),M-LSTM的誤差更 為穩(wěn)定，甚至有一定程度的降低，是因?yàn)樵诰幋a器的 輸出層使用了 Relu函數(shù)，特征表示是一個(gè)稀疏向量, 特征維度的增長(zhǎng)在為預(yù)測(cè)模型提供更多信息的同時(shí) 未使數(shù)據(jù)關(guān)系過(guò)于復(fù)雜化。表5兩個(gè)預(yù)測(cè)模型的均方根誤差Table 5 RMSE of prediction models P-LSTM and M-LSTM(di

31、mP-LSTM/10-2M-LSTM/10-283.9350.77164.1031.55327.7323.904812.3141.026422.3629.312.3降階模型數(shù)據(jù)降維方法和相應(yīng)的預(yù)測(cè)網(wǎng)絡(luò)共同構(gòu)成了降 階模型。對(duì)于使用PCA降維的降階模型，數(shù)據(jù)經(jīng)過(guò) PCA變換后，將數(shù)據(jù)特征輸入預(yù)測(cè)網(wǎng)絡(luò)，對(duì)預(yù)測(cè)結(jié)果 進(jìn)行PCA的逆變換，得到降階模型的預(yù)測(cè)結(jié)果；對(duì)于 使用多層自編碼器的降階模型，將數(shù)據(jù)輸入編碼器, 再將得到的低維特征輸入預(yù)測(cè)網(wǎng)絡(luò)，使用解碼器將預(yù) 測(cè)網(wǎng)絡(luò)的輸出結(jié)果重構(gòu)為預(yù)測(cè)的流場(chǎng)數(shù)據(jù)。對(duì)于基于多層自編碼器和LSTM的降階模型, 我們可以按照編碼器、預(yù)測(cè)網(wǎng)絡(luò)、解碼器的順序?qū)⑷?個(gè)網(wǎng)絡(luò)拼接成

32、一個(gè)網(wǎng)絡(luò)作為構(gòu)建的降階模型，并對(duì)拼 接后的網(wǎng)絡(luò)進(jìn)行微調(diào)。因此，在本節(jié)中，我們將比較 三種降階模型。三種模型分別是基于PCA和LSTM 的降階模型(PCA and LSTM based ROM, PLRom)、基于 MAE和LSTM 的降階模型(MAE and LSTM based ROM, MLRom)、微調(diào)后的基于 MAE 和 LSTM 的降階模型(Fine-tuned MAE and LSTM based ROM, FMLRom)。在對(duì) MLRom 進(jìn) 行微調(diào)時(shí)，使用的損失函數(shù)為均方誤差，批大小為 100,訓(xùn)練時(shí)期為10,使用Adam優(yōu)化器。三個(gè)降階 模型在測(cè)試集上的均方根誤差見(jiàn)表60表6三個(gè)降階模型的均方根誤差Table 6 RMSE of reduced order models PLRom,MLRom, and FMLRom(dimPLRom/10-3MLRom/10-3FMLRom/10-3814.219.073.21168.124.673.08324.224.282.79483.343.692.78645.363.532.79與之前實(shí)驗(yàn)中相同，為了進(jìn)