計(jì)算機(jī)論文：基于LSTM的時(shí)間序列預(yù)測(cè)算法的并行化計(jì)算機(jī)研究

計(jì)算機(jī)論文：基于LSTM的時(shí)間序列預(yù)測(cè)算法的并行化計(jì)算機(jī)研究本文是一篇計(jì)算機(jī)論文研究，本課題主要探討的內(nèi)容是：基于LSTM的時(shí)間序列預(yù)測(cè)算法的并行化研究，主要針對(duì)的問題是，當(dāng)LSTM算法面對(duì)規(guī)模過于龐大的數(shù)據(jù)集，或者應(yīng)對(duì)多節(jié)點(diǎn)分布式集群時(shí)，處理能力不夠高效的問題。為了解決上述問題，本文在第一章第1.1節(jié)分析了工作背景后得出了一個(gè)可行的解決思路：首先，引入大數(shù)據(jù)平臺(tái)YARN，其無論是應(yīng)對(duì)分布式集群資源管理，還是面對(duì)大批量的數(shù)據(jù)處理，都有較為成熟的技術(shù)支撐，可以作為一個(gè)較好的頂層資源管理調(diào)度和任務(wù)分配框架。其次，引入支持一定分布式架構(gòu)功能的TensorFlow框架，配合上TensorFlow框架對(duì)GPU利用和深度學(xué)習(xí)算法的良好支撐，作為銜接底層LSTM算法和頂層YARN框架之間的橋梁。最后，將LSTM算法并行化處理，在并行化過程中，尤其注意LSTM算法與上層分布式框架的適配性，選取合適的并行化方法。

第一章緒論

1.1研究工作的背景與意義

深度學(xué)習(xí)（DeepLearning）是一種人工智能技術(shù)，它模仿人腦在處理數(shù)據(jù)和創(chuàng)建用于決策的模式方面的工作。深度學(xué)習(xí)是人工智能（AI）中機(jī)器學(xué)習(xí)的一個(gè)子集，它具有能夠從未結(jié)構(gòu)化或未標(biāo)記的數(shù)據(jù)中不受監(jiān)督地學(xué)習(xí)的網(wǎng)絡(luò)。也稱為深度神經(jīng)學(xué)習(xí)或深度神經(jīng)網(wǎng)絡(luò)。

深度學(xué)習(xí)與數(shù)字時(shí)代同步發(fā)展，數(shù)字時(shí)代帶來了來自世界各地的各種形式的數(shù)據(jù)爆炸式增長(zhǎng)。這些數(shù)據(jù)（簡(jiǎn)稱為大數(shù)據(jù)）來自社交媒體，互聯(lián)網(wǎng)搜索引擎，電子商務(wù)平臺(tái)和在線電影院等資源。大量數(shù)據(jù)易于訪問，可以通過云計(jì)算等相關(guān)科技應(yīng)用程序共享。

但是，通常是非結(jié)構(gòu)化的數(shù)據(jù)如此龐大，以至于人類可能需要數(shù)十年才能理解并提取相關(guān)信息。人們意識(shí)到，挖掘這些豐富的信息可能會(huì)帶來令人難以置信的潛力，并且越來越多地采用AI系統(tǒng)進(jìn)行自動(dòng)化支持，但與此同時(shí)，過于龐雜的非結(jié)構(gòu)化數(shù)據(jù)也導(dǎo)致了深度學(xué)習(xí)訓(xùn)練的時(shí)間成本和硬件成本居高不下。尤其是當(dāng)需要分析的數(shù)據(jù)達(dá)到PB級(jí)別時(shí)更是如此。

此外，不僅僅是數(shù)據(jù)成本會(huì)導(dǎo)致上述問題，當(dāng)深度學(xué)習(xí)涉及的計(jì)算維度增大時(shí)，過于高昂的學(xué)習(xí)成本和容錯(cuò)性也會(huì)帶來不可避免的問題。

另一方面，大數(shù)據(jù)（BigData）技術(shù)則主要關(guān)注龐大，快速或復(fù)雜的數(shù)據(jù)，它們往往因其特性而很難或不可能使用傳統(tǒng)方法進(jìn)行處理。訪問和存儲(chǔ)大量信息以進(jìn)行分析的行為已經(jīng)存在了很長(zhǎng)時(shí)間。但是大數(shù)據(jù)的概念在2000年代初得到了發(fā)展，當(dāng)時(shí)行業(yè)分析師道格·蘭尼（DougLaney）將當(dāng)今主流的大數(shù)據(jù)定義表達(dá)為三個(gè)V：

數(shù)量：組織從各種來源收集數(shù)據(jù)，包括商業(yè)交易，智能（IoT）設(shè)備，工業(yè)設(shè)備，視頻，社交媒體等。在過去，存儲(chǔ)它曾經(jīng)是一個(gè)問題–但是在Hadoop等平臺(tái)上更便宜的存儲(chǔ)減輕了負(fù)擔(dān)。

速度：隨著物聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)以前所未有的速度流入企業(yè)，必須及時(shí)處理。RFID標(biāo)簽，傳感器和智能儀表推動(dòng)了近實(shí)時(shí)處理這些數(shù)據(jù)洪流的需求。

種類繁多：數(shù)據(jù)有各種格式-從傳統(tǒng)數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)字?jǐn)?shù)據(jù)到非結(jié)構(gòu)化文本文檔，電子郵件，視頻，音頻，股票行情記錄數(shù)據(jù)和財(cái)務(wù)交易。

.....................

1.2國(guó)內(nèi)外研究歷史與現(xiàn)狀

在文獻(xiàn)[9]中，作者提出了一種并發(fā)多維的“金字塔”式的LSTM算法——PyraMiD-LSTM。該算法主要針對(duì)圖像識(shí)別，識(shí)別在生物醫(yī)學(xué)中掃描大腦切片的圖片并進(jìn)行快速分割分類的操作。

論文首先比較了傳統(tǒng)CNN算法的缺點(diǎn)，認(rèn)為對(duì)于視頻中的每一幀或者圖像中的每個(gè)像素點(diǎn)來說，CNN算法只接受嚴(yán)格的時(shí)間前后序數(shù)據(jù)作為輸入。相比之下，多維RNN(MD-RNNs)尤其是多維LSTM(MD-LSTM)，對(duì)于每個(gè)時(shí)間點(diǎn)，均可接受時(shí)間和空間上的前序數(shù)據(jù)作為輸入。

其次，論文提出了自己的PyraMiD-LSTM的特點(diǎn)，新模型里放棄了逐像素正方形式(Cuboid)運(yùn)算的方式，改為逐像素金字塔式(Pyramidal)運(yùn)算。這使得PyraMiD-LSTM的并行運(yùn)算性能大大提高，增強(qiáng)了GPU對(duì)3D數(shù)據(jù)例如腦切片圖(BrainSliceImages)的處理能力。

標(biāo)準(zhǔn)的多維LSTM由4個(gè)LSTM組成，每個(gè)LSTM沿著x,y坐標(biāo)軸方向傳輸數(shù)據(jù)，以東北->西南方向LSTM為例，每個(gè)像素點(diǎn)接收鄰近的左，上2個(gè)方位的數(shù)據(jù)。二維LSTM從東北->西南，東南->西北，西南->東北，西北->東南四個(gè)方向傳輸數(shù)據(jù)，每個(gè)像素點(diǎn)要接收4個(gè)LSTM的輸出數(shù)據(jù)。將其旋轉(zhuǎn)45°，其間產(chǎn)生了許多空隙，填充額外的連接，這樣每個(gè)像素接收到了西，西北，西南3個(gè)方位的數(shù)據(jù)，加上本身一共4個(gè)格子，構(gòu)成了金字塔式連接(PyraMiDLSTM)，因此算上四個(gè)方向，每個(gè)像素可以接收鄰近8個(gè)方位的數(shù)據(jù)，比二維LSTM提升了一倍。

這一點(diǎn)微小的改變，使得對(duì)于每個(gè)PyraMiD-LSTM，像素收到的數(shù)據(jù)一定是從北，西北，東北方向傳來，每次可以處理一橫行的像素，逐行像素處理相比于逐個(gè)像素處理，大大提高了在GPU上并行運(yùn)算的效率。

.............................

第二章YARN-TensorFlow復(fù)合系統(tǒng)設(shè)計(jì)

2.1復(fù)合系統(tǒng)與LSTM結(jié)合的可行性分析

從第一章的討論中可以看出，使用包括LSTM算法在內(nèi)的深度學(xué)習(xí)算法進(jìn)行時(shí)序序列預(yù)測(cè)時(shí)，當(dāng)算法面臨著越來越龐雜的數(shù)據(jù)需求，或者面臨要在多節(jié)點(diǎn)集群上進(jìn)行訓(xùn)練分析時(shí)，其所承擔(dān)的效率壓力將會(huì)越來越大。

而另一方面，并行化和大數(shù)據(jù)技術(shù)，則恰好是解決數(shù)據(jù)壓力和效率壓力的一個(gè)較好的突破口。

一方面，YARN作為一個(gè)成熟的大數(shù)據(jù)框架，具有良好的分布式資源調(diào)度能力和優(yōu)秀的大數(shù)據(jù)處理能力。另一方面，TensorFlow作為一個(gè)廣泛使用的深度學(xué)習(xí)框架，其有較為良好的對(duì)GPU運(yùn)算能力的支撐和可行的對(duì)分布式架構(gòu)的支持。如果能夠解決深度學(xué)習(xí)框架和大數(shù)據(jù)技術(shù)的結(jié)合難題，并且針對(duì)深度學(xué)習(xí)算法本身進(jìn)行進(jìn)一步的并行化改造，將三者的優(yōu)點(diǎn)和長(zhǎng)處結(jié)合在一起，將有可能極大地緩解LSTM算法在處理大批量數(shù)據(jù)和協(xié)調(diào)多節(jié)點(diǎn)集群時(shí)所面臨的巨大的效率壓力和數(shù)據(jù)壓力。

因此，本文計(jì)劃設(shè)計(jì)這樣一個(gè)復(fù)合系統(tǒng)：

以LSTM算法作為項(xiàng)目底層算法支撐，提供有效的針對(duì)時(shí)序序列預(yù)測(cè)的深度學(xué)習(xí)算法；以YARN作為項(xiàng)目頂層分布式架構(gòu)支撐，利用YARN本身的特性，有效的進(jìn)行資源調(diào)度預(yù)分配，為分布式并行化計(jì)算提供可靠的性能支撐。

而TensorFlow，作為一個(gè)跨平臺(tái)、有分布式相關(guān)支持的開源ML軟件庫(kù)，可以有效的起到類似中間件的效果，連接頂層的YARN和底層的LSTM，為兩者搭起橋梁。

需要注意的是，盡管TensorFlow本身提供了一定的分布式部署的相關(guān)功能支撐，但是其本身功能仍然較為簡(jiǎn)陋，因此，僅僅依靠TensorFlow自身來搭建分布式架構(gòu)仍然欠妥，因此這里仍然需要結(jié)合YARN來搭建。

............................

2.2復(fù)合系統(tǒng)基本框架設(shè)計(jì)

一個(gè)常規(guī)的YARN框架應(yīng)當(dāng)包含三個(gè)主要組件[13]：ResourceManager（以下簡(jiǎn)稱RM），ApplicationManager（以下簡(jiǎn)稱AM）和NodeManager（以下簡(jiǎn)稱NM），分別負(fù)責(zé)資源調(diào)度，應(yīng)用任務(wù)分配和節(jié)點(diǎn)管理，用戶提交一個(gè)Application給YARN系統(tǒng)，則系統(tǒng)由AM接收，拆分出多個(gè)Task，并通過向RM申請(qǐng)的方式，分配給多個(gè)NM，NM本身維持一個(gè)與RM的心跳連接，匯報(bào)自身情況，作為RM進(jìn)行資源調(diào)度的參考。

具體YARN架構(gòu)如圖2-2所示。

而一個(gè)常規(guī)的分布式TensorFlow架構(gòu)目前而言仍然較為簡(jiǎn)陋。以常見的PS架構(gòu)（ParameterServer）為例，一個(gè)分布式TensorFlow集群（cluster）由一個(gè)或多個(gè)TensorFlow服務(wù)器（Server）組成[14]，Server在邏輯上被劃分成兩類：用于存放模型參數(shù)的ParameterServer和負(fù)責(zé)計(jì)算參數(shù)梯度的Worker。每個(gè)Server都有與之對(duì)應(yīng)的一個(gè)Task，而分布式TensorFlow本身最大的問題就是，所有Task與server的綁定關(guān)系是需要用戶手動(dòng)配置的，其容錯(cuò)性、調(diào)度能力均非常有限。

..........................

第三章并行化LSTM算法設(shè)計(jì).........................23

3.1并行化LSTM算法設(shè)計(jì).....................23

3.2算法實(shí)現(xiàn)...............................24

第四章仿真實(shí)驗(yàn)結(jié)果分析............................................55

4.1實(shí)驗(yàn)運(yùn)行環(huán)境..............................55

4.2YARN-TensorFlow復(fù)合系統(tǒng)性能實(shí)驗(yàn).......................55

第五章全文總結(jié)與展望..........................79

5.1全文總結(jié)..............................79

5.2后續(xù)工作展望..........................81

第四章仿真實(shí)驗(yàn)結(jié)果分析

4.1實(shí)驗(yàn)運(yùn)行環(huán)境

本實(shí)驗(yàn)需要用到多臺(tái)設(shè)備用以搭建集群，設(shè)備眾多性能中，會(huì)對(duì)運(yùn)行速率產(chǎn)生較大影響的因素包括：GPU顯存、GPU核數(shù)、CPU核數(shù)、內(nèi)存容量等。本次實(shí)驗(yàn)前后共計(jì)使用到了4臺(tái)設(shè)備，它們具體的關(guān)于上述參數(shù)的配置信息如表（2-16）所示。

實(shí)驗(yàn)數(shù)據(jù)采用了一組開源的電池?cái)?shù)據(jù)，由于涉及到LSTM算法改進(jìn)實(shí)現(xiàn)的相關(guān)描述，具體數(shù)據(jù)格式與數(shù)據(jù)內(nèi)容會(huì)在3.2節(jié)進(jìn)行介紹，在此不做贅述。

實(shí)驗(yàn)中深度學(xué)習(xí)算法訓(xùn)練內(nèi)容為給出截至目前為止的電池充放電狀態(tài)記錄，預(yù)測(cè)出未來一段時(shí)間的電池狀態(tài)情況。

實(shí)驗(yàn)主要目的為通過設(shè)置對(duì)比實(shí)驗(yàn)，判斷比較YARN+TensorFlow的組合方案，相較于僅采用分布式TensorFlow解決方案而言，在運(yùn)算效率和運(yùn)算速度上，是否有改進(jìn)。

.........................

第五章全文總結(jié)與展望

5.1全文總結(jié)

本課題主要探討的內(nèi)容是：基于LSTM的時(shí)間序列預(yù)測(cè)算法的并行化研究，主要針對(duì)的問題是，當(dāng)LSTM算法面對(duì)規(guī)模過于龐大的數(shù)據(jù)集，或者應(yīng)對(duì)多節(jié)點(diǎn)分布式集群時(shí)，處理能力不夠高效的問題。

為了解決上述問題，本文在第一章第1.1節(jié)分析了工作背景后得出了一個(gè)可行的解決思路：

首先，引入大數(shù)據(jù)平臺(tái)YARN，其無論是應(yīng)對(duì)分布式集群資源管理，還是面對(duì)大批量的數(shù)據(jù)處理，都有較為成熟的技術(shù)支撐，可以作為一個(gè)較好的頂層資源管理調(diào)度和任務(wù)分配框架。

其次，引入支持一定分布式架構(gòu)功能的TensorFlow框架，配合上TensorFlow框架對(duì)GPU利用和深度學(xué)習(xí)算法的良好支撐，作為銜接底層LSTM算法和頂層YARN框架之間的橋梁。

最后，將LSTM算法并行化處理，在并行化過程中，尤其注意LSTM算法與上層分布式框架的適配性，選取合適的并行化方法。

在基本思路定性之后，文章在第二章至第四章，采用自頂向下的順序，針對(duì)上述思路的基本實(shí)現(xiàn)方式進(jìn)行了討論。

在第二章，文章重點(diǎn)討論了YARN框架的改進(jìn)以及與下層TensorFlow的適配問題。

在YARN端，通過對(duì)原有YARN的任務(wù)分配代碼進(jìn)行自定義，使得YARN在保留原有的ApplicationManager的應(yīng)用管理機(jī)制和ResourceManager中的資源管理機(jī)制的前提下，作為資源管理和任務(wù)協(xié)調(diào)者，向下層被封裝在容器內(nèi)的分布式TensoFlow發(fā)送任務(wù)和分配資源。

同時(shí)，在TensorFlow端，系統(tǒng)通過多工鏡像策略（MultiWorkerMirroredStrategy）來作為Tens