運(yùn)用Hadoop并行技術(shù)解決多個(gè)經(jīng)濟(jì)市場(chǎng)并行模擬問題,計(jì)算機(jī)應(yīng)用技術(shù)論文

運(yùn)用Hadoop并行技術(shù)解決多個(gè)經(jīng)濟(jì)市場(chǎng)并行模擬問題,計(jì)算機(jī)應(yīng)用技術(shù)論文0引言經(jīng)濟(jì)周期，又稱商業(yè)周期〔businesscycles〕是國(guó)家總體經(jīng)濟(jì)活動(dòng)中反映出的起伏波動(dòng)，其表現(xiàn)為很多經(jīng)濟(jì)活動(dòng)同時(shí)發(fā)生，包括擴(kuò)張、全面衰退和收縮，以及作為下一個(gè)經(jīng)濟(jì)擴(kuò)張周期循環(huán)開場(chǎng)的復(fù)興經(jīng)過[1].對(duì)國(guó)家經(jīng)濟(jì)形勢(shì)周期性變化進(jìn)行分析和預(yù)測(cè)一直以來(lái)都是各國(guó)制定金融策略和應(yīng)對(duì)金融危機(jī)的重要根據(jù)，對(duì)國(guó)家政治經(jīng)濟(jì)系統(tǒng)的安全和穩(wěn)定運(yùn)行具有重要意義。對(duì)于經(jīng)濟(jì)周期的模擬自20世紀(jì)80年代在全世界范圍內(nèi)已經(jīng)開場(chǎng)，學(xué)者們開展了大量的研究，獲得了宏大的成績(jī)。傳統(tǒng)模擬方式方法中，以Swarm模型作為系統(tǒng)的整體模型，利用多主體Agent進(jìn)行模擬仿真[2-3],但不能處理大規(guī)模數(shù)據(jù)，假如屢次模擬會(huì)消耗損費(fèi)大量的時(shí)間，并且占用資源太多。將并行技術(shù)用到經(jīng)濟(jì)模擬系統(tǒng)中，能夠到達(dá)提高模擬系統(tǒng)效率的目的，在一定程度上降低硬件成本。并行計(jì)算技術(shù)至今為止已經(jīng)經(jīng)歷了3代模型，第1代主要是以處理器計(jì)算為中心的PRAM[4-5]和APRAM[6]等模型；第2代主要是以網(wǎng)絡(luò)通信為中心的BSP[7],NHBL[8]等模型；第3代主要以存儲(chǔ)訪問為中心的UMH[9]和HPM[10]等模型。模型更新主要以減少運(yùn)算經(jīng)過中的通信開銷，避免讀寫及調(diào)度時(shí)的沖突為主線，在整體方面提高計(jì)算速度和人機(jī)交互的速度[11].通過模型的比照分析，在分布式環(huán)境中，第3代模型固然能協(xié)調(diào)各進(jìn)程的執(zhí)行和節(jié)點(diǎn)之間的數(shù)據(jù)的傳輸，但無(wú)法解決系統(tǒng)中進(jìn)程失效以及合并進(jìn)程的中間結(jié)果等問題。使用Hadoop并行技術(shù)能有效解決上述問題。由Apache基金會(huì)開發(fā)的Hadoop是一個(gè)分布式系統(tǒng)的基礎(chǔ)架構(gòu)，實(shí)現(xiàn)了分布式文件系統(tǒng)〔HadoopDistributedFileSystem,HDFS〕,能運(yùn)行MapReduce.MapReduce是Google開發(fā)的一種簡(jiǎn)潔抽象的分布式計(jì)算模型[12],因其高易用性和可擴(kuò)展性而得到了廣泛應(yīng)用?；诘?代并行計(jì)算模型的MapReduce能夠解決系統(tǒng)中部分進(jìn)程失效的問題，能自動(dòng)檢測(cè)到失敗的map和reduce任務(wù)，并讓正常的處理機(jī)處理這些失敗的任務(wù)。以上功能都基于其無(wú)分享框架實(shí)現(xiàn)[13].本文在研究仿真模擬和并行計(jì)算技術(shù)的基礎(chǔ)上提出了運(yùn)用Hadoop并行技術(shù)解決多個(gè)經(jīng)濟(jì)市場(chǎng)并行模擬問題，實(shí)現(xiàn)了多市場(chǎng)同時(shí)模擬，實(shí)時(shí)顯示模擬結(jié)果，提高了系統(tǒng)資源的利用率，縮短了仿真模擬的時(shí)間。1并行計(jì)算在系統(tǒng)模擬中的應(yīng)用并行計(jì)算在系統(tǒng)模擬中的應(yīng)用，主要針對(duì)多處理器的并行進(jìn)行算法的改良，將CPU的利用率問題作為考慮的最主要方面，每個(gè)線程對(duì)應(yīng)一個(gè)CPU,多個(gè)CPU在處理時(shí)的加速比為S〔n〕=單CPU串行處理的最優(yōu)時(shí)間/多CPU的并行處理時(shí)間，CPU的效率=S〔n〕/CPU數(shù)量，如何提高CPU的效率成為重中之重[14].運(yùn)用多線程同步機(jī)制、調(diào)度算法和通信機(jī)制，進(jìn)行并行計(jì)算程序的設(shè)計(jì)，構(gòu)造一個(gè)多線程的應(yīng)用，主要是對(duì)線程的調(diào)用和線程狀態(tài)的轉(zhuǎn)換進(jìn)行研究，在線程同步的經(jīng)過中對(duì)線程進(jìn)行監(jiān)視和加鎖，以到達(dá)對(duì)線程的同步控制并增加系統(tǒng)的安全性和整體利用率。多個(gè)線程之間的通信機(jī)制也對(duì)系統(tǒng)整體狀況起到非常關(guān)鍵的作用[15].圖1為Hadoop并行計(jì)算體系構(gòu)造，集群系統(tǒng)首先將求解問題分解到多個(gè)節(jié)點(diǎn)中，每個(gè)節(jié)點(diǎn)都有自個(gè)的處理模塊〔MapReduce〕和存儲(chǔ)模塊〔DataNode〕,完成本節(jié)點(diǎn)的計(jì)算和存儲(chǔ)任務(wù)，然后通過各個(gè)節(jié)點(diǎn)之間的通信〔RPC〕,最終完成問題的求解經(jīng)過，得到結(jié)果。節(jié)點(diǎn)間的通信機(jī)制是處理經(jīng)過中一個(gè)重要的任務(wù)，通信量的大小直接影響系統(tǒng)的性能，為權(quán)衡通信機(jī)制占用的開銷，為通信機(jī)制設(shè)置一個(gè)閾值，表示通信次數(shù)和通信量的大小。閾值的設(shè)定要符合系統(tǒng)的現(xiàn)在狀況，閾值偏高會(huì)增加節(jié)點(diǎn)間的通信，降低系統(tǒng)的效率，閾值偏低，造成節(jié)點(diǎn)間不能很好地通信。對(duì)于一個(gè)系統(tǒng)來(lái)講，首先保證的是在不影響節(jié)點(diǎn)通信的同時(shí)盡可能提高系統(tǒng)的效率，而不是為了提高系統(tǒng)的效率而影響節(jié)點(diǎn)間的通信。2仿真模擬方式方法設(shè)計(jì)與實(shí)現(xiàn)在Swarm環(huán)境的支持下，首先模擬一個(gè)市場(chǎng)。市場(chǎng)中有多類智能體〔Agent〕,包括消費(fèi)者、生產(chǎn)者、和銀行等，通過為每個(gè)個(gè)體設(shè)置初始值〔此值能夠是確定的，可以以在一定范圍內(nèi)隨機(jī)選取〕來(lái)設(shè)定個(gè)體的初始狀態(tài)和初始資本。Agent有一定的自主能力，來(lái)決定自個(gè)的行為，可以以根據(jù)周圍環(huán)境和本身如今的狀態(tài)進(jìn)行決策，最終通過個(gè)體與個(gè)體之間的交互影響市場(chǎng)的總體趨勢(shì)。由此產(chǎn)生了一個(gè)問題：怎樣定義市場(chǎng)的大??？對(duì)于較大市場(chǎng)的模擬，能夠得到較好的模擬結(jié)果，但數(shù)據(jù)量的增長(zhǎng)和個(gè)體復(fù)雜度的提升會(huì)對(duì)系統(tǒng)造成一定影響；對(duì)于較小市場(chǎng)的模擬，得出的結(jié)果和實(shí)際相差較大?，F(xiàn)實(shí)社會(huì)中有多個(gè)市場(chǎng)，市場(chǎng)之間有一定聯(lián)絡(luò)。用傳統(tǒng)的模擬方式方法對(duì)所有市場(chǎng)在單機(jī)中進(jìn)行模擬，然后再匯總計(jì)算模擬的結(jié)果，并且每臺(tái)計(jì)算機(jī)只能處理本地的數(shù)據(jù)。這樣的模擬不僅浪費(fèi)大量的時(shí)間，而且得出的模擬結(jié)果并不一定準(zhǔn)確。假如使用多臺(tái)處理器進(jìn)行模擬，這樣固然能節(jié)省時(shí)間，但是消耗損費(fèi)了大量的資源，工作量也比擬大。本文提出使用Hadoop并行計(jì)算技術(shù)解決經(jīng)濟(jì)周期模擬的方式方法，將多個(gè)市場(chǎng)看作是一個(gè)完好系統(tǒng)進(jìn)行模擬。在Hadoop集群環(huán)境中，每個(gè)市場(chǎng)都分配在一個(gè)節(jié)點(diǎn)中。實(shí)際上市場(chǎng)之間是存在交互的，本研究主要是為了具體表現(xiàn)出并行方式方法對(duì)模擬性能的提高，因而不考慮模擬時(shí)市場(chǎng)之間的交互，只將各市場(chǎng)的模擬結(jié)果進(jìn)行實(shí)時(shí)整合，將整合結(jié)果展現(xiàn)，得出最終的模擬結(jié)果。在使用Hadoop并行計(jì)算技術(shù)解決經(jīng)濟(jì)周期模擬問題時(shí)，文件系統(tǒng)HDFS將需要模擬的市場(chǎng)環(huán)境和個(gè)體屬性存儲(chǔ)到DataNode節(jié)點(diǎn)，模擬結(jié)果以塊的形式存儲(chǔ)到節(jié)點(diǎn)中。Hadoop中節(jié)點(diǎn)間數(shù)據(jù)塊是內(nèi)容分享的，節(jié)點(diǎn)的數(shù)據(jù)傳遞到服務(wù)器端進(jìn)行整合，計(jì)算出結(jié)果。如此圖2所示，HDFS通過客戶端對(duì)整個(gè)系統(tǒng)進(jìn)行控制，在每個(gè)DataNode節(jié)點(diǎn)中進(jìn)行模擬，存儲(chǔ)在數(shù)據(jù)塊中，以便對(duì)和Gini系數(shù)進(jìn)行整合，系數(shù)能夠用多個(gè)市場(chǎng)總和來(lái)計(jì)算，Gini系數(shù)代表收入差距，用多個(gè)市場(chǎng)的的平均值計(jì)算。本次模擬的經(jīng)濟(jì)市場(chǎng)沒有貨品交換，但對(duì)和Gini系數(shù)進(jìn)行了匯總計(jì)算。MapReduce中分為Mapper法和Reducer方式方法，使用MapReduce處理經(jīng)濟(jì)模擬仿真數(shù)據(jù)問題時(shí)，Map和Reduce的操作并不困難，關(guān)鍵是對(duì)于數(shù)據(jù)的組織和傳輸[16].Map是數(shù)據(jù)本地化、并行化的關(guān)鍵，對(duì)于包含大量和Gini系數(shù)的大文件來(lái)講，怎樣確定仿真數(shù)據(jù)的起點(diǎn)和終點(diǎn)、怎樣將Map階段的數(shù)據(jù)劃分成多個(gè)子文件、怎樣協(xié)調(diào)子文件節(jié)點(diǎn)內(nèi)部數(shù)據(jù)分發(fā)和Task調(diào)度的配合成為并行化的難點(diǎn)。通過MapReduce模型與HDFS的配合與協(xié)作，HDFS根據(jù)數(shù)據(jù)塊存儲(chǔ)大文件，分解成多個(gè)子文件，每個(gè)子文件中存儲(chǔ)一個(gè)經(jīng)濟(jì)市場(chǎng)的或Gini系數(shù)。首先獲取系統(tǒng)中每個(gè)文件的位置，能夠是本地?cái)?shù)據(jù)、可以以是文件系統(tǒng)中其他節(jié)點(diǎn)的公共數(shù)據(jù)，再對(duì)數(shù)據(jù)進(jìn)行處理[17].并行計(jì)算中數(shù)據(jù)切分傳遞的工作流程如此圖3所示，系統(tǒng)需要將各個(gè)市場(chǎng)的模擬結(jié)果進(jìn)行實(shí)時(shí)整合，持續(xù)性的將數(shù)據(jù)傳輸?shù)椒?wù)器?？紤]到計(jì)算機(jī)的運(yùn)行效率，假如數(shù)據(jù)逐條傳輸，將會(huì)大大降低系統(tǒng)的運(yùn)行效率，為此系統(tǒng)為數(shù)據(jù)傳輸設(shè)置一個(gè)閾值，由于數(shù)據(jù)是實(shí)時(shí)寫入到文本文檔中的，當(dāng)文檔中數(shù)據(jù)到達(dá)閾值時(shí)，將數(shù)據(jù)一次性通過mmap映射到內(nèi)存，然后計(jì)算MapTask的個(gè)數(shù)，并且根據(jù)mapTask的個(gè)數(shù)切分mmap映射的內(nèi)存，分別交給pthread線程處理，得出計(jì)算結(jié)果。多主體系統(tǒng)MAS〔Mutil-Agent-System〕是由多類主體共同完成經(jīng)濟(jì)問題的模擬。根據(jù)抽象出的Agent模型，利用Swarm類庫(kù)，為每類主體設(shè)定特有的屬性。在二維的市場(chǎng)網(wǎng)絡(luò)中，每個(gè)個(gè)體周圍有8個(gè)鄰居，當(dāng)鄰居的利潤(rùn)大于自個(gè)的收益時(shí)，主體便會(huì)圖3數(shù)據(jù)切分傳遞流程根據(jù)周圍的鄰居的營(yíng)銷策略進(jìn)行學(xué)習(xí)，通過改變本身的消費(fèi)預(yù)期值、生產(chǎn)預(yù)期值和變異的概率等〔每個(gè)生產(chǎn)者能夠有一定的概率變異成高效企業(yè)或者破產(chǎn)〕來(lái)改變本身的狀態(tài)。圖4為個(gè)體之間的邏輯展示圖。暫時(shí)只考慮在二維空間內(nèi)個(gè)體之間的關(guān)系，每個(gè)個(gè)體與周圍8個(gè)相鄰的個(gè)體進(jìn)行交互學(xué)習(xí)。設(shè)本身的坐標(biāo)為〔0,0〕,相鄰個(gè)體的坐標(biāo)從〔-1,-1〕到〔1,1〕,根據(jù)式〔1〕進(jìn)行學(xué)習(xí)：式中，P〔0,0〕為學(xué)習(xí)者的消費(fèi)預(yù)期或生產(chǎn)預(yù)期值；P〔i,j〕為周圍相應(yīng)鄰居中大于本身消費(fèi)預(yù)期或生產(chǎn)預(yù)期值的個(gè)體；P〔m,n〕為周圍鄰居小于本身值的個(gè)體，根據(jù)一定的權(quán)重將高和低的消費(fèi)額相結(jié)合。通過實(shí)驗(yàn)得出，假如高消費(fèi)和低消費(fèi)占一樣比重，得出的結(jié)果不能保證經(jīng)濟(jì)的穩(wěn)定增長(zhǎng)，假如高消費(fèi)比重過高，經(jīng)濟(jì)周期的規(guī)律性遭到影響，此處將高消費(fèi)的比重設(shè)置為0.6,低消費(fèi)的比重設(shè)置為0.4,既避免了本身值不斷增加而使模擬結(jié)果與現(xiàn)實(shí)差距較大，也使市場(chǎng)的緩慢增長(zhǎng)，并呈現(xiàn)周期性。圖5為經(jīng)濟(jì)模擬中MapReduce的工作流程，在pthread線程中首先獲得內(nèi)存中的數(shù)據(jù)，標(biāo)記數(shù)據(jù)塊來(lái)自的市場(chǎng)。對(duì)本地的模擬數(shù)據(jù)進(jìn)行保存時(shí)，為每個(gè)保存的數(shù)據(jù)添加一個(gè)時(shí)間戳，Mapper方式方法處理key,value格式的數(shù)據(jù)，key是value數(shù)據(jù)的時(shí)間戳，value是模擬得出的數(shù)據(jù)，為或Gini系數(shù)。通過Mapper處理后，輸出以或Gini系數(shù)為組的數(shù)據(jù)，在同一時(shí)刻有幾組來(lái)自不同市場(chǎng)的數(shù)據(jù)，他們的key值一樣，即是在同一時(shí)刻得出的模擬數(shù)據(jù)。Reducer方式方法處理以時(shí)間戳為Key,以或Gini為value值的數(shù)據(jù)，在接收Mapper方式方法處理的數(shù)據(jù)時(shí)，判定假如是值，則整合策略是將key值一樣的value作和，假如是Gini系數(shù)則取平均數(shù)，經(jīng)過Reduce處理后，便將幾個(gè)市場(chǎng)的數(shù)據(jù)進(jìn)行整合，得出最終結(jié)果。3并行方式方法與傳統(tǒng)方式方法的比照將Hadoop技術(shù)應(yīng)用到經(jīng)濟(jì)模擬中，無(wú)論是資源利用率還是系統(tǒng)的整體效率都有很大的提高。在傳輸數(shù)據(jù)時(shí)，傳統(tǒng)的數(shù)據(jù)處理方式方法是將所有數(shù)據(jù)逐條輸入，依次經(jīng)過Mapper和Reducer進(jìn)行處理，最后輸出結(jié)果。使用將數(shù)據(jù)映射到內(nèi)存的方式方法，能夠有效避免map到reduce階段的網(wǎng)絡(luò)IO和磁盤IO的開銷。圖6為在單個(gè)處理器上模擬單個(gè)市場(chǎng)，當(dāng)模擬出現(xiàn)第1個(gè)波谷時(shí)所需要的時(shí)間為1070s;圖7為使用Hadoop在3個(gè)處理器上并行整合3個(gè)模擬市場(chǎng)，所用的時(shí)間為1180s.假如只用1臺(tái)處理器模擬多個(gè)市場(chǎng)，所需要的時(shí)間是所有模擬時(shí)間之和，并且不能整合3個(gè)市場(chǎng)的和Gini系數(shù)，假如只是單純使用多個(gè)處理器進(jìn)行模擬，只能得出每個(gè)市場(chǎng)的模擬結(jié)果，并不能將結(jié)果進(jìn)行整合。使用Hadoop并行技術(shù)進(jìn)行模擬固然模擬時(shí)間多出110s,但由于是3個(gè)市場(chǎng)同時(shí)進(jìn)行模擬，比非并行模擬節(jié)省了大量的時(shí)間，提高了系統(tǒng)的效率和資源利用率。4結(jié)束語(yǔ)Hadoop作為一種新的并行計(jì)算技術(shù)，應(yīng)用到經(jīng)圖6單處理器中單個(gè)經(jīng)濟(jì)市場(chǎng)模擬圖7并行計(jì)算中3個(gè)經(jīng)濟(jì)市場(chǎng)并行模擬濟(jì)仿真模擬領(lǐng)域，拓寬了并行技術(shù)的應(yīng)用領(lǐng)域，不僅能有效提高模擬的效率，增加系統(tǒng)的利用率，并且為拓寬經(jīng)濟(jì)模擬的深度和廣度提供了一定的基礎(chǔ)。假如要增加模擬市場(chǎng)的個(gè)數(shù)，只需要在之前配置好的并行環(huán)境中增加計(jì)算節(jié)點(diǎn)，將經(jīng)濟(jì)市場(chǎng)分別放置到不同的節(jié)點(diǎn)進(jìn)行運(yùn)算，最后將得出的模擬結(jié)果進(jìn)行整合，得出最終的模擬結(jié)果。本文提出的方式方法未牽涉市場(chǎng)間個(gè)體的交互，也沒有考慮到市場(chǎng)的大小對(duì)經(jīng)濟(jì)模擬結(jié)果造成的影響。下一步工作中，能夠通過改良數(shù)據(jù)整合方式方法，或改良主體的學(xué)習(xí)策略，以得到更好的并行模擬結(jié)果。以下為參考文獻(xiàn)：[1]DieboldFX,RudebuschGD.Measuringbusinesscycles:amodernperspective[R].MassachusettsCambridgeCity:NationalBureauofEconomicRe-search,1994[2]郝水俠，李凡長(zhǎng)。構(gòu)建一種多Agent并行計(jì)算模型[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006,16〔5〕:71-73[3]曹慕昆，馮玉強(qiáng)?；诙郃gent計(jì)算機(jī)仿真實(shí)驗(yàn)平臺(tái)Swarm的綜述[J].計(jì)算機(jī)應(yīng)用研究，2005,28〔9〕:1-3[4]FortuneS,WyllieJ.Parallelisminrandomaccessmachines[C]∥Proceedings