云計算技術(shù)在未來智能電網(wǎng)信息

1、云計算技術(shù)在未來智能電網(wǎng)信息處理平臺中的應(yīng)用孟祥萍1，3，周來2，王暉1，3，紀(jì)秀1，3，程志明4（1長春工程學(xué)院 電氣與信息工程學(xué)院，吉林省 長春市 130012；2東北電力大學(xué) 信息工程學(xué)院，吉林省 吉林市 132012；3. 吉林省配電自動化工程研究中心，吉林省 長春市 130012；4. 日照港集團(tuán)有限公司，山東省 日照市 276826)The Applications of Cloud Computing Technology for Information Processing Platform in Future Smart Grid MENG Xiangping1,3,ZHOU

2、 Lai2,WANG Hui1,3,JI Xiu1,3,CHENG Zhiming4(1.Institute of Electrical and Information Engineering,Changchun Institute of Technology,Changchun 130012,Jilin Province,China;2.School of Information Engineering,Northeast Dianli University,Jilin 132012,Jilin Province,China;3.Jilin Province Distribution Aut

3、omation Engineering Research Center,Changchun 130012, Jilin Province,China;4. Rizhao Port Group Co.,Ltd,Rizhao 276826, Shandong Province,China)ABSTRACT: Future grid will be a highly automated, intelligent grid, so large complex system which from the power generation, transmission to substation, dist

4、ribution and application process generating massive energy information and equipment running data at all times, which requires a powerful information processing platform as a support, and this platform should have a reliable storage of huge amounts of data, accurate analysis, real-time synchronizati

5、on updates and sharing functions, especially analysis and processing for audio and video heterogeneous data.Cloud computing technology has unique advantages in large data processing,this paper introduced the cloud computing technology into the future smart grid information processing platform, did a

6、n in-depth discussion faced the various functions of the future smart grid information processing platform and compared with the bottlenecks of current grid information processing platform, proved the feasibility that cloud computing technology will be applied to the future smart grid information pr

7、ocessing platform.KEY WORDS: cloud computing; smart grid; information platform; Application摘要：未來的電網(wǎng)將會是一個高度自動化、智能化的電網(wǎng)，如此一個龐大、復(fù)雜的系統(tǒng)從發(fā)電、輸電一直到變、配、用電的過程時刻都會生成海量的電能信息及設(shè)備運行狀態(tài)數(shù)據(jù)，這就需要一個強有力的信息處理平臺作為支撐，且這個平臺應(yīng)具有對海量數(shù)據(jù)的可靠存儲、準(zhǔn)確分析、實時同步更新及共享的功能，尤其是音視頻等異構(gòu)數(shù)據(jù)的分析與處理.云計算技術(shù)在大數(shù)據(jù)處理中具有得天獨厚的優(yōu)勢，本文將云計算技術(shù)引入到未來智能電網(wǎng)的信息處理平臺的建設(shè)中，針對未

8、來智能電網(wǎng)信息處理平臺的各項功能需求，對比目前電網(wǎng)信息處理平臺的諸多瓶頸進(jìn)行深層次的探討，證明了將云計算技術(shù)應(yīng)用到未來智能電網(wǎng)信息處理平臺中的可行性。關(guān)鍵詞：云計算；智能電網(wǎng)；信息平臺；應(yīng)用引言智能電網(wǎng)在提供綠色低碳的清潔能源同時極大程度的保證了系統(tǒng)運行的安全性及穩(wěn)定性，電力用戶可根據(jù)實時電能信息來參與整個電網(wǎng)的電能分配的全過程，各種分布式可再生能源的接入使系統(tǒng)中電源格局呈現(xiàn)多元化，信息處理平臺猶如電網(wǎng)的神經(jīng)中樞，在保證電網(wǎng)穩(wěn)定運行及效益最大化方面具有不可忽視的作用。電網(wǎng)信息處理平臺當(dāng)前電網(wǎng)信息處理平臺當(dāng)前，國網(wǎng)公司信息處理平臺采用傳統(tǒng)的解決方案，例如平臺基礎(chǔ)構(gòu)架采用昂貴的大型服務(wù)器，存儲數(shù)據(jù)

9、的設(shè)施為磁盤陣列，采用關(guān)系型數(shù)據(jù)庫進(jìn)行數(shù)據(jù)管理等，這些都將造成系統(tǒng)的成本高、擴展性差，在未來智能電網(wǎng)大數(shù)據(jù)1-3處理中將很難適應(yīng)。數(shù)據(jù)獲取、存儲管理以及訪問等功能共同構(gòu)成了目前電網(wǎng)信息處理平臺的核心內(nèi)容。其邏輯框架如圖1所示。圖1 目前電網(wǎng)信息平臺框架Fig.1 Currently grid information platform framework1.1.1數(shù)據(jù)抽取在獲取層，將提取出來的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為標(biāo)準(zhǔn)化數(shù)據(jù)后加載到主題數(shù)據(jù)庫中，ETL負(fù)責(zé)將數(shù)據(jù)源中的數(shù)據(jù)抽取到中間層并進(jìn)行ETL，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集中，使之成為數(shù)據(jù)中心的基礎(chǔ)，來實現(xiàn)數(shù)據(jù)源轉(zhuǎn)化為目標(biāo)數(shù)據(jù)倉庫的過程。1.1.2 數(shù)據(jù)

10、存儲數(shù)據(jù)存儲4層可對主題數(shù)據(jù)庫進(jìn)行深入的ETL，將生成的多維度的數(shù)據(jù)存儲到數(shù)據(jù)倉庫中，對數(shù)據(jù)進(jìn)行編碼并管理。作為數(shù)據(jù)倉庫系統(tǒng)的核心，負(fù)責(zé)數(shù)據(jù)倉庫中重要數(shù)據(jù)的存儲及管理，數(shù)據(jù)倉庫在管理上的不同導(dǎo)致了它與其他數(shù)據(jù)庫的差別，決定這數(shù)據(jù)庫的外在表現(xiàn)形式，因此，只有在分析數(shù)據(jù)倉庫各方面技術(shù)的基礎(chǔ)上才能著手構(gòu)建數(shù)據(jù)倉庫，將各系統(tǒng)中的數(shù)據(jù)抽取、清理展開相應(yīng)集成和有效的組織。數(shù)據(jù)訪問數(shù)據(jù)的訪問層用來實現(xiàn)查詢、分析、OLAP及數(shù)據(jù)挖掘等功能。報表系統(tǒng)中一目了然的展示了生產(chǎn)及管理數(shù)據(jù)，方便填寫、部署及查看，自動統(tǒng)計、分析的功能生成各種趨勢圖為生產(chǎn)及管理決策提供直接依據(jù)，報表還可根據(jù)生產(chǎn)時段的變化、新增業(yè)務(wù)等快捷的

11、添加、刪除業(yè)務(wù)，方便基層單位的各項應(yīng)用，數(shù)據(jù)展示應(yīng)用的結(jié)果叫做數(shù)據(jù)前端處理，可通過聯(lián)機或Web的方式進(jìn)行。存在問題1）缺少統(tǒng)一的信息管理標(biāo)準(zhǔn)。國網(wǎng)各直屬單位以及各省網(wǎng)公司按照各自生產(chǎn)、管理的特點建設(shè)各自的數(shù)據(jù)中心，但因各自業(yè)務(wù)系統(tǒng)的千差萬別導(dǎo)致在數(shù)據(jù)中心建設(shè)時的網(wǎng)絡(luò)、服務(wù)器、數(shù)據(jù)庫及監(jiān)控等各方面都有所不同，且軟硬件、數(shù)據(jù)資源及維護(hù)管理等方面所應(yīng)用的設(shè)備及技術(shù)等各異造成建設(shè)成本加大。2）信息孤島5現(xiàn)象。各級調(diào)度中心管理系統(tǒng)分散、獨立，缺乏統(tǒng)一技術(shù)標(biāo)準(zhǔn)，造成各單位間數(shù)據(jù)信息資源得不到有效共享，通信停留在人工操作的渠道上，無法實現(xiàn)調(diào)度的現(xiàn)代化，形成信息孤島。當(dāng)前的電網(wǎng)信息處理平臺已無法滿足未來智能電

12、網(wǎng)海量數(shù)據(jù)的存儲、共享及處理的需求，所以，為使數(shù)據(jù)中心獲得更多功能及服務(wù)，搭建適合未來智能電網(wǎng)的分布式存儲與并行計算的信息處理平臺就顯得尤為必要。 智能電網(wǎng)信息平臺功能需求高效、開放、共享的信息處理平臺是未來智能電網(wǎng)的基礎(chǔ)，也是區(qū)別于傳統(tǒng)信息平臺的關(guān)鍵之處，概括地說未來智能電網(wǎng)的信息處理平臺應(yīng)具備以下三方面功能：整個信息平臺的建設(shè)應(yīng)涵蓋發(fā)、輸、變、配、用電的全過程，能夠?qū)π畔⑷娌杉?、高速傳輸及有效處理，使電能、信息及各項業(yè)務(wù)高度集成。擁有信息共享透明、集成規(guī)范、功能全面的協(xié)同業(yè)務(wù)及互操作系統(tǒng)。對海量異構(gòu)數(shù)據(jù)的可靠存儲與管理，能夠最大限度地提取信息的價值，提升智能電網(wǎng)整體分析及決策水平。建立安

13、全、靈活的海量信息處理與計算平臺是智能電網(wǎng)建設(shè)和發(fā)展的基礎(chǔ)，而云計算6技術(shù)可為此提供一套完善的解決方案。2. 云計算技術(shù)研究進(jìn)展云計算-Cloud Computing是一種基于 HYPERLINK /doc/2011565.html t _blank 互聯(lián)網(wǎng)的服務(wù)使用及交付方式，軟硬件等信息資源存儲于云端數(shù)據(jù)中心，可通過此方式按需地提供給網(wǎng)絡(luò)上的其他設(shè)備，用戶通過Web服務(wù)進(jìn)行訪問存儲在 HYPERLINK /doc/4487696.html t _blank 服務(wù)器上的軟件及其他信息，這就是說計算能力可當(dāng)做商品在互聯(lián)網(wǎng)上流通。近年來，以互聯(lián)網(wǎng)為基礎(chǔ)的融合了虛擬化技術(shù)、集群應(yīng)用、網(wǎng)格計算、分布

14、式存儲與并行計算的先進(jìn)技術(shù)大量涌現(xiàn)，在云計算體系中，數(shù)據(jù)的分布式存儲與并行計算是核心技術(shù)，以Hadoop7,8為代表的分布式計算開源框架充分地整合了集群里節(jié)點的存儲能力和計算效率，具備一定優(yōu)勢。云計算體系模型如圖2所示。圖2 云計算體系模型Fig.2 Cloud computing architecture model亞馬遜、微軟、谷歌、IBM、英特爾等公司相繼提出了“云計劃”，如亞馬遜的AWS,IBM和谷歌共同發(fā)展的“藍(lán)云”計劃等，這些都對云計算的商業(yè)價值給予了巨大的肯定。學(xué)術(shù)界也正在進(jìn)行深層次的研究，谷歌、華盛頓大學(xué)與清華大學(xué)啟動云計算學(xué)術(shù)合作計劃(ACC)，以此推動云計算研究及普及?？▋?nèi)

15、基梅隆大學(xué)啟動了數(shù)據(jù)密集型超級計算（DISC）計劃.Cloudera公司設(shè)計并實施了基于Hadoop云平臺的智能電網(wǎng)在田納西河流域管理局（TVA）上的項目，幫助美國電網(wǎng)管理了數(shù)百TB級的PMU數(shù)據(jù)，并為電網(wǎng)其他數(shù)據(jù)的處理提供通用平臺，突顯了Hadoop高可靠性及低廉價格方面的優(yōu)勢。日本Kyushu電力公司使用Hadoop云平臺對海量電力系統(tǒng)用戶的消費數(shù)據(jù)進(jìn)行快速并行分析，并在此平臺基礎(chǔ)上研發(fā)了各類分布式的批處理應(yīng)用軟件，提高了數(shù)據(jù)處理的速度及效率。2008年，IBM在無錫科教產(chǎn)業(yè)園成功地建立了我國第一個由政府支持的商業(yè)化運營的云計算中心，也是是世界上第一個準(zhǔn)備商業(yè)化運營的云計算中心。去年，成功

16、在紐交所上市的阿里巴巴公司已成功建立云計算平臺，其他商用軟件如用友、金蝶等財務(wù)軟件稍加改進(jìn)便可依托阿里巴巴的云計算平臺而不必購買License，阿里巴巴則為這些軟件提供存儲與計算資源。3.云計算在智能電網(wǎng)信息平臺中的應(yīng)用 Hadoop集群架構(gòu)及特點Hadoop是一個開源的云計算平臺，其核心組件包括HDFS9分布式文件存儲系統(tǒng)、MapReduce10-并行計算框架以及HBase架構(gòu)在HDFS之上的分布式、面向列的存儲系統(tǒng)。其高度的可靠性及可伸縮性可以很好地滿足未來智能電網(wǎng)信息處理平臺中的各項需要，主要特點如下：Hadoop集群的冗余備份及故障恢復(fù)功能非常的成熟，能夠廣泛的應(yīng)用在大量廉價硬件設(shè)備上

17、，為應(yīng)用程序提供穩(wěn)定可靠的接口，其高度的容錯性可以對智能電網(wǎng)的海量數(shù)據(jù)進(jìn)行可靠的存儲。Hadoop集群具有很好的負(fù)載均衡特性。當(dāng)空閑節(jié)點剩余空間少于一定值時，系統(tǒng)會自動將數(shù)據(jù)轉(zhuǎn)移到其他節(jié)點，因此可以很好應(yīng)對負(fù)載變大時的情況。分布式的數(shù)據(jù)處理11方式以及分布式結(jié)構(gòu)化數(shù)據(jù)表可兼容結(jié)構(gòu)化的存儲，將底層分布式編程屏蔽，使開發(fā)難度降低，確保了智能電網(wǎng)海量數(shù)據(jù)情況下高吞入量的查詢與訪問。 基于Hadoop的信息處理平臺3.2.1 Mapreduce系統(tǒng)結(jié)構(gòu)與傳統(tǒng)電網(wǎng)數(shù)據(jù)分析、處理方式相比，基于云平臺的智能電網(wǎng)MapReduce12,13數(shù)據(jù)處理不再是常規(guī)的關(guān)系型數(shù)據(jù)庫及磁盤陣列，而是一個由服務(wù)器、網(wǎng)絡(luò)設(shè)備

18、、客戶端程序、應(yīng)用軟件、公用訪問接口接入網(wǎng)等許多部分構(gòu)成的復(fù)雜而龐大的系統(tǒng)，其中包括列存儲、文檔、圖形及K/V等非關(guān)系型分布式數(shù)據(jù)庫，部署任務(wù)資源靈活，存儲、計算能力強，設(shè)備利用率高，系統(tǒng)模型如圖2所示.圖3 MapReduce架構(gòu)Fig.3 Architecture of mapreduce 基本資源層的各核心組件用以實現(xiàn)任務(wù)資源的虛擬化并使之合并為集群，進(jìn)而實現(xiàn)虛擬化、可視化的管理，完成云計算基礎(chǔ)服務(wù)。Mapreduce14,15函數(shù)為數(shù)據(jù)處理層核心，通過配置不同的任務(wù)函數(shù)來滿足不同的功能需求，如為滿足資源調(diào)度需求而引入神經(jīng)網(wǎng)絡(luò)、隊列管理和遺傳等算法。主節(jié)點（Master）根據(jù)各節(jié)點（Wo

19、rker）定期發(fā)來的心跳信息來判斷各節(jié)點狀態(tài)并合理安排任務(wù)給各節(jié)點，Map函數(shù)處理在各節(jié)點產(chǎn)生的鍵值對，并將中間結(jié)果緩存于內(nèi)存，達(dá)到閾值后，節(jié)點啟動合并線程，由Reduce任務(wù)數(shù)確定分區(qū)數(shù)，使緩存中數(shù)據(jù)映射到各分區(qū)并進(jìn)行排序，完成將緩存中數(shù)據(jù)寫入硬盤的過程。Reduce將各分區(qū)數(shù)據(jù)復(fù)制到本地并進(jìn)行排序，然后調(diào)用用戶設(shè)置的Reduce函數(shù)，將相同的結(jié)果合并寫入HDFS.基于J2EE應(yīng)用服務(wù)的高級應(yīng)用層主要包括前端顯示、中間件及數(shù)據(jù)處理功能，前端顯示利用JSP、Jquery及AJAX技術(shù)，消息中間件具有的發(fā)送程序間異步數(shù)據(jù)的功能使系統(tǒng)更為靈活，便于跨平臺的操作。結(jié)構(gòu)、接口簡單的K/V數(shù)據(jù)庫提高了數(shù)

20、據(jù)讀寫能力。3.2.2 HBase 數(shù)據(jù)模型用面向?qū)ο蟮牟呗詠泶罱℉Base16-18數(shù)據(jù)中心模型，因其列簇狀態(tài)穩(wěn)定，且其中元素列可任意增長，所以可視各列簇為一個對象，列簇中的子列為該對象的屬性，列簇與RowKey構(gòu)成HTable組合對象，將RowKey定義為對象名，在HBase中含有多個HTable，彼此存在關(guān)聯(lián)關(guān)系，對于HBase等NoSQL數(shù)據(jù)庫創(chuàng)建組合對象模型COR模型，HBase自身無法進(jìn)行維護(hù)，但其所具備的海量數(shù)據(jù)分布式存儲與并行計算的能力使其可直接存儲數(shù)據(jù)，因此在COR中無數(shù)據(jù)字典，而是將數(shù)據(jù)編碼存儲到一個表中，可精確的恢復(fù)歷史數(shù)據(jù)。在創(chuàng)建智能電網(wǎng)數(shù)據(jù)中心HBase模型前，先搭建

21、Hadoop運行環(huán)境并且將HBase數(shù)據(jù)配置好，Hadoop由Java來實現(xiàn)，在hadoop-env.sh文件中加載JAVA_HOME路徑。hdfs-site.xml中NameNode及DataNode配置如下：hbase-site.xml是HBase中一個重要的配置文件，HBase的根目錄以及Zookeeper等集群分布式配置如下：完成Hadoop及HBase數(shù)據(jù)庫搭建之后，下面創(chuàng)建HTable來實現(xiàn)智能電網(wǎng)數(shù)據(jù)中心模型，進(jìn)而完成智能電網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫的創(chuàng)建。HTable包含RowKey及Time Stamp兩部分，Column可動態(tài)變化且不屬于HTable，因此創(chuàng)建HTable表只要創(chuàng)建表

22、名及列簇即可，通過JavaAPI創(chuàng)建person表函數(shù)19如下：利用Shell創(chuàng)建表語句如下：目前電網(wǎng)信息系統(tǒng)管理平臺還無法做到對網(wǎng)內(nèi)全部信息如：負(fù)荷需求、變電站及線路各設(shè)備運行工況以及其他生產(chǎn)和管理信息的實時同步與更新，這是由于各省網(wǎng)、分子公司等的信息管理系統(tǒng)的廠商、投入運行時間、操作系統(tǒng)及數(shù)據(jù)庫都千差萬別，這些數(shù)據(jù)之間因此形成異構(gòu)數(shù)據(jù)，這些數(shù)據(jù)得不到交換、共享便形成信息孤島，此外，數(shù)據(jù)庫運行的環(huán)境不同也會產(chǎn)生異構(gòu)數(shù)據(jù)。4.需注意的問題4.1 當(dāng)前數(shù)據(jù)中心向云計算的過度問題當(dāng)前國網(wǎng)公司各數(shù)據(jù)中心因地域、信息化水平、業(yè)務(wù)應(yīng)用程度的不同而呈現(xiàn)出各自特點，部分?jǐn)?shù)據(jù)中心已成功引進(jìn)虛擬化技術(shù)而具備了初

23、期云計算能力，但大多數(shù)的數(shù)據(jù)中心的各項技術(shù)仍停留在常規(guī)水平，在確?，F(xiàn)有電力數(shù)據(jù)中心正常運行的前提下向云計算數(shù)據(jù)中心逐步地平穩(wěn)過度來適應(yīng)未來智能電網(wǎng)建設(shè)與發(fā)展的需要。4.2 數(shù)據(jù)傳輸?shù)钠款i問題國網(wǎng)總公司與各直屬公司及省網(wǎng)公司的數(shù)據(jù)中心之間有大量的業(yè)務(wù)數(shù)據(jù)進(jìn)行傳輸，如此海量數(shù)據(jù)勢必會造成傳輸效率的下降，可以考慮在各云節(jié)點加裝負(fù)載均衡設(shè)備，搭建系統(tǒng)廣域網(wǎng)的高速通道來解決數(shù)據(jù)傳輸過程中的瓶頸。4.3 數(shù)據(jù)傳輸?shù)陌踩珕栴}基于云計算的數(shù)據(jù)中心是電力企業(yè)內(nèi)部搭建的私有云，具有自我維護(hù)及管理的功能，系統(tǒng)廣域網(wǎng)傳輸各業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)中心在安全分區(qū)中為信息大區(qū)即第三安全區(qū)，可考慮裝設(shè)專屬安全隔離設(shè)備來將生產(chǎn)控制區(qū)與

24、外部公網(wǎng)安全隔離。5. 結(jié)語 云計算是近些年發(fā)展起來的可以實現(xiàn)高性能的分布式存儲與并行計算的新興技術(shù)，對海量分布式計算資源的集成使其具有良好擴展性、高度可靠性及高度自動化、虛擬化等特點，云計算技術(shù)還處于初期發(fā)展階段，將云計算技術(shù)引入到未來智能電網(wǎng)信息處理平臺中也處于探索階段，仍有很多問題亟待解決。基于云計算技術(shù)的電網(wǎng)信息處理平臺可以在很大程度上充分整合當(dāng)前系統(tǒng)內(nèi)部存儲與計算資源以實現(xiàn)未來智能電網(wǎng)海量數(shù)據(jù)信息的高效處理及交互功能，在未來智能電網(wǎng)信息處理平臺中具有一定的應(yīng)用價值。6.參考文獻(xiàn)1 王德文，宋亞奇，朱永利基于云計算的智能電網(wǎng)信息平臺J電力系統(tǒng)自動化，2010，34(22)：7-11.

25、WANG Dewen，SONG Yaqi，ZHU YongliInformation platform of smart grid based on cloud computingJAutomation of Electric Power System，2010，34(22)：7-11.2 李玉林，董晶.基于Hadoop的MapReduce模型的研究與改進(jìn)J.計算機工程與設(shè)計，2012,33(8)：3110-3116. LI Yulin，DONG Jing.Study and improvement of MapReduce based on hadoopJ.Computer Engineer

26、ing and Design，2012,33(8)：3110-3116.3 陶永才，張寧寧，石磊，衛(wèi)琳異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究J小型微型計算機系統(tǒng)，2013,34(7)：1487-1492. TAO Yongcai，ZHANG Ningning，SHI Lei，WEI LinResearching on dynamic management of data replicas of cloud computing in heterogeneous environmentsJJournal of Chinese Computer Systems，2013，34(7)：1487-1492

27、.4 李亞瓊，宋瑩，黃永兵一種面向虛擬化云計算平臺的內(nèi)存優(yōu)化技術(shù)J計算機學(xué)報，2011，34(4)：680-690. LI Yaqiong，SONG Ying，HUANG YongbingA memory global optimization approach in virtualized cloud computing environmentsJChinese Journal of Computers，2011，34(4)：680-690.5 曹寧，吳中海HDFS下載效率的優(yōu)化J.計算機應(yīng)用，2010，30(8)：2060-2065. CAO Ning，WU ZhonghaiDownloa

28、d efficiency optimization for HDFSJJournal of Computer Applications，2010，30(8)：2060-2065.6 胡牧，李勇，孔震，劉士進(jìn)數(shù)據(jù)拓?fù)浼捌湓陔娋W(wǎng)數(shù)據(jù)處理分析中的應(yīng)用J電力系統(tǒng)自動化，2013，37(3)：83-88. HU Mu，LI Yong，KONG Zhen，LIU ShijinData topology and its application in processing and analysis of power grid dataJAutomation of Electric Power Systems，

29、2013，37(3)：83-88.7 HYPERLINK /apache/hadoop/common/hadoop-2.4.0/ /apache/hadoop/common/hadoop-2.4.0/8 丁琳琳，信俊昌，王國仁，等.基于MapReduce的海量數(shù)據(jù)高效Skyline查詢處理J.計算機學(xué)報，2011,34（10）：1785-1796. DING Linlin，XIN Junchang，WANG Guoren，et al.Efficient Skyline query processing of massive data based on mapreduce J. Journal

30、of Computers，2011,34（10）：1785-1796 .9 Grant Mackey，Saba Sehrish，Jun WangImproving Metadata Management for Small Files in HDFSJ.IEEE International Conference on Cluster Computing and Workshops，2009：1-4.10 KShvachko，HKuang，SRadia，and RChansler“The hadoop distributed le system.” in Mass Storage Systems

31、 and Technologies (MSST), 2010 IEEE 26th Symposium onIeee, 2010, pp. 110.11 Armbrust M，F(xiàn)ox AGriffith RAbove the Clouds：A Berkeley View of Cloud Computing DUCB/EECS-2009-28，EECS Department，University of California，Berkeley，2009.12 潘巍，李戰(zhàn)懷，伍賽，等.基于消息傳遞機制的MapReduce圖算法研究J.計算機學(xué)報，2011,34（10）：1768-1784.PAN W

32、ei，LI Zhanhuai，WU Sai，et al. EvaluatigLarge graph processing in MapReduce based on message passing J.Journal of Computers，2011，34（10）：1768-1784.13 Huang D，Shi X，Ibrahim S，et al. MR-Scope：A real-time tracing tool for MapReduceC. The MapReduce of HPDC,2010：849-85514 Zheng WM，Chen KCloud computing-System instances and current researchJournal of Software，2009，20(5)：13371348.15 Yandong Wang，Xinyu Que，Weikuan Yu，et alDhiraj Sehgal Hadoop acceleration through network levitated mergeCProceedings of 2011 International Conference for High Performance Computing，Networking，Storage and AnalysisWas