第2章-云計算與大數(shù)據(jù)的相關(guān)技術(shù)(微軟雅黑)

云計算與大數(shù)據(jù)技術(shù)

人民郵電出版社王鵬黃焱安俊秀張逸琴編著

目錄CONTENTS第1章云計算與大數(shù)據(jù)基礎(chǔ)第2章云計算與大數(shù)據(jù)的相關(guān)技術(shù)第3章虛擬化技術(shù)第4章集群系統(tǒng)基礎(chǔ)第5章MPI—面向計算第6章Hadoop—分布式大數(shù)據(jù)系統(tǒng)第7章HPCC—面向數(shù)據(jù)的高性能計算集群系統(tǒng)第8章Storm—基于拓?fù)涞牧鲾?shù)據(jù)實時計算系統(tǒng)第9章服務(wù)器與數(shù)據(jù)中心第10章云計算大數(shù)據(jù)仿真技術(shù)第2章云計算與大數(shù)據(jù)的相關(guān)技術(shù)

《云計算與大數(shù)據(jù)技術(shù)》

第2章云計算與大數(shù)據(jù)的相關(guān)技術(shù)

2.1云計算與大數(shù)據(jù) 2.2云計算與物聯(lián)網(wǎng) 2.3一致性哈希算法2.3.1一致性哈希算法的基本原理2.3.2一致性哈希算法中計算和存儲位置的一致性2.4非關(guān)系型數(shù)據(jù)庫2.4.1從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫2.4.2非關(guān)系型數(shù)據(jù)庫的定義2.4.3非關(guān)系型數(shù)據(jù)庫的分類2.5集群高速通信標(biāo)準(zhǔn)InfiniBand2.6云計算大數(shù)據(jù)集群的自組織特性2.1云計算與大數(shù)據(jù)2.1云計算與大數(shù)據(jù)云計算與大數(shù)據(jù)相比云計算更像是對一種新的技術(shù)模式的描述而不是對某一項技術(shù)的描述，而大數(shù)據(jù)則較為確切地與一些具體的技術(shù)相關(guān)聯(lián)。目前新出現(xiàn)的一些技術(shù)如Hadoop、HPCC、Storm都較為確切地與大數(shù)據(jù)相關(guān)，同時并行計算技術(shù)、分布式存儲技術(shù)、數(shù)據(jù)挖掘技術(shù)這些傳統(tǒng)的計算機(jī)學(xué)科在大數(shù)據(jù)條件下又再次萌發(fā)出生機(jī)，并在大數(shù)據(jù)時代找到了新的研究內(nèi)容。大數(shù)據(jù)其實是對面向數(shù)據(jù)計算技術(shù)中對數(shù)據(jù)量的一個形象描述，通常也可以被稱為海量數(shù)據(jù)。云計算整合的資源主要是計算和存儲資源，云計算技術(shù)的發(fā)展也清晰地呈現(xiàn)出兩大主題—計算和數(shù)據(jù)。伴隨這兩大主題，出現(xiàn)了云計算和大數(shù)據(jù)這兩個熱門概念，任何概念的出現(xiàn)都不是偶然的，取決于當(dāng)時的技術(shù)發(fā)展?fàn)顩r。李國杰院士認(rèn)為：“信息系統(tǒng)需要從數(shù)據(jù)圍繞著處理器轉(zhuǎn)改為處理能力圍繞著數(shù)據(jù)轉(zhuǎn)，將計算用于數(shù)據(jù)，而不是將數(shù)據(jù)用于計算”。2.1云計算與大數(shù)據(jù)海量的數(shù)據(jù)本身很難直接使用，只有通過處理的數(shù)據(jù)才能真正地成為有用的數(shù)據(jù)，因此云計算時代計算和數(shù)據(jù)兩大主題可以進(jìn)一步明確為數(shù)據(jù)和針對數(shù)據(jù)的計算，計算可以使海量的數(shù)據(jù)成為有用的信息，進(jìn)而處理成為知識。目前提到云計算時，有時將云存儲作為單獨的一項技術(shù)來對待，只是把網(wǎng)絡(luò)化的存儲籠統(tǒng)地稱為云存儲，事實上在面向數(shù)據(jù)的時代不管是出現(xiàn)了云計算的概念還是大數(shù)據(jù)的概念，存儲都不是一個獨立存在的系統(tǒng)。特別是在集群條件下，計算和存儲都是分布式的，如何讓計算“找”到自己需要處理的數(shù)據(jù)是云計算系統(tǒng)需要具有的核心功能。2.1云計算與大數(shù)據(jù)面向數(shù)據(jù)要求計算是面向數(shù)據(jù)的，那么數(shù)據(jù)的存儲方式將會深刻地影響計算實現(xiàn)的方式。在分布式系統(tǒng)中實現(xiàn)計算和數(shù)據(jù)有效融合從而提高數(shù)據(jù)處理能力，簡化分布式程序設(shè)計難度，降低系統(tǒng)網(wǎng)絡(luò)通信壓力從而使系統(tǒng)能有效地面對大數(shù)據(jù)處理的機(jī)制稱為計算和數(shù)據(jù)的協(xié)作機(jī)制。在這種協(xié)作機(jī)制中計算如何找到數(shù)據(jù)并啟動分布式處理任務(wù)的問題是需要重點研究的課題，這一問題被稱為計算和數(shù)據(jù)的位置一致性問題。2.1云計算與大數(shù)據(jù)面向數(shù)據(jù)也可以更準(zhǔn)確地稱為“面向數(shù)據(jù)的計算”，面向數(shù)據(jù)要求系統(tǒng)的設(shè)計和架構(gòu)是圍繞數(shù)據(jù)為核心展開的，面向數(shù)據(jù)也是云計算系統(tǒng)的一個基本特征，而計算與數(shù)據(jù)的有效協(xié)作是面向數(shù)據(jù)的核心要求?；仡櫽嬎銠C(jī)技術(shù)的發(fā)展歷程，可以清晰地看到計算機(jī)技術(shù)從面向計算逐步轉(zhuǎn)變到面向數(shù)據(jù)的過程。從面向計算到面向數(shù)據(jù)是技術(shù)發(fā)展的必然趨勢，并不能把云計算的出現(xiàn)歸功于任何的個人和企業(yè)。這一過程的描述如圖2.1所示，該圖從硬件、網(wǎng)絡(luò)和云計算的演進(jìn)過程等方面以時間為順序進(jìn)行了縱向和橫向的對比。2.1云計算與大數(shù)據(jù)在計算機(jī)技術(shù)的早期由于硬件設(shè)備體積龐大，價格昂貴，這一階段數(shù)據(jù)的產(chǎn)生還是“個別”人的工作。這個時期的數(shù)據(jù)生產(chǎn)者主要是科學(xué)家或軍事部門，他們更關(guān)注計算機(jī)的計算能力，計算能力的高低決定了研究能力和一個國家軍事能力的高低。圖2.1計算機(jī)技術(shù)向云計算的演進(jìn)1969年ARPANET的出現(xiàn)改變了整個計算機(jī)技術(shù)的發(fā)展歷史，網(wǎng)絡(luò)逐步成為推動技術(shù)發(fā)展的一個重要力量，1989年TimBerners-Lee發(fā)明的萬維網(wǎng)改變了信息的交流方式，特別是高速移動通信網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟使現(xiàn)在數(shù)據(jù)的生產(chǎn)成為全球人的共同活動，人們生產(chǎn)數(shù)據(jù)不再是在固定時間和固定地點進(jìn)行，而是隨時隨地都在產(chǎn)生數(shù)據(jù)。微博、博客、社交網(wǎng)、視頻共享網(wǎng)站、即時通信等媒介隨時都在生產(chǎn)著數(shù)據(jù)并被融入全球網(wǎng)絡(luò)中。相對而言由于這時數(shù)據(jù)量很小，數(shù)據(jù)在整個計算系統(tǒng)中的重要性并不突出。這時網(wǎng)絡(luò)還沒有出現(xiàn)，推動計算技術(shù)發(fā)展的主要動力是硬件的發(fā)展，這個時期是硬件的高速變革時期，硬件從電子管迅速發(fā)展到大規(guī)模集成電路。從云計算之父JohnMcCarthy提出云計算的概念到大數(shù)據(jù)之父Gray等人提出科學(xué)研究的第四范式，時間已經(jīng)跨越了半個世紀(jì)。以硬件為核心的時代也是面向計算的時代，那時數(shù)據(jù)的構(gòu)成非常簡單，數(shù)據(jù)之間基本沒有關(guān)聯(lián)性，物理學(xué)家只處理物理實驗數(shù)據(jù)，生物學(xué)家只處理生物學(xué)數(shù)據(jù)，計算和數(shù)據(jù)之間的對應(yīng)關(guān)系是非常簡單和直接，這個時期研究計算和存儲的協(xié)作機(jī)制并沒有太大的實用價值。到了以網(wǎng)絡(luò)為核心的時代數(shù)據(jù)的構(gòu)成變得非常復(fù)雜，數(shù)據(jù)來源多樣化，不同數(shù)據(jù)之間存在大量的隱含關(guān)聯(lián)性，這時計算所面對的數(shù)據(jù)變得非常復(fù)雜，如社會感知、微關(guān)系等應(yīng)用將數(shù)據(jù)和復(fù)雜的人類社會運(yùn)行相關(guān)聯(lián)，由于人人都是數(shù)據(jù)的生產(chǎn)者，人們之間的社會關(guān)系和結(jié)構(gòu)就被隱含到了所產(chǎn)生的數(shù)據(jù)之中。數(shù)據(jù)的產(chǎn)生目前呈現(xiàn)出了：大眾化、自動化、連續(xù)化、復(fù)雜化的趨勢。云計算、大數(shù)據(jù)概念正是在這樣的一個背景下出現(xiàn)的。這一時期的典型特征就是計算必須面向數(shù)據(jù)，數(shù)據(jù)是架構(gòu)整個系統(tǒng)的核心要素，這就使計算和存儲的協(xié)作機(jī)制研究成為需要重點關(guān)注的核心技術(shù)，計算能有效找到自己需要處理的數(shù)據(jù)，可以使系統(tǒng)能更高效地完成海量數(shù)據(jù)的處理和分析。云計算和大數(shù)據(jù)這兩個名詞也可看作是描述了面向計算時代信息技術(shù)的兩個方面，云計算側(cè)重于描述資源和應(yīng)用的網(wǎng)絡(luò)化交付方法，大數(shù)據(jù)側(cè)重于描述面向數(shù)據(jù)時代由于數(shù)據(jù)量巨大所帶來的技術(shù)挑戰(zhàn)。信息技術(shù)領(lǐng)域提出的面向數(shù)據(jù)的概念同時也開始深刻地改變了科學(xué)研究的模式，2007年著名的數(shù)據(jù)庫專家Gray提出了科學(xué)研究的第四范式。他認(rèn)為利用海量的數(shù)據(jù)可以為科學(xué)研究和知識發(fā)現(xiàn)提供除經(jīng)驗、理論、計算外的第四種重要方法。科學(xué)研究的四個范式的發(fā)展歷程也同樣反映了從面向計算走向面向數(shù)據(jù)的過程。

2.1云計算與大數(shù)據(jù)如圖2.2所示，人類早期知識的發(fā)現(xiàn)主要依賴于經(jīng)驗、觀察和實驗，需要的計算和產(chǎn)生的數(shù)據(jù)都是很少的。人類在這一時期對于宇宙的認(rèn)識都是這樣形成的，就像伽利略為了證明自由落體定理，是通過在比薩斜塔扔下兩個大小不一的小球一樣，人類在那個時代知識的獲取方式是原始而樸素的。圖2.2科學(xué)研究四個范式的發(fā)展歷程當(dāng)人類知識積累到一定的程度后，知識逐漸形成了理論體系，如牛頓力學(xué)體系、Maxwell的電磁場理論，人類可以利用這些理論體系去預(yù)測自然并獲取新的知識，這時對計算和數(shù)據(jù)的需求已經(jīng)在萌生，人類已可以依賴這些理論發(fā)現(xiàn)新的行星，如海王星、冥王星的發(fā)現(xiàn)不是通過觀測而是通過計算得到。計算機(jī)的出現(xiàn)為人類發(fā)現(xiàn)新的知識提供了重要的工具。這個時代正好對應(yīng)于面向計算的時代，可以在某些具有完善理論體系領(lǐng)域利用計算機(jī)仿真計算來進(jìn)行研究。這時計算機(jī)的作用主要是計算，例如人類利用仿真計算可以實現(xiàn)模擬核爆這樣的復(fù)雜計算。

現(xiàn)在人類在一年內(nèi)所產(chǎn)生的數(shù)據(jù)可能已經(jīng)超過人類過去幾千年產(chǎn)生的數(shù)據(jù)的總和，即使是復(fù)雜度為的數(shù)據(jù)處理方法在面對龐大的時都顯得力不從心，人類逐步進(jìn)入面向數(shù)據(jù)的時代。第四范式說明可以利用海量數(shù)據(jù)加上高速計算發(fā)現(xiàn)新的知識，計算和數(shù)據(jù)的關(guān)系在面向數(shù)據(jù)時代變得十分緊密，也使計算和數(shù)據(jù)的協(xié)作問題面臨巨大的技術(shù)挑戰(zhàn)。2.1云計算與大數(shù)據(jù)2.2云計算與物聯(lián)網(wǎng)2.2云計算與物聯(lián)網(wǎng)云計算和物聯(lián)網(wǎng)在出現(xiàn)的時間上非常接近，以至于有一段時間云計算和物聯(lián)網(wǎng)兩個名詞總是同時出現(xiàn)在各類媒體上。物聯(lián)網(wǎng)的出現(xiàn)部分得益于網(wǎng)絡(luò)的發(fā)展，大量傳感器數(shù)據(jù)的收集需要良好的網(wǎng)絡(luò)環(huán)境，特別是部分圖像數(shù)據(jù)的傳輸更是對網(wǎng)絡(luò)的性能有較高的要求。在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實現(xiàn)自動化，數(shù)據(jù)生產(chǎn)的自動化也是推動當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動力之一。物聯(lián)網(wǎng)的英文名稱為“TheInternetofThings”，簡稱：IOT。物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)”。這有兩層意思：第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)之上的延伸和擴(kuò)展的一種網(wǎng)絡(luò)；第二，其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信。2.2云計算與物聯(lián)網(wǎng)因此，物聯(lián)網(wǎng)的定義是通過射頻識別(RFID)裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進(jìn)行信息交換和通信，以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。明確的物聯(lián)網(wǎng)概念最早是由美國麻省理工大學(xué)Auto-ID實驗室在1999年提出的，最初是為了提高基于互聯(lián)網(wǎng)流通領(lǐng)域信息化水平而設(shè)計的。物聯(lián)網(wǎng)這個概念可以認(rèn)為對一類應(yīng)用的稱呼，物聯(lián)網(wǎng)與云計算技術(shù)的關(guān)系從定義上講是應(yīng)用與平臺的關(guān)系。2.2云計算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)系統(tǒng)需要大量的存儲資源來保存數(shù)據(jù)，同時也需要計算資源來處理和分析數(shù)據(jù)，當(dāng)前我們所指的物聯(lián)網(wǎng)傳感器連接呈現(xiàn)出以下的特點：連接傳感器種類多樣；連接的傳感器數(shù)量眾多；連接的傳感器地域廣大。這些特點都會導(dǎo)致物聯(lián)網(wǎng)系統(tǒng)會在運(yùn)行過程中產(chǎn)生大量的數(shù)據(jù)，物聯(lián)網(wǎng)的出現(xiàn)使數(shù)據(jù)的產(chǎn)生實現(xiàn)自動化，大量的傳感器數(shù)據(jù)不斷地在各個監(jiān)控點產(chǎn)生，特別是現(xiàn)在信息采樣的空間密度和時間密度不斷增加，視頻信息的大量使用，這些因素也是目前導(dǎo)致大數(shù)據(jù)概念出現(xiàn)的原因之一。2.2云計算與物聯(lián)網(wǎng)物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以細(xì)分為標(biāo)識、感知、處理和信息傳送4個環(huán)節(jié)，每個環(huán)節(jié)的關(guān)鍵技術(shù)分別為RFID、傳感器、智能芯片和電信運(yùn)營商的無線傳輸網(wǎng)絡(luò)。云計算的出現(xiàn)使物聯(lián)網(wǎng)在互聯(lián)網(wǎng)基礎(chǔ)之上延伸和發(fā)展成為可能。物聯(lián)網(wǎng)中的物，在云計算模式中，它相當(dāng)于是帶上傳感器的云終端，與上網(wǎng)本、手機(jī)等終端功能相同。這也是物聯(lián)網(wǎng)在云計算日漸成熟的今天，才能重新被激活的原因之一。2.2云計算與物聯(lián)網(wǎng)新的平臺必定造就新的物聯(lián)網(wǎng)，把云計算的特點與物聯(lián)網(wǎng)的實際相結(jié)合，云計算技術(shù)將給物聯(lián)網(wǎng)帶來以下深刻變革：（1）解決服務(wù)器節(jié)點的不可靠性問題，最大限度降低服務(wù)器的出錯率。近年來，隨著物聯(lián)網(wǎng)從局域網(wǎng)走向城域網(wǎng)，其感知信息也呈指數(shù)型增長，同時導(dǎo)致服務(wù)器端的服務(wù)器數(shù)目呈線性增長。服務(wù)器數(shù)目多了，節(jié)點出錯的概率肯定也隨之變大，更何況服務(wù)器并不便宜。節(jié)點不可信問題使得一般的中小型公司要想獨自撐起一片屬于自己的天空，那是難上加難。而在云計算模式中，因為“云”有成千上萬、甚至上百萬臺服務(wù)器，即使同時宕掉幾臺，“云”中的服務(wù)器也可以在很短的時間內(nèi)，利用冗余備份、熱拔插、RAID等技術(shù)快速恢復(fù)服務(wù)。例如，Google公司不再是一味追求單個服務(wù)器的性能參數(shù)，而是更多地關(guān)注如何用堆積如山的集群來彌補(bǔ)單個服務(wù)器的性能不足。在對單個服務(wù)器性能要求的降低的同時也減少了相應(yīng)的資金需求。至于對于宕機(jī)的服務(wù)器，Google采用的是直接換掉。云計算集群的加入，能夠保證物聯(lián)網(wǎng)真正實現(xiàn)無間斷的安全服務(wù)。2.2云計算與物聯(lián)網(wǎng)（2）低成本的投入可以換來高收益，讓限制訪問服務(wù)器次數(shù)的瓶頸成為歷史。服務(wù)器相關(guān)硬件資源的承受能力都是有一定范圍的，當(dāng)服務(wù)器同時響應(yīng)的數(shù)量超過自身的限制時，服務(wù)器就會崩潰。而隨著物聯(lián)網(wǎng)領(lǐng)域的逐步擴(kuò)大，物的數(shù)量呈幾何級增長，而物的信息也呈爆炸性增長，隨之而來的訪問量空前高漲。因此，為了讓服務(wù)器能安全可靠地運(yùn)行，只有不斷增加服務(wù)器的數(shù)量和購買更高級的服務(wù)器，或者限制同時訪問服務(wù)器的數(shù)量。然而這兩種方法都存在致命的缺點：服務(wù)器的增加，雖能通過大量的經(jīng)費(fèi)投入解決一時的訪問壓力，但設(shè)備的浪費(fèi)卻是巨大的。而采用云計算技術(shù)，可以動態(tài)地增加或減少云模式中服務(wù)器的數(shù)量和提高質(zhì)量，這樣做不僅可以解決訪問的壓力，還經(jīng)濟(jì)實惠。2.2云計算與物聯(lián)網(wǎng)（3）讓物聯(lián)網(wǎng)從局域網(wǎng)走向城域網(wǎng)甚至是廣域網(wǎng)，在更廣的范圍內(nèi)進(jìn)行信息資源共享。局域網(wǎng)中的物聯(lián)網(wǎng)就像是一個超市，物聯(lián)網(wǎng)中的物就是超市中的商品，商品離開這個超市到另外的超市，盡管它還存在，但服務(wù)器端內(nèi)該物體的信息會隨著它的離開而消失。其信息共享的局限性不言而喻。但通過云計算技術(shù)，物聯(lián)網(wǎng)的信息直接存放在Internet的“云”上，而每個“云”有幾百萬臺服務(wù)器分布在全國甚至是全球的各個角落，無論這個物走到哪兒，只要具備傳感器芯片，“云”中最近的服務(wù)器就能收到它的信息，并對其信息進(jìn)行定位、分析、存儲、更新。用戶的地理位置也不再受限制，只要通過Internet就能共享物體的最新信息。2.2云計算與物聯(lián)網(wǎng)（4）將云計算與數(shù)據(jù)挖掘技術(shù)相結(jié)合，增強(qiáng)物聯(lián)網(wǎng)的數(shù)據(jù)處理能力，快速做出商業(yè)抉擇。伴隨著物聯(lián)網(wǎng)應(yīng)用的不斷擴(kuò)大，業(yè)務(wù)應(yīng)用范圍從單一領(lǐng)域發(fā)展到所有的各行各業(yè)，信息處理方式從分散到集中，產(chǎn)生了大量的業(yè)務(wù)數(shù)據(jù)。運(yùn)用云計算技術(shù)，由云模式下的幾百萬臺的計算機(jī)集群提供強(qiáng)大的計算能力，并通過龐大的計算機(jī)處理程序自動將任務(wù)分解成若干個較小的子任務(wù)，快速地對海量業(yè)務(wù)數(shù)據(jù)進(jìn)行分析、處理、存儲、挖掘，在短時間內(nèi)提取出有價值的信息，為物聯(lián)網(wǎng)的商業(yè)決策服務(wù)。這也是將云計算技術(shù)與數(shù)據(jù)挖掘技術(shù)相結(jié)合給物聯(lián)網(wǎng)帶來的一大競爭優(yōu)勢。2.2云計算與物聯(lián)網(wǎng)任何技術(shù)從萌芽到成型，再到成熟，都需要經(jīng)歷一個過程。云計算技術(shù)作為一項有著廣泛應(yīng)用前景的新興前沿技術(shù)，尚處于成型階段，自然也面臨著一些問題。首先是標(biāo)準(zhǔn)化問題。雖然云平臺解決的問題一樣，架構(gòu)一樣，但基于不同的技術(shù)、應(yīng)用，其細(xì)節(jié)很可能完全不同，從而導(dǎo)致平臺與平臺之間可能無法互通。目前在Google、EMC、Amazon等云平臺上都存在許多云技術(shù)打造的應(yīng)用程序，卻無法跨平臺運(yùn)行。這樣一來，物聯(lián)網(wǎng)的網(wǎng)與網(wǎng)之間的局限性依舊存在。其次是安全問題。物聯(lián)網(wǎng)從專用網(wǎng)到互聯(lián)網(wǎng)，雖然信息分析、處理得到了質(zhì)的提升，但同時網(wǎng)絡(luò)安全性也遇到了前所未有的挑戰(zhàn)。Internet上的各種病毒、木馬以及惡意入侵程序讓架于云計算平臺上的物聯(lián)網(wǎng)處于非常尷尬的境地。2.2云計算與物聯(lián)網(wǎng)云計算作為互聯(lián)網(wǎng)全球統(tǒng)一化的必然趨勢，其統(tǒng)一虛擬的基礎(chǔ)設(shè)施平臺，方便透明的上層調(diào)用接口，計算信息的資源共享等特點，完全是在充分考慮了各行各業(yè)的整合需求下才形成的拯救互聯(lián)網(wǎng)的諾亞方舟。盡管，目前云計算的應(yīng)用還處在探索測試階段，但隨著物聯(lián)網(wǎng)界對云計算技術(shù)的關(guān)注以及云計算技術(shù)的日趨成熟，云計算技術(shù)在物聯(lián)網(wǎng)中的廣泛應(yīng)用指日可待。2.2云計算與物聯(lián)網(wǎng)2.3一致性哈希算法2.3一致性哈希算法2.3.1一致性哈希算法的基本原理主從結(jié)構(gòu)的云計算系統(tǒng)負(fù)載的均衡往往通過主節(jié)點來完成，而一些對等結(jié)構(gòu)的云計算系統(tǒng)可以采用一致性哈希算法來實現(xiàn)負(fù)載的均衡，這種模式避免了主從結(jié)構(gòu)云計算系統(tǒng)對主節(jié)點失效的敏感。哈希算法是一種從稀疏值范圍到緊密值范圍的映射方法，在存儲和計算定位時可以被看作是一種路由算法，通過這種路由算法文件塊能被惟一地定位到一個節(jié)點的位置。2.3.1一致性哈希算法的基本原理傳統(tǒng)的哈希算法的容錯性和擴(kuò)展性都不好，無法有效地適應(yīng)面向數(shù)據(jù)系統(tǒng)節(jié)點的動態(tài)變化。1997年DavidKarger提出了一致性哈希算法來定位數(shù)據(jù)，實現(xiàn)了云計算系統(tǒng)在節(jié)點變化時的單調(diào)性，實現(xiàn)了較小的數(shù)據(jù)遷移代價。Amazon的云存儲系統(tǒng)Dynamo改進(jìn)了基本的一致性哈希算法，引入了虛擬節(jié)點，使系統(tǒng)具有更加均衡地存儲定位能力。Facebook開發(fā)的Cassandra系統(tǒng)也是采用了一致性哈希算法的存儲管理算法。2.3.1一致性哈希算法的基本原理一致性哈希算法及其改進(jìn)算法已成為分布式存儲領(lǐng)域的一個標(biāo)準(zhǔn)技術(shù)。使用一致性哈希算法的系統(tǒng)無需中心節(jié)點來維護(hù)元數(shù)據(jù)，解決了元數(shù)據(jù)服務(wù)器的單點失效和性能瓶頸問題，但對于系統(tǒng)的負(fù)載均衡和調(diào)度節(jié)點的有效性提出了更高的要求。傳統(tǒng)的哈希算法在節(jié)點數(shù)沒有變化時能很好地實現(xiàn)數(shù)據(jù)的分配，但當(dāng)節(jié)點數(shù)發(fā)生變化時傳統(tǒng)的哈希算法將對數(shù)據(jù)進(jìn)行重新的分配，這樣系統(tǒng)恢復(fù)的代價就非常大。例如系統(tǒng)中節(jié)點數(shù)為N，傳統(tǒng)的哈希算法的計算方法為：HASH（Key）%N，當(dāng)N發(fā)生變化時整個哈希的分配次序?qū)⑼耆匦律?。云計算系統(tǒng)通常涉及大量的節(jié)點，節(jié)點的失效和加入都是非常常見的，傳統(tǒng)的哈希算法無法滿足這種節(jié)點數(shù)目頻繁變化的要求。2.3.1一致性哈希算法的基本原理一致性哈希的設(shè)計目標(biāo)就是解決節(jié)點頻繁變化時的任務(wù)分配問題，一致性哈希將整個哈希值空間組織成一個虛擬圓環(huán)（如圖2.3所示），圖2.3一致性哈希原理假設(shè)某哈希函數(shù)H的值空間為0～(232-1)，即32位無符號整數(shù)，將各節(jié)點用H函數(shù)哈希，可以將服務(wù)器的IP或主機(jī)名作為關(guān)鍵字哈希，這樣每個節(jié)點就能確定其在哈希環(huán)上的位置，將Key用H函數(shù)映射到哈?？臻g的一個值，沿該值向后，將遇到的第一個節(jié)點作為處理節(jié)點；若某個Key的HASH值落在node1和node2各自HASH值的中間位置，則此Key對應(yīng)的業(yè)務(wù)請求由node2處理。當(dāng)增加服務(wù)節(jié)點時，只會影響與之相鄰的某一節(jié)點，其他節(jié)點不受影響。如果在node2和node4之間增加一個node5，則只有node4處理的部分Key（HASH值落在node2之后、node5之前的那部分Key）變?yōu)橛蒼ode5來處理，其他節(jié)點處理的Key不變。如果節(jié)點數(shù)不多，則將這些節(jié)點映射到值空間之后，分布可能會很不均勻，必然會造成個別節(jié)點處理的Key數(shù)量遠(yuǎn)大于其他節(jié)點，這就起不到負(fù)載均衡的效果。這可以通過引入虛擬節(jié)點的方式解決，即對每一個節(jié)點計算多個HASH值，盡量保證這些HASH值比較均勻地分布在值空間中。當(dāng)根據(jù)Key查找節(jié)點時，找到的是虛擬節(jié)點，然后再根據(jù)虛擬節(jié)點查找對應(yīng)的真實節(jié)點。2.3.1一致性哈希算法的基本原理簡單地來說，一致性哈希算法的基本實現(xiàn)過程為：對Key值首先用MD5算法將其變換為一個長度32位的十六進(jìn)制數(shù)值，再用這個數(shù)值對232取模，將其映射到由232個值構(gòu)成的環(huán)狀哈?？臻g，對節(jié)點也以相同的方法映射到環(huán)狀哈?？臻g，最后Key值會在環(huán)狀哈?？臻g中找到大于它的最小的節(jié)點值作為路由值。一致性哈希算法的采用使集群系統(tǒng)在進(jìn)行任務(wù)劃分時不再依賴某些管理節(jié)點來維護(hù)，并且在節(jié)點數(shù)據(jù)發(fā)生變化時能夠以最小的代價實現(xiàn)任務(wù)的再分配，這一優(yōu)點特別符合云計算系統(tǒng)資源池彈性化的要求，因此一致性哈希算法成為了實現(xiàn)無主節(jié)點對等結(jié)構(gòu)集群的一種標(biāo)準(zhǔn)算法。2.3.2一致性哈希算法中計算和存儲位置的一致性2.3.2一致性哈希算法中計算和存儲位置的一致性基于一致性哈希的原理可以給出計算和存儲的一致性哈希方法，從而使計算能在數(shù)據(jù)存儲節(jié)點發(fā)起。對于多用戶分布式存儲系統(tǒng)來說：“用戶名+邏輯存儲位置”所構(gòu)成的字符串在系統(tǒng)中是惟一確定的，如屬于用戶wang，邏輯存儲位置為/test/test1.txt的文件所構(gòu)成的字符串“wang/test/test1.txt”在系統(tǒng)中一定是惟一的，同時某一個計算任務(wù)需要對test1.txt這個文件進(jìn)行操作和處理，則它一定會在程序中指定用戶名和邏輯位置，因此存儲和計算test1.txt都利用相同的一致性哈希算法就能保證計算被分配的節(jié)點和當(dāng)時存儲test1.txt文件時被分配的節(jié)點是同一個節(jié)點?，F(xiàn)在以下面這個應(yīng)用場景為例，說明一致性哈希算法實現(xiàn)計算和存儲位置一致性的方法：（1）面向相對“小”數(shù)據(jù)進(jìn)行處理，典型的文件大小為100MB之內(nèi)，通常不涉及對文件的分塊問題，這一點與MapReduce框架不同；（2）待處理數(shù)據(jù)之間沒有強(qiáng)的關(guān)聯(lián)性，數(shù)據(jù)塊之間的處理是獨立的，數(shù)據(jù)處理是不需要進(jìn)行數(shù)據(jù)塊之間的消息通信，保證節(jié)點間發(fā)起的計算是低耦合的計算任務(wù)；（3）程序片的典型大小遠(yuǎn)小于需要處理的數(shù)據(jù)大小，計算程序片本質(zhì)上也可以看作是一種特殊的數(shù)據(jù)，這一假設(shè)在大多數(shù)情況下是成立的；（4）數(shù)據(jù)的存儲先于計算發(fā)生。2.3.2一致性哈希算法中計算和存儲位置的一致性根據(jù)一致性哈希算法的基本原理在面向數(shù)據(jù)的分布式系統(tǒng)中計算和存儲位置一致性方法如圖2.4所示，其主要步驟如下：①將服務(wù)器節(jié)點以IP地址作為Key值，以一致性哈希方法映射到哈希環(huán)上；PHOTO②在數(shù)據(jù)存儲時以(用戶名+文件邏輯位置)作為惟一的Key值，映射到哈希環(huán)上，并順時針找到離自己哈希值最近的節(jié)點作為實際數(shù)據(jù)存儲的位置；③在發(fā)起計算任務(wù)時提取計算任務(wù)所要操作的數(shù)據(jù)對應(yīng)的(用戶名+文件邏輯位置)值作為Key值，映射到哈希環(huán)上，并順時針找到離自己哈希值最近的節(jié)點注入程序并發(fā)起計算的節(jié)點。由于相同用戶的相同數(shù)據(jù)(用戶名+文件邏輯位置)其在一致性哈希算法作用下一定會被分配到相同的節(jié)點，從而保證了計算所發(fā)起的節(jié)點剛好就是計算所需要處理的數(shù)據(jù)所在的節(jié)點。在這種算法的支持下只要計算程序片需要處理的數(shù)據(jù)邏輯位置是確定的，系統(tǒng)就會將計算程序片路由到數(shù)據(jù)存儲位置所在的節(jié)點，這時節(jié)點間的負(fù)載均衡性是由數(shù)據(jù)分布的均衡化來實現(xiàn)的。圖2.4一致性哈希算法實現(xiàn)計算與數(shù)據(jù)的位置一致性一致性哈希算法可以實現(xiàn)無中心節(jié)點的計算和數(shù)據(jù)定位，使計算可以惟一地找到其所要處理和分析的數(shù)據(jù)，使計算能最大可能地在數(shù)據(jù)存儲的位置發(fā)起，從而節(jié)約大量的網(wǎng)絡(luò)資源，同時避免了系統(tǒng)單點失效造成的不良影響。利用一致性哈希方法在面對海量文件時系統(tǒng)不用維護(hù)一個龐大的元數(shù)據(jù)庫用于保存文件的存儲信息，計算尋找數(shù)據(jù)的速度非常直接，路由的算法復(fù)雜度非常低。需要存儲大量Key-Value的Amazon的電子商務(wù)應(yīng)用和Facebook的社交網(wǎng)站應(yīng)用都采用了一致性哈希算法。2.3.2一致性哈希算法中計算和存儲位置的一致性2.4非關(guān)系型數(shù)據(jù)庫2.4非關(guān)系型數(shù)據(jù)庫2.4.1從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫（RelationalDatabase）技術(shù)是1970年埃德加·科德（EdgarFrankCodd）所提出的，關(guān)系型數(shù)據(jù)庫克服了網(wǎng)絡(luò)數(shù)據(jù)庫模型和層次數(shù)據(jù)庫模型的一些弱點。1981年埃德加·科德因在關(guān)系型數(shù)據(jù)庫方面的貢獻(xiàn)獲得了圖靈獎，因此埃德加·科德也被稱為“關(guān)系數(shù)據(jù)庫之父”（見圖2.5）。關(guān)系型數(shù)據(jù)庫幾十年來一直是統(tǒng)治數(shù)據(jù)庫技術(shù)的核心標(biāo)準(zhǔn)，目前主要的數(shù)據(jù)庫系統(tǒng)仍然采用的是關(guān)系型數(shù)據(jù)庫。埃德加·科德發(fā)明的關(guān)系數(shù)據(jù)庫不僅有一個堅實的數(shù)學(xué)基礎(chǔ)，即關(guān)系代數(shù)，而且埃德加·科德從關(guān)系代數(shù)的基礎(chǔ)推演出一套關(guān)系數(shù)據(jù)庫的理論。這個理論包括一系列“范式”，可以用來檢查數(shù)據(jù)庫是否有冗余性和不一致等性質(zhì)。另外，埃德加·科德也在關(guān)系代數(shù)基礎(chǔ)之上定義了一系列通用的數(shù)據(jù)基本操作。但云計算和大數(shù)據(jù)技術(shù)的出現(xiàn)逐步動搖了關(guān)系型數(shù)據(jù)庫的統(tǒng)治地位。圖2.5關(guān)系數(shù)據(jù)庫之父—EdgarFrankCodd2.4.1從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫隨著信息產(chǎn)業(yè)的發(fā)展，特別是在云計算和互聯(lián)網(wǎng)Web2.0蓬勃發(fā)展的今天，數(shù)據(jù)庫系統(tǒng)成為了IT架構(gòu)中信息存儲和處理的必要組成部分，Web2.0是相對Web1.0的新的一類互聯(lián)網(wǎng)應(yīng)用的統(tǒng)稱。Web1.0的主要特點在于用戶通過瀏覽器獲取信息。Web2.0則更注重用戶的交互作用，用戶既是網(wǎng)站內(nèi)容的瀏覽者，也是網(wǎng)站內(nèi)容的制造者。2.4.1從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫所謂網(wǎng)站內(nèi)容的制造者是說互聯(lián)網(wǎng)上的每一個用戶不再僅僅是互聯(lián)網(wǎng)的讀者，同時也成為互聯(lián)網(wǎng)的作者；不再僅僅是在互聯(lián)網(wǎng)上沖浪，同時也成為波浪制造者；在模式上由單純的“讀”向“寫”以及“共同建設(shè)”發(fā)展；由被動地接收互聯(lián)網(wǎng)信息向主動創(chuàng)造互聯(lián)網(wǎng)信息發(fā)展，從而更加人性化。云計算資源網(wǎng)絡(luò)化的提供方式更是為Web2.0發(fā)展提供了無限的想象空間，從這一點看我們已很難將這兩者完全區(qū)分開來。云計算技術(shù)對數(shù)據(jù)庫高并發(fā)讀/寫的需求，對海量數(shù)據(jù)的高效率存儲和訪問的需求，對數(shù)據(jù)庫的高可擴(kuò)展性和高可用性的需求都讓傳統(tǒng)關(guān)系型數(shù)據(jù)庫系統(tǒng)顯得力不從心。同時關(guān)系型數(shù)據(jù)庫技術(shù)中的一些核心技術(shù)要求如：數(shù)據(jù)庫事務(wù)一致性需求，數(shù)據(jù)庫的寫實時性和讀實時性需求，對復(fù)雜的SQL查詢，特別是多表關(guān)聯(lián)查詢的需求等在Web2.0技術(shù)中卻并不是必要的，而且系統(tǒng)為此付出了較大的代價。2.4.1從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫技術(shù)的出現(xiàn)是云計算、大數(shù)據(jù)技術(shù)的必然需求，非關(guān)系型數(shù)據(jù)庫可以被稱為一項數(shù)據(jù)庫的革命，從2009年開始，在云計算的發(fā)展和開源社區(qū)的推動下，非關(guān)系型數(shù)據(jù)庫的發(fā)展顯示了較強(qiáng)的活力，也得到了越來越多的用戶關(guān)注和認(rèn)可。目前已經(jīng)有多家大型IT企業(yè)已經(jīng)采用非關(guān)系型數(shù)據(jù)庫作為重要的生產(chǎn)系統(tǒng)基礎(chǔ)支撐，比如Google的BigTable，Amazon的Dynamo，以及Digg、Twitter、Facebook在使用的Cassandra等。2.4.2非關(guān)系型數(shù)據(jù)庫的定義2.4.2非關(guān)系型數(shù)據(jù)庫的定義非關(guān)系型數(shù)據(jù)庫，又被稱為NoSQL（NotOnlySQL），意為不僅僅是SQL(StructuredQueryLanguage，結(jié)構(gòu)化查詢語言)，據(jù)維基百科介紹，NoSQL最早出現(xiàn)于1998年，是由CarloStrozzi最早開發(fā)的一個輕量、開源、不兼容SQL功能的關(guān)系型數(shù)據(jù)庫。2009年，在一次關(guān)于分布式開源數(shù)據(jù)庫的討論會上，再次提出了NoSQL的概念，此時NoSQL主要是指非關(guān)系型、分布式、不提供ACID（數(shù)據(jù)庫事務(wù)處理的四個基本要素）的數(shù)據(jù)庫設(shè)計模式。同年，在亞特蘭大舉行的“NO:SQL(east)”討論會上，對NoSQL最普遍的定義是“非關(guān)聯(lián)型的”，強(qiáng)調(diào)Key-Value存儲和文檔數(shù)據(jù)庫的優(yōu)點，而不是單純地反對RDBMS，至此，NoSQL開始正式出現(xiàn)在世人面前。2.4.3非關(guān)系型數(shù)據(jù)庫的分類2.4.3非關(guān)系型數(shù)據(jù)庫的分類NoSQL描述的是大量結(jié)構(gòu)化數(shù)據(jù)存儲方法的集合，根據(jù)結(jié)構(gòu)化方法以及應(yīng)用場合的不同，主要可以將NoSQL分為以下幾類：（1）Column-Oriented面向檢索的列式存儲，其存儲結(jié)構(gòu)為列式結(jié)構(gòu)，不同于關(guān)系型數(shù)據(jù)庫的行式結(jié)構(gòu)，這種結(jié)構(gòu)會讓很多統(tǒng)計聚合操作更簡單方便，使系統(tǒng)具有較高的可擴(kuò)展性。這類數(shù)據(jù)庫還可以適應(yīng)海量數(shù)據(jù)的增加以及數(shù)據(jù)結(jié)構(gòu)的變化，這個特點與云計算所需的相關(guān)需求是相符合的。比如GoogleAppengine的BigTable以及相同設(shè)計理念的Hadoop子系統(tǒng)HaBase就是這類的典型代表。需要特別指出的是，BigTable特別適用于MapReduce處理，這對于云計算的發(fā)展有很高的適應(yīng)性。2.4.3非關(guān)系型數(shù)據(jù)庫的分類（2）Key-Value面向高性能并發(fā)讀/寫的緩存存儲，其結(jié)構(gòu)類似于數(shù)據(jù)結(jié)構(gòu)中的Hash表，每個Key分別對應(yīng)一個Value，能夠提供非?？斓牟樵兯俣取⒋髷?shù)據(jù)存放量和高并發(fā)操作，非常適合通過主鍵對數(shù)據(jù)進(jìn)行查詢和修改等操作。Key-Value數(shù)據(jù)庫的主要特點是具有極高的并發(fā)讀/寫性能，非常適應(yīng)作為緩存系統(tǒng)使用。MemcacheDB、BerkeleyDB、Redis、Flare就是Key-Value數(shù)據(jù)庫的代表。2.4.3非關(guān)系型數(shù)據(jù)庫的分類（3）Document-Oriented面向海量數(shù)據(jù)訪問的文檔存儲，這類存儲的結(jié)構(gòu)與Key-Value非常相似，也是每個Key分別對應(yīng)一個Value，但是這個Value主要以JSON（JavaScriptObjectNotations）或者XML等格式的文檔來進(jìn)行存儲。這種存儲方式可以很方便地被面向?qū)ο蟮恼Z言所使用。這類數(shù)據(jù)庫可以在海量的數(shù)據(jù)中快速查詢數(shù)據(jù)，典型代表為MongoDB、CouchDB等。2.4.3非關(guān)系型數(shù)據(jù)庫的分類NoSQL具有擴(kuò)展簡單、高并發(fā)、高穩(wěn)定性、成本低廉等優(yōu)勢，也存在一些問題，比如：NoSQL暫不提供對SQL的支持，會造成開發(fā)人員的額外學(xué)習(xí)成本；NoSQL大多為開源軟件，其成熟度與商用的關(guān)系型數(shù)據(jù)庫系統(tǒng)相比有差距；NoSQL的架構(gòu)特性決定了其很難保證數(shù)據(jù)的完整性，適合在一些特殊的應(yīng)用場景使用。2.5集群高速通信標(biāo)準(zhǔn)InfiniBand集群結(jié)構(gòu)是云計算系統(tǒng)的基本結(jié)構(gòu)之一，在集群結(jié)構(gòu)中節(jié)點之間的協(xié)調(diào)和數(shù)據(jù)傳送一般都通過消息傳遞機(jī)制進(jìn)行，在傳統(tǒng)的高性能計算系統(tǒng)集群內(nèi)部的網(wǎng)絡(luò)通信能力成為了影響集群計算能力的一個重要因素，由于受到網(wǎng)絡(luò)通信速度的制約甚至提出以計算換通信的編程理念。云計算系統(tǒng)中集群的規(guī)模變得空前巨大，為了很好地實現(xiàn)集群內(nèi)部的調(diào)度和協(xié)調(diào)高速的網(wǎng)絡(luò)通信是必不可少的。InfiniBand就是目前較為常見的一種高速集群通信協(xié)議，它在高性能計算領(lǐng)域已得到廣泛的應(yīng)用。2.5集群高速通信標(biāo)準(zhǔn)InfiniBandInfiniBand是一種全新、功能強(qiáng)大、設(shè)計用來支持Internet基礎(chǔ)設(shè)施I/O互聯(lián)的體系結(jié)構(gòu)。InfiniBand被工業(yè)界的頂級公司所支持，執(zhí)行委員會成員包括：Compaq、Dell、HewlettPackard、IBM、Intel、Microsoft和Sun。InfiniBand行業(yè)協(xié)會成員總計超過220個。InfiniBand被主要的OEM服務(wù)器生產(chǎn)商所支持，用來作為下一代服務(wù)器的I/O互聯(lián)標(biāo)準(zhǔn)，是第一個高性能的機(jī)箱內(nèi)部I/O互聯(lián)方式得到延伸的工業(yè)標(biāo)準(zhǔn)。InfiniBand是惟一既提供機(jī)箱內(nèi)底板互聯(lián)解決方案，又可以使高速帶寬延伸出機(jī)箱外部的互聯(lián)標(biāo)準(zhǔn)，是一種把I/O和系統(tǒng)域網(wǎng)絡(luò)統(tǒng)一起來的標(biāo)準(zhǔn)。與其他商品化系統(tǒng)域網(wǎng)絡(luò)不同，InfiniBand網(wǎng)絡(luò)首先由行業(yè)協(xié)會制定標(biāo)準(zhǔn)，然后生產(chǎn)商根據(jù)標(biāo)準(zhǔn)制造出InfiniBand設(shè)備，不同生產(chǎn)商的產(chǎn)品要求具有互操作性，這樣可以使InfiniBand產(chǎn)品具有更好的性能價格比。2.5集群高速通信標(biāo)準(zhǔn)InfiniBandInfiniBand是在1999年由FutureIO和NGIO兩個標(biāo)準(zhǔn)整合而來的新型互聯(lián)技術(shù)。它將復(fù)雜的I/O系統(tǒng)與CPU、內(nèi)存分開，使I/O子系統(tǒng)獨立，采用基于包交換的高速串行鏈路和可擴(kuò)展的高速交換網(wǎng)絡(luò)替代共享總線結(jié)構(gòu)，提供了高帶寬、低延遲、可擴(kuò)展的I/O互聯(lián)。基于I/O通路共享機(jī)制的InfiniBand提供了一種連接計算機(jī)的新途徑，采用InfiniBand之后，I/O不再是服務(wù)器的組成部分，這時遠(yuǎn)程存儲設(shè)備、I/O設(shè)備和服務(wù)器之間的互聯(lián)是通過InfiniBand交換機(jī)和路由器完成的，克服了傳統(tǒng)的共享I/O總線結(jié)構(gòu)的種種弊端。InfiniBand具有傳輸速率高、傳輸距離長、接口功耗低以及噪聲容限高等特性，單線傳輸速率為2.5Gbps，可通過2、4或12線并行來擴(kuò)展通道帶寬，峰值帶寬高達(dá)2.5、10、30Gbps（1x、4x、12x線）。2.5集群高速通信標(biāo)準(zhǔn)InfiniBandInfinBand既可作為系統(tǒng)內(nèi)部互聯(lián)技術(shù)又可作為網(wǎng)絡(luò)互聯(lián)技術(shù)，既可用于構(gòu)造高性能刀片服務(wù)器（BladeServer）；又可用于構(gòu)建具有高可用性和高可伸縮性的大規(guī)模集群系統(tǒng)；還可用于構(gòu)建性能卓越的存儲區(qū)域網(wǎng)絡(luò)SAN。2.6云計算大數(shù)據(jù)集群的自組織特性自組織理論產(chǎn)生于20世紀(jì)七八十年代，主要研究混沌系統(tǒng)在隨機(jī)識別時系統(tǒng)內(nèi)部自發(fā)地由無序變?yōu)橛行?、形成耗散結(jié)構(gòu)的過程，被物理、化學(xué)、生物學(xué)、社會學(xué)、心理學(xué)等領(lǐng)域廣泛研究，其中一些研究者將自組織理論的思想、模型與計算機(jī)科學(xué)、控制理論等學(xué)科相結(jié)合，形成了一些新興的研究方向。自組織算法按照自下而上的機(jī)制進(jìn)行控制，與一般采用中心控制算法不同，在進(jìn)化計算、任務(wù)分配、網(wǎng)絡(luò)自組織演化等中得到廣泛的研究。2.6云計算大數(shù)據(jù)集群的自組織特性典型的進(jìn)化算法（如蟻群算法）由個體依據(jù)簡單規(guī)則，通過正反饋、分布式協(xié)作依靠群體的力量自動尋找最優(yōu)路徑；任務(wù)分配通過多智能體并行實現(xiàn)在離散、有限的數(shù)據(jù)結(jié)構(gòu)上，尋找一個滿足給定約束條件并使目標(biāo)函數(shù)值達(dá)到最大或者最小的解；人工生命進(jìn)化由人工分子的非線性相互作用引起，是遠(yuǎn)離熱平衡的相變，是自組織的研究方向之一；網(wǎng)絡(luò)自組織演化研究在內(nèi)在機(jī)制驅(qū)動下，網(wǎng)絡(luò)自行從簡單向復(fù)雜、從粗糙向細(xì)致方向發(fā)展，不斷地以局部優(yōu)化達(dá)到全局優(yōu)化的過程。2.6云計算大數(shù)據(jù)集群的自組織特性研究自組織必然要提到耗散結(jié)構(gòu)理論，比利時科學(xué)家普里高津1969年提出耗散結(jié)構(gòu)理論后，這一理論就被廣泛地應(yīng)用于物理、生物、化學(xué)乃至社會科學(xué)的研究中。由耗散結(jié)構(gòu)引出的自組織現(xiàn)象更是打破了人類對自然的常規(guī)認(rèn)識。耗散結(jié)構(gòu)理論和協(xié)同學(xué)從宏觀、微觀及兩者的聯(lián)系上回答了系統(tǒng)自動走向有序結(jié)構(gòu)的問題，其成果被稱為自組織理論。2.6云計算大數(shù)據(jù)集群的自組織特性出現(xiàn)自組織現(xiàn)象的系統(tǒng)必須是耗散結(jié)構(gòu)的。耗散結(jié)構(gòu)理論指