云計(jì)算環(huán)境下海量分布式數(shù)據(jù)處理協(xié)同機(jī)制的研究

1、    云計(jì)算環(huán)境下海量分布式數(shù)據(jù)處理協(xié)同機(jī)制的研究    姜浩摘要；云計(jì)算環(huán)境下的數(shù)據(jù)管理和存儲(chǔ)呈現(xiàn)出異構(gòu)、分布式和動(dòng)態(tài)等特點(diǎn)，為數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)和開發(fā)帶來一定挑戰(zhàn)，數(shù)據(jù)處理過程的協(xié)同是解決上述問題的有效手段。因此，面對(duì)信息爆炸式增長，以及數(shù)據(jù)處理管理、數(shù)據(jù)任務(wù)流程、數(shù)據(jù)分布管理等，更深層次的對(duì)分布式數(shù)據(jù)處理系統(tǒng)機(jī)制進(jìn)行研究是必不可少的。關(guān)鍵詞：云計(jì)算；數(shù)據(jù)處理；協(xié)同：tp3 ：a ：1009-3044（2017）07-0030-0c1概述1.1什么是云計(jì)算“云”一般用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的一種抽象說法。目前最廣為人們所接受的定義是美國國家標(biāo)準(zhǔn)

2、與技術(shù)研究院所指出的：云計(jì)算是一種按照使用量的情況進(jìn)行計(jì)費(fèi)，提供便捷可用，能夠滿足用戶滿足需求的網(wǎng)絡(luò)訪問模式，這種模式下，用戶可以進(jìn)入計(jì)算機(jī)的資源共享地，包括網(wǎng)絡(luò)、服務(wù)器、應(yīng)用軟件、存儲(chǔ)數(shù)據(jù)等資源，這些資源可以快速提取使用，并且管理工作量并不大，也不需要和服務(wù)供應(yīng)商進(jìn)行大量的交互任務(wù)。1.2云計(jì)算與大數(shù)據(jù)全球人口眾多，對(duì)于網(wǎng)絡(luò)的需求量也越來越廣，若所有人使用后存儲(chǔ)的大數(shù)據(jù)僅用一臺(tái)計(jì)算機(jī)處理，顯然是會(huì)對(duì)系統(tǒng)造成紊亂的，這時(shí)就需要分布式計(jì)算架構(gòu)。就好比一棵大樹上結(jié)滿的果實(shí)如果全在一處上必然會(huì)壓斷枝丫，但如果分散來生長，樹也能越來越繁茂，協(xié)同處理機(jī)制就剛好成為互聯(lián)網(wǎng)這棵大樹之中牽連的果實(shí)。1.3云計(jì)

3、算環(huán)境下的變化1）軟件技術(shù)、架構(gòu)將發(fā)生顯著變化一方面，所開發(fā)的軟件必須與云的存儲(chǔ)和計(jì)算能力相適應(yīng)，能夠與虛擬化資源相結(jié)合；另一方面，軟件需要滿足大量用戶的使用，能夠具有很強(qiáng)的安全性要求，保護(hù)用戶的隱私信息，并且可以工作于電腦終端、手機(jī)端等各種環(huán)境。2）軟件開發(fā)的環(huán)境、工作模式變化軟件可以在線開發(fā)，工作時(shí)能夠更加敏捷更加人性化以及實(shí)現(xiàn)知識(shí)積累和重復(fù)使用。3）軟件表現(xiàn)形式變化基于多用戶大數(shù)據(jù)的需求，軟件開發(fā)的形式也越來越豐富，可以是服務(wù)，也可以是網(wǎng)頁，也可能是在線應(yīng)用商店中的軟件等。2海量分布式數(shù)據(jù)存儲(chǔ)和管理技術(shù)需要說明的是大數(shù)據(jù)不等同于海量數(shù)據(jù)，而是包括海量交易數(shù)據(jù)和海量交互數(shù)據(jù)以及海量數(shù)據(jù)處理

4、。2.1數(shù)據(jù)分布式存儲(chǔ)技術(shù)它是指通過網(wǎng)絡(luò)來實(shí)現(xiàn)對(duì)企業(yè)中的各個(gè)機(jī)器中的磁盤空間使用，同時(shí)可以將這些分散在不同磁盤上的存儲(chǔ)資源集合起來構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備。數(shù)據(jù)分散在企業(yè)的各個(gè)設(shè)備上又可以構(gòu)成虛擬的一個(gè)數(shù)據(jù)集合。而且它具有高可用性，高可靠性，經(jīng)濟(jì)性等優(yōu)點(diǎn)，它能為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本，這就保證了數(shù)據(jù)不會(huì)輕易丟失，用戶使用效率也大大提高。比如谷歌的gfs及時(shí)分布式存儲(chǔ)系統(tǒng)的典型代表，其利用就是冗余存儲(chǔ)的方式來從而達(dá)到數(shù)據(jù)存儲(chǔ)的可靠性能。每份數(shù)據(jù)都在系統(tǒng)上保存著至少3個(gè)的備份，對(duì)數(shù)據(jù)的所有修改都在備份上進(jìn)行，并用版本號(hào)的方式確定數(shù)據(jù)都保持著一致的狀態(tài)，確保了數(shù)據(jù)及其備份的一致性。相比于傳統(tǒng)分布式文件

5、系統(tǒng)，云計(jì)算環(huán)境下的分布式數(shù)據(jù)處理協(xié)同機(jī)制有很多的優(yōu)點(diǎn)，當(dāng)組件管理失敗時(shí)，它并不會(huì)簡單的作為異常處理，而是采用特殊的檢測和數(shù)據(jù)寫方式時(shí)在文件末尾附加數(shù)據(jù)，數(shù)據(jù)流和控制流分開。2.2數(shù)據(jù)分布式管理技術(shù)當(dāng)用戶需要導(dǎo)人空間數(shù)據(jù)時(shí)，它會(huì)被分配到對(duì)應(yīng)的服務(wù)器提交請(qǐng)求，有些系統(tǒng)在內(nèi)存中建立緩存，提高了最近操作過的空間數(shù)據(jù)讀取和修改的效率，并且定期調(diào)用把緩存內(nèi)容寫到硬盤中，再標(biāo)記回去就導(dǎo)入完畢文件；隨后就開始讀取數(shù)據(jù)，服務(wù)器會(huì)先進(jìn)行緩存，如果緩存里面沒有該數(shù)據(jù)才會(huì)去磁盤上尋找直到找出為止，而且在啟動(dòng)的時(shí)候檢查是否有新的更新寫入操作，如果有更新首先會(huì)把先把這些更新寫入系統(tǒng)的高速緩存里，然后再通過調(diào)用把更新數(shù)據(jù)

6、調(diào)用到文件中，最后服務(wù)器會(huì)把舊文件刪除，并開始給用戶提供新的訪問數(shù)據(jù)。比如矢量數(shù)據(jù)管理中，存儲(chǔ)格式使用esri shapefile，可以將shapefile文件看成一張表，表中的行名是幾何對(duì)象的id，每一行存儲(chǔ)著一個(gè)幾何對(duì)象的要素，表中同時(shí)包含著許多的列。這些列中，最主要的是描述屬性和幾何實(shí)體的兩個(gè)列，一般而言，幾何實(shí)體通常都是安排在最后一列。還有柵格數(shù)據(jù)管理等等。3協(xié)同計(jì)算機(jī)制3.1協(xié)同計(jì)算模型分析協(xié)作模型研究是協(xié)同計(jì)算研究的熱點(diǎn)研究之一，其中包含有群成員共同協(xié)作完成任務(wù)的模型模式，其他的還有會(huì)話模式、會(huì)議模式、過程模式、活動(dòng)模式和層次模式等。其中主要有如何進(jìn)行群體成員間的工作，協(xié)作時(shí)的交互

7、工作、協(xié)作的推進(jìn)和協(xié)作的結(jié)束等。從理論的角度，海量數(shù)據(jù)下的分布式計(jì)算又可分為離線計(jì)算（針對(duì)海量的，對(duì)實(shí)時(shí)性要求不是很高的數(shù)據(jù)）、實(shí)時(shí)流計(jì)算、列存儲(chǔ)、key-value（對(duì)半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)查找）等。3.2協(xié)同計(jì)算的應(yīng)用分析在基于協(xié)同計(jì)算應(yīng)用系統(tǒng)的設(shè)計(jì)中，分層管理設(shè)計(jì)、靈活調(diào)度設(shè)計(jì)和易于擴(kuò)充設(shè)計(jì)是系統(tǒng)架構(gòu)設(shè)計(jì)的關(guān)鍵目的所在。系統(tǒng)架構(gòu)設(shè)計(jì)的實(shí)現(xiàn)方式主要有集中式、分散式和混合式三種方法。1）集中式架構(gòu)，其實(shí)質(zhì)是一種客戶式的服務(wù)器系統(tǒng)架構(gòu)。服務(wù)器集中管理負(fù)責(zé)整個(gè)計(jì)算機(jī)應(yīng)用系統(tǒng)的控制、管理和調(diào)度，以及其他和具體計(jì)算應(yīng)用相關(guān)的程序邏輯設(shè)計(jì)管理和數(shù)據(jù)管理，客戶端服務(wù)主要指的是與用戶見交互工作的輸入

8、輸出管理。集中式協(xié)同架構(gòu)實(shí)現(xiàn)簡單、易維護(hù)，但協(xié)同應(yīng)用對(duì)服務(wù)器依賴性強(qiáng)，容易成為阻礙。2）分散式架構(gòu)，其主要是將與系統(tǒng)相關(guān)的控制和管理模塊分散在系統(tǒng)的各個(gè)客戶端中，每個(gè)節(jié)點(diǎn)的在協(xié)同控制系統(tǒng)里擁有同等的控制管理地位。但數(shù)據(jù)的各自處理使得全局一致性難以維護(hù)。3）混合式結(jié)構(gòu)結(jié)合了前兩種優(yōu)點(diǎn)，極大減輕了服務(wù)器的工作壓力，具有較好的靈活性和較短的響應(yīng)時(shí)間。因此在實(shí)際計(jì)算機(jī)應(yīng)用管理的任務(wù)安排調(diào)度中，一般多采用分散式的架構(gòu)設(shè)計(jì)，而在數(shù)據(jù)系統(tǒng)協(xié)同管理多采取集中式的架構(gòu)管理設(shè)計(jì)，從而實(shí)現(xiàn)計(jì)算應(yīng)用系統(tǒng)的混合式架構(gòu)設(shè)計(jì)。3.3海量分布式數(shù)據(jù)處理協(xié)同機(jī)制的應(yīng)用架構(gòu)海量分布式數(shù)據(jù)處理協(xié)同機(jī)制的應(yīng)用架構(gòu)模式主要有應(yīng)用接口層

9、、執(zhí)行調(diào)度層和數(shù)據(jù)控制管理層三個(gè)層面。其中，在調(diào)度執(zhí)行層中，任務(wù)協(xié)同調(diào)度的管理常采用集中式的處理方式，根據(jù)規(guī)則和參數(shù)對(duì)數(shù)據(jù)處理的引擎及計(jì)算算法組合資源進(jìn)行調(diào)節(jié)，實(shí)現(xiàn)任務(wù)分工、同步參數(shù)、數(shù)據(jù)交互的協(xié)同機(jī)制。在協(xié)同機(jī)制的環(huán)境下，協(xié)同整個(gè)數(shù)據(jù)處理的冗余備份及容錯(cuò)處理的過程，采用分布式的存儲(chǔ)方式處理規(guī)則數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，提供協(xié)同的數(shù)據(jù)給各種數(shù)據(jù)計(jì)算處理系統(tǒng)從而達(dá)到數(shù)據(jù)訪問時(shí)各項(xiàng)數(shù)據(jù)之間的負(fù)載均衡的目的。分布式的數(shù)據(jù)處理機(jī)制是數(shù)據(jù)協(xié)同管理的核心，采用分布式的數(shù)據(jù)管理，建立分布式的數(shù)據(jù)庫可以讓數(shù)據(jù)在分布存儲(chǔ)的同時(shí)進(jìn)行存儲(chǔ)的容錯(cuò)機(jī)制，將數(shù)據(jù)協(xié)同管理組件和應(yīng)用的參數(shù)數(shù)據(jù)通過應(yīng)用開發(fā)的接口和平臺(tái)傳輸?shù)椒植际降臄?shù)據(jù)庫達(dá)到保存的目的。3.4海量分布式數(shù)據(jù)的協(xié)同管理機(jī)制的應(yīng)用在云計(jì)算環(huán)境下，海量分布式數(shù)據(jù)存儲(chǔ)和管理與數(shù)據(jù)集中自治結(jié)合可以控制數(shù)據(jù)機(jī)制，分布管理冗余數(shù)據(jù)和事物處理，這些管理和應(yīng)用一般是通過分布式數(shù)據(jù)庫進(jìn)行實(shí)際操作，從用戶角度來看，對(duì)分布式數(shù)據(jù)庫的訪問過程是透明，實(shí)際上，從用戶角度看來是單個(gè)的分布式數(shù)據(jù)庫其實(shí)質(zhì)是存儲(chǔ)在多臺(tái)計(jì)算機(jī)上的一組數(shù)據(jù)庫結(jié)