基于Hadoop的云架構(gòu)系統(tǒng)專項(xiàng)方案

基于Hadoop云架構(gòu)系統(tǒng)方案云計(jì)算是現(xiàn)在最熱門研究領(lǐng)域之一，也是眾多企業(yè)及研究機(jī)構(gòu)研究課題。云計(jì)算是分布式處理、并行處理和網(wǎng)格計(jì)算發(fā)展，或說(shuō)是這些計(jì)算機(jī)科學(xué)概念商業(yè)實(shí)現(xiàn)。云計(jì)算新奇之處于于它幾乎能夠提供無(wú)限廉價(jià)存放和計(jì)算能力。未來(lái)存放模式將改變現(xiàn)在存放模式。不再存放在個(gè)人計(jì)算機(jī)及服務(wù)器上,而是存放在云服務(wù)器中。同時(shí)全部計(jì)算及處理工作也將在云服務(wù)器完成。這么給企業(yè)及各廠商帶來(lái)很多便利。節(jié)省了投入成本、企業(yè)能夠很好應(yīng)付突發(fā)大訪問(wèn)量和能夠提供存放服務(wù)同時(shí)升級(jí)和數(shù)據(jù)有效管理。所以，云計(jì)算在多年來(lái)贏得了眾多廠商和企業(yè)關(guān)注并得到長(zhǎng)足發(fā)展。云計(jì)算及其存放結(jié)構(gòu)1.1云計(jì)算概念云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存放、虛擬化、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合產(chǎn)物。它意在經(jīng)過(guò)網(wǎng)絡(luò)把多個(gè)成本相對(duì)較低計(jì)算實(shí)體整合成一個(gè)含有強(qiáng)大計(jì)算能力完美系統(tǒng),并借助SaaS、PaaS、IaaS、MSP等優(yōu)異商業(yè)模式把這強(qiáng)大計(jì)算能力分布到終端用戶手中。云計(jì)算一個(gè)關(guān)鍵理念就是經(jīng)過(guò)不停提升“云”處理能力，進(jìn)而降低用戶終端處理負(fù)擔(dān)。最終使用戶終端簡(jiǎn)化成一個(gè)單純輸入輸出設(shè)備。并能按需享受“云”強(qiáng)大計(jì)算處理能力。也就是說(shuō)用戶端只需要進(jìn)行輸入輸出。其它全部計(jì)算、存放、處理等功效全部交給“云”去處理,用戶能夠依據(jù)自己需求訂購(gòu)“云”中服務(wù)。云計(jì)算體系結(jié)構(gòu)在云計(jì)算體系結(jié)構(gòu)中，用戶操作及存放等服務(wù)全部由云中各個(gè)服務(wù)器完成。依據(jù)需求訪問(wèn)計(jì)算機(jī)和存放系統(tǒng)。用戶系統(tǒng)不需安裝任何軟件,數(shù)據(jù)也存放在云計(jì)算機(jī)及服務(wù)器中。圖1是云計(jì)算體系結(jié)構(gòu)模型。由用戶端、服務(wù)目錄、系統(tǒng)管理、配置工具、監(jiān)控、服務(wù)器多個(gè)模塊組成,各模塊負(fù)責(zé)不一樣功效。用戶端：用戶和云系統(tǒng)交互界面,用戶經(jīng)過(guò)用戶端向云發(fā)出請(qǐng)求。服務(wù)目錄：顯示該用戶能夠訪問(wèn)及操作全部服務(wù)目錄列表，用戶能夠在這些目錄里進(jìn)行選擇操作。系統(tǒng)管理:管理可分配給計(jì)算機(jī)多種資源，從而確保負(fù)載平衡。配置工具:用戶經(jīng)過(guò)配置工具在分配服務(wù)器節(jié)點(diǎn)上配置需要多種運(yùn)行環(huán)境。監(jiān)控：監(jiān)控和計(jì)算云系統(tǒng)資源使用情況,確保資源能順利分配給適宜用戶。服務(wù)器集合：云系統(tǒng)中各個(gè)服務(wù)器集合。在云計(jì)算體系結(jié)構(gòu)中，用戶經(jīng)過(guò)用戶端訪問(wèn)服務(wù)目錄，選擇所需服務(wù)；當(dāng)服務(wù)請(qǐng)求發(fā)送并驗(yàn)證經(jīng)過(guò)后，由系統(tǒng)管理負(fù)責(zé)找到所需要資源；用戶經(jīng)過(guò)用戶端在服務(wù)目錄中選擇調(diào)用一個(gè)服務(wù)，該命令傳輸?shù)较到y(tǒng)管理后，由系統(tǒng)管理選擇適宜節(jié)點(diǎn)。調(diào)用配置工具為用戶準(zhǔn)備運(yùn)行環(huán)境。云存放及其架構(gòu)模型1.3.1云存放定義云存放指經(jīng)過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功效將網(wǎng)絡(luò)中大量多種不一樣類型存放設(shè)備經(jīng)過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存放和業(yè)務(wù)訪問(wèn)功效一個(gè)系統(tǒng)。云存放能夠簡(jiǎn)單了解為云計(jì)算中存放。云存放系統(tǒng)能夠認(rèn)為是配置了大容量存放空間云計(jì)算系統(tǒng)。用戶全部數(shù)據(jù)全部保留在“云”中，需要時(shí)從“云”中讀取，當(dāng)?shù)夭恍枰魏未娣旁O(shè)備。云存放更準(zhǔn)正確地說(shuō)是一個(gè)服務(wù)，用戶使用是由很多個(gè)存放設(shè)備和服務(wù)器所組成集合體提供數(shù)據(jù)訪問(wèn)服務(wù)。1.3.2云存放架構(gòu)模型云存放系統(tǒng)關(guān)鍵用來(lái)進(jìn)行數(shù)據(jù)存放和管理而且處理數(shù)據(jù)全部是超大規(guī)模。云存放系統(tǒng)是網(wǎng)絡(luò)設(shè)備、存放設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問(wèn)接口、接入網(wǎng)和用戶端程序等多個(gè)部分組成復(fù)雜系統(tǒng)。各部分以存放設(shè)備為關(guān)鍵，經(jīng)過(guò)應(yīng)用軟件對(duì)外提供數(shù)據(jù)存放和業(yè)務(wù)訪問(wèn)服務(wù)。云存放模型和云計(jì)算模型相比，增加了一個(gè)存放層，且基礎(chǔ)管理層增加了和數(shù)據(jù)管理和數(shù)據(jù)安全相關(guān)功效。二者在訪問(wèn)層和應(yīng)用接口層則是完全相同。存放層關(guān)鍵包含存放設(shè)備及存放設(shè)備管理系統(tǒng)。存放設(shè)備分布在不一樣地域，相互之間經(jīng)過(guò)網(wǎng)絡(luò)互聯(lián)在一起。存放設(shè)備管理系統(tǒng)負(fù)責(zé)存放設(shè)備虛擬化管理、多鏈路冗余管理、硬件設(shè)備狀態(tài)監(jiān)控和故障維護(hù)、設(shè)備升級(jí)等?；A(chǔ)管理層經(jīng)過(guò)集群系統(tǒng)、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存放中多個(gè)存放設(shè)備之間協(xié)同工作。應(yīng)用接口層依據(jù)用戶訂購(gòu)服務(wù)為用戶分配權(quán)限，為不一樣用戶提供不一樣API接口及應(yīng)用軟件，同時(shí)提供網(wǎng)絡(luò)接入、用戶認(rèn)證等功效。訪問(wèn)層包含多種能夠訪問(wèn)云存放系統(tǒng)用戶，用戶能夠經(jīng)過(guò)標(biāo)準(zhǔn)公共應(yīng)用接口登錄云存放系統(tǒng)，享受云存放服務(wù)。Hadoop平臺(tái)介紹Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理軟件框架。用戶能夠輕松地在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)應(yīng)用程序。它關(guān)鍵有以下多個(gè)優(yōu)點(diǎn)：⒈高可靠性。Hadoop按位存放和處理數(shù)據(jù)能力值得大家信賴。⒉高擴(kuò)展性。Hadoop是在可用計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)，這些集簇能夠方便地?cái)U(kuò)展到數(shù)以千計(jì)節(jié)點(diǎn)中。⒊高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并確保各個(gè)節(jié)點(diǎn)動(dòng)態(tài)平衡，所以處理速度很快。⒋高容錯(cuò)性。Hadoop能夠自動(dòng)保留數(shù)據(jù)多個(gè)副本，而且能夠自動(dòng)將失敗任務(wù)重新分配。Hadoop帶有用Java語(yǔ)言編寫框架，所以運(yùn)行在Linux生產(chǎn)平臺(tái)上是很理想。Hadoop上應(yīng)用程序也能夠使用其它語(yǔ)言編寫，比如

C++。Hadoop最關(guān)鍵設(shè)計(jì)就是分布式文件系統(tǒng)HDFS和Map/Reduce算法模型。分布式文件系統(tǒng)HDFS是專門為Map/Reduce作業(yè)所設(shè)計(jì)文件系統(tǒng)。但HDFS并不是用來(lái)處理隨機(jī)存取數(shù)據(jù)，HDFS設(shè)計(jì)中更多考慮到了數(shù)據(jù)批處理，而不是用戶交互處理，比之?dāng)?shù)據(jù)訪問(wèn)低延遲問(wèn)題，更關(guān)鍵在于數(shù)據(jù)訪問(wèn)高吞吐量。所以，HDFS是一個(gè)給應(yīng)用提供高吞吐量分布式文件系統(tǒng)，可能由成百上千機(jī)器所組成，每個(gè)機(jī)器上存放著文件系統(tǒng)部分?jǐn)?shù)據(jù)。計(jì)算模型Map/Reduce是Hadoop關(guān)鍵計(jì)算模型，