分布式集群系統(tǒng)的調(diào)研

分布式集群系統(tǒng)——調(diào)研分析

By吳文泰分布式系統(tǒng)/平臺proActiveParallelSuiteClusterVirtualMachineforJava（cJVM)ParallelVirtualMachine(PVM)ApacheHadoop(這里不做介紹）ApacheMesos2ProActiveParallelSuite1ProActiveParallelSuite3ProActiveParallelSuiteBriefIntro:通過ProActive平臺,用戶可以立刻對（企業(yè)級）應(yīng)用進(jìn)行業(yè)務(wù)優(yōu)化和加速，同時可以對企業(yè)云進(jìn)行管理。Keys:可并行、分布式、業(yè)務(wù)流程優(yōu)化加速、可以集成高效的云管理。平臺關(guān)鍵組成：3個：

Workflow&Parallelization---各種業(yè)務(wù)的并行化

Orchestration&Scheduling---多應(yīng)用、多接口支持

Clouds&GridsIaaS---設(shè)施上的異構(gòu)資源管理4ProActiveParallelSuiteWorkflow&Parallelization◎支持多種技術(shù)來優(yōu)化業(yè)務(wù)性能：方便應(yīng)用編程本地并行化：

支持消息傳遞接口（MPI），OpenMP編程，多線程技術(shù)等分布式+并行：

支持用于并行分布式編程的JavaAPI，REST，以及MapReduce等核心技術(shù)：JAVAActiveObjects,IC2D5ProActiveParallelSuiteOrchestration&Scheduling◎支持多種平臺上的應(yīng)用：作為調(diào)度者◎區(qū)別于Workflow&Parallelization：

Workflow&Parallelization為客戶端提供一系列接口

Orchestration&Scheduling為管理員管理不同業(yè)務(wù)提供特殊的服務(wù)器和工具支持核心：Orchestration&Scheduling

Server

6ProActiveParallelSuiteClouds&GridsIaaS◎管理異構(gòu)資源（基礎(chǔ)設(shè)施）核心：Clouds&GridsIaaSServer譬如：跑Linux的VM和Windows的VM7ProActiveParallelSuite可用狀況:Open-sourced組件：Studio1.4

JavaActiveObjects5.4

Scheduler3.4

SchedulerWebPortal1.4

ResourceManager3.4

Cloud&GridIaaSWebPortal1.4

MatlabConnector1.2

ScilabConnector1.2

8ProActiveParallelSuite組件下載：支持windows32+64,linux32+64以及MacOS注冊信息壓縮包包含項目文件和exe，是一個IDE，對應(yīng)Workflow&Parallelization對應(yīng)Orchestration&Schedulingserver對應(yīng)Clouds&GridsIaaS中的計算單元9支持斯的編層程方繡法：怠在p枯ro鉆Ac幸ti熄vest董ud攀io中，誘采用克圖形鴨化方亮式設(shè)立計w頑or螞kf創(chuàng)lo父ws熱來定袍義并交行化袍調(diào)度宵。集群很搭建細(xì)的難踩易程足度：一般，除蔥了安賺裝I隊DE開外，寧還要位配置賄好另撇外兩瞇個組咽件(宜se鼠rv位er蛙和a刪ge月nt序)；嚷但網(wǎng)冷站資料樓很完帝整。支持在的語相言：桶JA背VA寸,母RE餃ST售,C書LI涌(命噴令行懇）Pr法oA胖ct伴iv庭e凈Pa瘡ra尿ll構(gòu)el程S打ui冬teOr假ch塵es耗tr衣at庸io考n發(fā)&桶Sc泰he思du桶l(fā)i拿ng弟和哭C輔lo蝕ud嗓&混G開ri褲d側(cè)Ia泰as圓也可弊以在除這一悉ID逃E中散進(jìn)行攤管理10Cl儀us糊te流r她Vi隨rt日ua經(jīng)l招Ma蒼ch腎in竟e道fo半r叫Ja笨va2Cl膛us鍵te極r個Vi個rt藥ua摔l掙Ma潔ch喉in酬e吊fo倍r爹Ja拜va斑(陜cJ汪VM覽)11Br惱ie壯f死In桂tr胡o:懇通許過對敲一個藥集群公進(jìn)行虛擬伏化使得枕對應(yīng)漂用可見獄的僅標(biāo)是單把個系幼統(tǒng)；而實冒際上雕對象總和線數(shù)程是虧存在診和運(yùn)鉤行于航多臺望虛擬見機(jī)上燥的。優(yōu)點(diǎn)蔥：應(yīng)呢用編巾程方殃便，銳高可箏擴(kuò)展妙性Tr姥a(bǔ)n嚇sp睡ar寧en攪t對A港pp福透明Cl宣us搏te故r擁Vi端rt銅ua剃l備Ma雨ch僚in憐e胸fo巾r元Ja籍va12核心伴：J管av捧a爺Se液rv灶er果A發(fā)pp唱li賣ca昂ti夸on告s換(J康SA慚s)Cl揭us脅te偏r盛Vi洲r(nóng)t猶ua燃l付Ma每ch飄in梁e煙fo蘿r敲Ja趣vaJS歡As錫的運(yùn)心行環(huán)鑼境—冰—C斷l(xiāng)u豎st聲er萌V調(diào)M詞(f握or籮j久av欄a)擴(kuò)展出性："t過hr遠(yuǎn)ow腰in脊g雖mo老re蹄h棉ar皇dw繪ar幕e從at零t應(yīng)he擾p傘ro吃bl瓦em燭."——樸要擴(kuò)漠展服曬務(wù)器緩上A障pp站的性工能，亦就投羽入更肚多的薯硬件筐（V惹M）售到中攻間這仔層13支持單編程亦語言其:錢Ja拐va可用獵情況冬：“NO葉TE茶:逝Th辟is穗p記ro揉je萍ct建i莫s潤no疏l體on招g(shù)e率r防ac耍ti椅ve敞s扯in啄ce炮2蘭00夠0!”…俯…還沒資有找燃到可課用資剪源Cl志us皂te宴r轎Vi綿rt送ua絨l源Ma將ch亂in削e賺fo墳r似Ja蜂va14Pa治ra堵ll懂el德V坐ir街tu罪al改M亞ac般hi蛾ne3Pa堡ra誰ll植el裕V躬ir闖tu編al裝M比ac蘭hi蔬ne支(毀PV貌M)15Br饞ie立f沫In懸tr希o:草使崇用網(wǎng)襲絡(luò)連鐵接各斑種異構(gòu)系統(tǒng)伐（如依Wi進(jìn)nd士ow孫s,嚷U牧ni字x）咸，使妥之看斗起來某就像站一個警大型顯“并行計算羞機(jī)”嬸。Pa妖ra撞ll稻el成V興ir燈tu豈al盯M耍ac逢hi別neKe昌ys殖:蛙模擬拉并行月計算粉機(jī)，耍從而盾Ap括p可繭以使直用并充行編權(quán)程技池術(shù)Su段pp緊or粗te泊d棉La匠ng網(wǎng)ua嚇ge寨:斯C,逝C逐++療,各Fo治rt挖ra笨n16代碼曾示例腫：Pa熊ra畜ll尚el痰V燦ir汁tu仙al私M獎ac卻hi艘nePv銅m3笑.h塌庫并行矮編程氧的風(fēng)吃格17可用雄情況葉：O浮pe幟n-夕So詠ur螞ce皆d，孩提供聽li巴b還醋有P喂VM喝安裝逗程序格，還賴有詳永細(xì)安趙裝/茫配置突的說度明文壁檔；Pa迎ra冊ll設(shè)el聲V續(xù)ir粗tu增al蹄M遇ac搜hi瞞ne里面蘋是e女xe播文件Li營b18Pa賠ra私ll蛾el艦V平ir陣tu繳al滅M碎ac音hi擦ne——苗安裝堆PV沫M最賺好先重裝i顛ns饅ta性ll侮sh甜ie物ld腔（微特軟開膏發(fā)的澇一個燃軟件綠），叼否則蒼就要強(qiáng)按如株下步餓驟人永工配散置19拿99桌年編燒寫的古文檔賠，所膛以只往提到票了W妥in螞do贏ws這N喬T和贊95晉/9固8系黃統(tǒng)；貧要試酸一下寶才知攜道是冷否支難持2爪00禁0以冶上的喂系統(tǒng)短。。厭。（果PV劇M項附目到踢20顆11爬年都根有更帥新）19支持約語言互：襪C,是C位++夸,染Fo卵rt瞧ra坦n算法篇接口笑:限基本散上是煩并行歷編程頑用到取的基智本算鎮(zhèn)法，套主要探包含改在p現(xiàn)vm獵3.軌h中支持泊環(huán)境玻：W暖in顛do鑰ws泡(匯on捕ly這N猶T挑,9黑5/膛98團(tuán)??唉?)搭建柔難易掀程度血：潛難，脾因為鏟說明店文檔惱比較疾舊；使用記方式沾：安扶裝i域ns耗ta綠ll遇sh芒ie勇ld懇版本奶的P躲VM儀，使籍用源旁碼庫Pa盞ra勉ll燃el衰V籍ir抓tu道al糕M真ac宴hi門ne20Ap植ac零he腿M變es季os4Ap肉ac泰he鍋M趕es榜os21Me除so村sMe翼so慣s計半算框納架一撞個集瓣群管躬理器帆，提駛供了崗有效業(yè)的、籠跨分階布式砍應(yīng)用型或框源架的房誠資源惰隔離伸和共縮慧享，遮可以刃運(yùn)行培Ha隔do綠op筒、M捧PI鑄、H贏yp與er才ta挪bl第e、膠Sp倆ar喘k結(jié)構(gòu)羽：M割as超te慕r/區(qū)Sl壺av都e結(jié)擋構(gòu)資源均申請勉，內(nèi)迅部調(diào)糕度單例掙，管煎理整宴個集轉(zhuǎn)群，銹負(fù)責(zé)敬資源揪分配涼+調(diào)紅度運(yùn)行羽于S莊la并ve狹服務(wù)煉器上考，負(fù)牙責(zé)執(zhí)扔行t經(jīng)as福ks22可用起性：殘開源王（代輕碼也潔可在g捏it鐮hu奧b上惑下載鍋）Me犬so犯s官方耐最新鞏版本他：23支持東環(huán)境輝：黃Li筆nu盯x廁(64Bi仇t)倚a煙nd串M嚴(yán)ac墳OS蘿X圾(64Bi亮t)（可蹦能因臺為是盟一個瓶很新箭的項劉目）配置茅難易繭程度虛：一圈般（浙官網(wǎng)撤配置騰介紹某是以珍Ub穩(wěn)un遭tu咐1獄2.牛04彼6狹4位線為例抵，詳疊見：ht只tp當(dāng):/俊//支持怖語言星：C質(zhì)++梨,J構(gòu)av貸a,及Py捧th佩on執(zhí)行守ta辣sk廚前要運(yùn)行全對應(yīng)擋的框裹架：Me涌so溫sC+嚼+Ja份vaPy英th蹄on24總結(jié)25Co蒼mp蒼ar惰is姥onproActivecJ