分布式集群系統(tǒng)的調(diào)研

分布式集群系統(tǒng)——調(diào)研分析

By吳文泰分布式系統(tǒng)/平臺(tái)proActiveParallelSuiteClusterVirtualMachineforJava（cJVM)ParallelVirtualMachine(PVM)ApacheHadoop(這里不做介紹）ApacheMesos2ProActiveParallelSuite1ProActiveParallelSuite3ProActiveParallelSuiteBriefIntro:通過ProActive平臺(tái),用戶可以立刻對(duì)（企業(yè)級(jí)）應(yīng)用進(jìn)行業(yè)務(wù)優(yōu)化和加速，同時(shí)可以對(duì)企業(yè)云進(jìn)行管理。Keys:可并行、分布式、業(yè)務(wù)流程優(yōu)化加速、可以集成高效的云管理。平臺(tái)關(guān)鍵組成：3個(gè)：

Workflow&Parallelization---各種業(yè)務(wù)的并行化

Orchestration&Scheduling---多應(yīng)用、多接口支持

Clouds&GridsIaaS---設(shè)施上的異構(gòu)資源管理4ProActiveParallelSuiteWorkflow&Parallelization◎支持多種技術(shù)來(lái)優(yōu)化業(yè)務(wù)性能：方便應(yīng)用編程本地并行化：

支持消息傳遞接口（MPI），OpenMP編程，多線程技術(shù)等分布式+并行：

支持用于并行分布式編程的JavaAPI，REST，以及MapReduce等核心技術(shù)：JAVAActiveObjects,IC2D5ProActiveParallelSuiteOrchestration&Scheduling◎支持多種平臺(tái)上的應(yīng)用：作為調(diào)度者◎區(qū)別于Workflow&Parallelization：

Workflow&Parallelization為客戶端提供一系列接口

Orchestration&Scheduling為管理員管理不同業(yè)務(wù)提供特殊的服務(wù)器和工具支持核心：Orchestration&Scheduling

Server

6ProActiveParallelSuiteClouds&GridsIaaS◎管理異構(gòu)資源（基礎(chǔ)設(shè)施）核心：Clouds&GridsIaaSServer譬如：跑Linux的VM和Windows的VM7ProActiveParallelSuite可用狀況:Open-sourced組件：Studio1.4

JavaActiveObjects5.4

Scheduler3.4

SchedulerWebPortal1.4

ResourceManager3.4

Cloud&GridIaaSWebPortal1.4

MatlabConnector1.2

ScilabConnector1.2

8ProActiveParallelSuite組件下載：支持windows32+64,linux32+64以及MacOS注冊(cè)信息壓縮包包含項(xiàng)目文件和exe，是一個(gè)IDE，對(duì)應(yīng)Workflow&Parallelization對(duì)應(yīng)Orchestration&Schedulingserver對(duì)應(yīng)Clouds&GridsIaaS中的計(jì)算單元9支持的編程方法：在proActivestudio中，采用圖形化方式設(shè)計(jì)workflows來(lái)定義并行化調(diào)度。集群搭建的難易程度：一般，除了安裝IDE外，還要配置好另外兩個(gè)組件(server和agent)；但網(wǎng)站資料很完整。支持的語(yǔ)言：JAVA,REST,CLI(命令行）ProActiveParallelSuiteOrchestration&Scheduling和Cloud&GridIaas也可以在這一IDE中進(jìn)行管理10ClusterVirtualMachineforJava2ClusterVirtualMachineforJava(cJVM)11BriefIntro:通過對(duì)一個(gè)集群進(jìn)行虛擬化使得對(duì)應(yīng)用可見的僅是單個(gè)系統(tǒng)；而實(shí)際上對(duì)象和線程是存在和運(yùn)行于多臺(tái)虛擬機(jī)上的。優(yōu)點(diǎn)：應(yīng)用編程方便，高可擴(kuò)展性

Transparent對(duì)App透明ClusterVirtualMachineforJava12核心：JavaServerApplications(JSAs)ClusterVirtualMachineforJavaJSAs的運(yùn)行環(huán)境——ClusterVM(forjava)擴(kuò)展性："throwingmorehardwareattheproblem."

——要擴(kuò)展服務(wù)器上App的性能，就投入更多的硬件（VM）到中間這層13支持編程語(yǔ)言:Java可用情況：“NOTE:Thisprojectisnolongeractivesince2000!”……還沒有找到可用資源ClusterVirtualMachineforJava14ParallelVirtualMachine3ParallelVirtualMachine(PVM)15Br洞ie悟f音In泰tr淺o:使用每網(wǎng)絡(luò)盯連接裕各種異構(gòu)系統(tǒng)抖（如Wi艘nd業(yè)ow仔s,頓U挖ni冒x），繼使之斯看起退來(lái)就星像一茶個(gè)大羞型“并行計(jì)算注機(jī)”調(diào)。Pa甘ra缺ll伶el蝕V駛ir族tu斷al賤M意ac妄hi陪neKe譯ys危:模擬怪并行裳計(jì)算急機(jī)，鑰從而Ap史p可以勒使用稅并行池編程監(jiān)技術(shù)Su飽pp勻or貿(mào)te幼d妙La籠ng硬ua攝ge套:飯C,仗C偷++激,頸Fo碧rt靠ra耕n16代碼柴示例稱：Pa級(jí)ra腔ll奪el孟V般ir甘tu普al努M很ac述hi創(chuàng)nePv雷m3添.h庫(kù)并行覽編程導(dǎo)的風(fēng)晉格17可用犬情況約：Op可en虹-S慶ou臟rc歪ed，提鎮(zhèn)供li伯b還有PV抹M安裝騰程序冷，還通有詳智細(xì)安謊裝/配置灣的說(shuō)瓶明文千檔；Pa肝ra株ll腹el原V壓ir五tu泡al哪M堆a(bǔ)c衫hi抱ne里面士是ex增e文件Li險(xiǎn)b18Pa賞ra另ll播el羽V網(wǎng)ir腦tu素al攀M抗ac啦hi隨ne——安裝PV鄰M最好帥先裝in證st壯a(bǔ)l議ls退hi忍el掃d（微哥軟開英發(fā)的候一個(gè)忘軟件輝），販否則圣就要薦按如噸下步債驟人姥工配滴置19健99年編鐮寫的饑文檔予，所盆以只斧提到蠻了Wi陶nd朝ow滅s慈NT和95律/9訂8系統(tǒng)赴；要套試一賤下才傅知道處是否蠻支持20瓶00以上表的系井統(tǒng)。衫。。明（PV仇M項(xiàng)目捕到20撈11年都侵有更舊新）19支持但語(yǔ)言綁：C,索C估++借,恨Fo掏rt媽ra吸n算法符接口:基本久上是性并行脅編程陰用到丘的基蜓本算讓法，紡主要葡包含旬在pv到m3環(huán).h中支持扁環(huán)境旋：Wi匪nd纏ow寸s革(o急nl投y苗NT率,鉤95巖/9竄8?厘??臥)搭建筋難易煎程度襯：料難，眾因?yàn)槠拐f(shuō)明司文檔續(xù)比較笨舊；使用堤方式懇：安申裝in石st僻al遞ls王hi拋el溉d版本割的PV儀M，使有用源潮碼庫(kù)Pa錢ra蛾ll鉤el斜V晨ir睡tu登al杠M菌ac挺hi疼ne20Ap績(jī)ac習(xí)heMe名so外s4Ap謙ac鉆heMe居so董s21Me掘so糾sMe風(fēng)so扣s計(jì)算統(tǒng)框架淹一個(gè)昨集群疏管理辱器，典提供買了有辣效的擾、跨轟分布哭式應(yīng)疼用或儀框架羨的資危源隔柔離和胃共享趣，可僵以運(yùn)頸行Ha扛do墨op、MP胸I、Hy賴pe栽rt街ab喝le、Sp肥ar斃k結(jié)構(gòu)門：Ma地st坦er丹/S逗la稼ve結(jié)構(gòu)資源辱申請(qǐng)叉，內(nèi)禁部調(diào)免度單例備，管幅理整蠻個(gè)集蓮群，休負(fù)責(zé)明資源臥分配+調(diào)度運(yùn)行哭于Sl閥av吃e服務(wù)推器上課，負(fù)坐責(zé)執(zhí)幕行ta阻sk含s22可用和性：廟開源型（代歐碼也顛可在gi沫th乳ub上下糕載）Me往so價(jià)s官方攤最新更版本孤：0.技19搶.023支持蹤蝶環(huán)境星：Li地nu停x耗(64Bi須t)控a刮ndMa醬cO聯(lián)SX(64Bi鎖t)（可攔能因勢(shì)為是汁一個(gè)腿很新盛的項(xiàng)螺目）配置始難易份程度茫：一愿般（屋官網(wǎng)僚配置痛介紹伍是以Ub吼un姿tu12棵.0魔4打64位為罷例，危詳見束：ht資tp劑:/捷/me移so閣s.她ap初ac肥he視.o布rg負(fù)/g燥et目ti沙ng萄st聽ar很te姜d/支持穩(wěn)語(yǔ)言脊：C+球+,仆Ja冬va前,P殘yt右ho朝n執(zhí)行ta抹sk前要運(yùn)行升對(duì)應(yīng)岸的框躍架：Me鉛so數(shù)sC+誤+Ja膽vaPy塵th演on24總結(jié)25Co怎mp毒ar鼠is訴onproActivecJVMPVMHadoopMesos運(yùn)行環(huán)境Windows,linux,MacWindowsNTWindowsUnix(linux)Linux(64Bit)andMacOSX(64Bit)支持語(yǔ)言Java,REST,CLIJavaC,C++,FortranC++,C,JavaJava,Python,C++搭建難易一般N/A難一般一般并行調(diào)度算法/方法Map-Reduce等Pvm3.h中包含的算法Map-Reduce等MPI,Spark等26其他蓮架構(gòu)So鄭me伴o姜th脆er受s:dJ炎VM:AN交U（澳招大利脾亞國(guó)占立大魚