MATLAB分布式并行計算服務(wù)器配置和使用方法

1、Windows下MATLAB分布式并行計算效勞器配置和使用方法1 MATLAB分布式并行計算效勞器介紹MATLAB Distributed Comput ing Serve可以使并行計算工具箱應(yīng)用程序得到 擴展,從而可以使用運行在任意數(shù)量計算機上的任意數(shù)量的worker.MATLABDistributed Computi ng Server還支持交互式和批處理工作流.此外,使用 Parallel Computing Toolbox函數(shù)的 MATLAB 應(yīng)用程序還可利用 MATLAB Compiler MATLAB編譯器編入獨立的可執(zhí)行程序和共享軟件組件,以進行免 費特許分發(fā).這些可執(zhí)行應(yīng)用程序

2、和共享庫可以連接至MATLAB DistributedComputing Server的worker,并在計算機集群上執(zhí)行 MATLAB同時計算,加快大 型作業(yè)執(zhí)行速度,節(jié)省運行時間.MATLAB Distributed Computi ng Server支 持多個調(diào)度程序：MathWorks 作業(yè) 治理器隨產(chǎn)品提供或任何其他第三方調(diào)度程序,例如Platform LSFMicrosoft Windows Compute Cluster Server CCS、Altair PBS Pro 以及 TORQUE使用工具箱中的Configurations Manager 配置治理器,可以維護指定的 設(shè)

3、置,例如調(diào)度程序類型、路徑設(shè)置,以及集群使用政策.通常,僅需更改配 置名稱即可在集群間或調(diào)度程序間切換.MATLAB Distributed Comput ing Server會在應(yīng)用程序運行時在基于用戶配置文件的集群上動態(tài)啟用所需的許可證.這樣,治理員便只需在集群上治理一個 效勞器許可證,而無需針對每位集群用戶在集群上治理單獨的工具箱和模塊集 許可證.作業(yè)Job是在MATLAB中大量的操作運算.一個作業(yè)可以分解不同的部 分稱為任務(wù)Task,客戶可以決定如何更好的劃分任務(wù),各任務(wù)可以相同也可 以不同.MALAB中定義并建立作業(yè)及其任務(wù)的會話Session被稱為客戶端會 話,通常這是在你用來編寫

4、程序那臺機器上進行的.客戶端用并行計算工具箱 來定義和建立作業(yè)及其任務(wù),MDCE通過計算各個任務(wù)來執(zhí)行作業(yè)并負責(zé)把結(jié) 果返回客戶端.作業(yè)治理器Job Man age是MDCE的一個組成局部,用來協(xié) 調(diào)各個作業(yè)及其任務(wù)在各個 woker上的執(zhí)行.如下圖,MATLAB客戶端Client與調(diào)度或作業(yè)治理器Sheudler/Jobmanage和計算節(jié)點Worker 之間的關(guān)系.2 MATLAB分布式并行計算效勞器配置方法要求參與并行運算的機器 matlab版本相同,操作系統(tǒng)可以不同待考證2.1配置主機2.1.1 Windows防火墻設(shè)置a. 以治理員權(quán)限登陸計算機b. 將matlab添加到防火墻,在D

5、OS命令窗口下執(zhí)行以下命令matlabroottoolboxdistcompbi n'addMatlabToWi ndowsFirewall.bat其中matlabroot是指matlab安裝位置,比方在我的計算機里是 C:ProgramFilesMATLABR2021a假設(shè)這樣添加兩臺機器依然無法 ping通,請將防火墻關(guān)閉,關(guān)閉方法見附 錄.2.1.2配置多用戶電腦假設(shè)某機器是多用戶的,那么需要進行如下配置.目前測試成功的機器不需要 這一步,所以這一步暫時可以忽略.a. 編輯配置文檔mdce_def.batmatlabroot toolboxdistcompbinmdce_def.

6、batb. 找到MDCEUSER參數(shù),根據(jù)domain'username的形式進行配置set MDCEUSER=mydoma inmyusernamemydomain可以是電腦ip地址,myusername是電腦的用戶名.c. 找到并配置MDCEPASSset MDCEPASS=passwordpassword是電腦的登陸密碼.d. 保存文檔.2.2關(guān)閉老版本matlab的mdce效勞器配置a. 以必要的權(quán)限翻開DOS命令窗口.Win7下開啟方法是以治理員身份運行 cmd.exe程序.開始-搜索cmd-以管 理員的身份運行.b. 在DOS窗口下翻開老版本matlab的目錄,命令是：cd

7、 oldmatlabroottoolboxdistcompbi nc. 停止老版本的mdce效勞并移除關(guān)聯(lián)文件.命令是：mdce unin stall -clea nd.在所有的worker節(jié)點上重復(fù)以上步奏2.3安裝mdce等效勞,配置節(jié)點,開啟 MJS worker231安裝和開啟mdce效勞a.以治理員身份運行cmd.exeob. 如果matlab沒有安裝在C盤,那么需要指定 matlab安裝盤.如安裝在D 盤,那么輸入“D c. 輸入mdce效勞命令文件所在目錄,格式是：cdnatlabroot toolboxdistcompbin皿3 皀理員 C V/indowE：'-5yE

8、.tefnn S2' d.exeI i 巨 1YMllicragoft Windows.1.7601JIS 權(quán)所有 CO 2021 Mie rose ft Corporation 0 保簾所有杈利 rr|BC： Windi&w3 3y3tcm32>cd C:grftF* Filoi sinTLADs:l2021atccilboMSdii3tc&iTip'biniG； >Tr*ogran FilesnflTLABXB2021aXDOll)oxMlistcoijpln>d. 輸入 mdce in stall安裝 mdce效勞.e. 輸入 mdce

9、start 開啟 mdce 效勞.f.開啟RPC!效勞.開始-搜索-效勞-以治理員身份運行.將下列圖紅色圈內(nèi)的兩項效勞開啟并設(shè)為自動開啟.根據(jù)目前測試,該步驟可忽略=n d 工 tf gifler 1 rnrutw 刁LlpmtE-DiR.it憐F)1S吒冏JSr-rt赳插in * I n L>* | G 朮 IHernnts PnKMdure Callfli邑RPC SS-目畀昱 OOM 3CDM 曲 iSSUt com 初KdM血紈氏血曲干 匚與二悅耶¥=4CX：F7P£ZIfiiS： flL 址週境空沖. 甫COMOCCHM幄畑I事二柞喘粒專廿RK曲IS剛？ 行

10、t*e5*wj Prctlew Rvtravt?*d ScliilKHns- o<i?rpl Pa#.-T'roqrtBVi £ompaEibJily AjMiCarf Servicecan8ft卩re*釈 T SecrW-袖Prttait "gFiij V2陰驕SSJT曰査噸Qu,b恰 Wndnw Aijdic Vtx*a F mhp-手帀r：- ： v口te啟utu Connediofi Ivtanjiqe-ra古犬毎拓Rflnoh: Acceoa Ccme<tcn Ms-ingw于SI豐?£呈曲RemaBe Deklap Ccnflgur

11、rtion卻】R.Siribh' O-pklDf?女刊事E Remake Detkin erkri UtevMcie 屜n(L.232配置節(jié)點二 Xnnril肝 Pialigf Qiolijrv 叭ri|口col vJO (vavii.5亠 Rnpiicrte Proraiune Call ifTiPri LocatorKenyte 胡佯:si«pmI RweEv Acc'ew' RK. EdphScri MtpfhcrE»«nc乂吁'-SwySocloct Trnwli吟 pipiggl “SuAccourtfi Mon sger

12、Revnolv- ProEedufe Call (RPClftPCME裝在許IM亠自孔S3lirCT-«=S5a.找至U matlab 目錄 atlabroottoolboxdistcompbin ,運行 admincenter.bat 文件.-ic|xj'k Fkatl* MJ> I'lalkvt "He華財d.MXE *HwnB/wI Rie-artiast1 C4fVGStBfeLSJ Lfei 5*¥W|NM"E卜"E -torsMA'ILAC Abschrfu AJybmHcitunefriirtaEfs

13、MJ5IVctkeHmfrietneSloQiiaUp Enwip ic-ImiWeec.d.b. 點擊 Add or Find.Add or Find Hosts對話窗口被翻開選擇En ter Host name or IP Addresses并輸入?yún)⑴c并行計算的機器的IP地址或主機名稱.Add cr Fird Hc&tsw 5rter Hostname* or IF Address:162,115.76.16S162. ITS 76. 12)Lrter IP Range;Tip： If d MATLAO Job Scheduler (MJ5) is runningyuu need

14、odd only the MJS hoit xj thi= lii, Admin Ontpr w| 冷/0 thp 血片和 of p»l wcrkpr< renrpr+pd tn it.1 Start mdee services an hosts All nosts must be the sme platform)C Cancel Hdp點擊OK翻開Start mdce service對話窗口.一直點擊 next直到出現(xiàn)start theservices,點擊以開啟效勞.假設(shè)Status欄是紅色,那么查看任務(wù)治理器->效勞里mdced效勞是否是開啟狀態(tài).假設(shè)效勞沒有開啟

15、那么需要手動開啟效勞.開始-> 搜索->效勞-> 以治理員身份運行,找到對應(yīng)的效勞并開啟pinlltd.5VCLi Ilk-Layer Topologjr .lmAztsvr171SlmizesvrImaz ellpil.2053Ini azeupdlat edImlho stsTCT/TP MetEIOS HelperMe di a.ni-ic-id5520.MATUE BistribuUUL ,.NNubSMultim edii Cl az 5 Sch.HpsSvc1560Winckm亙 FirewallHSETCDi strituted Transact,.wsiscs

16、rNicraioft iSCSI Ini t.nisi serverindo*5 Im tall erussgusg.2L4B591 Server CSQLEXFRZSS)SSQLSer.SQL ifLctive Directory,rrr狀已已. . t. .«.停止停止11 iG 正 已 已 已 正 e:1信止停信止 止 止0止Le.點擊Test connectivity并查看測試結(jié)果.* CannetthdtuTestingDetail fMore JnfoTOtfll TWUMFPah ad: 4fi FailvEbO Wfiuiir g: 2 kiiapEd;: (IIrt

17、fo Only: 1CluctcrTactcCompuNodeClerttcan resolve riodie hD£tna.uClientcan connect to scivizc an nedeServer kdS&Hd- CJQ n%4 址亠.hMnmOuroQ.- hestnd.- rie 沁 lutPiboudkasb-d.iii*i豊紳IuLmScrvifir Parte are av ilhlcNodeconnect to server portsNodes can G©nn«d 愉 clientU2.130.Ar心or 0oQ :涉r L

18、b j.13b_A9e0O09Qa罰 ReeuliG SurrimaryTk怙 njn or. 50W-11-3RComQleted in 13.275Nufflioer of coiripjte nodo in clucto-n 2紅色圈處顯示Passed表示連接測試通過2.4開啟MJSa.在 MJS (Matlab Job Schedule)模塊單擊 Start.b.點擊OK以繼續(xù)2.5 開啟 Workersa. 在Workers模塊點擊Start.Workersb. 在彈出的Start Workers對話框內(nèi) Workers欄輸入每臺機器開啟的數(shù).該數(shù)目與計算機核數(shù)一直效率最高FStar

19、t WorkersMATLAB Job Scheduler (MJS)Select the MJS for the new workers. MyMJSjiar!ui-PCWcrke-rsSpecify how many worker? to start.Start p : workers per hostYou have requested to start 4 new workers running under this 怕5,丿 The total number of workers monitored by this Admin Center Session will be 4.OK

20、Cancel Helpc.選擇要運行Workers的主機d.點擊OK以繼續(xù).此后會初始化 Workers,此過程需要幾分鐘時間Adrb n Cersteiriir.wMIS Worsen HripC rnnertiri tj .05iT諂 nr審| R*ieh(M«Cflw5*叭占1 Up 帥"hUiffwCwirrt3 旳冷z PC C1C2.1(».7S2) y聘4理nN詁g2021 11-28 Ilk.2jisriui-PC 16ZW5.MW59聲2 runring20211.2813u2MC<E 顯rvi"Vfork.HoMMATLAB 心

21、 Szheduiw 醐詞SttftkllEitMyMJSHctkirwjiad* 匚Suiwt| Up $ifK*| WwrS3014-11-26 15dJStciri.Wo*kerMJS占5Hoanrn*Up Sintfl-Connectid1民語i*i書Sunhlni PC_w»rk.iir01SurbMhw PC idle2021 11 撲 15.v cur441«dlMyMJEjiul ；u KSuriihinPC idl*2O14J1詰 Li-0 »r-nKltdlMyMJSjianui-PC_wor ksrC Ijiariui-PC idle2DL4-

22、U-2fl 15.£ can TwectedlfclyMJSjiariui-PCjiriui -POrorlce1liiariui-PC BeML4-11-茁 15. cornectedlMyMJSjiariui-PCJ i-J2S 下午3.AJUpdaLe eweryl miiHiteaijpa日tE NCiliVWorkrn-i3 MDCE server 的使用3.1 找到 clustersa.點擊matlab工具欄Parallel右下角的三角符號,并選擇 Discover Clusters.b. 勾選 On your network 并按 next.祇 Diccv?r Clus

23、tersWhere do you want to look for MATLAB Distributed Computing Server dusters?V On youi networkSelect this option if your 匚lusters uise a MATLAB job scheduler (MJ£) or Microsoft Windows HPC Se rverOr Amazon EC2Select this option to find dusters running on Amazon ECN Yau must provide ycur MathV

24、ork Account login ireformation to access these clusters.NcittCartelc. 選擇之前建立的 Cluster并按next.Q You have successfully added the cluster profile MJSProfilel.L/ Set new 匚luster profile as default機 Discover CLsten The fol owing clus:ers were found.Select a cluster to use:CusterHostWorkersTyp昔Profile Name

25、MyMJSjiariui-PC8MJSProfile3The selected cluster already has prcfile(s) associated with it. C icking on tne Next button will create an additional profile.NertCanced.如紅線所示顯示成功后勾選“Set new cluster pro defaul將其作為默認(rèn)設(shè)置,點擊 finish.李 D scover ClustersHere arp 氣仃things you might vrant to try nert: Click Valida

26、te in the Cluster Prof le Manager to ensure the new cluster profile works Opn an intgrictim且劉旦bpol on th© clyster, thnpsrfor or spmdl Submit a batch job to the dusterfinish3.2治理并檢測Cluster配置文件a.點擊matlab工具欄Parallel右下角的三角符號,并選擇 Manage ClusterProfiles.回 Preference j色 Set PBihLayout .7 Parslte-I Com

27、munity力 Request 'SupportHelp* 牛 Add-Ons »=NSet DefaultChooM the default du rter profile to ute with matlabpooL batch, or parclusterDieauer Oufters.Search for MATLAB Distributed 匚imputing Serrer clusters on yaur networkM占砸電 Cluster Profilts.,Create 建dit w import flu 吐er pr&fi le-5M&r

28、viUr JebVieand work with jobs on your machine or on a clusterb.在Cluster Profile欄選擇上一步中設(shè)為默認(rèn)的Profile 紅線處,在Properties欄可以編輯一些屬性,不編輯那么使用默認(rèn)屬性.在Validation Results欄可以進行有效性檢測.點擊右下角Validate進行檢測,假設(shè)通過那么如下列圖所示.Job Monitor亞2也z 0前RifTIHTFMdDi靠ImfrrtE4SH門肓Dr Hill 令|5員Vlirlflrfl Cludler-sCREATE»MMAiE嘰iWE HiclP

29、_ _ . .Cluster ppi屁MUSPrafNelT>p*: IMJSlocalProperties Valndaiior R«EUieor AqFIXMP-ofleSNjSP-'&flei fdefaui)Derail口第StdgsStKisDKcnptiianCluai cannrtiQ wa 輛敘(1口駄電|0 P跡倨dJhafa teit vedleJob)SPWO job tKl (dreatrfDoimunkatungJob) P/sedPral ab 1e1 (crea leC ornmij katinq J c b) p華空dM1TIAB

30、 pod i*sl mi1bbpc<H； p朋3VslidsieDo鮎iH3.3 Monitor Jobsa.點擊matlab工具欄Parallel右下角的三角符號,并選擇 Monitor Jobs色 Commtjnry Rwju&stSup-pflri help t p AtftPOna un Preferen ces_J Set Path 前mu linkLayoutLibrary t 住 Paraiel Set DefaultChoowthe ile-fault cluster profile ta ue with matlabpooL batch, or paiclusi

31、erDisc aver Ousters.Search for MATLAB Ciftritiuted Computing Server clusters on your networkManage Sus-ter Prufiles._匚reate, edit, or impcrt cluster profiles "Hi怕尸Mvi 色曲 and wart; wrth jobs on your ms chior on a亡 I Lifterb.在新出現(xiàn)的Job Monitor窗口中選擇默認(rèn)的 profile.Select Profile： MJSPnQfile3 I I ShovIDUsernameSubmit Time Finish Time Ta?k?State之后就可以通過此窗口觀察 Job的狀態(tài).3.4進行并行計算a.開啟并行.在 matlab命令窗口輸入 matlabpool open,開啟所有的 works.此時Job Mon