MATLAB分布式并行計算服務(wù)器配置和使用方法

1、Windows下MATLAB分布式并行計算服務(wù)器配置和使用方法1 MATLAB分布式并行計算服務(wù)器介紹MATLAB Distributed Computing Server可以使并行計算工具箱應(yīng)用程序得到擴展，從而可以使用運行在任意數(shù)量計算機上的任意數(shù)量的worker。MATLAB Distributed Computing Server還支持交互式和批處理工作流。此外，使用 Parallel Computing Toolbox 函數(shù)的 MATLAB 應(yīng)用程序還可利用 MATLAB Compiler（MATLAB 編譯器）編入獨立的可執(zhí)行程序和共享軟件組件，以進行免費特許分發(fā)。這些可執(zhí)行應(yīng)用程

2、序和共享庫可以連接至 MATLAB Distributed Computing Server的worker，并在計算機集群上執(zhí)行MATLAB同時計算，加快大型作業(yè)執(zhí)行速度，節(jié)省運行時間。 MATLAB Distributed Computing Server 支持多個調(diào)度程序：MathWorks 作業(yè)管理器（隨產(chǎn)品提供）或任何其他第三方調(diào)度程序，例如 Platform LSF、Microsoft Windows Compute Cluster Server（CCS）、Altair PBS Pro，以及TORQUE。 使用工具箱中的 Configurations Manager（配置管理器），可

3、以維護指定的設(shè)置，例如調(diào)度程序類型、路徑設(shè)置，以及集群使用政策。通常，僅需更改配置名稱即可在集群間或調(diào)度程序間切換。 MATLAB Distributed Computing Server 會在應(yīng)用程序運行時在基于用戶配置文件的集群上動態(tài)啟用所需的許可證。這樣，管理員便只需在集群上管理一個服務(wù)器許可證，而無需針對每位集群用戶在集群上管理單獨的工具箱和模塊集許可證。作業(yè)（Job）是在MATLAB中大量的操作運算。一個作業(yè)可以分解不同的部分稱為任務(wù)（Task），客戶可以決定如何更好的劃分任務(wù)，各任務(wù)可以相同也可以不同。MALAB中定義并建立作業(yè)及其任務(wù)的會話（Session）被稱為客戶端會話，通常

4、這是在你用來編寫程序那臺機器上進行的?？蛻舳擞貌⑿杏嬎愎ぞ呦鋪矶x和建立作業(yè)及其任務(wù)，MDCE通過計算各個任務(wù)來執(zhí)行作業(yè)并負(fù)責(zé)把結(jié)果返回客戶端。作業(yè)管理器（Job Manager）是MDCE的一個組成部分，用來協(xié)調(diào)各個作業(yè)及其任務(wù)在各個woker上的執(zhí)行。如圖所示，MATLAB客戶端（Client）與調(diào)度或作業(yè)管理器（Sheudler/Jobmanager）和計算節(jié)點（Worker）之間的關(guān)系。2 MATLAB分布式并行計算服務(wù)器配置方法要求參與并行運算的機器matlab版本相同，操作系統(tǒng)可以不同（待考證）。2.1 配置主機2.1.1 Windows防火墻設(shè)置a. 以管理員權(quán)限登陸計算機b.

5、將matlab添加到防火墻，在DOS命令窗口下執(zhí)行以下命令matlabroottoolboxdistcompbinaddMatlabToWindowsFirewall.bat其中matlabroot是指matlab安裝位置，比如在我的計算機里是C:Program FilesMATLABR2013a。若這樣添加兩臺機器依然無法ping通，請將防火墻關(guān)閉，關(guān)閉方法見附錄。2.1.2 配置多用戶電腦若某機器是多用戶的，則需要進行如下配置。目前測試成功的機器不需要這一步，所以這一步暫時可以忽略。a. 編輯配置文檔mdce_def.batmatlabroottoolboxdistcompbinmdce_

6、def.batb. 找到MDCEUSER參數(shù)，按照domainusername的形式進行配置set MDCEUSER=mydomainmyusernamemydomain可以是電腦ip地址，myusername是電腦的用戶名。c. 找到并配置MDCEPASSset MDCEPASS=passwordpassword是電腦的登陸密碼。d. 保存文檔。2.2 關(guān)閉老版本matlab的mdce服務(wù)器配置a. 以必要的權(quán)限打開DOS命令窗口。Win7下開啟方法是以管理員身份運行cmd.exe程序。開始->搜索cmd->以管理員的身份運行。b. 在DOS窗口下打開老版本matlab的目錄，命

7、令是：cd oldmatlabroottoolboxdistcompbinc. 停止老版本的mdce服務(wù)并移除關(guān)聯(lián)文件。命令是：mdce uninstall -cleand. 在所有的worker節(jié)點上重復(fù)以上步奏。2.3 安裝mdce等服務(wù)，配置節(jié)點，開啟MJS、worker2.3.1 安裝和開啟mdce服務(wù)a. 以管理員身份運行cmd.exe。b. 如果matlab沒有安裝在C盤，則需要指定matlab安裝盤。如安裝在D盤，則輸入“D：”c. 輸入mdce服務(wù)命令文件所在目錄，格式是：“cd matlabroottoolboxdistcompbin ”。d. 輸入mdce install

8、安裝mdce服務(wù)。e. 輸入mdce start 開啟mdce 服務(wù)。f. 開啟RPC服務(wù)。開始->搜索->服務(wù)->以管理員身份運行。將下圖紅色圈內(nèi)的兩項服務(wù)開啟并設(shè)為自動開啟。根據(jù)目前測試，該步驟可忽略。2.3.2 配置節(jié)點a. 找到matlab目錄atlabroottoolboxdistcompbin，運行admincenter.bat文件。b. 點擊Add or Find。Add or Find Hosts 對話窗口被打開c. 選擇Enter Hostname or IP Addresses，并輸入?yún)⑴c并行計算的機器的IP地址或主機名稱。d. 點擊OK打開Start m

9、dce service 對話窗口。一直點擊next直到出現(xiàn)start the services，點擊以開啟服務(wù)。若Status欄是紅色，則查看任務(wù)管理器->服務(wù)里 mdced服務(wù)是否是開啟狀態(tài)。若服務(wù)沒有開啟則需要手動開啟服務(wù)。開始->搜索->服務(wù)->以管理員身份運行，找到對應(yīng)的服務(wù)并開啟。e. 點擊 Test connectivity 并查看測試結(jié)果。紅色圈處顯示Passed表示連接測試通過。2.4 開啟MJSa. 在MJS（Matlab Job Scheduler）模塊單擊Start。b. 點擊OK以繼續(xù)。2.5 開啟Workersa. 在Workers模塊點擊St

10、art。b. 在彈出的Start Workers對話框內(nèi)Workers欄輸入每臺機器開啟的Workers數(shù)。該數(shù)目與計算機核數(shù)一直效率最高。c. 選擇要運行Workers的主機。d. 點擊OK以繼續(xù)。此后會初始化Workers，此過程需要幾分鐘時間。3 MDCE server 的使用3.1 找到clustersa. 點擊matlab工具欄Parallel右下角的三角符號，并選擇Discover Clusters.b. 勾選On your network 并按next。c. 選擇之前建立的Cluster并按next。d. 如紅線所示顯示成功后勾選“Set new cluster profile

11、as default”將其作為默認(rèn)設(shè)置，點擊finish。3.2 管理并檢測Cluster配置文件a. 點擊matlab工具欄Parallel右下角的三角符號，并選擇Manage Cluster Profiles。b. 在Cluster Profile欄選擇上一步中設(shè)為默認(rèn)的Profile（紅線處），在Properties欄可以編輯一些屬性，不編輯則使用默認(rèn)屬性。在Validation Results欄可以進行有效性檢測。點擊右下角Validate進行檢測，若通過則如下圖所示。3.3 Monitor Jobsa. 點擊matlab工具欄Parallel右下角的三角符號，并選擇Monitor J

12、obs。b. 在新出現(xiàn)的Job Monitor窗口中選擇默認(rèn)的profile。之后就可以通過此窗口觀察Job的狀態(tài)。3.4 進行并行計算a. 開啟并行。在matlab命令窗口輸入matlabpool open，開啟所有的works。此時Job Monitor窗口會顯示工作狀態(tài)。b. 運行并行程序。c. 關(guān)閉并行。在matlab命令窗口輸入matlabpool close。4 測試結(jié)果4.1 仿真程序 圖 41 示例1 圖 42 示例24.2 仿真參數(shù)兩臺機器，每臺機器開2個Workers，共4個Workers。4.3 仿真結(jié)果表格 41 示例1仿真結(jié)果仿真結(jié)果runtimes無并行仿真時間（S）有并行仿真時間（S）加速比1E80.480.481.001E94.493.681.221E1090.8936.052.521E11913.73362