并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討課件

并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討1內(nèi)容大綱并行計算技術(shù)集群及相關(guān)技術(shù)網(wǎng)格計算內(nèi)容大綱并行計算技術(shù)2如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每一條指令所需時間優(yōu)化算法（或者優(yōu)化編譯）用多個處理機(器)同時解決一個問題并行計算如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每3串行計算與并行計算串行計算與并行計算4并行的層次程序級并行子程序級并行語句級并行操作級并行微操作級并行并行粒度粗細并行的層次程序級并行并行粒度粗細5共享內(nèi)存與分布式內(nèi)存P=處理器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備PMP…PMPMS…共享內(nèi)存與分布式內(nèi)存P=處理器PMP…PMPMS…6局部共享內(nèi)存…SPMP…PMP…NodeNode局部共享內(nèi)存…SPMP…PMP…NodeNode7實現(xiàn)并行計算的常見方法1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI實現(xiàn)并行計算的常見方法1、多線程程序8XPVMXPVM9XPVMXPVM10并行計算環(huán)境簡介PVP（ParallelVectorProcessor）使用專用向量處理器銀河I，CrayT90，NEC的地球模擬器。。。SMP（SymmetricMultiprocessor）同一主板上多個處理器可以等同訪問共享存儲器、I/O設(shè)備和操作系統(tǒng)服務(wù)IBMRS6000。。。Cluster由很多連接在一起的獨立計算機組成，像一個單獨的集成的計算機一樣協(xié)同工作集群的節(jié)點可以是SMP（或者PVP）Cluster1350，藍色基因。。。并行計算環(huán)境簡介PVP（ParallelVectorPr11在虛擬天文臺中的應(yīng)用情形處理實時性要求很高的大量觀測數(shù)據(jù)觀測數(shù)據(jù)的并行可視化處理并行數(shù)據(jù)挖掘并行數(shù)據(jù)服務(wù)提供。。。。。。在虛擬天文臺中的應(yīng)用情形處理實時性要求很高的大量觀測數(shù)據(jù)12集群技術(shù)集群概念最早由IBM于20世紀60年代提出集群一般由高速網(wǎng)絡(luò)連接起來的高性能工作站或PC機組成。集群在工作中像一個統(tǒng)一的整合資源，所有節(jié)點使用單一界面。集群技術(shù)集群概念最早由IBM于20世紀60年代提出13集群

NotaCluster Cluster

集群 NotaCluster 14集群計算系統(tǒng)體系結(jié)構(gòu)集群計算系統(tǒng)體系結(jié)構(gòu)15集群相關(guān)技術(shù)網(wǎng)絡(luò)層網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號技術(shù)等。節(jié)點機及操作系統(tǒng)層高性能PC或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。集群系統(tǒng)管理層資源管理、資源調(diào)度、負載平衡、并行I/O、安全等。應(yīng)用層并行程序開發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。集群相關(guān)技術(shù)網(wǎng)絡(luò)層16Cluster1350Cluster1350是IBM公司目標定位于高性能計算市場的Linux集群，包括一套完整的解決方案，集成了眾多IBM與非IBM的先進的軟硬件技術(shù)，有其特有的技術(shù)優(yōu)勢與強大的服務(wù)支持。Cluster1350Cluster1350是IBM公司目標17Cluster1350邏輯結(jié)構(gòu)Cluster1350邏輯結(jié)構(gòu)18Cluster1350節(jié)點硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心）管理節(jié)點IBMeServerxSeries345(1)計算節(jié)點IBMeServerxSeries335(16)網(wǎng)絡(luò)千兆以太網(wǎng)操作系統(tǒng)RedHatLinux7.3Cluster1350節(jié)點硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IB19CSM（ClusterSystemManagement）CSM是IBM公司開發(fā)，專門用于集群系統(tǒng)管理的中間件，在Cluster1350解決方案集成。CSM的設(shè)計思想與體系結(jié)構(gòu)來自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開源的集群管理軟件。還有一些中間件及技術(shù)，雖然不直接為用戶服務(wù)，但構(gòu)成了CSM的不可或缺的基礎(chǔ)，包括RMC、SRC、RSCT等。CSM（ClusterSystemManagement）20CSMCSM21Cluster1350系統(tǒng)管理整個集群由單一結(jié)點控制所有結(jié)點的開機、關(guān)機、狀態(tài)查詢顯示遠程控制臺安裝操作系統(tǒng)升級(安裝)各結(jié)點系統(tǒng)及應(yīng)用軟件。。。一個完整的集群只需一套外置輸入/輸出設(shè)備(鍵盤、鼠標、顯示器)Cluster1350系統(tǒng)管理整個集群由單一結(jié)點控制22Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix（MulticomputerOperatingSystemforUnIX）可以自動完成節(jié)點間進程遷移需要重新編譯Linux內(nèi)核對用戶來說是透明的PBS（PortableBatchSystem）由NASA的Ames研究中心開發(fā)為了達到集群系統(tǒng)整體上的負載平衡，對各個節(jié)點上的任務(wù)進行調(diào)度，但不進行節(jié)點間任務(wù)遷移不需要重新編譯內(nèi)核Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix（Multic23集群上的應(yīng)用程序（計算）開發(fā)適于開發(fā)基于消息傳遞的并行應(yīng)用程序可以使用PVM/MPI步驟：配置并行計算的編譯與運行環(huán)境主要是rsh/ssh設(shè)計、編寫、編譯程序使用PVM/MPI提供的程序庫及編譯環(huán)境部署應(yīng)用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運行程序集群上的應(yīng)用程序（計算）開發(fā)適于開發(fā)基于消息傳遞的并行應(yīng)用程24配置高可用集群最大程度地減少服務(wù)中斷，而不是容錯。HearbeatLVS（LinuxVirtualSever）IBM的Tivoli和WebSphere系列軟件……配置高可用集群最大程度地減少服務(wù)中斷，而不是容錯。25Heartbeat集群Heartbeat集群26LVS集群LVS集群27集群在虛擬天文臺中的角色高性能計算構(gòu)成虛擬天文臺網(wǎng)格環(huán)境中強有力的計算資源高可用服務(wù)在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計算、調(diào)度等服務(wù)集群在虛擬天文臺中的角色高性能計算28網(wǎng)格計算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”網(wǎng)格計算“Resourcesharing&c29OnDemandOnDemand30理想的網(wǎng)格理想的網(wǎng)格31理想的網(wǎng)格理想的網(wǎng)格32ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.ThepictureabovedescribesaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataandcomputingpower).WaitingAftercreatingaproxyprocessTheResourceBrokerselectstheresources.ReadyTheResourceBrokersubmitsthejobtotheselectedComputingElement(s).ScheduledTheComputingElementdeliversthejobtoitsWorkerNode(s),whichwilldotherealwork.DoneTheResourceBrokerselectsthOutputReadyTheoutputismovedtotheResourceBrokerOutputReadyTheoutputismoveTheusergetshis/heroutputClearedTheusergetshis/heroutputCl網(wǎng)格計算環(huán)境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMPGridSMPGridSMPGridClusterClusterClusterSMPGridClusterGridGridGridLANSiteASiteBSiteCUI/APIGridUI/APIGridLAN網(wǎng)格計算環(huán)境示例GridWANClusterGridSMPG38結(jié)束語虛擬天文臺將構(gòu)筑于網(wǎng)格環(huán)境之上集群將構(gòu)成網(wǎng)格環(huán)境中強有力的計算與服務(wù)支撐平臺并行計算將為具體事務(wù)處理提供技術(shù)與手段上支持結(jié)束語虛擬天文臺將構(gòu)筑于網(wǎng)格環(huán)境之上39Thanks!Thanks!40并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討41內(nèi)容大綱并行計算技術(shù)集群及相關(guān)技術(shù)網(wǎng)格計算內(nèi)容大綱并行計算技術(shù)42如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每一條指令所需時間優(yōu)化算法（或者優(yōu)化編譯）用多個處理機(器)同時解決一個問題并行計算如何滿足不斷增長的計算力需求？用速度更快的硬件，也就是減少每43串行計算與并行計算串行計算與并行計算44并行的層次程序級并行子程序級并行語句級并行操作級并行微操作級并行并行粒度粗細并行的層次程序級并行并行粒度粗細45共享內(nèi)存與分布式內(nèi)存P=處理器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備PMP…PMPMS…共享內(nèi)存與分布式內(nèi)存P=處理器PMP…PMPMS…46局部共享內(nèi)存…SPMP…PMP…NodeNode局部共享內(nèi)存…SPMP…PMP…NodeNode47實現(xiàn)并行計算的常見方法1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI實現(xiàn)并行計算的常見方法1、多線程程序48XPVMXPVM49XPVMXPVM50并行計算環(huán)境簡介PVP（ParallelVectorProcessor）使用專用向量處理器銀河I，CrayT90，NEC的地球模擬器。。。SMP（SymmetricMultiprocessor）同一主板上多個處理器可以等同訪問共享存儲器、I/O設(shè)備和操作系統(tǒng)服務(wù)IBMRS6000。。。Cluster由很多連接在一起的獨立計算機組成，像一個單獨的集成的計算機一樣協(xié)同工作集群的節(jié)點可以是SMP（或者PVP）Cluster1350，藍色基因。。。并行計算環(huán)境簡介PVP（ParallelVectorPr51在虛擬天文臺中的應(yīng)用情形處理實時性要求很高的大量觀測數(shù)據(jù)觀測數(shù)據(jù)的并行可視化處理并行數(shù)據(jù)挖掘并行數(shù)據(jù)服務(wù)提供。。。。。。在虛擬天文臺中的應(yīng)用情形處理實時性要求很高的大量觀測數(shù)據(jù)52集群技術(shù)集群概念最早由IBM于20世紀60年代提出集群一般由高速網(wǎng)絡(luò)連接起來的高性能工作站或PC機組成。集群在工作中像一個統(tǒng)一的整合資源，所有節(jié)點使用單一界面。集群技術(shù)集群概念最早由IBM于20世紀60年代提出53集群

NotaCluster Cluster

集群 NotaCluster 54集群計算系統(tǒng)體系結(jié)構(gòu)集群計算系統(tǒng)體系結(jié)構(gòu)55集群相關(guān)技術(shù)網(wǎng)絡(luò)層網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號技術(shù)等。節(jié)點機及操作系統(tǒng)層高性能PC或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。集群系統(tǒng)管理層資源管理、資源調(diào)度、負載平衡、并行I/O、安全等。應(yīng)用層并行程序開發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。集群相關(guān)技術(shù)網(wǎng)絡(luò)層56Cluster1350Cluster1350是IBM公司目標定位于高性能計算市場的Linux集群，包括一套完整的解決方案，集成了眾多IBM與非IBM的先進的軟硬件技術(shù)，有其特有的技術(shù)優(yōu)勢與強大的服務(wù)支持。Cluster1350Cluster1350是IBM公司目標57Cluster1350邏輯結(jié)構(gòu)Cluster1350邏輯結(jié)構(gòu)58Cluster1350節(jié)點硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心）管理節(jié)點IBMeServerxSeries345(1)計算節(jié)點IBMeServerxSeries335(16)網(wǎng)絡(luò)千兆以太網(wǎng)操作系統(tǒng)RedHatLinux7.3Cluster1350節(jié)點硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IB59CSM（ClusterSystemManagement）CSM是IBM公司開發(fā)，專門用于集群系統(tǒng)管理的中間件，在Cluster1350解決方案集成。CSM的設(shè)計思想與體系結(jié)構(gòu)來自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開源的集群管理軟件。還有一些中間件及技術(shù)，雖然不直接為用戶服務(wù)，但構(gòu)成了CSM的不可或缺的基礎(chǔ)，包括RMC、SRC、RSCT等。CSM（ClusterSystemManagement）60CSMCSM61Cluster1350系統(tǒng)管理整個集群由單一結(jié)點控制所有結(jié)點的開機、關(guān)機、狀態(tài)查詢顯示遠程控制臺安裝操作系統(tǒng)升級(安裝)各結(jié)點系統(tǒng)及應(yīng)用軟件。。。一個完整的集群只需一套外置輸入/輸出設(shè)備(鍵盤、鼠標、顯示器)Cluster1350系統(tǒng)管理整個集群由單一結(jié)點控制62Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix（MulticomputerOperatingSystemforUnIX）可以自動完成節(jié)點間進程遷移需要重新編譯Linux內(nèi)核對用戶來說是透明的PBS（PortableBatchSystem）由NASA的Ames研究中心開發(fā)為了達到集群系統(tǒng)整體上的負載平衡，對各個節(jié)點上的任務(wù)進行調(diào)度，但不進行節(jié)點間任務(wù)遷移不需要重新編譯內(nèi)核Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix（Multic63集群上的應(yīng)用程序（計算）開發(fā)適于開發(fā)基于消息傳遞的并行應(yīng)用程序可以使用PVM/MPI步驟：配置并行計算的編譯與運行環(huán)境主要是rsh/ssh設(shè)計、編寫、編譯程序使用PVM/MPI提供的程序庫及編譯環(huán)境部署應(yīng)用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運行程序集群上的應(yīng)用程序（計算）開發(fā)適于開發(fā)基于消息傳遞的并行應(yīng)用程64配置高可用集群最大程度地減少服務(wù)中斷，而不是容錯。HearbeatLVS（LinuxVirtualSever）IBM的Tivoli和WebSphere系列軟件……配置高可用集群最大程度地減少服務(wù)中斷，而不是容錯。65Heartbeat集群Heartbeat集群66LVS集群LVS集群67集群在虛擬天文臺中的角色高性能計算構(gòu)成虛擬天文臺網(wǎng)格環(huán)境中強有力的計算資源高可用服務(wù)在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計算、調(diào)度等服務(wù)集群在虛擬天文臺中的角色高性能計算68網(wǎng)格計算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”網(wǎng)格計算“Resourcesharing&c69OnDemandOnDemand70理想的網(wǎng)格理想的網(wǎng)格71理想的網(wǎng)格理想的網(wǎng)格72ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.ThepictureabovedescribesaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriesthe