并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討

并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中運(yùn)用討論內(nèi)容大綱并行計(jì)算技術(shù)集群及相關(guān)技術(shù)網(wǎng)格計(jì)算如何滿足不斷增長的計(jì)算力需求？用速度更快的硬件，也就是減少每一條指令所需時(shí)間優(yōu)化算法〔或者優(yōu)化編譯〕用多個(gè)處置機(jī)(器)同時(shí)處理一個(gè)問題并行計(jì)算串行計(jì)算與并行計(jì)算并行的層次程序級并行子程序級并行語句級并行操作級并行微操作級并行并行粒度粗細(xì)共享內(nèi)存與分布式內(nèi)存P=處置器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備PMP…PMPMS…部分共享內(nèi)存…SPMP…PMP…NodeNode實(shí)現(xiàn)并行計(jì)算的常見方法1、多線程程序2、基于OpenMP的并行程序3、基于音訊傳送的并行程序PVMMPIXPVMXPVM并行計(jì)算環(huán)境簡介PVP〔ParallelVectorProcessor〕運(yùn)用公用向量處置器銀河I，CrayT90，NEC的地球模擬器。。。SMP〔SymmetricMultiprocessor〕同一主板上多個(gè)處置器可以等同訪問共享存儲(chǔ)器、I/O設(shè)備和操作系統(tǒng)效力IBMRS6000。。。Cluster由很多銜接在一同的獨(dú)立計(jì)算機(jī)組成，像一個(gè)單獨(dú)的集成的計(jì)算機(jī)一樣協(xié)同任務(wù)集群的節(jié)點(diǎn)可以是SMP〔或者PVP〕Cluster0，藍(lán)色基因。。。在虛擬天文臺(tái)中的運(yùn)用情形處置實(shí)時(shí)性要求很高的大量觀測數(shù)據(jù)觀測數(shù)據(jù)的并行可視化處置并行數(shù)據(jù)發(fā)掘并行數(shù)據(jù)效力提供。。。。。。集群技術(shù)集群概念最早由IBM于20世紀(jì)60年代提出集群普通由高速網(wǎng)絡(luò)銜接起來的高性能任務(wù)站或PC機(jī)組成。集群在任務(wù)中像一個(gè)一致的整合資源，一切節(jié)點(diǎn)運(yùn)用單一界面。集群 NotaCluster Cluster

集群計(jì)算系統(tǒng)體系構(gòu)造集群相關(guān)技術(shù)網(wǎng)絡(luò)層網(wǎng)絡(luò)互聯(lián)構(gòu)造、通訊協(xié)議、信號技術(shù)等。節(jié)點(diǎn)機(jī)及操作系統(tǒng)層高性能PC或任務(wù)站、分層或基于微內(nèi)核的操作系統(tǒng)等。集群系統(tǒng)管理層資源管理、資源調(diào)度、負(fù)載平衡、并行I/O、平安等。運(yùn)用層并行程序開發(fā)環(huán)境、串行運(yùn)用、并行運(yùn)用等。Cluster0Cluster0是IBM公司目的定位于高性能計(jì)算市場的Linux集群，包括一套完好的處理方案，集成了眾多IBM與非IBM的先進(jìn)的軟硬件技術(shù)，有其特有的技術(shù)優(yōu)勢與強(qiáng)大的效力支持。www-900.ibm/developerWorks/cn/linux/cluster/l-ibm0/index.shtmlCluster0邏輯構(gòu)造Cluster0節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心〕管理節(jié)點(diǎn)IBMeServerxSeries345(1)計(jì)算節(jié)點(diǎn)IBMeServerxSeries335(16)網(wǎng)絡(luò)千兆以太網(wǎng)操作系統(tǒng)RedHatLinux7.3CSM〔ClusterSystemManagement〕CSM是IBM公司開發(fā)，專門用于集群系統(tǒng)管理的中間件，在Cluster0處理方案集成。CSM的設(shè)計(jì)思想與體系構(gòu)造來自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開源的集群管理軟件。還有一些中間件及技術(shù)，雖然不直接為用戶效力，但構(gòu)成了CSM的不可或缺的根底，包括RMC、SRC、RSCT等。CSMCluster0系統(tǒng)管理整個(gè)集群由單一結(jié)點(diǎn)控制一切結(jié)點(diǎn)的開機(jī)、關(guān)機(jī)、形狀查詢顯示遠(yuǎn)程控制臺(tái)安裝操作系統(tǒng)晉級(安裝)各結(jié)點(diǎn)系統(tǒng)及運(yùn)用軟件。。。一個(gè)完好的集群只需一套外置輸入/輸出設(shè)備(鍵盤、鼠標(biāo)、顯示器)Linux集群上可用的義務(wù)調(diào)度系統(tǒng)Mosix〔MulticomputerOperatingSystemforUnIX〕可以自動(dòng)完成節(jié)點(diǎn)間進(jìn)程遷移需求重新編譯Linux內(nèi)核對用戶來說是透明的PBS〔PortableBatchSystem〕由NASA的Ames研討中心開發(fā)為了到達(dá)集群系統(tǒng)整體上的負(fù)載平衡，對各個(gè)節(jié)點(diǎn)上的義務(wù)進(jìn)展調(diào)度，但不進(jìn)展節(jié)點(diǎn)間義務(wù)遷移不需求重新編譯內(nèi)核集群上的運(yùn)用程序〔計(jì)算〕開發(fā)適于開發(fā)基于音訊傳送的并行運(yùn)用程序可以運(yùn)用PVM/MPI步驟：配置并行計(jì)算的編譯與運(yùn)轉(zhuǎn)環(huán)境主要是rsh/ssh設(shè)計(jì)、編寫、編譯程序運(yùn)用PVM/MPI提供的程序庫及編譯環(huán)境部署運(yùn)用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運(yùn)轉(zhuǎn)程序配置高可用集群最大程度地減少效力中斷，而不是容錯(cuò)。HearbeatLVS〔LinuxVirtualSever〕IBM的Tivoli和WebSphere系列軟件……Heartbeat集群LVS集群集群在虛擬天文臺(tái)中的角色高性能計(jì)算構(gòu)成虛擬天文臺(tái)網(wǎng)格環(huán)境中強(qiáng)有力的計(jì)算資源高可用效力在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計(jì)算、調(diào)度等效力網(wǎng)格計(jì)算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations〞OnDemand理想的網(wǎng)格理想的網(wǎng)格ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.Aftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init〞command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataandcomputingpower).WaitingTheResourceBrokerselectstheresources.ReadyTheResourceBrokersubmitsthejobtotheselectedComputingElement(s).ScheduledTheComputingElementdeliversthejobtoitsWorkerNode(s),whichwilldotherealwork.DoneOutputReadyTheoutputismovedtotheResourceBrokerTheusergetshis/heroutputCleared網(wǎng)格計(jì)算環(huán)境例如GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMPGridSMPGridSMPGridCluste