LCG計(jì)算系統(tǒng)用戶知識(shí)講座

1、LCG計(jì)算系統(tǒng)和北京站點(diǎn)狀況2005/01/281報(bào)告內(nèi)容過(guò)去高能物理的合作模式及問(wèn)題。LHC實(shí)驗(yàn)及LCG網(wǎng)格系統(tǒng)的目的。LCG系統(tǒng)的軟件及當(dāng)前運(yùn)行狀況。LCG的體系結(jié)構(gòu)。LCG北京站點(diǎn)組成與運(yùn)行情況。中國(guó)高能物理的認(rèn)證中心和VO。高能物理的網(wǎng)格計(jì)算環(huán)境設(shè)想?？偨Y(jié)2過(guò)去高能物理計(jì)算模式及問(wèn)題3過(guò)去高能物理合作中的問(wèn)題20年來(lái)的高能物理分布式計(jì)算的經(jīng)驗(yàn)（production manager)。 - 在資源提供站點(diǎn)建立賬號(hào)（非常有經(jīng)驗(yàn)的人員共享）。 - 建立quota（由合作委員會(huì)商定）。 - 程序環(huán)境F77、Cernlib、IOlib，基本上沒有其他的軟件。 - 數(shù)據(jù)（tape，offline）

2、。存在的問(wèn)題 - 協(xié)商本身存在問(wèn)題：改變用戶、增加資源。 - 僅有很少的高級(jí)人員可以訪問(wèn)這些分布式的資源。因此，它不適合于LHC的計(jì)算模式。4LHC計(jì)算合作的特點(diǎn)CMS、ATLAS、ALICE和LHCb當(dāng)前世界上最大的粒子物理實(shí)驗(yàn)。于2007年正式投入運(yùn)行，每年將產(chǎn)生1214PetaBytes數(shù)據(jù)，相當(dāng)于2千萬(wàn)張CDs。需要70000個(gè)當(dāng)前最新的處理器。當(dāng)前，任何一個(gè)實(shí)驗(yàn)室都很難承擔(dān)建造和運(yùn)行這樣大的計(jì)算系統(tǒng)資金投入、策略、技術(shù)和人員。已經(jīng)非常了解問(wèn)題所在，并積累了許多分布式的MC和重建方面的經(jīng)驗(yàn)。已經(jīng)建立了良好的合作關(guān)系。事例互相獨(dú)立大量作業(yè)是批作業(yè)，SpecInt更重要。合作便成為唯一的解

3、決方案LCG結(jié)構(gòu)圖。5Tier2 CenterOnline SystemCERN Computer Center 20 TIPSUSA CenterFrance Center Italy Center UK Center InstituteInstituteInstituteInstitute 0.25TIPS100 MBytes/sec100 - 1000 Mbits/secHPSSHPSSPhysicists work on analysis “channels”.Each institute has 10 physicists working on one or more channel

4、sPhysics data cachePBytes/sec2.5 Gbits/secHPSSHPSSHPSSTier2 CenterTier2 CenterTier2 Center622 Mbits/secTier 0 +1Tier 3Tier 4Tier2 Center Tier 2ExperimentCERN/Outside Resource Ratio 1:2Tier0/( Tier1)/( Tier2) 1:1:16LCG系統(tǒng)軟件及運(yùn)行狀態(tài)7LCG的軟件當(dāng)前狀態(tài)：LCG0LCG1LCG2 （lcg2_3_0）（DataGrid）。最終目標(biāo)：LCG3LCG4LCG5 （EGEE）。軟件：

5、 - VDT (Globus 2.4, Globus3.0）。 - DataGrid （WP1, WP2, WP3, , WP12）。 - LCG：解決了作業(yè)管理器與文件系統(tǒng)的問(wèn)題， 為了保持最新的資源信息增加了 BDII LDAP ， 增強(qiáng)了Globus gateway的功能 (如，記賬、日志，)，剔除了許多EDG and Globus/VDT問(wèn)題，提供了通過(guò)SRM和GFAL對(duì)數(shù)據(jù)的訪問(wèn)。8站點(diǎn)的情況參加LCG計(jì)算的有31個(gè)國(guó)家。站點(diǎn)數(shù)達(dá)到95個(gè)?？偟腃PU數(shù)達(dá)到9528個(gè)世界上最大的計(jì)算機(jī)系統(tǒng)。9LCG系統(tǒng)的體系結(jié)構(gòu)10LCG的體系結(jié)構(gòu)安全的信任基礎(chǔ)設(shè)施。信息系統(tǒng)。數(shù)據(jù)管理。工作流程。11

6、安全信任基礎(chǔ)GSIGrid Security Infrastructure - 身份認(rèn)證與授權(quán)。 - 基于PKI X.509（Public Key Infrastructure）。身份認(rèn)證你說(shuō)你是誰(shuí)你就是誰(shuí)！授權(quán)確定你可以做什么！認(rèn)證中心CA - 為用戶和服務(wù)簽發(fā)證書（certificate）：X.509+extension。 - 證書策略和說(shuō)明CP/CPS。 - 站點(diǎn)決定接受那些CA簽發(fā)的證書：維護(hù)CAs列表和更新CRLs。12X.509用戶證書+私有密鑰Proxy證書（生命期有限，委托等特征）。對(duì)于長(zhǎng)的作業(yè)，需要MyProxy支持。13授權(quán)VO - 每一個(gè)實(shí)驗(yàn)有一個(gè)虛擬組織(cms，atl

7、as)。實(shí)際上是運(yùn)行一個(gè)LDAP服務(wù)器。 - 定期地發(fā)布用戶的subject。用戶需要注冊(cè)到自己的VO。站點(diǎn)提供資源。 - 屬于什么VO？ - pool accounts。 - 按照用戶屬于的VO，將其map到pool account。 - LCAS本地授權(quán)策略。VOMS將替代LDAP，提供role功能。14GIS基于Globus的MDS（Monitoring and Discovery System） - 有關(guān)資源及其狀態(tài)、可訪問(wèn)性等信息。 - 信息包括靜態(tài)和動(dòng)態(tài)信息兩種：CPU（dynamic）、站點(diǎn)名字（static)、通過(guò)LDAP系統(tǒng)訪問(wèn)。模式（schema）由GLUE（Grid La

8、b. for Uniform Environment）。 - 用戶可以通過(guò)Ldap的客戶程序（ldapsearch）來(lái)查詢。分級(jí)的系統(tǒng)。 - 資源由GRIS 發(fā)布。 - 站點(diǎn)的信息由GIIS從GRIS收集。 - GIIS注冊(cè)到區(qū)域的GIIS。 - 最高級(jí)是一個(gè)BDII。15數(shù)據(jù)管理基本的協(xié)議Grid and parallel ftp)。對(duì)存儲(chǔ)系統(tǒng)的接口是SRM（Storage resource mgt.)。RLS跟蹤文件的位置。 - 提供邏輯文件名和物理文件的映射。 - 一個(gè)VO一個(gè)RLS。RM（Replica Manager） - 文件移動(dòng)、復(fù)制基本的工具。 - 建立在RLS之上。GFAL（

9、Grid Lib.）提供透明的用戶訪問(wèn)。16Replica Location Service用戶來(lái)命名文件的邏輯名字或aliases。RMC（replica Metadata catalog)存放LFN和GUID（Global Unique ID）。RLI（replica location index）知道LRC（local replica catalog）。LRC 知道GUID和SRM需要的名字間的映射。SRM知道處理存儲(chǔ)系統(tǒng)。17工作流程服務(wù)將資源和作業(yè)連接起來(lái)。 - RB節(jié)點(diǎn)上 - 跟蹤作業(yè)的狀態(tài)(LBS)。 - 與CE上的Globus Gatekeeper和資源管理器交互。 - 將作業(yè)

10、與站點(diǎn)匹配，提交作業(yè)。 - 假如失敗，重新提交。使用許多服務(wù)：IS，RLS，GSI用戶提交的作業(yè)描述。18Grid組件1920工作流程圖示21LCG北京站點(diǎn)的組成及運(yùn)行狀況22LCG北京站點(diǎn)組成CE,SE,RB,BDII,Myproxy,UI,MON23LCG北京站點(diǎn)的運(yùn)行狀況24中國(guó)高能物理認(rèn)證中心25IhepGrid Mon-Sys26HEP VO和RLS運(yùn)行一個(gè)LDAP服務(wù)器，管理高能物理用戶的subjects。提供高能物理站點(diǎn)資源的授權(quán)策略。VOMS將成為我們的授權(quán)管理系統(tǒng)。RLS維護(hù)高能物理文件元信息系統(tǒng)。27計(jì)算從集中-分散-新的集中。高速網(wǎng)絡(luò)的發(fā)展：遠(yuǎn)程計(jì)算與本地計(jì)算差別消失。計(jì)

11、算成為國(guó)家的信息基礎(chǔ)設(shè)施：計(jì)算資源的共享成為必然，計(jì)算將成為公用設(shè)施。建立在網(wǎng)格基礎(chǔ)上的虛擬實(shí)驗(yàn)技術(shù)將進(jìn)一步發(fā)展。高能物理將是E-science的一個(gè)主要技術(shù)促進(jìn)者、開發(fā)者和受益者。中國(guó)高能網(wǎng)格站點(diǎn)（e-science site）2000最新的CPUs,10PetaBytes存儲(chǔ)，10Gb網(wǎng)絡(luò)連接的大型計(jì)算設(shè)施。E-science與高能物理研究28未來(lái)中國(guó)高能物理網(wǎng)格設(shè)想BESOn line systemOffline processor farmYBJCERN CMS & ATLASIHEP Computer CenterpkuCASTORPhysics data cacheTier 1Tier 2Tier 3All data from experimentsGoes to IHEP Computing Center This diagram onlyShows HEPD