網(wǎng)格計算與PCFARM的使用

網(wǎng)格計算與PC-FARM的運用王永剛May19,2003主要內容什么是網(wǎng)格計算PC-FARM的構造PC-FARM的運用方法一.網(wǎng)格計算(GridComputing)根本概念〔HistoricalConsideration〕 高性能計算(High-PerformanceComputing) >大規(guī)模科學問題，象天氣預告、地形分析和生物制藥等 >存儲和處置海量數(shù)據(jù)，象數(shù)據(jù)發(fā)掘、圖象處置和基因測序 高能物理的事例重建和模擬 高吞吐計算(High-throughputComputing) SMP〔SymmetricMulti-Processor〕 集群〔Cluster〕系統(tǒng) 與SMP比較 高性能集群 網(wǎng)格計算 繼續(xù)集群與SMP的性能比較前往網(wǎng)格計算的特點網(wǎng)格計算是一種高性能計算 網(wǎng)格研討來源于美國聯(lián)邦政府過去十年來資助的高性能計算科研工程。從1992年美國總統(tǒng)克林頓提出“信息高速公路〞方案，開場了下一代互聯(lián)網(wǎng)〔NGI〕研討方案。異質網(wǎng)絡分布式〔地理上〕21世紀的主流計算技術 Globus網(wǎng)格與中國網(wǎng)格技術被稱為網(wǎng)絡技術開展的第三次浪潮。網(wǎng)絡技術的前兩次浪潮〔互聯(lián)網(wǎng)和萬維網(wǎng)〕，中國都沒有參與世界上中心技術的創(chuàng)新任務。我國的計算機產業(yè)，在總體上落后于西方國家，一個重要緣由是“文化大革命〞使我們錯過了參與發(fā)明網(wǎng)絡的前兩個浪潮。從1969年至今，互聯(lián)網(wǎng)開展至今曾經(jīng)34年了，出現(xiàn)了3180個技術規(guī)范文檔〔RFC〕。我國科技界僅參與了一個技術規(guī)范文檔的制定。那就是1996年3月〔互聯(lián)網(wǎng)第一個規(guī)范發(fā)明27年后，TCP/IP協(xié)議發(fā)明22年后〕胡道元教授牽頭制定的中文字符編碼規(guī)范〔RFC1922〕。從1989年至今，萬維網(wǎng)〔Web〕開展至今也近14年了，出現(xiàn)了46個技術規(guī)范，我國科技界參與制定的技術規(guī)范一個也沒有。根據(jù)Internet和Web開展的歷史，網(wǎng)格的重要技術規(guī)范將在2004-2005出現(xiàn)。這個技術將主導2004-2020年的信息技術領域開展趨勢。網(wǎng)格是中國計算機技術開展的一個契機。國內的網(wǎng)格工程VegaGridProject〔ICT〕ScientificDataGrid(AC)ChineseUniversityGrid(ME) ShandongUniversity，1/12HEPDataGrid(IHEP)國外的網(wǎng)格工程美國政府從十年前就開場投資了，累計用于網(wǎng)格技術的根底研討經(jīng)費已近五億美圓。美國軍方更為積極。美國國防部已在規(guī)劃實施一個宏大的網(wǎng)格方案，叫作“全球信息網(wǎng)格〞〔GlobalInformationGrid〕，估計在2020年完成。作為這個方案的一部分，美國海軍和海軍陸戰(zhàn)隊已先期啟動一個160億美圓的八年工程，包括系統(tǒng)的研制、建立、維護和晉級。英國政府已決議投資1億英鎊于網(wǎng)格工程。國外的網(wǎng)格工程〔續(xù)〕國家計算機科學聯(lián)盟NPACI〔NSF)國家技術網(wǎng)格NTG〔NSF)分布式萬億次級計算設備DTF〔NSF〕IPG-InformationPowerGrid〔NASA〕ASCIGrid〔DOE)DataGrid〔EU〕二.PC-FARM的構造PC-FARM的構造〔續(xù)〕RAID盤，1TB，7/8的容量，平安〔兩個備用盤〕文件效力器與其他主機以千兆位端口銜接，高吞吐量UPS電源，5000VA，網(wǎng)絡監(jiān)控Linux支持的攝像頭，實時監(jiān)控用戶必需經(jīng)過hgfarm才干到達PC-FARM三.PC-FARM的運用網(wǎng)格計算至少需求具備三種根本功能 l

義務管理 用戶經(jīng)過該功能向網(wǎng)格提交義務、為義務指定所需資源、刪除義務并監(jiān)測義務的運轉形狀。 l

義務調度 用戶提交的義務由該功能按照義務的類型、所需資源、可用資源等情況安排運轉日程和戰(zhàn)略。 l

資源管理 確定并監(jiān)測網(wǎng)格資源情況，搜集義務運轉時的資源占用數(shù)據(jù)。運用SunONEGridEngine5.3就可以實現(xiàn)上述三個功能。我們的PC-FARM還不是真正的網(wǎng)格計算，只能算作網(wǎng)格計算略低一級的方式——集群計算。GridEngine的運用條件 在hgfarm上有帳號和HOME目錄啟動QMON在他所在的機器〔比如hepg15〕輸入以下命令： sshhgfarmqmon

1.啟動QMON主界面每個按鈕的闡明〔1〕轉到作業(yè)控制窗口每個按鈕的闡明〔2〕每個按鈕的闡明〔3〕2.提交作業(yè)腳本例如運轉廣延大氣簇射模擬程序corsika目錄/home/wangyg/corsika可執(zhí)行文件為qgsjet〔不能直接提交〕腳本run01.sh: 1 #!/bin/bash2 cd~/corsika3 ./qgsjet<./inputs0014 書寫SHELL腳本不要有后臺運轉符號〔&〕末尾最好有一空白行擴展的選項1 #!/bin/bash#$-S/bin/bash3 #$-cwd~/corsika4 #$-Nrun015 cd~/corsika6 ./qgsjet<./inputs0017SHELL編程幾種SHELL BASH、CSH、KSH、TCSH指定輸出文件3.作業(yè)控制檢查作業(yè)運轉形狀第一種方法：啟動JobControl窗口第二種方法：命令行作業(yè)控制窗口顯示作業(yè)運轉形狀的命令登錄到hgfarm，運轉qstat–f結果： [wangyg@hgfarmwangyg]$qstat-f queuenameqtypeused/tot.load_avgarchstates ---------------------------------------------------------------------------- hgfarm0.qBIP1/20.67glinux 710corsika-ruwangygr05/14/200310:44:20MASTER ---------------------------------------------------------------------------- hgfarm1.qBIP1/20.51glinux 760run06.shwangygr05/14/200310:45:36MASTER ---------------------------------------------------------------------------- hgfarm2.qBIP1/20.53glinux 750run05.shwangygr05/14/200310:45:20MASTER ---------------------------------------------------------------------------- hgfarm3.qBIP1/20.62glinux 720run02.shwangygr05/14/200310:44:35MASTER ---------------------------------------------------------------------------- hgfarm4.qBIP1/20.55glinux 740run04.shwangygr05/14/200310:45:05MASTER ---------------------------------------------------------------------------- hgfarm5.qBIP2/20.61glinux 730run03.shwangygr05/14/200310:44:50MASTE