網格計算與PC-FARM的使用

網格計算與PC-FARM的使用王永剛May19,2003主要內容容什么是網網格計算算PC-FARM的結構構PC-FARM的使用用方法一.網格格計算((GridComputing))基本概念念（HistoricalConsideration）高性能計計算(High-PerformanceComputing))>大規(guī)模科科學問題題，象天天氣預報報、地形形分析和和生物制制藥等>存儲和處處理海量量數(shù)據，，象數(shù)據據挖掘、、圖象處處理和基基因測序序高能物理理的事例例重建和和模擬高吞吐計計算(High-throughputComputing)SMP（（SymmetricMulti-Processor）集群（Cluster）系統(tǒng)統(tǒng)與SMP比較高性能集集群網格計算算繼續(xù)集群與SMP的的性能比比較返回網格計算算的特點點網格計算算是一種種高性能能計算網格研究究來源于于美國聯(lián)聯(lián)邦政府府過去十十年來資資助的高高性能計計算科研研項目。。從1992年美國總總統(tǒng)克林林頓提出出“信息息高速公公路”計計劃，開開始了下下一代互互聯(lián)網（（NGI））研究計劃劃。異質網絡絡分布式（（地理上上）21世紀紀的主流流計算技技術Globus網格與中中國網格技術術被稱為為網絡技技術發(fā)展展的第三次浪浪潮。網絡技技術的前前兩次浪浪潮（互互聯(lián)網和和萬維網網），中中國都沒沒有參與與世界上上核心技技術的創(chuàng)創(chuàng)新工作作。我國國的計算算機產業(yè)業(yè)，在總總體上落落后于西西方國家家，一個個重要原原因是““文化大大革命””使我們們錯過了了參與發(fā)發(fā)明網絡絡的前兩兩個浪潮潮。從1969年至至今，互互聯(lián)網發(fā)發(fā)展至今今已經34年了了，出現(xiàn)現(xiàn)了3180個個技術標標準文檔檔（RFC）。我國國科技界界僅參與與了一個個技術標標準文檔檔的制定定。那就就是1996年年3月（（互聯(lián)網網第一個個標準發(fā)發(fā)明27年后，，TCP/IP協(xié)議發(fā)發(fā)明22年后））胡道元元教授牽牽頭制定定的中文文字符編編碼標準準（RFC1922）。從1989年至至今，萬萬維網（（Web）發(fā)展展至今也也近14年了，，出現(xiàn)了了46個個技術標標準，我我國科技技界參與與制定的的技術標標準一個個也沒有有。根據Internet和Web發(fā)展展的歷史史，網格格的重要要技術標準準將在2004--2005出現(xiàn)現(xiàn)。這個個技術將將主導2004-2020年年的信息息技術領領域發(fā)展展趨勢。。網格是中中國計算算機技術術發(fā)展的的一個契契機。國內的網網格項目目VegaGridProject（ICT））ScientificDataGrid((AC))ChineseUniversityGrid((ME))ShandongUniversity，1/12HEPDataGrid(IHEP)國外的網網格項目目美國政府府從十年年前就開開始投資資了，累累計用于于網格技技術的基基礎研究究經費已已近五億億美元。。美國軍方方更為積積極。美美國國防防部已在在規(guī)劃實實施一個個宏大的的網格計計劃，叫叫作“全全球信息息網格””（GlobalInformationGrid），預計在2020年完成。。作為這這個計劃劃的一部部分，美美國海軍軍和海軍軍陸戰(zhàn)隊隊已先期期啟動一一個160億美元的的八年項項目，包包括系統(tǒng)統(tǒng)的研制制、建設設、維護護和升級級。英國政府府已決定定投資1億英鎊于于網格項項目。國外的網網格項目目（續(xù)））國家計算算機科學學聯(lián)盟NPACI（NSF)國家技術術網格NTG（NSF)分布式萬億次級級計算設設施DTF（NSF）IPG--InformationPowerGrid（NASA）ASCIGrid（（DOE)DataGrid（（EU））二.PC-FARM的的結構PC-FARM的結構構（續(xù)））RAID盤，1TB，，7/8的容量量，安全全（兩個個備用盤盤）文件服務務器與其其他主機機以千兆兆位端口口連接，，高吞吐吐量UPS電電源，5000VA，，網絡監(jiān)監(jiān)控Linux支持持的攝像像頭，實實時監(jiān)控控用戶必須須通過hgfarm才才能到達達PC--FARM三.PC-FARM的的使用網格計算算至少需需要具備備三種基基本功能能l任務管理理 用戶戶通過該該功能向向網格提提交任務務、為任任務指定定所需資資源、刪刪除任務務并監(jiān)測測任務的的運行狀狀態(tài)。l任務調度度 用戶戶提交的的任務由由該功能能按照任任務的類類型、所所需資源源、可用用資源等等情況安安排運行行日程和和策略。。l資源管理理 確定定并監(jiān)測測網格資資源狀況況，收集集任務運運行時的的資源占占用數(shù)據據。使用SunONEGridEngine5..3就可以實實現(xiàn)上述述三個功功能。我們的PC-FARM還不是是真正的的網格計計算，只只能算作作網格計計算略低低一級的的形式———集群群計算。。GridEngine的使使用條件在hgfarm上有帳帳號和HOME目錄啟動QMON在你所在在的機器器（比如如hepg15）輸入入以下命命令：sshhgfarmqmon

1.啟啟動QMON主主界面每個按鈕鈕的說明明（1））轉到作業(yè)業(yè)控制窗窗口每個按鈕鈕的說明明（2））每個按鈕鈕的說明明（3））2.提提交作業(yè)業(yè)腳本示例例運行廣延延大氣簇簇射模擬擬程序corsika目錄/home/wangyg/corsika可執(zhí)行文文件為qgsjet（不能直接接提交））腳本run01.sh:1 #!!/bin//bash2cd~/corsika3 .//qgsjet<./inputs0014 書寫SHELL腳本不要有后后臺運行行符號（（&）末尾最好好有一空空白行擴展的選選項1 #!!/bin//bash#$--S//bin/bash3 #$$-cwd~/corsika4 #$$-Nrun015cd~/corsika6 .//qgsjet<./inputs0017SHELL編程程幾種SHELLBASH、CSH、KSH、、TCSH指定輸出出文件3.作作業(yè)控制制檢查作業(yè)業(yè)運行狀狀態(tài)第一種方方法：啟動JobControl窗口第二種方方法：命令行作業(yè)控制制窗口顯示作業(yè)業(yè)運行狀狀態(tài)的命命令登錄到hgfarm，，運行qstat––f結果：[wangyg@hgfarmwangyg]$qstat-fqueuenameqtypeused/tot.load_avgarchstates-----------------------------------------------------------------------------------------------------hgfarm0.qBIP1/20.67glinux710corsika-ruwangygr05/14/200310:44:20MASTER-----------------------------------------------------------------------------------------------------hgfarm1.qBIP1/20.51glinux760run06.shwangygr05/14/200310:45:36MASTER-----------------------------------------------------------------------------------------------------hgfarm2.qBIP1/20.53glinux750run05.shwangygr05/14/200310:45:20MASTER-----------------------------------------------------------------------------------------------------hgfarm3.qBIP1/20.62glinux720run02.shwangygr05/14/200310:44:35MASTER-----------------------------------------------------------------------------------------------------hgfarm4.qBIP1/20.55glinux740run04.shwangygr05/14/200310:45:05MASTER-----------------------------------------------------------------------------------------------------hgfarm5.qBIP2/20.61glinux730run03.shwangygr