Linux系統(tǒng)管理和作業(yè)提交

1、計(jì)算決定未來(lái)Linux基礎(chǔ)培訓(xùn)鞏固作業(yè)提交2014年12月14日計(jì)算決定未來(lái)1.對(duì)本文檔的任何使用都被視為完全理解并接受本文檔列舉的所有法律條款。2.本文檔的所有權(quán)利歸作者所有，作者保留所有權(quán)利。3.未經(jīng)作者書(shū)面同意，禁止任何形式的商業(yè)使用。商業(yè)使用形式包括但不限于出版、復(fù)制、傳播、展示、引用、編輯。4.本文檔允許以學(xué)術(shù)研究、技術(shù)交流為目的使用。復(fù)制、傳播過(guò)程中不得對(duì)本文檔作任何增減編輯，引用時(shí)需注明出處。5.實(shí)施任何侵權(quán)行為的法人或自然人都必須向作者支付賠償金，賠償金計(jì)算方法為： 賠償金 = 涉案人次涉案時(shí)長(zhǎng)（天）涉案文檔份數(shù)受眾人次100元人民幣，涉案人次、涉案時(shí)長(zhǎng)、涉案文檔份數(shù)、受眾人次

2、小于1時(shí)，按1計(jì)算。6.對(duì)舉報(bào)侵權(quán)行為、提供有價(jià)值證據(jù)的自然人或法人，作者承諾獎(jiǎng)勵(lì)案件實(shí)際賠償金的50%.7.涉及本文檔的法律糾紛由作者所在地法院裁決。8.本文檔所列舉法律條款的最終解釋權(quán)歸作者所有。法律條款計(jì)算決定未來(lái)培訓(xùn)目的n 鞏固Linux操作系統(tǒng)基本使用n 了解Linux系統(tǒng)常用管理n 掌握作業(yè)提交技能計(jì)算決定未來(lái)培訓(xùn)結(jié)構(gòu)第一部分 Linux基礎(chǔ)鞏固第二部 Linux常用管理第三部分 作業(yè)提交計(jì)算決定未來(lái)Linux基礎(chǔ)回顧計(jì)算決定未來(lái)磁盤(pán)分區(qū)/根目錄 /root 超級(jí)用戶(hù)主目錄 /bin基本命令/bootkernel 和boot配置文件 /etc各種配置文件/usr用戶(hù)程序 /opt-

3、 附加的應(yīng)用軟件包/home用戶(hù)目錄 /mnt- 設(shè)備/文件系統(tǒng)掛載點(diǎn)/tmp臨時(shí)文件/var可變信息區(qū)（file spool,logs,requests,mail,etc.)/proc進(jìn)程信息 /dev設(shè)備 /sbin系統(tǒng)管理員執(zhí)行程序 /lib- 基本的共享庫(kù)和核心模塊計(jì)算決定未來(lái)Linux常用管理第一章 Linux系統(tǒng)的用戶(hù)權(quán)限管理第二章 Linux系統(tǒng)的進(jìn)程管理第三章 Linux系統(tǒng)的網(wǎng)絡(luò)配置2021-7-219/101Linux操作系統(tǒng)管理n 用戶(hù)（user）的概念 Linux 是真正意義上的多用戶(hù)操作系統(tǒng)，Linux系統(tǒng)中可建若干用戶(hù)(user),在Linux系統(tǒng)中的一些用戶(hù)是用來(lái)

4、完成特定任務(wù)的。n 用戶(hù)組（group）的概念用戶(hù)組（group）就是具有相同特征的用戶(hù)（user）的集合體；比如有時(shí)要讓多個(gè)用戶(hù)具有相同的權(quán)限，比如查看、修改某一文件或執(zhí)行某個(gè)命令，這時(shí)需要用戶(hù)組，把用戶(hù)都定義到同一用戶(hù)組，通過(guò)修改文件或目錄的權(quán)限，讓用戶(hù)組具有一定的操作權(quán)限，這樣用戶(hù)組下的用戶(hù)對(duì)該文件或目錄都具有相同的權(quán)限，這是通過(guò)定義組和修改文件的權(quán)限來(lái)實(shí)現(xiàn)的；n 用戶(hù)和用戶(hù)組的對(duì)應(yīng)關(guān)系是：一對(duì)一、多對(duì)一、一對(duì)多或多對(duì)多 一對(duì)一：某個(gè)用戶(hù)可以是某個(gè)組的唯一成員；多對(duì)一：多個(gè)用戶(hù)可以是某個(gè)唯一的組的成員，不歸屬其它用戶(hù)組； 一對(duì)多：某個(gè)用戶(hù)可以是多個(gè)用戶(hù)組的成員； 多對(duì)多：多個(gè)用戶(hù)對(duì)應(yīng)多個(gè)

5、用戶(hù)組，并且?guī)讉€(gè)用戶(hù)可以是歸屬相同的組；其實(shí)多對(duì)多的關(guān)系是前面三條的擴(kuò)展；理解了上面的三條，這條也能理解Linux系統(tǒng)用戶(hù)和組的概念2021-7-2110/101Linux操作系統(tǒng)管理n管理用戶(hù)（user）的工具或命令useradd ：添加用戶(hù)adduser ：添加用戶(hù)userdel ：刪除用戶(hù)passwd ：為用戶(hù)設(shè)置密碼usermod ：修改用戶(hù)命令，可以通過(guò)usermod 來(lái)修改登錄名、用戶(hù)的家目錄等pwconv ：同步用戶(hù)信息，從/etc/passwd 到/etc/shadowpwck ：校驗(yàn)用戶(hù)配置文件/etc/passwd 和/etc/shadow 是否合法或完整；pwunconv

6、 ：pwcov 的立逆向操作，從/etc/shadow和 /etc/passwd 創(chuàng)建/etc/passwd ；finger ：查看用戶(hù)信息工具id ：查看用戶(hù)的UID、GID及所歸屬的用戶(hù)組chfn ：更改用戶(hù)信息工具su ：用戶(hù)切換工具sudo ：通過(guò)另一個(gè)用戶(hù)來(lái)執(zhí)行命令；但需通過(guò)visudo 編輯/etc/sudoers來(lái)實(shí)現(xiàn)；visudo ：編輯 /etc/sudoers 的命令sudoedit ：和visudo 功能差不多Linux系統(tǒng)用戶(hù)管理的命令2021-7-2111/101Linux操作系統(tǒng)管理n 管理用戶(hù)組（group）的工具或命令groupadd ：添加用戶(hù)組；groupd

7、el ：刪除用戶(hù)組；groupmod ：修改用戶(hù)組信息；groups ：顯示用戶(hù)所屬的用戶(hù)組；grpck/grpconv ：通過(guò)/etc/group和/etc/gshadow 的文件內(nèi)容來(lái)同步或創(chuàng)建/etc/gshadow ，如果/etc/gshadow 不存在則創(chuàng)建；grpunconv ：通過(guò)/etc/group 和/etc/gshadow 文件內(nèi)容來(lái)同步或創(chuàng)建/etc/group,然后刪除gshadow文件。Linux系統(tǒng)用戶(hù)組管理的命令2021-7-2112/101Linux操作系統(tǒng)管理n 添加test用戶(hù),該用戶(hù)屬于workgroup組添加組：#groupadd u 1000 work

8、group添加用戶(hù)：#useradd u 1000 g 1000 d /home/test s /bin/bash test若系統(tǒng)為suse，則要在添加用戶(hù)時(shí)生成用戶(hù)目錄，需要加-m參數(shù)#useradd u 1000 g 1000 m /home/test s /bin/bash testn 刪除test用戶(hù) #userdel test #rm rf /home/testLinux系統(tǒng)用戶(hù)管理舉例2021-7-2113/101Linux操作系統(tǒng)管理Linux進(jìn)程管理 對(duì)于Linux進(jìn)程的管理，是通過(guò)進(jìn)程管理工具實(shí)現(xiàn)的，比如：ps、topkill、killallpgrep2021-7-2114/

9、101Linux操作系統(tǒng)管理2.2.1 ps aux 或lax輸出的解釋 USER 進(jìn)程的屬主； PID 進(jìn)程的ID； PPID 父進(jìn)程的ID；%CPU 進(jìn)程占用的CPU百分比；%MEM 占用內(nèi)存的百分比； NI 進(jìn)程的NICE值，數(shù)值大，表示較少占用CPU時(shí)間； VSZ 進(jìn)程虛擬大小； RSS 駐留中頁(yè)的數(shù)量； TTY 終端IDWCHAN 正在等待的進(jìn)程資源；START 啟動(dòng)進(jìn)程的時(shí)間； TIME 進(jìn)程消耗CPU的時(shí)間；COMMAND 命令的名稱(chēng)和參數(shù)； 2021-7-2115/101Linux操作系統(tǒng)管理2.2.1 ps aux顯示的進(jìn)程狀態(tài)STAT 進(jìn)程狀態(tài) D Uninterrupti

10、ble sleep (usually IO) R 正在運(yùn)行可中在隊(duì)列中可過(guò)行的； S 處于休眠狀態(tài)；T 停止或被追蹤； W 進(jìn)入內(nèi)存交換（從內(nèi)核2.6開(kāi)始無(wú)效）； X 死掉的進(jìn)程（從來(lái)沒(méi)見(jiàn)過(guò)）； Z 僵尸進(jìn)程； 優(yōu)先級(jí)高的進(jìn)程 N 優(yōu)先級(jí)較低的進(jìn)程L 有些頁(yè)被鎖進(jìn)內(nèi)存； s 進(jìn)程的領(lǐng)導(dǎo)者（在它之下有子進(jìn)程）；l is multi-threaded (using CLONE_THREAD, like NPTL pthreads do) + 位于后臺(tái)的進(jìn)程組； WCHAN 正在等待的進(jìn)程資源； START 啟動(dòng)進(jìn)程的時(shí)間； TIME 進(jìn)程消耗CPU的時(shí)間； COMMAND 命令的名稱(chēng)和參數(shù)。202

11、1-7-2116/101Linux操作系統(tǒng)管理3.1 Linux網(wǎng)絡(luò)配置的相關(guān)文件/etc/modprobe.conf 該文件定義了網(wǎng)卡的型號(hào)，如： alias eth1 forcedeth alias eth0 forcedeth /etc/sysconfig/networking-scripts/ifcfg-ethX 該文件設(shè)置網(wǎng)絡(luò)的IP地址、DNS及網(wǎng)關(guān) DEVICE=eth0 #設(shè)備名字 ONBOOT=yes #系統(tǒng)啟動(dòng)過(guò)程中，網(wǎng)絡(luò)是否啟動(dòng) BOOTPROTO=static #網(wǎng)絡(luò)啟動(dòng)是以靜態(tài)的獲得IP還是動(dòng)態(tài)（DHCP）獲得IP IPADDR=11.11.11.49 #IP地址 NE

12、TMASK=255.0.0.0 #子網(wǎng)掩碼 NAMESERVER=IP #設(shè)置DNS對(duì)應(yīng)的IP GATEWAY=IP #設(shè)置網(wǎng)關(guān)對(duì)應(yīng)的IP/etc/sysconfig/network 該文件設(shè)置系統(tǒng)名字/etc/sysconfig/static-routes 該文件設(shè)置系統(tǒng)的靜態(tài)路由 any net 192.168.0.0/24 gw 192.168.1.62021-7-2117/101Linux操作系統(tǒng)管理3.2 網(wǎng)絡(luò)啟動(dòng)命令 配置好網(wǎng)絡(luò)的相關(guān)文件后，進(jìn)行網(wǎng)絡(luò)啟動(dòng)： /etc/init.d/network restart ifconfig eth0 down = ifdown eth0 if

13、config eth0 up = ifup eth0 ifconfig eth0:0 192.168.0.1 netmask 255.0.0.0 網(wǎng)卡綁定第二個(gè)IP，臨時(shí)生效2021-7-2118/101Linux操作系統(tǒng)管理計(jì)算決定未來(lái)作業(yè)提交第一章 PBS作業(yè)提交第二章 Gridview作業(yè)提交2021-7-2119/101Linux操作系統(tǒng)管理1.準(zhǔn)備：編寫(xiě)描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。2.提交：使用qsub命令將該作業(yè)提交給PBS服務(wù)器3.排隊(duì)：服務(wù)器將該任務(wù)排入適當(dāng)?shù)年?duì)列4.調(diào)度：服務(wù)器檢查各工作節(jié)點(diǎn)的狀態(tài)是否符合該作業(yè)的要求，并進(jìn)行調(diào)度。5.執(zhí)行：當(dāng)條件滿(mǎn)足時(shí)，作業(yè)被

14、發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運(yùn)行時(shí)執(zhí)行服務(wù)器會(huì)收集程序的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤流，等程序結(jié)束時(shí)，將這些信息返回給用戶(hù)。6.查詢(xún)和調(diào)整：當(dāng)作業(yè)在運(yùn)行時(shí)，用戶(hù)可以使用qstat進(jìn)行狀態(tài)查詢(xún)。用戶(hù)發(fā)現(xiàn)作業(yè)提交錯(cuò)誤時(shí)，可以使用qdel刪除正在運(yùn)行的作業(yè)。7.查看結(jié)果：使用文本編輯軟件vi或者系統(tǒng)命令cat, less等查看輸出及錯(cuò)誤信息顯示。PBS作業(yè)提交步驟p 在PBS系統(tǒng)中，用戶(hù)使用 qsub 命令提交用戶(hù)程序。用戶(hù)運(yùn)行程序的命令及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運(yùn)行：qsub qsub -N test.vasp -l nodes=4:ppn=2 -q de

15、faults PBS作業(yè)提交基本命令p 本質(zhì)是一個(gè)SHELL腳本p 注釋以“#”開(kāi)頭p PBS運(yùn)行參數(shù)，以“#PBS”開(kāi)頭p 可以直接調(diào)用SHELL命令和系統(tǒng)命令#PBS -N vasp#PBS -l nodes=1:ppn=1#PBS -l walltime=12:00:00#PBS -q highcd /home/test/work./test.exePBS作業(yè)腳本運(yùn)運(yùn) 行行 參參 數(shù)數(shù)說(shuō)說(shuō) 明明-a 向PBS系統(tǒng)指定作業(yè)運(yùn)行的開(kāi)始時(shí)間。作業(yè)運(yùn)行時(shí)間格式為： CCYYMMDDhhmm.SS-A 使用不同的用戶(hù)來(lái)提交作業(yè)，缺省使用當(dāng)前用戶(hù)名-o -e 該參數(shù)指定標(biāo)準(zhǔn)錯(cuò)誤輸出的位置，缺省的情況

16、下，PBS系統(tǒng)把標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯(cuò)誤輸出放在用戶(hù)qsub命令提交作業(yè)的目錄下。標(biāo)準(zhǔn)錯(cuò)誤輸出：.o標(biāo)準(zhǔn)錯(cuò)誤輸出：.e路徑使用如下格式標(biāo)準(zhǔn)： :-N 指定提交的作業(yè)名-q 指定作業(yè)提交的目標(biāo)隊(duì)列，其中目標(biāo)隊(duì)列可以是目標(biāo)隊(duì)列、目標(biāo)節(jié)點(diǎn)名或者是目標(biāo)節(jié)點(diǎn)上的隊(duì)列。如果目標(biāo)隊(duì)列是一個(gè)路由隊(duì)列，那么服務(wù)器可能把作業(yè)路由到新的隊(duì)列中。如果該參數(shù)沒(méi)有指定，命令qsub會(huì)把作業(yè)腳本提交到缺省的隊(duì)列中。-l 該參數(shù)指定作業(yè)腳本申請(qǐng)的PBS系統(tǒng)資源列表。申請(qǐng)資源列表使用如下格式： =,資源名=， .例如作業(yè)希望申請(qǐng)?jiān)陔p路節(jié)點(diǎn)上申請(qǐng)5個(gè)CPU資源的情況，則可以在腳本中如下：#PBS l nodes=2:ppn=2+1:p

17、pn=1PBS運(yùn)行參數(shù)在 PBS 腳本和 qsub 命令行中均有效，qsub命令行參數(shù)的優(yōu)先級(jí)更高變變 量量 名名說(shuō)說(shuō) 明明登陸登陸SHELL繼承來(lái)的變量繼承來(lái)的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點(diǎn)名稱(chēng)$PBS_O_QUEUEqsub提交的作業(yè)的最初隊(duì)列名稱(chēng)$PBS_O_WORKDIRqsub提交的作業(yè)的絕對(duì)路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號(hào)$PBS_JOBNAME用戶(hù)指定的作業(yè)名，可以在作業(yè)提交的時(shí)候用qsub N 指定，或者在PBS腳本中加入#PBS N 。$PBS_NOD

18、EFILEPBS系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名。該變量在并行機(jī)和機(jī)群中使用。當(dāng)在PBS腳本中用#PBS l nodes=2:ppn=2指定程序運(yùn)行的節(jié)點(diǎn)數(shù)時(shí)，可以使用$PBS_NODEFILE在腳本中引用PBS系統(tǒng)指定的作業(yè)運(yùn)行的節(jié)點(diǎn)名。比如：#PBS l nodes=2:ppn=2mpirun np 4 machinefile $PBS_NODEFILE $PBS_QUEUEPBS腳本在執(zhí)行時(shí)的隊(duì)列名PBS的環(huán)境變量# 這是一個(gè)串行作業(yè)腳本的例子#PBS -N test#PBS -l nodes=1:ppn=1cd $HOME/test/./a.out $HOME/result/a.result

19、# 這是一個(gè)并行作業(yè)腳本的例子#PBS -N vasp_job#PBS -l nodes=2:ppn=8#PBS -q lowecho This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vaspPBS腳本舉例PBS腳本舉例（續(xù)1）p 有時(shí)在PBS腳本中，需要對(duì)PBS環(huán)境變量的內(nèi)容進(jìn)行改造p 比如，$PBS_NODEFILE，該文件內(nèi)容格式為：node1node1node2node2p 對(duì)于一般MPI程序，可直接將 $PBS_NODEFILE 作為 MPI 的

20、”-machinefile”參數(shù)，如上例所示p 而一些軟件有特殊的節(jié)點(diǎn)指定格式，比如ANSYS的命令行參數(shù)格式為： ansys121 -dis -machines node1:2:node2:2 -i test.inp -o test.logp 這時(shí)我們可以對(duì) $PBS_NODEFILE 進(jìn)行字符處理，得到需要的格式# 這是一個(gè)ANSYS并行作業(yè)的例子#PBS -N ansys_job#PBS -l nodes=2:ppn=8#PBS -q lowINPUTFILE=test.inpOUTPUTFILE=test.loghosts=cat $PBS_NODEFILE | uniq -c | a

21、wk print $2:$1 | tr n : | sed s/:$/cd $PBS_O_WORKDIRansys121 -dis -machines $hosts -i $INPUTFILE -o $OUTPUTFILEPBS腳本舉例（續(xù)2）2021-7-2127/101Linux操作系統(tǒng)管理#!/bin/bash#PBS -N jobname#PBS -l nodes=2:ppn=8cat echo $PBS_NODEFILE $HOME/$PBS_JOBID.nodesfor node in cat $HOME/$PBS_JOBID.nodes do ssh $node mkdir /t

22、mp/$PBS_JOBID ssh $node cp -rf $PBS_O_WORKDIR/* /tmp/$PBS_JOBID/ donecd /tmp/$PBS_JOBIDmpirun -np 16 -machinefile $PBS_NODEFILE $HOME/bin/vaspcp -rf /tmp/$PBS_JOBID/* $PBS_O_WORKDIR/for node in cat $HOME/$PBS_JOBID.nodes do ssh $node rm -rf /tmp/$PBS_JOBID donerm $HOME/$PBS_JOBID.nodes一個(gè)復(fù)雜的PBS腳本# 這是

23、一個(gè)并行作業(yè)腳本的例子#PBS -N vasp.Hg#PBS -j oe#PBS -l nodes=2:ppn=12:amd#PBS -q lowecho This jobs is $PBS_JOBID$PBS_QUEUE NP=cat $PBS_NODEFILE | wc -lcd $PBS_O_WORKDIRmpirun -np $NP -machinefile $PBS_NODEFILE ./vasp#PBS -l nodes=2:ppn=4:amd:chem#PBS -l nodes=1:ppn=8:chem+1:ppn=8:bio#PBS -l nodes=node1:ppn=8+n

24、ode2:ppn=8指定節(jié)點(diǎn)特性2021-7-2129/101Linux操作系統(tǒng)管理作業(yè)提交后，會(huì)生成一個(gè)作業(yè)號(hào)，如：dawningnode1 $ qsub test.pbs93.node1查看集群作業(yè)運(yùn)行狀態(tài)：dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs test 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default作業(yè)狀態(tài)說(shuō)明：E：退出Q：排隊(duì)H ：掛起R ：運(yùn)行

25、C：結(jié)束查詢(xún)作業(yè)狀態(tài)2021-7-2130/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default查詢(xún)某個(gè)作業(yè)運(yùn)行狀態(tài)：qstat 93.node1 (或者 qstat 93)顯示作業(yè)運(yùn)行在哪些節(jié)點(diǎn)上:qstat -n 93.node1 顯示作業(yè)運(yùn)行詳細(xì)信息:qstat -f 93.

26、node1 查詢(xún)作業(yè)狀態(tài)（續(xù)）2021-7-2131/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q defaultqdel 93.node1取消刪除作業(yè)注：用戶(hù)只能刪除自己的作業(yè)，管理員可以刪除所有用戶(hù)作業(yè)2021-7-2132/101Linux操作系統(tǒng)管理dawningnode1 $ q

27、stat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default掛起作業(yè)：qhold 111.node1取消作業(yè)掛起qrls 111.node1作業(yè)掛起及取消2021-7-2133/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node

28、1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default更改作業(yè)運(yùn)行隊(duì)列：qmove high 111.node1更改作業(yè)資源屬性：qalter -l walltime=10:00:00 111.node1更改作業(yè)2021-7-2134/101Linux操作系統(tǒng)管理dawningnode1 $ qstat Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q default112.node1 gaussian gauss 0 Q default交換兩個(gè)作業(yè)的排隊(duì)順序：qorder 111.node1 112.node1daw