Linux-基礎(chǔ)教程-系統(tǒng)監(jiān)視與系統(tǒng)日志課件

第11章

系統(tǒng)監(jiān)視與系統(tǒng)日志本章內(nèi)容要點理解影響系統(tǒng)性能的因素系統(tǒng)性能分析工具日志系統(tǒng)的功能日志系統(tǒng)的配置查看和分析日志文件2023年7月20日2本章學(xué)習(xí)目標(biāo)學(xué)會使用top、mpstat、vmstst、iostat工具分析系統(tǒng)性能熟悉系統(tǒng)性能評估標(biāo)準(zhǔn)學(xué)習(xí)syslog的配置方法學(xué)會配置遠(yuǎn)程日志學(xué)會查看系統(tǒng)日志并理解日志滾動2023年7月20日3監(jiān)視系統(tǒng)性能2023年7月20日4系統(tǒng)性能監(jiān)視對象容易形成性能瓶頸的監(jiān)視對象CPU性能內(nèi)存性能磁盤I/O性能網(wǎng)絡(luò)I/O帶寬2023年7月20日5系統(tǒng)性能監(jiān)視常用工具CPU監(jiān)視工具/usr/bin/uptime：顯示系統(tǒng)平均負(fù)載/usr/bin/top：動態(tài)顯示系統(tǒng)進程任務(wù)/usr/bin/mpstat：輸出CPU的各種統(tǒng)計信息內(nèi)存監(jiān)視工具/usr/bin/free：顯示系統(tǒng)內(nèi)存的使用/usr/bin/vmstat：報告虛擬內(nèi)存的統(tǒng)計信息I/O監(jiān)視工具/usr/bin/iostat：輸出CPU、I/O系統(tǒng)和磁盤分區(qū)的統(tǒng)計信息2023年7月20日6top命令動態(tài)顯示系統(tǒng)的統(tǒng)計信息和進程的重要信息統(tǒng)計信息系統(tǒng)平均負(fù)載進程狀態(tài)統(tǒng)計CPU使用的統(tǒng)計信息物理內(nèi)存和虛擬內(nèi)存的使用統(tǒng)計信息進程信息1PIDUSERPRNIVIRTRESSHRS%CPU%MEMTIME+COMMAND2PIDPPIDTIME+%CPU%MEMPRNISVIRTSWAPRESUIDCOMMAND3PID%MEMVIRTSWAPRESCODEDATASHRnFLTnDRTSPRNI%CPUCOMMAND4PIDPPIDUIDUSERRUSERTTYTIME+%CPU%MEMSCOMMAND2023年7月20日7top命令輸出的統(tǒng)計信息(1)顯示的是uptime命令的輸出07:01:55——當(dāng)前時間up14min——系統(tǒng)自開機后運行的時間1user——當(dāng)前登錄的用戶數(shù)loadaverage:0.03,0.02,0.00

1分鐘系統(tǒng)平均負(fù)載，5分鐘系統(tǒng)平均負(fù)載，15分鐘系統(tǒng)平均負(fù)載一段時間內(nèi)，每個值都應(yīng)該小于系統(tǒng)中CPU的個數(shù)，否則表示系統(tǒng)存在CPU瓶頸相關(guān)的交互命令交互命令“l(fā)”是用于是否顯示此信息的乒乓切換開關(guān)2023年7月20日8top-07:01:55up14min,1user,loadaverage:0.03,0.02,0.00top命令輸出的統(tǒng)計信息(2)進程狀態(tài)的輸出字段總進程數(shù)（total）正在運行進程數(shù)（running）睡眠的進程數(shù)（sleeping）停止的進程數(shù)（stopped）僵尸進程數(shù)（zombie）2023年7月20日9Tasks:98total,2running,96sleeping,0stopped,0zombie僵尸進程指的是子進程退出后父進程并沒有處理子進程的退出信號，導(dǎo)致子進程變?yōu)榻┦M程。top命令輸出的統(tǒng)計信息(3)CPU使用率的輸出字段%us(user)：用戶態(tài)進程占用CPU百分比%sy(system)：核心態(tài)進程占用CPU百分比%ni(nice)：調(diào)整過優(yōu)先級的用戶態(tài)進程占用CPU時間的百分比%id(idel)：CPU空閑的百分比%wa(iowait)：等待系統(tǒng)I/O的CPU時間百分比%hi(hardinterrupt)：CPU用于處理硬件中斷的時間百分比%si(softinterrupt)：CPU用于處理軟中斷的時間百分比%st(steal)：被虛擬機偷掉的CPU時間百分比（僅用于運行虛擬機的情況）2023年7月20日10Cpu(s):0.0%us,0.0%sy,0.0%ni,100.0%id,0.0%wa,0.0%hi,0.0%si,0.0%st交互命令

t是用于是否顯示進程狀態(tài)統(tǒng)計和CPU使用率的乒乓切換開關(guān)交互命令1

是用于顯示所有CPU的平均狀態(tài)還是每個CPU狀態(tài)的乒乓切換開關(guān)top命令輸出的統(tǒng)計信息(4)2023年7月20日11Mem:1025692ktotal,121072kused,904620kfree,13236kbuffersSwap:2064376ktotal,0kused,2064376kfree,59436kcached物理內(nèi)存總量，使用量，空閑量交換空間總量，使用量，空閑量Buffers指的是塊設(shè)備的讀寫緩沖區(qū)Cached指的是文件系統(tǒng)本身的頁面緩存buffers和cached都是Linux操作系統(tǒng)底層的機制，目的就是為了加速對磁盤的訪問。交互命令m

是用于是否顯示系統(tǒng)內(nèi)存和交換空間信息的乒乓切換開關(guān)top命令輸出的進程信息PID(進程號)，USER（運行用戶）PR（優(yōu)先級），NI（任務(wù)nice值）VIRT（虛擬內(nèi)存用量），RES（物理內(nèi)存用量），SHR（共享內(nèi)存用量）S（進程狀態(tài)）R=運行；S=睡眠；T=跟蹤/停止；Z=僵尸%CPU（CPU占用比），%MEM（內(nèi)存占用比）TIME+（累計CPU占用時間)2023年7月20日12top的交互命令（1）<Space>或<Enter>：立即刷新顯示?或h：顯示幫助信息屏幕G[1234]：可以使用G1~G4切換top提供的四種字段方案的顯示窗口B：加粗加亮顯示的乒乓切換開關(guān)u：顯示指定用戶的進程（僅匹配EUID）U：顯示指定用戶的進程（匹配RUID、EUID、SUID和UID）k：殺死指定的進程（發(fā)送進程信號）r：重新設(shè)置一個進程的優(yōu)先級別d或s：改變兩次刷新顯示之間的時間間隔，單位為秒W：將當(dāng)前的top設(shè)置寫入~/.toprc文件中q：退出top2023年7月20日13top的交互命令（2）多窗口顯示A：是否在一個界面中同時顯示四種字段方案顯示窗口的乒乓切換開關(guān)a和w：在四種字段方案的顯示窗口中移動以確認(rèn)當(dāng)前窗口a表示下一個窗口w表示上一個窗口2023年7月20日14top的交互命令（3）加亮顯示行和列x：是否對當(dāng)前排序字段進行加亮顯示的乒乓切換開關(guān)y：是否對當(dāng)前正在運行進程進行加亮顯示的乒乓切換開關(guān)2023年7月20日15top的交互命令（4）選擇排序字段快速選擇排序字段M：按%MEM字段排序N：按PID字段排序P：按%CPU字段排序T：按TIME+字段排序交互式選擇排序字段F或O切換排序字段和逆向排序<或>R2023年7月20日16mpstat命令功能：輸出每一個CPU的運行狀況，為多處理器系統(tǒng)中的CPU利用率提供統(tǒng)計信息。格式：mpstat[-P{cpu|ALL}][interval[count]]其中-P{cpu-id|ALL}：用CPU-ID指定CPU，CPU-ID從0開始interval:為取樣時間間隔count

:為輸出次數(shù)2023年7月20日17說明：RedHat沒有預(yù)裝mpstat，iostat命令，可以手動安裝sysstat-7.0.0-3.e15-i386.rpm包mpstat命令舉例#mpstatLinux2.6.18-194.32.1.el5(centos1.ls-al.me)04/29/1112:56:27CPU%user%nice%sys%iowait%irq%soft%steal%idleintr/s12:56:27all3.890.000.764.040.020.120.0091.181050.99#mpstat-P0Linux2.6.18-194.32.1.el5(centos1.ls-al.me)04/29/1112:56:37CPU%user%nice%sys%iowait%irq%soft%steal%idleintr/s12:56:3703.860.000.754.010.020.120.0091.241050.81#mpstat510#mpstat–P15102023年7月20日19vmstat命令功能：顯示進程隊列、內(nèi)存、交換空間、磁盤I/O、和CPU狀態(tài)信息。格式：vmstat[-a][-n][-Sk|K|m|M][Interval[Count]]其中：-a：顯示活躍和非活躍內(nèi)存-n：只在開始時顯示一次各字段名稱-S：使用指定單位顯示。k(1000)、K(1024)、m(1000000)、M(1048576)字節(jié)，默認(rèn)單位為K。interval和count的含義與mpstat一致2023年7月20日20vmstat命令舉例procsr列表示運行和等待CPU時間片的進程數(shù)，這個值若長期大于系統(tǒng)CPU的個數(shù)，說明CPU資源不足。b列表示在等待資源的進程數(shù)，比如正在等待I/O、或者內(nèi)存交換等。cpuus列顯示了用戶態(tài)進程消耗的CPU時間百分比；sy列顯示了核心態(tài)進程消耗的CPU時間百分比。us的值比較高時說明用戶進程消耗的CPU時間多，sy值較高時說明內(nèi)核消耗的CPU資源很多。根據(jù)經(jīng)驗，us+sy的參考值為80%，若us+sy>80%說明可能存在CPU資源不足。2023年7月20日21#vmstat52procsmemoryswap--io--system--cpurbswpdfreebuffcachesisobiboincsussyidwast00050454411932823671600463010365210972000050454411933623670800061002280010000vmstat命令舉例（續(xù)）memoryswpd列表示切換到內(nèi)存交換區(qū)的內(nèi)存數(shù)量(以k為單位)。若swpd的值不為0，或者比較大，只要si、so的值長期為0，這種情況下一般不用擔(dān)心，不會影響系統(tǒng)性能。free列表示當(dāng)前空閑的物理內(nèi)存數(shù)量(以k為單位)。buff列表示bufferscache的內(nèi)存數(shù)量，一般對塊設(shè)備的讀寫才需要緩沖。cache列表示pagecached的內(nèi)存數(shù)量，一般作為文件系統(tǒng)cached，頻繁訪問的文件都會被cached若cache值較大，說明cached的文件數(shù)較多，如果此時IO中bi比較小，說明文件系統(tǒng)效率比較好。2023年7月20日22#vmstat52procsmemoryswap--io--system--cpurbswpdfreebuffcachesisobiboincsussyidwast00050454411932823671600463010365210972000050454411933623670800061002280010000vmstat命令舉例（續(xù)2）swapsi列表示由磁盤調(diào)入內(nèi)存，也就是內(nèi)存進入內(nèi)存交換區(qū)的數(shù)量。so列表示由內(nèi)存調(diào)入磁盤，也就是內(nèi)存交換區(qū)進入內(nèi)存的數(shù)量。一般情況下，si、so的值都為0，如果si、so的值長期不為0，則表示系統(tǒng)內(nèi)存不足。2023年7月20日23#vmstat52procsmemoryswap--io--system--cpurbswpdfreebuffcachesisobiboincsussyidwast00050454411932823671600463010365210972000050454411933623670800061002280010000iostat命令功能：輸出CPU和磁盤I/O相關(guān)的統(tǒng)計信息。格式：iostat[-c|-d][-x][-k|-m][device|ALL][interval[count]]其中：-c：僅顯示CPU統(tǒng)計信息。與-d選項互斥-d：僅顯示磁盤統(tǒng)計信息。與-c選項互斥-k：以KB為單位顯示每秒的磁盤請求數(shù)。默認(rèn)單位為塊-m：以MB為單位顯示每秒的磁盤請求數(shù)。默認(rèn)單位為塊-x：輸出擴展信息device：用于指定磁盤設(shè)備interval和count的含義與mpstat一致2023年7月20日24iostat命令舉例（1）tps：每秒鐘物理設(shè)備的I/O傳輸總量長期的、超大的數(shù)據(jù)讀寫，肯定是不正常的，這種情況一定會影響系統(tǒng)性能。2023年7月20日25#iostat-dsdasda352Linux2.6.18-194.32.1.el5(centos1.ls-al.me)2011年04月29日Device:tpsBlk_read/sBlk_wrtn/sBlk_readBlk_wrtnsda4.6151.0939.21577048442878sda34.0744.8939.00507088440552Device:tpsBlk_read/sBlk_wrtn/sBlk_readBlk_wrtnsda0.410.0016.33080sda30.410.0016.33080iostat命令舉例（2）rrqm/s：每秒發(fā)送到設(shè)備的讀入請求數(shù)。wrqm/s：每秒發(fā)送到設(shè)備的寫入請求數(shù)。avgrq-sz：發(fā)送到設(shè)備的請求的平均大小。avgqu-sz：發(fā)送到設(shè)備的請求的平均隊列長度。await：表示平均每次設(shè)備I/O操作的等待時間(以毫秒為單位)。svctm：表示平均每次設(shè)備I/O操作的服務(wù)時間(以毫秒為單位)。%util：表示一秒中有百分之幾的時間用于I/O操作。2023年7月20日26#iostat-dxksdasda3Linux2.6.18-194.32.1.el5(centos1.ls-al.me)2011年04月29日Device:rrqm/swrqm/sr/sw/srkB/swkB/savgrq-szavgqu-szawaitsvctm%utilsda0.752.442.182.1023.5818.3119.590.4093.522.531.08sda30.282.421.702.0920.7218.2120.580.40105.242.520.95iostat命令舉例（2續(xù)）正常情況下svctm應(yīng)該小于await的值svctm的大小和磁盤性能有關(guān)CPU、內(nèi)存的負(fù)荷也會對svctm值造成影響過多的磁盤請求也會間接的導(dǎo)致svctm值的增加await的大小一般取決與svctm的值和I/O隊列長度以及I/O請求模式如果svctm的值與await很接近，表示幾乎沒有I/O等待，磁盤性能很好如果await的值遠(yuǎn)高于svctm的值，則表示I/O隊列等待太長，系統(tǒng)上運行的應(yīng)用程序?qū)⒆兟?，此時可以通過更換更快的硬盤來解決問題。%util項的值也是衡量磁盤I/O的一個重要指標(biāo)如果%util接近100%，表示磁盤產(chǎn)生的I/O請求太多，I/O系統(tǒng)已經(jīng)滿負(fù)荷的在工作，該磁盤可能存在瓶頸。2023年7月20日27#iostat-dxksdasda3Linux2.6.18-194.32.1.el5(centos1.ls-al.me)2011年04月29日Device:rrqm/swrqm/sr/sw/srkB/swkB/savgrq-szavgqu-szawaitsvctm%utilsda0.752.442.182.1023.5818.3119.590.4093.522.531.08sda30.282.421.702.0920.7218.2120.580.40105.242.520.95系統(tǒng)性能評估影響因素評判標(biāo)準(zhǔn)好壞糟CPUuser%+sys%<70%user%+sys%=85%user%+sys%>=90%內(nèi)存SwapIn（si）＝0SwapOut（so）＝0PerCPUwith10page/sMoreSwapIn&SwapOut磁盤iowait%<20%iowait%=35%iowait%>=50%2023年7月20日28%user：表示CPU處在用戶模式下的時間百分比。%sys：表示CPU處在系統(tǒng)模式下的時間百分比。%iowait：表示CPU等待輸入輸出完成時間的百分比。swapin：即si，表示虛擬內(nèi)存的頁導(dǎo)入，即從SWAPDISK交換到RAM。swapout：即so，表示虛擬內(nèi)存的頁導(dǎo)出，即從RAM交換到SWAPDISK。日志系統(tǒng)和系統(tǒng)日志2023年7月20日29系統(tǒng)日志簡介日志的用途系統(tǒng)審計、監(jiān)測追蹤和分析統(tǒng)計。日志的功能用于記錄系統(tǒng)、程序運行中發(fā)生的各種事件通過閱讀日志，有助于診斷和解決系統(tǒng)故障幫助系統(tǒng)管理員尋找攻擊者留下的痕跡日志的分類文件日志：將日志記錄到文件中數(shù)據(jù)庫日志：將日志記錄關(guān)系數(shù)據(jù)庫中管道日志：將日志通過管道傳遞給應(yīng)用程序處理2023年7月20日30日志系統(tǒng)簡介日志系統(tǒng)負(fù)責(zé)系統(tǒng)日志和內(nèi)核消息捕捉的日志記錄系統(tǒng)日志系統(tǒng)的主要功能分類存放日志、方便日志管理可將日志消息記錄到遠(yuǎn)程主機日志系統(tǒng)的常用軟件syslog（/）【默認(rèn)安裝】syslog-ng（/network-security/syslog-ng）rsyslog（/）2023年7月20日31RHEL/CentOS5中的syslog軟件包名：sysklogd服務(wù)類型：獨立運行的守護進程啟動腳本：/etc/init.d/syslog守護進程：/sbin/klogd：只處理內(nèi)核消息/sbin/syslogd：處理其他系統(tǒng)消息配置文件/etc/syslog.conf：syslog的主配置文件，規(guī)定了系統(tǒng)中需要監(jiān)視的事件和相應(yīng)的日志的保存位置。/etc/sysconfig/syslog：配置守護進程的運行參數(shù)2023年7月20日32配置文件/etc/syslog.conf格式以#開始的行為注釋詳情man5syslog.conf每一行的格式為facility.priorityaction

設(shè)備.級別

動作facility和priority的詳細(xì)定義

man3syslog2023年7月20日33RHEL/CentOS的默認(rèn)配置#egrep-v'^#|^$'/etc/syslog.conf*.info;mail.none;authpriv.none;cron.none/var/log/messagesauthpriv.*/var/log/securemail.*-/var/log/maillogcron.*/var/log/cron*.emerg*uucp,news.crit/var/log/spoolerlocal7.*/var/log/boot.log2023年7月20日34facility.priority語法可以在同一行中設(shè)置多個“設(shè)備.級別”組合，每組之間用分號隔開可以同時指定多個設(shè)備或級別，用逗號間隔可以使用通配符“*”表示所有的設(shè)備或級別級別（priority）的指定直接指定：記錄比指定級別高的所有級別的消息使用=前綴：只記錄指定級別的日志消息使用!前綴：不記錄比指定級別高的所有級別的消息使用!=前綴：不記錄指定級別的日志消息none：用于禁止任何日志消息2023年7月20日35facility.priority語法舉例mail.=infokern.*;kern.!errmail.*;mail.!=infomail,news.=info*.=crit;kern.none*.=info;mail,news.none2023年7月20日36目標(biāo)動作（

action

）常規(guī)文件將日志記錄于文件：以“/”開始的全路徑文件名[-]/path/filename文件名之前的減號（-）表示對文件的寫入同時不立即同步到磁盤，這樣可以加快日志寫入速度終端設(shè)備將日志發(fā)送到終端：/dev/console，/dev/ttyX命名管道將日志通過管道傳送給其他應(yīng)用程序處理|program2023年7月20日37目標(biāo)動作（

action

）續(xù)遠(yuǎn)程主機@hostname將信息發(fā)送到可解析的遠(yuǎn)程主機hostname或IP該主機必須正在運行syslogd，并可以識別syslog的配置文件syslog使用udp:514

端口傳送日志信息用戶列表User1,User2,…Usern發(fā)送信息到指定的登錄用戶，*表示所有用戶2023年7月20日38action語法舉例kern.*

/var/adm/kernelmail.*-/var/log/maillogmail.=info/dev/tty12*.info|/sbin/myprogram*.alertroot,joey*.=emerg**.*@finlandia2023年7月20日39日志管理策略及時作好備份和歸檔延長日志保存期限控制日志訪問權(quán)限日志中可能會包含各類敏感信息，如賬戶、口令等集中管理日志便于日志信息的統(tǒng)一收集、整理和分析杜絕日志信息的意外丟失、惡意篡改或刪除2023年7月20日40主要日志文件簡介日志保存位置默認(rèn)位于：/var/log

目錄下主要日志文件介紹內(nèi)核及常規(guī)消息日志：/var/log/messages計劃任務(wù)日志：/var/log/cron系統(tǒng)引導(dǎo)日志：/var/log/dmesg郵件系統(tǒng)日志：/var/log/maillog用戶登錄日志：/var/log/lastlog、/var/log/secure、/var/log/wtmp、/var/run/utmp……2023年7月20日41常規(guī)日志文件

/var/log/messages是純文