3.正則表達(dá)式

1、正則表達(dá)式AIX 入門31正則表達(dá)式是一個(gè)字符串，旨在用于搜索或替換另一個(gè)字符串。初看起來，這似乎是一個(gè)相當(dāng)基本的功能。大多數(shù)用戶都熟悉幾乎每個(gè)圖形文本編輯器或字處理應(yīng)用程序中都有的搜索和替換功能。如果將這個(gè)基本的搜索和替換功能比作計(jì)算器，則正則表達(dá)式可比作全功能的計(jì)算機(jī)。將正則表達(dá)式用于搜索條件的強(qiáng)大功能不應(yīng)被低估。2基本搜索正則表達(dá)式由一些普通字符和特殊字符組成，其中的特殊字符指示搜索條件。 在大多數(shù)基本情況下，正則表達(dá)式中也許根本就沒有使用特殊字符。例如，如果您只是希望使用詞條 golf 作為搜索條件，則可以輸入以下命令：golf這就是一個(gè)正則表達(dá)式！它搜索單詞 golf 的所有實(shí)例。正

2、則表達(dá)式區(qū)分大小寫，因此這將搜索 golf 的所有實(shí)例，但是不會查找 Golf 的實(shí)例。使用方括號若要同時(shí)搜索 golf 和 Golf，您可以使用方括號（它們是正則表達(dá)式中的特殊字符），并列出一串要搜索的各個(gè)字符。這類似于搜索中的搜索（這就是正則表達(dá)式背后的神奇之處）。Ggolf 同樣的概念也適用于任何字符列表而不只是用于區(qū)分大小寫。例如，您可能希望搜索 golf 和 gelf（您虛構(gòu)的一種新體育運(yùn)動(dòng)）：goelf 句點(diǎn)現(xiàn)在假設(shè)您有第三種體育運(yùn)動(dòng) gilf，您也希望對其進(jìn)行檢查。使用您到目前為止已學(xué)到的知識，一種方法是在您的搜索條件中使用 o、e 和 i。但是隨著您的搜索的逐步發(fā)展，您可能希望

3、查找以 g 開頭、以 lf 結(jié)尾并且其間具有一個(gè)字符的所有字符串。為此，您可以使用另一個(gè)特殊字符，即句點(diǎn) (.)。g.lf這將查找以 g 開頭和以 lf 結(jié)尾并且其間具有一個(gè)字符的所有字符串。若要將您的搜索擴(kuò)展到以 g 開頭和以 f 結(jié)尾并且其間具有兩個(gè)字符的所有字符串，您可以使用兩個(gè)句點(diǎn)：g.f3使用 grep 來搜索文件 grep 的基本語法如下：grep REGULAREXPRESSION (S)基本搜索現(xiàn)在，返回到前面的第一個(gè)正則表達(dá)式示例：單獨(dú)的單詞 golf。若要與 grep 一起使用這個(gè)表達(dá)式，可輸入：grep golf grep.txt 此命令在 grep.txt 文件中搜索字

4、符串 golf 的所有實(shí)例，并輸出包含該字符串的行。您的輸出應(yīng)該類似如下：I like golf. 使用方括號下一步，試驗(yàn)一些上面討論過的特殊字符。您可以使用方括號（方括號表達(dá)式）來指示您想要搜索 golf 和 Golf：grep gGolf grep.txt輸出應(yīng)該類似如下：I like golf.Golf is played on grass. 句點(diǎn)若要搜索 golf 和 gilf，您同樣可以使用方括號。取而代之的是，可以嘗試使用一個(gè)句點(diǎn)來指示您想要搜索 g 和 lf 之間的任何字符：$grep g.lf grep.txt 4方括號中的短橫線通過在方括號中包括附加集合，您還可以搜索多個(gè)字符

5、序列。例如，若要搜索 a-z 和 A-Z，可以使用以下搜索：grep ga-zA-Zlf 脫字號 ()當(dāng)您的字符序列列表變得更長時(shí)，可能發(fā)現(xiàn)通過避免某些字符而不是指定想要查找的字符來進(jìn)行搜索會更容易。這可以通過在搜索序列前在方括號中使用脫字符 () 來實(shí)現(xiàn)。這說起來挺復(fù)雜的，但是通過觀察一個(gè)示例，應(yīng)該是很容易理解的。通過使用以下 grep 命令來更改您的搜索，以避免數(shù)字但是包括所有其他字符：grep g0-9lf此搜索類似于前面查找所有字母字符的搜索，但是此搜索還返回諸如數(shù)字符號 (#) 和美元符號 ($) 等不屬于字母并且也不在您排除的數(shù)字序列中的字符。星號要試驗(yàn)的下一個(gè)特殊字符是星號 (*

6、)，它是若干個(gè)重復(fù)操作符之一。大多數(shù)人都非常熟悉在命令行上使用星號作為文件名搜索條件（通配符），但是在正則表達(dá)式中使用星號還是相當(dāng)新鮮的。星號指示搜索項(xiàng)（前一個(gè)字符或方括號表達(dá)式）可以出現(xiàn)零次、一次或多次現(xiàn)在整個(gè)文件應(yīng)該類似如下：I like golf.Golf is played on grass.I created gilf.What is g2lf?This time the o is missing in glf.Some people might say goolf.But they would not say goilf. 嘗試在 golf 中的 o 后面使用星號：grep go*

7、lf grep.txt 您的搜索將返回具有單詞 golf、glf 和 goolf 的行：I like golf.This time the o is missing in glf.Some people might say goolf.5問號另一個(gè)重復(fù)操作符是問號 (?)。問號的功能與星號類似，只不過搜索項(xiàng)可以出現(xiàn)零次或一次。多個(gè)實(shí)例將不匹配。使用問號取代星號來嘗試您剛才執(zhí)行的搜索：grep go?lf grep.txt 可以看到，這次作為匹配結(jié)果返回了 golf 和 glf，但是沒有返回 goolf，因?yàn)槠渲写嬖趩柼柷暗乃阉黜?xiàng) o 的多個(gè)實(shí)例：I like golf.This time th

8、e o is missing in glf. 加號最后一個(gè)常規(guī)重復(fù)操作符是加號 (+)。加號將查找某個(gè)搜索項(xiàng)出現(xiàn)一次或多次的情況。與星號不同，必須至少找到一個(gè)實(shí)例才會匹配。請嘗試以下示例：grep go+lf grep.txt 這次，該搜索返回 golf 和 goolf，但它不返回 glf，因?yàn)闆]有找到 o：I like golf.Some people might say goolf. 6行首和行尾定位點(diǎn)在轉(zhuǎn)向 sed 之前，最后要學(xué)習(xí)的特殊字符是行首定位點(diǎn)（使用脫字符來實(shí)現(xiàn)）和行尾定位點(diǎn)（使用美元符號來實(shí)現(xiàn)）。您可能記得，您在本教程的前面使用過脫字符來對方括號表達(dá)式取反。當(dāng)在方括號之外使用

9、脫字符時(shí)，它執(zhí)行完全不同的功能。將脫字符放在正則表達(dá)式開頭將告訴該搜索僅操作行的開頭。換句話說，正則表達(dá)式中的第一個(gè)字符（脫字符之后）必須與新行上的第一個(gè)字符匹配才能匹配該行。類似地，將美元符號放在正則表達(dá)式的結(jié)尾以指示您僅希望返回與行尾匹配的結(jié)果。換句話說，正則表達(dá)式中的最后一個(gè)字符（美元符號之前）必須與某行上的最后一個(gè)字符匹配才能匹配該行。若要對此進(jìn)行測試，請將以下兩行添加到 grep.txt：golf has been a fine examplelets talk about something besides golf 請注意，對于此測試，您不應(yīng)該對 golf 進(jìn)行大寫或加標(biāo)點(diǎn)，因?yàn)?/p>

10、它將演示一個(gè)針對同一單詞的搜索，此搜索使用定位點(diǎn)在行尾或行首以不同的方式操作。若要測試行首定位點(diǎn)，請輸入以下命令：grep golf grep.txt 輸出應(yīng)該類似如下：golf has been a fine example 若要測試行尾定位點(diǎn)，請使用同一個(gè)搜索，但是刪除脫字符并在 golf 之后添加一個(gè)美元符號。grep golf$ grep.txt 使用行尾定位點(diǎn)的輸出類似如下：lets talk about something besides golf7小結(jié)現(xiàn)在您已經(jīng)通過在命令行上使用 grep 來學(xué)習(xí)了正則表達(dá)式的基礎(chǔ)知識。下一步，您將學(xué)習(xí)使用 sed，此實(shí)用程序不僅搜索文本，而且還

11、對搜索結(jié)果進(jìn)行替換。首先，下面是對您到目前為止已學(xué)習(xí)過的內(nèi)容的小結(jié)：. 句點(diǎn)表示任何單個(gè)字符 方括號包括一個(gè)字符序列- 短橫線在字符之間使用以創(chuàng)建一個(gè)序列（在 內(nèi)） 脫字符用于對序列（在 內(nèi)）取反* 星號搜索某個(gè)搜索項(xiàng)的零個(gè)、一個(gè)或多個(gè)實(shí)例? 問號搜索某個(gè)搜索項(xiàng)的零個(gè)或一個(gè)實(shí)例+ 加號搜索某個(gè)搜索項(xiàng)的一個(gè)或多個(gè)實(shí)例$ 美元符號搜索行尾 脫字符搜索行首 特殊字符前的反斜杠使該字符成為普通字符（請參見下一部分。）8使用 sed 來編輯文件sed 是流編輯器 (stream editor) 的簡寫。文本編輯器的傳統(tǒng)、現(xiàn)代定義是可用于創(chuàng)建和編輯文本文件的交互式應(yīng)用程序。sed 也是一個(gè)文本編輯器，但它

12、是一個(gè)命令行實(shí)用程序而不是交互式實(shí)用程序，從而使之成為一個(gè)極其強(qiáng)大的批處理編輯工具。sed 通常在 UNIX Shell 腳本中用于過濾較大的文本文件集。在本教程的第一部分中，您使用了一個(gè)討論 golf 的小型測試文件。為了演示 sed 編輯器的高級功能，您將使用一個(gè)很小的代碼片段，開發(fā)人員可能希望在批處理過程中更改該代碼片段。請將以下文本復(fù)制并粘貼到一個(gè)名為 sed.txt 的文件中：system echo project:$project logfile;system echo version:$version logfile;system echo optionalid:$optiona

13、lid logfile;system echo nodes:$nodes logfile;system echo threads:$threads logfile;9正斜杠前面解釋過的用于 grep 的所有特殊字符在 sed 中也有效。然而，若要使用 sed，您必須了解一些附加語法。sed 中的基本表達(dá)式由四個(gè)部分組成，各個(gè)部分之間用正斜杠 (/) 分隔。以下是用于基本 sed 命令的常見語法：sed s/REGULAREXPRESSION/REPLACEMENTSTRING/flags INPUT_FILE s搜索和替換s 指示您希望執(zhí)行搜索和替換。正斜杠用于綁定 sed 中的正則表達(dá)式。例

14、如，如果您只希望將詞條 logfile 替換為 log，則可以運(yùn)行以下命令：sed s/log sed.txt輸出應(yīng)該類似如下：system echo project:$project log;system echo version:$version log;system echo optionalid:$optionalid log;system echo nodes:$nodes log;system echo threads:$threads log; 在此情況下要注意的一個(gè)要點(diǎn)在于，sed 不會實(shí)際更改 sed.txt 的內(nèi)容。相反，它將輸出發(fā)送到標(biāo)準(zhǔn)輸出設(shè)備。對于這些示例，您將把輸出

15、發(fā)送到標(biāo)準(zhǔn)輸出設(shè)備，以便能夠立即看到操作結(jié)果。為便于將來參考，可以捕獲輸出或?qū)⑵浒l(fā)送到某個(gè)新文件。例如，若要將輸出發(fā)送到 sed_new.txt，可以運(yùn)行以下命令：sed s/log sed.txt sed_new.txt10反斜杠在學(xué)習(xí)使用斜杠的同時(shí)，還有另一個(gè)非常重要的特殊字符需要學(xué)習(xí)。反斜杠 () 稱為轉(zhuǎn)義字符，因?yàn)樗鼘φ齽t表達(dá)式解釋中的下一個(gè)字符進(jìn)行轉(zhuǎn)義。更簡單的是，將一個(gè)反斜杠放在特殊字符前，將使該字符成為普通項(xiàng)而不是命令項(xiàng)。這非常重要，因?yàn)樵S多文件（尤其是在編寫代碼的時(shí)候）廣泛利用了與用于執(zhí)行正則表達(dá)式的字符相同的字符。在您的 sed.txt 文件中，您會注意到美元符號的使用。如果

16、您希望替換 $project 而不替換 project，則需要在搜索和替換中使用轉(zhuǎn)義字符：sed s/$project/$project_name/ sed.txt 您可以在輸出中看到 $project 被更改了，但是 project 沒有被更改。system echo project:$project_name logfile;system echo version:$version logfile;system echo optionalid:$optionalid logfile;system echo nodes:$nodes logfile;system echo threads:$

17、threads logfile;11更改某個(gè)項(xiàng)的多個(gè)實(shí)例這引入了 sed 中的另一個(gè)重要功能。如果您希望同時(shí)更改 project 的兩個(gè)實(shí)例，該怎么辦呢？通過到目前為止已學(xué)到的知識，合理的回答是只需使用 project 作為正則表達(dá)式，但是此回答并不是非常正確。下面將繼續(xù)并進(jìn)行嘗試，以便能夠演示和解釋該過程：sed s/project/project_name/ sed.txt在輸出中可以看到，project 的第一個(gè)實(shí)例被更改為 project_name：system echo project_name:$project logfile;system echo version:$versio

18、n logfile;system echo optionalid:$optionalid logfile;system echo nodes:$nodes logfile;system echo threads:$threads logfile; 然而，第二個(gè)實(shí)例未更改，盡管它肯定匹配您的正則表達(dá)式。您從第一個(gè)示例中知道，sed 似乎更改其輸入中的每個(gè)匹配字符串，而不是僅更改第一個(gè)匹配字符串，因?yàn)樗?logfile 的每個(gè)實(shí)例。區(qū)別在于，logfile 的每個(gè)實(shí)例在單獨(dú)的行上，而同一行上卻有兩個(gè) project 實(shí)例。這為什么非常重要？因?yàn)?sed 被實(shí)現(xiàn)為一個(gè)行編輯器。它一次將一個(gè)單獨(dú)的

19、行放到內(nèi)存中，并將其作為單個(gè)單元來操作。在運(yùn)行 sed 時(shí)務(wù)必記住這點(diǎn)，因?yàn)樗忻钚羞x項(xiàng)都是按這個(gè)設(shè)計(jì)原則來設(shè)計(jì)的（從而使大多數(shù) sed 實(shí)現(xiàn)不會受到與系統(tǒng)內(nèi)存有關(guān)的文件大小限制）。缺省情況下，每一行都視為 sed 命令的一次新的執(zhí)行。盡管在第一個(gè)示例中似乎不是這樣，但是其中 sed 命令僅替換匹配字符串的第一個(gè)實(shí)例。然而，您可以簡單地使用一個(gè) g 標(biāo)志來改變此行為。12g 標(biāo)志執(zhí)行同樣的 sed 命令，但這次在結(jié)尾附加一個(gè) g：sed s/project/project_name/g sed.txt 這次，第一行上的兩個(gè) project 實(shí)例都被更改為 project_name：syste

20、m echo project_name:$project_name logfile;system echo version:$version logfile;system echo optionalid:$optionalid logfile;system echo nodes:$nodes logfile;system echo threads:$threads logfile; 您可能記得，g 是 global 的簡寫。運(yùn)行初步的搜索 sed 的另一個(gè)強(qiáng)大功能是在搜索和替換操作前運(yùn)行初步搜索，以確定當(dāng)前是否在您希望執(zhí)行命令的行上。這差不多類似于在 sed 中執(zhí)行 grep。在您的例子中，您

21、可能希望更改 node 變量的日志文件，而不是將它與所有其他輸出分組在一起。為此，您需要將字符串 logfile 更改為 log，但是僅在屬于節(jié)點(diǎn)的行上執(zhí)行更改。以下命令可以確切完成此任務(wù)：sed /nodes/s/log sed.txt下面是其輸出：system echo project:$project logfile;system echo version:$version logfile;system echo optionalid:$optionalid logfile;system echo nodes:$nodes log;system echo threads:$threads

22、 logfile; 13更改以冒號結(jié)尾的每個(gè)字符串現(xiàn)在，嘗試使用一些您在使用 grep 時(shí)學(xué)習(xí)到的正則表達(dá)式知識，不過這次是在 sed 命令中使用。通過在 sed 中使用以下正則表達(dá)式，您可以更改以冒號結(jié)尾的每個(gè)字符串：sed s/a-z*:/value:/g sed.txt 輸出應(yīng)該類似如下：system echo value:$project logfile;system echo value:$version logfile;system echo value:$optionalid logfile;system echo value:$nodes logfile;system echo

23、 value:$threads logfile; 這相當(dāng)酷，但不是非常合理。它不是非常合理的原因在于，您的所有變量前都有單詞 value，沒有辦法對各個(gè)變量進(jìn)行區(qū)分。然而，通過使用 sed 的另一個(gè)功能，您可以使這轉(zhuǎn)變?yōu)橐粋€(gè)實(shí)際的示例。 “和”號“和”號 (&) 表示與您的正則表達(dá)式匹配的字符串。換句話說，如果 a-z*: 在某個(gè)特定行上被證明為 project:，則“和”號將包含該值。這會非常有用?？匆幌乱韵逻@個(gè)示例：sed s/a-z*:/new_&/g sed.txt 這次，您修改了每個(gè)匹配字符串，但是保留了與每個(gè)變量關(guān)聯(lián)的標(biāo)識符：system echo new_project:$pro

24、ject logfile;system echo new_version:$version logfile;system echo new_optionalid:$optionalid logfile;system echo new_nodes:$nodes logfile;system echo new_threads:$threads logfile;14執(zhí)行多個(gè)命令序列使用 sed，您還可以一次做多件事情。若要一次執(zhí)行多個(gè)命令序列，您必須在每個(gè)表達(dá)式前使用 -e 標(biāo)志。缺省情況下，sed 將第一個(gè)參數(shù)解釋為一個(gè)表達(dá)式，但是在運(yùn)行多個(gè)命令時(shí)，您需要作出更明確的指定，因此要使用 -e 標(biāo)志。

25、例如：sed -e s/a-z*:/value:/g -e s/log sed.txt可以在此例中看到，sed 在適當(dāng)位置插入了 value: 和 name：system echo value:$project name;system echo value:$version name;system echo value:$optionalid name;system echo value:$nodes name;system echo value:$threads name;正如您開始看到的，在大規(guī)模批處理過程中，sed 可以是個(gè)非常強(qiáng)大的文件編輯工具。在前一示例中，您是在對單個(gè)文件進(jìn)行操作，

26、就像在使用 grep 時(shí)所做的那樣。不要忘了，這些實(shí)用程序的部分強(qiáng)大功能在于跨多個(gè)文件運(yùn)行它們，這可以使用通配符或文件列表替換單個(gè)文件來實(shí)現(xiàn)，您已在本教程中這樣使用過了。15在命令行上使用 awk本教程首先對正則表達(dá)式進(jìn)行了基本的解釋，然后介紹了 grep 和 sed。grep 是一個(gè)強(qiáng)大的搜索實(shí)用程序，而 sed 則是一個(gè)更加強(qiáng)大的搜索和替換實(shí)用程序。awk 則更進(jìn)一步，它在全功能的命令行編程語言中使用正則表達(dá)式。正如 sed 一樣，當(dāng)在命令行上使用 awk 時(shí)，它接受基于行的輸入。awk 一次解釋一行輸入，但是與 sed 不同，它將該行上的每個(gè)部分作為變量來處理，這些變量可用作內(nèi)聯(lián)代碼的輸

27、入和輸出。應(yīng)該指出的是，AWK（大寫）是一個(gè)可用于編寫腳本（而不只是在命令行上使用）的全功能編程語言，但本教程集中于 awk，后者是動(dòng)態(tài)解釋 AWK 命令的命令行實(shí)用程序。順便提一下，任何人閱讀到這里都會考慮如何實(shí)際運(yùn)用所學(xué)到的知識，我剛才就使用 grep 在某些舊代碼中搜索理想的 awk 示例：grep awk */*.pl16大多數(shù)系統(tǒng)管理員或程序員每天都會看到這些工具的應(yīng)用。下面是我的輸出中的一些行：Edaemon/m_checkcurrentdisk.pl:$freespace = awk (NR=1) print $4 / 1024 / 1024 grep.tmp;|- XML er

28、ror: The previous line is longer than the max of 90 characters -|Edaemon/m_getdatetime.pl:$month = awk (NR=1) print $2 datetime.txt;Odaemon/odaemon.beowulf.dvd.pl:$ = awk (NR=1) print $1 temp.txt; 這些是非常好的示例，因?yàn)樗鼈冋f明了非?；A(chǔ)的 awk 應(yīng)用。對于您的第一次嘗試，甚至可以使它更簡單。對于您的 awk 測試，請?jiān)谝粋€(gè)空目錄中創(chuàng)建以下文件（每個(gè)文件的內(nèi)容無關(guān)緊要，并且它們可以是空的）。Scr

29、eenshot_1.jpgScreenshot_2.jpgScreenshot_3.jpgawk.txtregular.txtsed.txt17使用 ls 的輸出作為 awk 的輸入缺省情況下，awk 讀取輸入文件中的每一行，并將內(nèi)容分離為由空格確定的變量。在非常簡單的示例中，您可以使用 ls 的輸出作為 awk 的輸入并打印結(jié)果。此示例結(jié)合使用管道字符 (|) 和 ls 來將輸出發(fā)送到 awk：ls | awk print $1 awk 隨后打印每行上的第一項(xiàng)，在此例中為每行上的唯一項(xiàng)：Screenshot_1.jpgScreenshot_2.jpgScreenshot_3.jpgawk.t

30、xtregular.txtsed.txt18使用 ls -l 來為 awk 生成多列輸入這確實(shí)是非?；镜墓δ?。對于下一個(gè)示例，請使用 ls -l 來為 awk 生成多列輸入：ls -l不同系統(tǒng)的 ls 實(shí)現(xiàn)稍有差別，下面是一些示例輸出：total 432-rw-rw-rw- 1 guest guest 169074 Oct 15 14:51 Screenshot_1.jpg-rw-rw-rw- 1 guest guest 23956 Oct 15 20:56 Screenshot_2.jpg-rw-rw-rw- 1 guest guest 12066 Oct 15 20:57 Screens

31、hot_3.jpg-rw-r-r- 1 tuser tuser 227 Oct 15 20:16 awk.txt-rw-r-r- 1 tuser tuser 233 Oct 15 19:35 regular.txt-rw-r-r- 1 tuser tuser 227 Oct 15 23:16 sed.txt 請注意，文件所有者是每行上的第三個(gè)項(xiàng)，文件名是每行上的第九個(gè)項(xiàng)（缺省情況下，awk 中的項(xiàng)之間用空格分隔）。通過打印每行上的第三和第九個(gè)變量，您可以使用 awk 來從該列表提取文件所有者和文件名。下面是完成這項(xiàng)工作的命令：ls -l | awk print $3 $9 您將注意到，awk 中