郵件監(jiān)控SMTPPOP3系統(tǒng)設(shè)計與實現(xiàn)(含源文件)

1、摘 要本論文主要研究了使用LIBNIDS網(wǎng)絡(luò)安全開發(fā)包對郵件客戶端收發(fā)的郵件的還原。郵件客戶端收發(fā)郵件時涉及到的協(xié)議是SMTP協(xié)議和POP3協(xié)議。利用LIBNIDS網(wǎng)絡(luò)安全開發(fā)包對郵件的數(shù)據(jù)包進行捕獲，實現(xiàn)了郵件發(fā)件人、收件人、抄送人、收發(fā)日期、郵件主題、郵件內(nèi)容和郵件的附件名稱信息的提取。在對郵件的各字段進行還原的過程中，對SMTP和POP3進行協(xié)議分析，使用捕獲到的SMTP協(xié)議和POP3協(xié)議郵件的數(shù)據(jù)包中的內(nèi)容，分析了郵件的發(fā)送和接收時各字段所在的位置和對應(yīng)的格式。對于含有漢字的字段，如發(fā)件人、收件人、抄送人、主題、內(nèi)容和附件名的還原，也利用分析出的郵件各字段數(shù)據(jù)格式，設(shè)計出漢字還原的方法

2、。在此基礎(chǔ)上，實現(xiàn)了郵件監(jiān)視端軟件的編寫，利用互聯(lián)網(wǎng)信息服務(wù)（IIS）瀏覽被監(jiān)視計算機中的郵件日志文件，實現(xiàn)了郵件監(jiān)控子系統(tǒng)中監(jiān)視郵件收發(fā)情況的功能。關(guān)鍵詞網(wǎng)絡(luò)監(jiān)控；郵件監(jiān)控；郵件還原；SMTP；POP3AbstractThis thesis mainly focused on the restoration for the e-mail client to send or receive e-mails using the development package of network security LIBNIDS. E-mail client to send and received e

3、-mails related to SMTP and POP3 protocol. Making use of LIBNIDS to capture the packets of e-mails, its achieved the restoration of main information in e-mails, including the sender, recipient, carbon copy (cc), date, subject, content and attachment name.In the process of restoring e-mails, it carrie

4、d out on the SMTP and POP3 protocol analysis. With the content of e-mails captured based on SMTP and POP3 protocol, we have analyzed the format for corresponding field in e-mail. While the field contains characters, such as sender, recipient, cc, subject, content and attachment name we also analyzed

5、 the format for corresponding field and designed the means to restore Chinese characters.Using of the Internet Information Services (IIS) on this basis, its achieved the function of monitoring the situation to send and receive e-mails in the subsystem of e-mail monitoring.Key wordsnetwork monitoring

6、 e-mail monitoring e-mail restoration SMTP POP3不要刪除行尾的分節(jié)符，此行不會被打印- II -目 錄摘 要IAbstractII第1章 緒論11.1 課題背景11.2 課題來源、目的和意義11.2.1 國外研究現(xiàn)狀11.2.2 國內(nèi)研究現(xiàn)狀21.3 主要研究內(nèi)容21.3.1 郵件監(jiān)控21.3.2 監(jiān)控端軟件31.4 本文結(jié)構(gòu)3第2章 理論基礎(chǔ)42.1 引言42.2 SMTP協(xié)議和POP3協(xié)議42.2.1 SMTP協(xié)議簡介42.2.2 POP3協(xié)議簡介62.3 LIBNIDS開發(fā)包72.3.1 LIBNIDS簡介72.3.2 LIBNIDS數(shù)據(jù)結(jié)構(gòu)

7、92.3.3 LIBNIDS基本函數(shù)112.3.4 LIBNIDS的使用122.4 BASE64簡介132.5 本章小結(jié)13第3章 郵件監(jiān)控子系統(tǒng)構(gòu)成和框架143.1 引言143.2 模塊組成143.3 運行框架173.4 本章小結(jié)18第4章 基于SMTP和POP3協(xié)議的郵件還原194.1 引言194.2 總流程194.3 具體實現(xiàn)224.3.1 提取發(fā)件人224.3.2 提取收件人234.3.3 提取抄送人254.3.4 提取主題274.3.5 提取日期294.3.6 提取內(nèi)容304.3.7 提取附件名324.4 郵件還原中的問題及解決辦法344.5 本章小結(jié)35第5章 監(jiān)視端的實現(xiàn)365.

8、1 引言365.2 監(jiān)視端框架365.3 具體實現(xiàn)375.3.1 數(shù)據(jù)庫375.3.2 IIS設(shè)置385.3.3 日志瀏覽、刷新和保存385.3.4 添加和刪除監(jiān)視計算機405.4 軟件編寫中的問題及解決辦法415.5 本章小結(jié)41第6章 綜合測試426.1 引言426.2 準(zhǔn)備工作426.3 測試436.3.1 收件人、抄送人、主題、內(nèi)容是英文情況436.3.2 收件人、抄送人、主題、內(nèi)容是漢字情況446.3.3 多收件人或抄送人情況446.3.4 含有多附件情況456.3.5 郵件內(nèi)容超量情況456.3.6 被監(jiān)視計算機未啟動情況476.4 本章小結(jié)47結(jié) 論48致 謝49參考文獻50千萬

9、不要刪除行尾的分節(jié)符，此行不會被打印。在目錄上點右鍵“更新域”，然后“更新整個目錄”。打印前，不要忘記把上面“Abstract”這一行后加一空行- V -第1章 緒論1.1 課題背景隨著企業(yè)內(nèi)部局域網(wǎng)絡(luò)和辦公自動化的普及，企業(yè)的辦公及業(yè)務(wù)環(huán)境得到很大的改善，同時，網(wǎng)絡(luò)的安全問題也越來越受到關(guān)注。由于企業(yè)內(nèi)部網(wǎng)中存有與企業(yè)相關(guān)的機密信息，而這些信息關(guān)乎到企業(yè)的利益，甚至生存，因此，企業(yè)內(nèi)部局域網(wǎng)中的核心機密數(shù)據(jù)的安全性越來越為人們所關(guān)注，對文件數(shù)據(jù)的安全管理系統(tǒng)的研究有著非常重要的現(xiàn)實意義1。電子郵件作為互聯(lián)網(wǎng)高速發(fā)展的一個標(biāo)志，它的使用越來越普遍，不僅成為企業(yè)內(nèi)部的溝通橋梁，也是企業(yè)和外部進行

10、各類業(yè)務(wù)往來的重要管道，為保護商業(yè)秘密不通過郵件外泄，成為企業(yè)的一件大事,郵件監(jiān)控也就越來越重要2。不僅對于企業(yè)，對于校園內(nèi)的各個實驗室，計算機中文件的安全問題仍然是不可忽視的。作為實驗室內(nèi)部人員發(fā)送郵件的監(jiān)視系統(tǒng)，不僅要監(jiān)視收件人、主題和內(nèi)容等信息，郵件的附件名稱等也需要獲取，因此郵件監(jiān)控尤為重要。文中主要研究了基于SMTP協(xié)議和POP3協(xié)議的郵件主要信息的還原，使用LIBNIDS網(wǎng)絡(luò)安全開發(fā)包，捕獲使用郵件客戶端收發(fā)的郵件的數(shù)據(jù)包，并對郵件的發(fā)件人、收件人、抄送人、郵件日期、主題、內(nèi)容和附件名稱進行還原。能夠在監(jiān)視端瀏覽被監(jiān)視計算機中的郵件日志文件，達到了監(jiān)視的效果。1.2 課題來源、目的

11、和意義本課題來自于計算機網(wǎng)絡(luò)與信息安全技術(shù)研究中心。通過對郵件監(jiān)控子系統(tǒng)的研究與實現(xiàn)，達到對企業(yè)內(nèi)部網(wǎng)和實驗室局域網(wǎng)中收發(fā)郵件的監(jiān)視，發(fā)現(xiàn)泄露信息的人員，實現(xiàn)企業(yè)和實驗室的保密工作。1.2.1 國外研究現(xiàn)狀國外有一些郵件監(jiān)控的共享軟件3。比如：Email Monitoring，是一款可以監(jiān)控多個電子郵件賬戶的軟件。它不僅僅實現(xiàn)了電子郵件的監(jiān)控，還可以過濾垃圾郵件。另如SOFTX電子郵件監(jiān)視器，可以監(jiān)控所有向外發(fā)送的郵件，可以提醒未經(jīng)批準(zhǔn)或未知的程序正試圖發(fā)送電子郵件，可以阻止電子郵件發(fā)送到未知的收件人以及電子郵件中包含可能不安全的附件等4。1.2.2 國內(nèi)研究現(xiàn)狀目前國內(nèi)已經(jīng)有不少網(wǎng)絡(luò)監(jiān)控軟件

12、3。比如：Work Win管理專家、“清揚”網(wǎng)絡(luò)綜合管理系統(tǒng)、網(wǎng)路崗、ANYVIEW(網(wǎng)絡(luò)警)網(wǎng)絡(luò)監(jiān)控軟件、百絡(luò)郵件監(jiān)控系統(tǒng)等等。這些軟件實現(xiàn)了局域網(wǎng)內(nèi)用戶的監(jiān)控，有的側(cè)重于為企業(yè)服務(wù)，監(jiān)視員工的行為，包括游戲、聊天、上網(wǎng)、發(fā)送郵件等；有的側(cè)重于一方面的監(jiān)視，像郵件的監(jiān)視，網(wǎng)絡(luò)訪問的監(jiān)視等等4。其中的易風(fēng)郵件監(jiān)控系統(tǒng)，基于MAC地址進行監(jiān)控；監(jiān)控網(wǎng)絡(luò)內(nèi)所有收發(fā)郵件的內(nèi)容及附件，（outlook、fox mail等郵件客戶端，包括WEB發(fā)送）；可對所有收發(fā)郵件進行攔截、阻擋，禁止發(fā)送或者接收某些郵件；可監(jiān)控收發(fā)郵件的郵箱地址及抄送、密送郵箱地址；可設(shè)置報警信息，對監(jiān)控、攔截或者過濾的郵件進行報警

13、提示，自動彈出；可監(jiān)控郵件內(nèi)容中某些帶敏感字符的郵件或者有指定名稱的附件；可指定監(jiān)控某個郵箱或者某些郵箱，包括抄送、密送郵件地址；可對收發(fā)郵件內(nèi)容進行審查過濾，有敏感字符的郵件不能外發(fā)；可指定某個郵箱發(fā)信，指定發(fā)送到某個郵箱，禁止抄送、密送或者禁止某些郵箱不能發(fā)信；可對收發(fā)郵件內(nèi)容大小進行控制；可對收發(fā)郵件附件大小、附件名稱進行控制；可將系統(tǒng)日志和監(jiān)控日志進行備份導(dǎo)出；可按時間、組別或者部門、機器名、IP、MAC地址、發(fā)件人、收件人、主題、關(guān)鍵詞、發(fā)送類型等方式對監(jiān)控郵件進行查詢；可以按組別或者部門進行監(jiān)控，可以按用戶權(quán)限進行管理查詢；該系統(tǒng)品質(zhì)優(yōu)秀，操作簡單，功能強大。1.3 主要研究內(nèi)容1

14、.3.1 郵件監(jiān)控郵件監(jiān)控包括監(jiān)控Outlook、Fox mail等郵件客戶端工具和Web Mail（瀏覽器通過Web方式來收發(fā)電子郵件）。本文中只對使用郵件客戶端收發(fā)的郵件進行監(jiān)視，郵件客戶端使用SMTP協(xié)議發(fā)送郵件，使用POP3協(xié)議接收郵件。記錄發(fā)送郵件的各種信息，包括發(fā)送和接收方的郵件賬號、抄送的郵件賬號、郵件主題、郵件正文、郵件附件名字、郵件服務(wù)器的IP地址等，并寫入日志文件。1.3.2 監(jiān)控端軟件為了在監(jiān)視端瀏覽被監(jiān)視者的日志，要編寫一個具有瀏覽被監(jiān)視者計算機上的郵件日志文件的軟件。該軟件可以添加需要監(jiān)控的計算機，刪除監(jiān)控的計算機，瀏覽日志，保存日志的功能。如果被監(jiān)視的計算機未啟動，

15、則顯示指定內(nèi)容。1.4 本文結(jié)構(gòu)本文主要內(nèi)容如下：第2章中，介紹了郵件監(jiān)控子系統(tǒng)研究與實現(xiàn)的理論基礎(chǔ)，簡單介紹了SMTP和POP3協(xié)議、 LIBNIDS開發(fā)包、BASE64編碼。第3章中，介紹了郵件監(jiān)控子系統(tǒng)的系統(tǒng)構(gòu)成和框架。第4章中，介紹了基于SMTP協(xié)議和POP3協(xié)議的郵件還原。第5章中，介紹了監(jiān)視端軟件的具體實現(xiàn)。第6章中，測試郵件監(jiān)控子系統(tǒng)，對不同類型的郵件收發(fā)情況進行了測試。雙擊上一行的“1”“2”試試，J(本行不會被打印，請自行刪除)第2章 理論基礎(chǔ)2.1 引言郵件客戶端收發(fā)郵件使用的是POP3協(xié)議和SMTP協(xié)議，在進行郵件還原之前有必要了解這兩種協(xié)議的工作原理和原始命令碼。在對這

16、兩種協(xié)議的數(shù)據(jù)包進行捕捉的時候，使用到了LIBNIDS網(wǎng)絡(luò)安全開發(fā)包，所以本章中會對各種網(wǎng)絡(luò)開發(fā)包進行一下對比，說明為什么要選擇LIBNIDS網(wǎng)絡(luò)安全開發(fā)包，并對LIBNIDS進行介紹，提及LIBNIDS的一些重要結(jié)構(gòu)體和函數(shù)，以及LIBNIDS的基本運行框架。在對郵件中的中文進行還原的過程中，使用到了Base64編碼。本章中也對其進行了簡單的介紹。2.2 SMTP協(xié)議和POP3協(xié)議2.2.1 SMTP協(xié)議簡介SMTP稱為簡單Mail傳輸協(xié)議（Simple Mail Transfer Protocol），是一組用于由源地址到目的地址傳送郵件的協(xié)議，用以控制信件的中轉(zhuǎn)方式。目標(biāo)是向用戶提供高效、

17、可靠的郵件傳輸。SMTP協(xié)議屬于TCP/IP協(xié)議族，它幫助每臺計算機在發(fā)送或中轉(zhuǎn)信件時找到下一個目的地。通過SMTP協(xié)議所指定的服務(wù)器，可以把電子郵件寄到收信人的服務(wù)器上1。SMTP工作在兩種情況下：一是電子郵件從客戶機傳輸?shù)椒?wù)器；二是從某一個服務(wù)器傳輸?shù)搅硪粋€服務(wù)器。SMTP提供了一種郵件傳輸機制，當(dāng)收件方和發(fā)件方都在同一個網(wǎng)絡(luò)上時，可以把郵件直接傳給對方。當(dāng)對方不在同一個網(wǎng)絡(luò)上時，需要通過一個或幾個中間服務(wù)器轉(zhuǎn)發(fā)。SMTP首先由發(fā)件方提出申請，要求與接收方SMTP簡歷雙向的通信渠道。收件方可以是最終收件人，也可以是中間轉(zhuǎn)發(fā)的服務(wù)器。收件方服務(wù)器確認可以建立連接后，雙方就可以開始通信。SM

18、TP是個請求/響應(yīng)協(xié)議，它監(jiān)聽25號端口，用于接收用戶的Mail請求，并與遠端Mail服務(wù)器建立SMTP連接1。本文使用的SMTP協(xié)議工作在第一種情況下。SMTP協(xié)議的基本流程如下：首先，建立連接；其次，客戶端發(fā)送命令，以標(biāo)識發(fā)件人自己的身份，然后發(fā)送郵件命令，服務(wù)器端做出響應(yīng)，表明是否準(zhǔn)備接收；再次，客戶端發(fā)送郵件，以標(biāo)識該電子郵件的計劃接收人，服務(wù)器端則表示是否愿意為收件人接收郵件，如果寫上成功，則發(fā)送郵件；最后，結(jié)束此次發(fā)送，退出連接2。在SMTP協(xié)議中，最重要的內(nèi)容是SMTP命令和響應(yīng)狀態(tài)，這是SMTP運行的基礎(chǔ)。SMTP命令都已回車換行作為結(jié)束標(biāo)識，下面對他們做詳細描述3。HELLO

19、：參數(shù)，識別發(fā)送方到接收SMTP的一個HELLO命令。MAIL FROM：參數(shù)為，表示發(fā)送者地址。此命令告訴接收方一個新郵件發(fā)送的開始，并對所有的狀態(tài)和緩沖區(qū)進行初始化。此命令開始一個郵件傳輸處理，最終完成將郵件數(shù)據(jù)傳送到一個或多個郵箱中。RCPT TO：參數(shù)為，表示各個郵件接收者的地址。DATA：無參數(shù)，接收SMTP將把其后的行為看作郵件數(shù)據(jù)去處理，以“回車換行.回車換行”標(biāo)識數(shù)據(jù)的結(jié)尾。REST：無參數(shù)，表示重置會話，當(dāng)前傳輸被取消。NOOP：無參數(shù)，表示無操作，服務(wù)器應(yīng)響應(yīng)OK。QUIT：無參數(shù)，表示要求接收SMTP返回一個OK應(yīng)答并關(guān)閉傳輸。VRFY：參數(shù)，表示驗證指定的郵箱是否存在。

20、EXPN：參數(shù)，表示驗證給定的郵箱列表是否存在。HELP：無參數(shù)，查詢服務(wù)器支持什么命令。SMTP客戶端向SMTP服務(wù)器發(fā)送命令之后，SMTP服務(wù)器就會返回一個應(yīng)答碼。應(yīng)答碼的每一個數(shù)字都有特定含義，第一位數(shù)字為2時表示命令成功，為5時表示失敗，3時表示沒有完成。下面詳細描述應(yīng)答碼的含義。501：表示參數(shù)格式錯誤；502：表示命令不可實現(xiàn)；503：表示錯誤的命令序列；504：表示命令參數(shù)不可實現(xiàn)；211：表示系統(tǒng)狀態(tài)或系統(tǒng)幫助響應(yīng)；214：表示幫助信息；220：表示服務(wù)就緒；221：表示服務(wù)關(guān)閉；421：表示服務(wù)未就緒，關(guān)閉傳輸信道；250：表示要求的郵件操作完成；251：表示用戶非本地；45

21、0：表示要求的郵件操作未完成，郵箱不可用；550：表示要求的郵件操作未完成，郵箱不可用；451：表示放棄要求的操作；551：表示用戶非本地；452：表示系統(tǒng)存儲不足，要求的操作未執(zhí)行；552：表示過量的存儲分配，要求的操作未執(zhí)行；553：表示郵箱名不可用，要求的操作未執(zhí)行；354：表示開始郵件輸入，以“.”結(jié)束；554：表示操作失敗4。2.2.2 POP3協(xié)議簡介POP3（Post Office Protocol 3）是適用于客戶服務(wù)器結(jié)構(gòu)的脫機模型的電子郵件協(xié)議。它規(guī)定了怎樣將個人計算機連接到Internet郵件服務(wù)器和下載電子郵件的電子協(xié)議，允許用戶從服務(wù)器上把郵件存儲到本地主機上，同時刪

22、除保存在郵件服務(wù)器上的郵件5。POP3服務(wù)器是遵循POP3協(xié)議的接收郵件服務(wù)器，用來接收電子郵件。在POP3協(xié)議中有三種狀態(tài)：認可狀態(tài)，處理狀態(tài)和更新狀態(tài)。當(dāng)客戶機與服務(wù)器建立聯(lián)系時，一旦客戶機提供了自己身份并成功確認，即由認可狀態(tài)轉(zhuǎn)入處理狀態(tài)，在完成相應(yīng)的操作后客戶機發(fā)出QUIT命令，則進入更新狀態(tài)，更新之后重返認可狀態(tài)。大多數(shù)現(xiàn)有的POP3客戶機與服務(wù)器執(zhí)行采用ASCII明文發(fā)送用戶名和口令，在認可狀態(tài)等待客戶連接的情況下，客戶發(fā)出連接，并由命令user/pass對在網(wǎng)絡(luò)上發(fā)送明文用戶名和口令給服務(wù)器進行身份驗證，一旦確認成功，邊轉(zhuǎn)入處理狀態(tài)。POP3命令由命令和參數(shù)組成。所有命令以一個回

23、車換行CRLF結(jié)束。命令和參數(shù)由可打印的ASCII字符組成，他們之間由空格隔開。命令一般是三到四個字母，每個參數(shù)卻可達四十個字符長。POP3響應(yīng)是有一個狀態(tài)碼和一個可能跟有附加信息的命令組成。所有響應(yīng)也是有回車換行CRLF結(jié)束的。有兩種狀態(tài)碼，狀態(tài)碼“+OK”表示成功，狀態(tài)碼“-ERR”表示失敗。下面對POP3命令進行詳細介紹。USER：參數(shù)username，在認可狀態(tài)下有效，表示用戶名；PASS：參數(shù)password，在認可狀態(tài)下有效，表示用戶密碼，與命令USER一起使用，如果操作成功，就導(dǎo)致狀態(tài)轉(zhuǎn)換；APOP：參數(shù)為Name和Digest，在認可狀態(tài)下有效，其中Digest是MD5消息摘要

24、；STAT：無參數(shù)，在處理狀態(tài)下有效，它請求服務(wù)器返回關(guān)于郵箱的統(tǒng)計資料；UIDL：參數(shù)為Msg#，在處理狀態(tài)下有效，它返回郵件的惟一標(biāo)識符；LIST：參數(shù)為Msg#，在處理狀態(tài)下有效，他返回郵件數(shù)量和每個郵件的大??；RETR：參數(shù)為Msg#，在處理狀態(tài)下有效，它返回由參數(shù)標(biāo)識的郵件的全部文本；DELE：參數(shù)為Msg#，在處理狀態(tài)下有效，它表示服務(wù)器將有參數(shù)標(biāo)識的郵件標(biāo)記為刪除。執(zhí)行QUIT命令后，郵件將刪除；RSET：無參數(shù)，在處理狀態(tài)下有效，服務(wù)器取消所有標(biāo)記為刪除的郵件，用于撤銷DELE參數(shù)；TOP：參數(shù)為Msg#，在處理狀態(tài)下有效，服務(wù)器將返回由參數(shù)標(biāo)識的郵件前n行內(nèi)容，n必須是正整數(shù)

25、；NOOP：無參數(shù)，在處理狀態(tài)下有效，服務(wù)器返回一個肯定的響應(yīng)；QUIT：無參數(shù)，在更新狀態(tài)下有效，退出。2.3 LIBNIDS開發(fā)包2.3.1 LIBNIDS簡介LIBNIDS是網(wǎng)絡(luò)安全開發(fā)包的一種，網(wǎng)絡(luò)安全開發(fā)包是指用于網(wǎng)絡(luò)安全研究和開發(fā)的一些專業(yè)開發(fā)函數(shù)庫。它的主要作用是提供用于網(wǎng)絡(luò)安全研究和開發(fā)的基本功能的實現(xiàn)，為了研究者和開發(fā)者進一步研究和開發(fā)網(wǎng)絡(luò)安全提供編程接口，為了網(wǎng)絡(luò)安全功能的實現(xiàn)提供方便6。網(wǎng)絡(luò)安全開發(fā)包的最大作用適用于設(shè)計網(wǎng)絡(luò)安全系統(tǒng)，其直接功能是實現(xiàn)了某些網(wǎng)絡(luò)安全技術(shù)，如網(wǎng)絡(luò)數(shù)據(jù)包捕獲技術(shù)、網(wǎng)絡(luò)數(shù)據(jù)包生成技術(shù)等。利用它們可以很快地實現(xiàn)某些網(wǎng)絡(luò)安全系統(tǒng)的基本功能。例如，使用

26、網(wǎng)絡(luò)數(shù)據(jù)包捕獲技術(shù)可以實現(xiàn)網(wǎng)絡(luò)監(jiān)視系統(tǒng)的最基本功能，而使用網(wǎng)絡(luò)數(shù)據(jù)包生成技術(shù)可以構(gòu)造網(wǎng)絡(luò)安全掃描系統(tǒng)的基本功能。網(wǎng)絡(luò)安全開發(fā)包在實際的系統(tǒng)中得到了廣泛的應(yīng)用，一些比較著名的網(wǎng)絡(luò)安全系統(tǒng)都使用了一些網(wǎng)絡(luò)安全開發(fā)包。網(wǎng)絡(luò)安全開發(fā)包的種類非常多，其實現(xiàn)的功能也干差萬別。新的網(wǎng)絡(luò)安全開發(fā)包不斷涌現(xiàn)，很多不成熟的網(wǎng)絡(luò)安全開發(fā)包也在不斷壯大、成熟。一些在實際的使用中用得比較多的網(wǎng)絡(luò)安全開發(fā)包如下：(1)網(wǎng)絡(luò)數(shù)據(jù)包捕獲開發(fā)包Libpcap；(2)Windows平臺專業(yè)數(shù)據(jù)包捕獲開發(fā)包WinPcap；(3)網(wǎng)絡(luò)數(shù)據(jù)包構(gòu)造和發(fā)送開發(fā)包Libnet；(4)網(wǎng)絡(luò)入侵檢測開發(fā)包Libnids；(5)通用網(wǎng)絡(luò)安全開發(fā)包

27、Libdnet。網(wǎng)絡(luò)入侵檢測開發(fā)包Libnids（Library Network Intrusion Detection System）是一個用于網(wǎng)絡(luò)入侵檢測系統(tǒng)設(shè)計的專業(yè)開發(fā)包，提供了一個網(wǎng)絡(luò)入侵檢測系統(tǒng)的基本框架和基本功能。它可以進行IP碎片重組和TCP流重組，還提供了監(jiān)測網(wǎng)絡(luò)掃描的功能7。利用Libnids可以快速地實現(xiàn)網(wǎng)絡(luò)入侵檢測的基本功能。本文中使用的并非是Libnids的網(wǎng)絡(luò)入侵檢測，而是它的IP碎片重組和TCP流重組，使用它們進行數(shù)據(jù)包的捕獲，進而實現(xiàn)郵件信息的還原。Libnids是基于Libpcap和Libnet而開發(fā)的，所以具有它們的優(yōu)點，以及跨平臺、可移植、穩(wěn)定、方便等特點

28、。利用Libnids可以進行數(shù)據(jù)包的捕獲，并對捕獲到的數(shù)據(jù)包進行協(xié)議分析，當(dāng)然也可以對數(shù)據(jù)包進行過濾，只不過感興趣的數(shù)據(jù)包。利用Libnids可以進行協(xié)議分析，如分析IP、TCP、UDP、等協(xié)議。本文中只需要對SMTP和POP3協(xié)議的數(shù)據(jù)包進行過濾，只分析這些數(shù)據(jù)包。Libnids提供的TCP數(shù)據(jù)流重組功能是非常強大的，它可以對基于任何TCP協(xié)議的應(yīng)用層協(xié)議進行TCP數(shù)據(jù)流重組，顯示他們的連接過程，并對它們傳輸?shù)臄?shù)據(jù)進行分析。利用Libnids提供的TCP數(shù)據(jù)流重組功能，可以實現(xiàn)對敏感數(shù)據(jù)的分析，如對用戶、密碼、賬號進行嗅探。利用Libnids提供的TCP數(shù)據(jù)流重組功能，還可以對網(wǎng)絡(luò)傳輸?shù)膬?nèi)容

29、進行還原，重現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)。例如，可以利用Libnids的TCP數(shù)據(jù)流功能來分析HTTP協(xié)議，同時，對所傳輸?shù)膬?nèi)容（如網(wǎng)頁）進行分析。網(wǎng)絡(luò)實際傳輸?shù)氖荋TML文件內(nèi)容，對其進行分析，就可以對網(wǎng)頁進行重現(xiàn)。例如，可以對POP3和SMTP協(xié)議傳輸?shù)泥]件內(nèi)容進行重現(xiàn)。Libnids是仿照Linux操作系統(tǒng)內(nèi)核的網(wǎng)絡(luò)協(xié)議棧來實現(xiàn)的，所以它提供的功能非常穩(wěn)定、可靠，通過了很多測試過程。IP碎片重組是Libnids提供的另外一個重要功能，利用它可以捕獲所有的IP碎片數(shù)據(jù)包（包括異常數(shù)據(jù)包），當(dāng)然也可以捕獲正常的IP數(shù)據(jù)包。Libnids不僅可以捕獲異常IP數(shù)據(jù)包，也可以檢測異常TCP數(shù)據(jù)包和異常UDP數(shù)據(jù)包。

30、LIbnids還提供了端口掃描檢測功能，能夠檢測TCP端口掃描攻擊，并檢測出TCP端口掃描類型3。2.3.2 LIBNIDS數(shù)據(jù)結(jié)構(gòu) 基本常量在Libnids中定義了一些基本的常量，這些常量都有特定的含義。下面對他們進行介紹。1.報警類型Libnids提供了對IP數(shù)據(jù)包異常、TCP數(shù)據(jù)包異常、UDP數(shù)據(jù)包異常以及掃描攻擊的檢測，對于不同的攻擊方式提供不同的報警類型。2.Libnids狀態(tài)在對TCP數(shù)據(jù)流進行重組時，必須考慮到TCP的連接狀態(tài)，在Libnids中為了方便開發(fā)而定義了Libnids狀態(tài)，共有如下6種：#define NIDS_JUST_EST 1#define NID

31、S_DATA 2#define NIDS_CLOSE 3#define NIDS_RESET 4#define NIDS_TIMED_OUT 5#define NIDS_EXITING 重要結(jié)構(gòu)體tuple4：tuple4數(shù)據(jù)結(jié)構(gòu)是Libnids中最基本的一種數(shù)據(jù)結(jié)構(gòu)，其定義如下：struct tuple4 u_short source; u_short dest; u_int saddr; u_int daddr;tuple4數(shù)據(jù)結(jié)構(gòu)描述的是一個地址端口對，它表示發(fā)送方IP和端口以及接收方IP和端口，當(dāng)它用于TCP連接時，其具體意義描述如下：成員saddr表示一個TCP連接

32、的一端IP地址，稱為源IP地址；成員daddr表示一個TCP連接的另一端IP地址，成為目的地址，注意此時的源和目的只是相對的；成員source表示源IP地址的端口號；成員dest表示目的IP地址的端口號。tuple4數(shù)據(jù)結(jié)構(gòu)包括描述TCP連接的四個重要參數(shù)信息：源IP地址、目的IP地址、源端口和目的端口。half_stream：half_stream數(shù)據(jù)結(jié)構(gòu)用來描述在TCP連接中一端的所有信息，可以使客戶端，也可以是服務(wù)器端。half_stream描述的是一個TCP連接的一端的信息。一個TCP連接有兩端，任何一端可以用詞數(shù)據(jù)結(jié)構(gòu)來進行描述。其中與開發(fā)者密切相關(guān)的成員有以下幾種，其他的可以都不用

33、考慮。成員state表示套接字的狀態(tài)，也就是TCP連接狀態(tài)。成員collect可以用來表示有數(shù)據(jù)達到，此數(shù)據(jù)存放在data成員中，也可以表示不存儲此數(shù)據(jù)到data中，此數(shù)據(jù)忽略。如果大于0就存儲，否則就忽略。成員collect_urg可以表示是否有緊急數(shù)據(jù)到達，此數(shù)據(jù)存放在urgdata中，也可以表示不存儲此數(shù)據(jù)到urgdata中，此數(shù)據(jù)忽略。如果大于0就存儲，否則就忽略。成員data用來存儲正常接收到的數(shù)據(jù)。成員offset表示存儲在data中的數(shù)據(jù)的第一個字節(jié)的偏移量。成員count表示從TCP連接開始已經(jīng)存儲到data中的數(shù)據(jù)的字節(jié)數(shù)。成員count_new表示有多少新的數(shù)據(jù)存儲到dat

34、a中，如果為0表示沒有新的數(shù)據(jù)到達，。成員urgdata用來存儲緊急數(shù)據(jù)。成員count_new_urg表示有新的緊急數(shù)據(jù)到達，如果為0表示沒有新的緊急數(shù)據(jù)。雖然數(shù)據(jù)結(jié)構(gòu)half_stream的成員非常多，但需要關(guān)注的就這幾個。其中成員state非常重要，它表示了當(dāng)前的TCP連接狀態(tài)，只有知道了TCP連接狀態(tài)后，才能進行下一步的動作。成員data用來存儲接收到的正常的網(wǎng)絡(luò)數(shù)據(jù)信息，而urgdata用來存儲接收到的緊急數(shù)據(jù)。判斷是否有新的正常數(shù)據(jù)到達，是利用成員count_new來進行判斷的，判斷是否有新的緊急數(shù)據(jù)到達，是利用成員count_new_urg來進行判斷的。如果count_new大于

35、0，就表示有新的緊急數(shù)據(jù)到達，如果count_new_urg大于0，就表示有新的緊急數(shù)據(jù)到達。然后就可以輸出新到達的數(shù)據(jù)內(nèi)容，正常數(shù)據(jù)存儲在data中，緊急數(shù)據(jù)存儲在urgdata中。tcp_stream：tcp_stream數(shù)據(jù)結(jié)構(gòu)描述的是一個TCP連接的所有信息。2.3.3 LIBNIDS基本函數(shù)（1） int nids_init(void);函數(shù)返回值：函數(shù)調(diào)用成功就返回1，失敗就返回0。此函數(shù)的功能是對Libnids進行初始化，這是所有設(shè)計基于Libnids的程序最開始調(diào)用函數(shù)。它的主要內(nèi)容包括打開網(wǎng)絡(luò)接口、打開文件、編譯過濾規(guī)則、設(shè)置過濾規(guī)則、判斷網(wǎng)絡(luò)鏈路層類型、驚醒必要的初始化工作

36、。（2） void nids_run(void);函數(shù)無返回值。此功能是運行Libnids，進入循環(huán)捕獲數(shù)據(jù)包狀態(tài)。它實際上是調(diào)用Libpcap函數(shù)pcap_loop()來循環(huán)捕獲數(shù)據(jù)包。（3） void nids_register_tcp(void(*);此函數(shù)是注冊一個TCP連接的回調(diào)函數(shù)。回調(diào)函數(shù)的類型定義如下：Void tcp_callback(struct tcp_stream *ns, void * param);其中ns表示一個TCP連接的所有信息，它的類型是tcp_stream數(shù)據(jù)結(jié)構(gòu)；參數(shù)param表示要傳遞的連接參數(shù)信息，可以指向一個TCP連接的私有數(shù)據(jù)。次回調(diào)函數(shù)接收的T

37、CP數(shù)據(jù)放在half_stream的緩存中，應(yīng)該馬上取出來，一旦次回調(diào)函數(shù)返回，此數(shù)據(jù)緩存中的數(shù)據(jù)就不存在了。2.3.4 LIBNIDS的使用 LIBNIDS安裝本文中的郵件監(jiān)控子系統(tǒng)是在Windows平臺下運行的，所以下面只介紹Windows平臺下Libnids的安裝。在Windows平臺下，Libnids的Windows版本是Libnids-win32，最新版本為1.19，其安裝過程非常簡單。首先從網(wǎng)站上下載其開發(fā)包，名稱為Libnids-W32-1.19.tar.gz。然后用解壓縮軟件對開發(fā)包進行解壓縮，存儲在一個目錄下面，如F:Libnids-1.19。打開此文件夾可以發(fā)

38、現(xiàn)里面有很多文件。其中，子文件夾src下面是Libnids的源代碼；doc下面是文檔；samples下面是一些很好的參考例子；WIN32-Code下面是與Windows平臺相關(guān)的源代碼；WIN32-Include下面是Libnids開發(fā)包的包含的頭文件，這個事開發(fā)者所要使用到的；WIN32-Libraries是Libnids開發(fā)包的靜態(tài)鏈接庫文件，也是開發(fā)者要用到的；WIN32-PRJ是Libnids開發(fā)包本書和參考例子的Visual C+項目文件。子文件夾WIN32-Include和WIN32-Libraries是開發(fā)者關(guān)心的，必須把他們的路徑添加到Visual C+開發(fā)環(huán)境中，此時就可以使

39、用Libnids來開發(fā)程序了8。 LIBNIDS運行框架使用Libnids最重要的是編寫捕獲數(shù)據(jù)包的回調(diào)函數(shù)，編寫完回調(diào)函數(shù)后經(jīng)過Libnids的初始化，注冊該回調(diào)函數(shù)，進入循環(huán)捕包狀態(tài)。其運行框架如下：void main()/準(zhǔn)備工作/Libnids初始化if(!nids_init()exit(1);/注冊分析SMTP協(xié)議的回調(diào)函數(shù)nids_register_tcp(smtp_protocol_callback);/進入循環(huán)捕獲數(shù)據(jù)包的狀態(tài)nids_run();82.4 BASE64簡介郵件的發(fā)件人、收件人、抄送人、主題、內(nèi)容和附件名中如果含有漢字，那么它們需要經(jīng)過Base64

40、編碼后才進行傳輸。下面對Base64進行簡單介紹。Base64是一種很常見的編碼規(guī)范，其作用是將二進制序列轉(zhuǎn)換為人類可讀的ASCII字符序列，常用在需用通過文本協(xié)議（比如HTTP和SMTP）來傳輸二進制數(shù)據(jù)的情況下。Base64并不是一種用于安全領(lǐng)域的加密解密算法（這類算法有DES等），盡管有時也聽到使用Base64來加密解密的說法，但這里所說的加密與解密實際是指編碼（encode）和解碼（decode）的過程，其變換是非常簡單的，僅僅能夠避免信息被直接識別。Base64采用了一種很簡單的編碼轉(zhuǎn)換：對于待編碼數(shù)據(jù)，以3個字節(jié)為單位，依次取6位數(shù)據(jù)并在前面補上兩個0形成新的8位編碼，這樣3個字節(jié)

41、的輸入會變成4個字節(jié)的輸出，長度上增加了1/3。上面的處理還不能保證得到的字符都是可見字符，為了達到此目的，Base64制定了一個編碼表，進行統(tǒng)一的轉(zhuǎn)換。碼表的大小為64，這也是Base64名稱的由來。另外還有一點要注意的地方，前面提到編碼是以3個字節(jié)為單位，當(dāng)剩下的字符數(shù)量不足3個字節(jié)時，則應(yīng)使用0進行填充，相應(yīng)的，輸出字符則使用“=”占位，因此編碼后輸出的文本末尾可能會出現(xiàn)1至2個“=”。2.5 本章小結(jié)本章中介紹了SMTP協(xié)議和POP3協(xié)議的基本概念以及他們的原始命令字。在眾多的網(wǎng)絡(luò)安全開發(fā)包中，之所以選用LIBNIDS開發(fā)包，是因為它提供了TCP數(shù)據(jù)流的重組，免去了分解數(shù)據(jù)包以及對數(shù)據(jù)

42、包重組的工作量，利用LIBNIDS可以直接獲取到數(shù)據(jù)包中內(nèi)容。本章對編程中用到的LIBNIDS的數(shù)據(jù)結(jié)構(gòu)和函數(shù)進行了介紹，為后邊章節(jié)奠定了基礎(chǔ)。對于將二進制序列轉(zhuǎn)換為可讀的ASCII碼的Base64編碼，在本章中也進行了介紹，以后章節(jié)中需要用到Base64編碼對含有漢字的郵件字段進行還原。第3章 郵件監(jiān)控子系統(tǒng)構(gòu)成和框架3.1 引言郵件監(jiān)控子系統(tǒng)是網(wǎng)絡(luò)監(jiān)控系統(tǒng)的一個子系統(tǒng)，它的目的是監(jiān)控被監(jiān)視的計算機收發(fā)郵件的內(nèi)容，這些內(nèi)容包括郵件的發(fā)件人、收件人、抄送人、主題、日期、內(nèi)容和附件名稱。郵件監(jiān)控子系統(tǒng)是一個綜合的系統(tǒng)，該系統(tǒng)由三個模塊組成，它們分別是基于SMTP協(xié)議的郵件還原程序，基于POP3協(xié)

43、議的郵件還原程序和在監(jiān)視端進行監(jiān)視的軟件。它們的功能，以及它們之間的聯(lián)系，會在本章中進行詳細的介紹。3.2 模塊組成作為網(wǎng)絡(luò)監(jiān)控系統(tǒng)的子系統(tǒng)，郵件監(jiān)控也具有重要的意義，它監(jiān)視了計算機中的文件通過郵件附件的形式向外發(fā)送的情況，不僅如此，它還記錄了使用郵件客戶端進行收發(fā)郵件的信息，并將收發(fā)到的郵件進行相關(guān)信息的提取，寫入郵件日志文件。圖3-1 郵件監(jiān)控子系統(tǒng)的模塊組成郵件監(jiān)控子系統(tǒng)是由多模塊組成的系統(tǒng)，如圖3-1所示，它的三個模塊分別是基于SMTP協(xié)議的郵件還原程序，基于POP3協(xié)議的郵件還原程序和在監(jiān)視端進行監(jiān)視的軟件。它們之間是相互獨立的，基于SMTP協(xié)議的郵件還原程序、基于POP3協(xié)議的郵件

44、還原程序和監(jiān)視端軟件分別完成自己的分工。其中基于SMTP協(xié)議的郵件還原程序完成還原客戶端發(fā)送的郵件的還原，把郵件的發(fā)件人、收件人、抄送人、主題、日期、內(nèi)容和附件名稱提取并寫入日志文件；基于POP3協(xié)議的郵件還原程序完成客戶端接收郵件的還原，把郵件的發(fā)件人、收件人、抄送人、主題、日期、內(nèi)容和附件名稱提取并寫入日志文件；監(jiān)視端軟件主要完成在監(jiān)視端查看被監(jiān)視計算機中郵件日志的文件，它還具有添加被監(jiān)視的計算機、刪除被監(jiān)視的計算機、刷新日志、保存日志的功能?；赟MTP協(xié)議的郵件還原程序名稱為“SMTPCap.exe”，它是使用VC+ 6.0編寫的控制臺程序，運行時隱藏了控制臺，只能在進程列表中找到它的

45、進程。它把郵件的發(fā)件人、收件人、抄送人、主題、日期、內(nèi)容和附件名稱提取并寫入日志文件，它產(chǎn)生的日志文件的格式如圖3-2所示。圖3-2 SMTPCap.exe產(chǎn)生日志文件的格式基于POP3協(xié)議的郵件還原程序名稱為“POP3Cap.exe”，它也是使用VC+ 6.0編寫的控制臺程序，運行時也隱藏了控制臺，只能在進程列表中找到它的進程。它把郵件的發(fā)件人、收件人、抄送人、主題、日期、內(nèi)容和附件名稱提取并寫入日志文件，它產(chǎn)生的日志文件的格式如圖3-3所示。監(jiān)視端軟件使用Microsoft Visual Studio 2008環(huán)境開發(fā)，使用C#編寫。它的運行效果如圖3-4所示。它主要有五個控件組成，包括顯

46、示郵件日志的webBrowser控件、顯示被監(jiān)視計算機列表的treeView控件、顯示連接狀態(tài)的label控件、菜單menu控件和計時器timer控件。其中的menu控件與菜單關(guān)聯(lián)，實現(xiàn)相應(yīng)的功能，timer控件用來計時刷新郵件日志。顯示被監(jiān)視者列表的treeView控件在程序啟動時動態(tài)加載數(shù)據(jù)庫中的監(jiān)視者數(shù)據(jù)而顯示到控件中；顯示郵件日志的webBrowser控件訪問被監(jiān)視計算機中的郵件日志文件達到監(jiān)視效果；文件菜單中包括日志保存和退出菜單，管理菜單中有添加監(jiān)視計算機和刪除監(jiān)視計算機啊菜單刷新菜單實現(xiàn)了監(jiān)視列表和郵件日志的刷新功能，幫助中是版權(quán)信息。圖3-3 POP3Cap.exe產(chǎn)生日志文件

47、的格式圖3-4 監(jiān)視端軟件設(shè)計界面3.3 運行框架郵件監(jiān)控子系統(tǒng)，它能夠完成被監(jiān)視計算機中郵件信息的提取還原，并能在監(jiān)視端瀏覽被監(jiān)視計算機中的郵件收發(fā)日志，工作在不同的計算機中，而且在監(jiān)視端具有監(jiān)視功能，在被監(jiān)視端具有郵件還原的功能，它必然是一個多模塊綜合的系統(tǒng)。而且在監(jiān)視端運行監(jiān)視端軟件，在被監(jiān)視端運行郵件的還原程序。圖3-3是郵件監(jiān)控子系統(tǒng)的運行框架。郵件監(jiān)控子系統(tǒng)在監(jiān)視端和被監(jiān)視端運行不同的程序，它們共同組成郵件監(jiān)控子系統(tǒng)。圖3-3 郵件監(jiān)控子系統(tǒng)運行框架在被監(jiān)視的計算機中運行基于SMTP協(xié)議的郵件還原程序SMTPCap.exe和基于POP3協(xié)議的郵件還原程序POP3Cap.exe，而在

48、監(jiān)視端只需要運行監(jiān)視端軟件Monitor.exe。當(dāng)然，被監(jiān)視的計算機如果有多個，那么，在每一個被監(jiān)視的計算機中都要運行SMTPCap.exe和POP3Cap.exe。基于SMTP協(xié)議郵件的還原程序SMTPCap.exe和基于POP3協(xié)議的郵件還原程序POP3Cap.exe運行在被監(jiān)視的計算機上，當(dāng)被監(jiān)視計算機中有郵件發(fā)送和接收時，這兩個程序捕獲郵件的數(shù)據(jù)包，并提取郵件的發(fā)件人、收件人、抄送人、日期、主題、內(nèi)容和附件名稱，保存到被本地特定目錄下的日志文件中（日志文件名為maillog.txt）。在監(jiān)視端，運行監(jiān)視端軟件可以查看已經(jīng)啟動的被監(jiān)視計算機中的日志文件，如果日志文件有更新，監(jiān)視端軟件也

49、可以實現(xiàn)刷新瀏覽；如果被監(jiān)視的計算機沒有啟動，那么會在郵件日志欄中顯示指定的錯誤提示。這就是整個郵件監(jiān)控子系統(tǒng)各個模塊之間的關(guān)系，雖然它們相互獨立，但它們通過日志文件產(chǎn)生聯(lián)系。3.4 本章小結(jié)本章中介紹了郵件監(jiān)控子系統(tǒng)的三個模塊，它們的功能以及它們之間的關(guān)系。它們分別是基于SMTP協(xié)議郵件的還原程序SMTPCap.exe、基于POP3協(xié)議郵件的還原程序POP3Cap.exe和監(jiān)視端軟件Monitor.exe，這三部分組成了郵件監(jiān)控子系統(tǒng)。其中SMTPCap.exe和POP3Cap.exe安裝在被監(jiān)視的計算機中，監(jiān)視端軟件Monitor.exe安裝在監(jiān)視計算機?；赟MTP協(xié)議的郵件還原程序和基

50、于POP3協(xié)議的郵件還原程序通過捕獲客戶端收發(fā)郵件的數(shù)據(jù)包并提取郵件的發(fā)件人、收件人、抄送人、主題、日期、內(nèi)容和附件名稱，將其寫入到本地日志文件中，同時在監(jiān)視端可以使用監(jiān)視端軟件瀏覽被監(jiān)視計算機中的日志文件，實現(xiàn)監(jiān)視收發(fā)郵件內(nèi)容的功能。第4章 基于SMTP和POP3協(xié)議的郵件還原4.1 引言使用客戶端軟件進行發(fā)送和收取郵件的過程中使用的應(yīng)用層協(xié)議是SMTP和POP3協(xié)議，在第二章中給出了SMTP和POP3協(xié)議的原始命令字，那么如何通過解析協(xié)議來分析郵件的詳細信息的呢？基于SMTP和POP3協(xié)議的郵件的發(fā)件人、收件人、抄送人、日期、主題、內(nèi)容和附件名稱是如何還原的呢？郵件中的漢字是通過Base6

51、4編碼9，編碼后的字符串是如何獲取進而又是如何還原成為漢字的呢？本章中首先給出基于SMTP協(xié)議的郵件還原程序的總流程圖，然后對上述提及的問題進行詳細的介紹。4.2 總流程基于SMTP和POP3協(xié)議的郵件還原程序代碼使用VC+控制臺編寫，它的主函數(shù)流程圖如圖4-1所示。圖4-1郵件還原程序的主流程圖當(dāng)主函數(shù)開始運行的時候，首先手動選擇網(wǎng)卡，因為LIBNIDS默認的是計算機中的虛擬網(wǎng)卡，然后初始化nids，如果初始化成功就開始注冊SMTP或者POP3協(xié)議分析的回調(diào)函數(shù)并進入循環(huán)捕獲數(shù)據(jù)包的狀態(tài)，否則結(jié)束程序。其中最重要的是協(xié)議分析的回調(diào)函數(shù)。SMTP協(xié)議分析的回調(diào)函數(shù)流程如圖4-2所示。圖4-2 SMTP協(xié)議分析