畢業(yè)設(shè)計(jì)（論文）外文翻譯譯文：網(wǎng)絡(luò)流量異常監(jiān)測(cè)

譯文一網(wǎng)絡(luò)流量異常監(jiān)測(cè)單蓉盛單蓉盛李建華王明（上海交通大學(xué)電子工程系，上海200030）摘要：提出了一種新穎的網(wǎng)絡(luò)洪流攻擊的異常檢測(cè)機(jī)制，這種檢測(cè)機(jī)制的無狀態(tài)維護(hù)、低計(jì)算代價(jià)的特性保證了自身具有抗洪攻擊的能力，本文已監(jiān)測(cè)SYN洪流攻擊為實(shí)例詳細(xì)闡述了異常檢測(cè)機(jī)制。這個(gè)機(jī)制應(yīng)用EWMA方法檢測(cè)網(wǎng)絡(luò)流的突變，并運(yùn)用對(duì)稱性分析方法檢測(cè)網(wǎng)絡(luò)流的異常活動(dòng)。測(cè)試結(jié)果表明本文所提出的檢測(cè)機(jī)制具有很好的檢測(cè)洪流攻擊的準(zhǔn)確度，并具有低延時(shí)特性。關(guān)鍵詞：異常檢測(cè)；入侵檢測(cè)；拒絕服務(wù)攻擊；端口掃描在過去的十年里互聯(lián)網(wǎng)已經(jīng)發(fā)生了顯著增長(zhǎng)，并且成為了我們社會(huì)不可缺少的基礎(chǔ)設(shè)施之一。然而，由于TCP/IP協(xié)議族的固有漏洞，互聯(lián)網(wǎng)是容易遭受網(wǎng)絡(luò)攻擊的。受歡迎的一些網(wǎng)站經(jīng)常遭受拒絕服務(wù)（DOS）攻擊，結(jié)果顯示，90%以上的DOS攻擊使用TCP[1]。檢測(cè)網(wǎng)絡(luò)流量異常變化是一個(gè)檢測(cè)和防御DOS攻擊的必要方法，因?yàn)樗麄兛偸菍?dǎo)致網(wǎng)絡(luò)流量特征變化。目前，許多網(wǎng)絡(luò)管理員通過凈流量異常識(shí)別這些攻擊，直觀分析通信流的異常組合，這些異常分為兩大類：網(wǎng)絡(luò)操作異常它們包括網(wǎng)絡(luò)異常行為引起的配置更改，以及造成通信環(huán)境的限制。網(wǎng)絡(luò)濫用異常兩種類型的網(wǎng)絡(luò)濫用可以被識(shí)別為DOS的洪水攻擊和快速端口掃描。DOS攻擊是一種削弱一個(gè)在線服務(wù)的惡意的行為；快速端口掃描攻擊是個(gè)普遍收集目標(biāo)有用信息的行為。我們的研究集中在網(wǎng)絡(luò)濫用異常。許多機(jī)制被提出來對(duì)抗SYN-flooding，比如SYNcache[2]，SYNcookie[3],SYNDefender[4],SYNproxying[5]和SYN-kill[6].然而，這些機(jī)制依賴于狀態(tài)，換句話說，狀態(tài)保持是TCP連接和狀態(tài)計(jì)算所必須的。在商業(yè)平臺(tái)上的SYN攻擊實(shí)驗(yàn)表明，侵占一個(gè)不受保護(hù)的服務(wù)器的洪泛速率是14000SYN包/秒。如果基于狀態(tài)維護(hù)的檢測(cè)系統(tǒng)被集成到這些服務(wù)器，它會(huì)使TCP的端到端的性能強(qiáng)烈下降，并加大創(chuàng)建一個(gè)TCP連接的延遲?？捎玫臋z測(cè)快速SYN掃描也是狀態(tài)維護(hù)或是計(jì)算消耗，例如snort[7]和包頭檢測(cè)（PHD[8].一個(gè)snort端口掃描必須保持每個(gè)TCP會(huì)話的狀態(tài)信息，并在檢測(cè)系統(tǒng)本身進(jìn)行DOS攻擊。PHD具有低檢測(cè)率，因?yàn)樗鼪]有考慮到TCP標(biāo)記，并且我們的實(shí)驗(yàn)結(jié)果表明，它也有很高的負(fù)警率。上述基于TCP的狀態(tài)或復(fù)雜計(jì)算的解決方案使防御機(jī)制本身受到洪泛攻擊。本文提出了一種簡(jiǎn)單而有效的方法來檢測(cè)洪泛攻擊。在我們的方法中，我們使用時(shí)間序列分析，它是基于指數(shù)加權(quán)移動(dòng)平均（EWMA），和通信對(duì)稱性分析，它可以準(zhǔn)確地檢測(cè)出那些突然產(chǎn)生的凈流量的攻擊，例如SYN-flooding和快速的SYN掃描等。根據(jù)美國(guó)國(guó)防部高級(jí)研究計(jì)劃局的實(shí)驗(yàn)（DARPA）的評(píng)估數(shù)據(jù)表明，該檢測(cè)機(jī)構(gòu)具有高精度和低延時(shí)。1基于流量異常的洪泛檢測(cè)根據(jù)網(wǎng)絡(luò)濫用異常的屬性，我們選擇兩種措施能有效地檢測(cè)洪泛攻擊事件。強(qiáng)措施這些措施追蹤發(fā)生在固定時(shí)間間隔內(nèi)的屬性的記錄數(shù)，并且可以檢測(cè)到活動(dòng)的異常脈沖流。對(duì)稱措施這些措施描述在一個(gè)固定的時(shí)間制的時(shí)間間隔的兩個(gè)屬性之前的對(duì)稱性，并且可以用于檢測(cè)異?；顒?dòng)與對(duì)稱性破壞。1.1強(qiáng)度異常檢測(cè)為了檢測(cè)實(shí)時(shí)的網(wǎng)絡(luò)流量異常，我們使用網(wǎng)絡(luò)行為的強(qiáng)度測(cè)量來描述網(wǎng)絡(luò)的繁忙程度。強(qiáng)度越高，網(wǎng)絡(luò)越繁忙，在正常的情況下，發(fā)生在固定時(shí)間間隔的網(wǎng)絡(luò)事件數(shù)目也各不相同。如果一個(gè)網(wǎng)絡(luò)濫用異常事件發(fā)生時(shí)，強(qiáng)措施將破滅。最近，在TCP連接請(qǐng)求的到達(dá)過程的建模中出現(xiàn)了相當(dāng)多的工作。在參考文件中了解，在TCP連接請(qǐng)求到達(dá)的統(tǒng)計(jì)數(shù)據(jù)顯示，在過去的幾年中伴隨著互聯(lián)網(wǎng)流量本身的顯著變化。在20世紀(jì)90年代初，占主導(dǎo)地位的TCP連接是FTP和Telnet會(huì)話，并且到達(dá)過程為泊松[11]。然而，在網(wǎng)絡(luò)成為TCP連接的主要來源后，到達(dá)的過程在到達(dá)時(shí)間間隔上出現(xiàn)重尾。此外，最近的網(wǎng)絡(luò)流量分析顯示到達(dá)過程甚至不是靜止的，并且依賴于平均到達(dá)速率[12].對(duì)于像互聯(lián)網(wǎng)這樣一個(gè)動(dòng)態(tài)而復(fù)雜的實(shí)體，它可能無法在任何時(shí)候用一個(gè)簡(jiǎn)單的參數(shù)化模型表示TCP連接的總數(shù)模型。EWMA方法可以是單變量和多變量的變化，并檢測(cè)過程均值（均值漂移)，過程方差（方差的變化）和多個(gè)變量之間的關(guān)系（反關(guān)系）[13]。本文重點(diǎn)檢測(cè)的入侵檢測(cè)事件強(qiáng)度的顯著變化。事件強(qiáng)度是一個(gè)單一的變量在信息系統(tǒng)中的事件的特性測(cè)量，因此，本文認(rèn)為只有單變量的技術(shù)來檢測(cè)異?；蚩赡艿娜肭?。我們采用基于指數(shù)加權(quán)平均時(shí)間序列分析來說明強(qiáng)度異常檢測(cè)理論。我們使用的SYN序列在DARPAIDS評(píng)測(cè)數(shù)據(jù)集為例研究EWMA檢測(cè)方法。DARPA數(shù)據(jù)集由麻省理工學(xué)院林肯實(shí)驗(yàn)室提供，并廣泛應(yīng)用于評(píng)估入侵算法和系統(tǒng)。讓Xt軸表示在一個(gè)固定的時(shí)間間隔SYN發(fā)生率，通過分析第一周正常數(shù)據(jù)和DARPA1999第三周入侵檢測(cè)評(píng)估數(shù)據(jù)，我們發(fā)現(xiàn)Xt不是一個(gè)固定的過程。圖1描述了SYN在第一周第一天的統(tǒng)計(jì)數(shù)據(jù)，N軸描述采樣間隔序列。圖2描述差分后的SYN序列。通過差分的SYN序列，我們得到了平穩(wěn)過程的Zt，即（1-B)Xt=Ztt>1,Zt～N(0,σ2t)（1）當(dāng)B是反饋移位算子，Zt是一個(gè)正常的零均值和方差σt過程，Zt，UCLt和ICLt的上下控制限分別如下：UCLt=3σt,LCLt=-3σt（2）在式子中，我們通過Zt的歷史數(shù)據(jù)來評(píng)估方差σt，通常使用歷史數(shù)據(jù)評(píng)估σt。（3）這種評(píng)價(jià)標(biāo)準(zhǔn)偏差為簡(jiǎn)單移動(dòng)平均法，該方法給出了一個(gè)相同的權(quán)重（1/N）的每個(gè)觀測(cè)，并且評(píng)價(jià)值明顯依賴于數(shù)據(jù)長(zhǎng)度N。但實(shí)際觀察到的數(shù)據(jù),如SYN，SYNACK措施，在很大程度上隨時(shí)間改變。每個(gè)觀測(cè)與相鄰的觀測(cè)值有著密切的關(guān)系，并在其他方面與遙遠(yuǎn)的觀測(cè)值的關(guān)系不大。我們使用EWMA評(píng)價(jià)σt。（4）其中，λ（0<λ<1）是一個(gè)衰減因子，其值隨著有效樣本確定每個(gè)觀測(cè)的權(quán)重。該方法給了每個(gè)觀察不同的權(quán)重，最近的觀察比更早的觀察給予更重的權(quán)重。EWMA的另一個(gè)特征是，方差的評(píng)價(jià)方程變換為一個(gè)遞歸公式，這是適合于計(jì)算機(jī)處理大量數(shù)據(jù)，參數(shù)σt的評(píng)價(jià)值，由下式給出（5）由于λ的值的范圍是0<λ<1，的權(quán)重是（1-λ）（when）。因此，公差定義為（6）其中，K是觀測(cè)的有效長(zhǎng)度。式（6）中，分類中LK，K，K是觀測(cè)的有效長(zhǎng)度。Eq.6）分類中LK，K和λ的關(guān)系。所以，當(dāng)LK被賦予一個(gè)固定值時(shí)，突然強(qiáng)度度量的突發(fā)判斷函數(shù)定義為(7)在測(cè)試的過程中，如果對(duì)一個(gè)觀測(cè)ZT值超過控制上限UCL，則F（ZT）的值被設(shè)置為1,并產(chǎn)生一個(gè)突發(fā)流量的上升跳信號(hào)；如果為一個(gè)觀察ZT值是根據(jù)控制下限LCL，則F（ZT）的值被設(shè)置為-1，并且跳轉(zhuǎn)產(chǎn)生突發(fā)流量的信號(hào)下降；否則，F(xiàn)（ZT）的值被設(shè)置為0和不爆裂發(fā)生。許多異常網(wǎng)絡(luò)行為能夠持續(xù)一段時(shí)間，為了避免頻繁報(bào)警，異常事件的明確的開始時(shí)間和結(jié)束時(shí)間必須給出。上升跳和突發(fā)流量的下降跳在確認(rèn)異常事件的開始和結(jié)束時(shí)間上是有幫助的。1.2對(duì)稱性異常檢測(cè)對(duì)稱是許多凈流入明顯的現(xiàn)象。例如，在正常的情況下，SYN包和SYNACKs所收集的數(shù)量之前的差異是非常小的，相對(duì)于TCP連接請(qǐng)求的總數(shù)量。此外，一對(duì)一的SYN和SYNACK之間的匹配是獨(dú)立的采樣時(shí)間和網(wǎng)絡(luò)站點(diǎn)。讓Yt表示發(fā)生在固定的時(shí)間間隔SYNACKs率。顯然，在一般的網(wǎng)絡(luò)條件下，Xt的值等于Yt。圖3描述的是SYN和DARPA1999評(píng)價(jià)數(shù)據(jù)的第一天的SYNACKs的統(tǒng)計(jì)數(shù)據(jù)。我們定義的TCPSYN和SYN/ACK的對(duì)稱性（8）一個(gè)正常的網(wǎng)絡(luò)環(huán)境下，是接近0，但一個(gè)錯(cuò)誤的系統(tǒng)和不正確的操作將導(dǎo)致值的轉(zhuǎn)變。此外，當(dāng)一個(gè)異常事件發(fā)生時(shí)，通信的對(duì)稱性將嚴(yán)重破壞，將遠(yuǎn)離零。為了確保值可以有效地表示所觀察到的對(duì)稱平衡能力的措施，并區(qū)分網(wǎng)絡(luò)操作異常和網(wǎng)絡(luò)濫用異常之間的對(duì)稱性，我們必須給閾值一個(gè)實(shí)際的定義。通過分析在實(shí)際的凈流動(dòng)，我們發(fā)現(xiàn)，當(dāng)流量較小時(shí)，異常事件很少發(fā)生，此外，流量是較重的，異常事件發(fā)生的概率更大。因此我們?cè)O(shè)計(jì)一個(gè)自適應(yīng)的對(duì)稱性檢測(cè)算法，其中對(duì)稱的閾值可以根據(jù)網(wǎng)絡(luò)流量的變化調(diào)整。自適應(yīng)閾值被定為（9）其中β為一個(gè)可調(diào)節(jié)的參數(shù)。原則上，如果ε超過0.3，我們則認(rèn)為對(duì)稱顯然被打破了，顯然。讓，其中α是凈流量的最大安全性的控制限制，并讓98%的總正常的，當(dāng)凈流量的強(qiáng)度小于α的值時(shí)，異常事件幾乎不發(fā)生。對(duì)稱檢測(cè)功能（10）如果以上表達(dá)式為真，則對(duì)稱性破壞。為了避免在時(shí)間間隔的效果，必須優(yōu)化上述算法和設(shè)計(jì)一個(gè)積累的檢測(cè)。當(dāng)有上升跳躍的流在時(shí)刻t0的X，并且該事件保持N個(gè)采樣間隔，讓當(dāng)0≤i≤N，因此，判斷功能是（11）如果以上的表達(dá)式為真，則對(duì)稱性破壞。顯然，式（10）是式（11）i=0的一個(gè)情況。2.實(shí)驗(yàn)為了評(píng)估和驗(yàn)證我們的方法，我們已經(jīng)進(jìn)行了DARPA的1999年評(píng)估的數(shù)據(jù)仿真實(shí)驗(yàn)。我們?cè)诿恳粋€(gè)觀察周期t0記錄SYN和SYNACK包的數(shù)量，確定檢測(cè)的分辨率。像往常一樣，SYN的第一次重傳的時(shí)間間隔為6秒，SYN的第二次重傳的時(shí)間間隔為24s[15],所以我們?cè)O(shè)置T0=30秒。然而，該參數(shù)是可調(diào)的，并且我們的算法對(duì)這個(gè)不是很敏感。實(shí)驗(yàn)過正常的DARPA1999年評(píng)估的數(shù)據(jù)后，我們發(fā)現(xiàn)共有98%的X的值屬于[0,3]。因此，讓?duì)?3，則β≈0.81，此外，因?yàn)橄噜彽臋z測(cè)之間的密切關(guān)系，讓?duì)?0.85，最小的公差L=0.001，我們從公式得到K≈42.（6）我們已經(jīng)在DARPA的1999年評(píng)估的數(shù)據(jù)的第5周的第一天進(jìn)行了檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果在圖4中描述。圖4（a）描述了強(qiáng)度檢測(cè)SYN差分序列圖，圖4（b）描述的SYN和SYNACKs之間的對(duì)稱性檢測(cè)。檢測(cè)到的攻擊是在給定的標(biāo)簽 圖4，DARPA的評(píng)價(jià)數(shù)據(jù)的第一天。（a）強(qiáng)度檢測(cè)SYN-D（b）在SYN包和SYNACKs之間的對(duì)稱性檢測(cè)在實(shí)驗(yàn)中，我們的算法可以檢測(cè)到三個(gè)洪泛攻擊，其中第一個(gè)Apache2的攻擊發(fā)生在1999年4月5日10:29:51；第二個(gè)Apache的襲擊發(fā)生在1999年4月5日14:05:45；海王星襲擊發(fā)生在1999年4月5日18:04:26。在Apache2[14]的攻擊是針對(duì)其中客戶端發(fā)送的HTTP報(bào)頭的請(qǐng)求Apacheweb服務(wù)器進(jìn)行DOS攻擊，如果服務(wù)器收到許多這樣的請(qǐng)求，它會(huì)減慢并最終可能會(huì)崩潰。海王星攻擊是一種典型的SYN洪泛DOS攻擊一個(gè)或多個(gè)端口。不過，該算法不能檢測(cè)掃描發(fā)生在1999年4月5日9:43:11的攻擊，這次襲擊持續(xù)時(shí)間4分鐘，每一次攻擊數(shù)據(jù)包的時(shí)間間隔是10秒。它不是洪泛襲擊，在針對(duì)緩慢和隱蔽掃描攻擊，我們使用的主動(dòng)探測(cè)技術(shù)在另一篇論文中描述有我們的算法和真實(shí)的結(jié)果，這是小于采樣間隔檢測(cè)到的開始時(shí)間之間的差異。3結(jié)論該算法是無狀態(tài)的，需要較低的計(jì)算開銷，這使它不受洪泛的襲擊；該算法是不敏感的訪問模式；采用累積檢測(cè)，使得檢測(cè)更加強(qiáng)大；同時(shí)施加強(qiáng)度和對(duì)稱性的措施，使檢測(cè)精確。實(shí)驗(yàn)結(jié)果表明，無論是在精度和實(shí)時(shí)性上都是非常好的。此外，我們的方法可以推廣到其他檢測(cè)洪泛攻擊，可以打破通信對(duì)稱性，如SYNKILL，IPSWEEP，NMAPFASTSCAN又叫SATAN等等。譯文二MAGNeT：應(yīng)用產(chǎn)生的網(wǎng)絡(luò)流量監(jiān)測(cè)Wu-chunFeng,JeffreyR.Hay,MarkK.Gardner{feng,jrhay,mkg}@Computer&ComputationalSciencesDivisionLosAlamosNationalLaboratoryLosAlamos,NM87545摘要：在過去的十年里，網(wǎng)絡(luò)從業(yè)者都幾乎在監(jiān)控，測(cè)量和表征在網(wǎng)絡(luò)中的流量，以深入了解建設(shè)的關(guān)鍵網(wǎng)絡(luò)組件（從協(xié)議棧的路由器和交換機(jī)的網(wǎng)絡(luò)接口卡）。最近的研究表明。新的見解可以通過監(jiān)測(cè)流量在應(yīng)用層（即，應(yīng)用前發(fā)送的流量是由協(xié)議棧調(diào)制）而不是在網(wǎng)絡(luò)（即，經(jīng)協(xié)議棧調(diào)制）獲得的。因此，本文描述了應(yīng)用程序生成的網(wǎng)絡(luò)流量（MAGNeT）捕獲的應(yīng)用程序，而不是在網(wǎng)絡(luò)中產(chǎn)生的流量的流量監(jiān)控。MAGNeT由應(yīng)用程序以及對(duì)標(biāo)準(zhǔn)Linux內(nèi)核的修改組成，這些工具提供了監(jiān)控生成系統(tǒng)中的應(yīng)用程序的行為和協(xié)議的狀態(tài)信息的能力。利用MAGNeT使研究界構(gòu)建的應(yīng)用程序產(chǎn)生的流量，研究人員可以更真實(shí)地測(cè)試網(wǎng)絡(luò)協(xié)議設(shè)計(jì)及理論的真實(shí)痕跡庫(kù)，MAGNeT也可以用來驗(yàn)證協(xié)議增強(qiáng)的正確操作和故障排除及調(diào)試協(xié)議的實(shí)現(xiàn)。I.動(dòng)機(jī)雖然網(wǎng)絡(luò)監(jiān)測(cè)[1-6]和表征[7-10]通信提供了觀察建設(shè)關(guān)鍵網(wǎng)的工作組件（例如，理想緩沖區(qū)大小的路由器），最近的研究[11-13]表明，更多的有識(shí)之士能通過監(jiān)視和測(cè)量在應(yīng)用層的流量（即，應(yīng)用前發(fā)生的流量是由協(xié)議棧調(diào)制），而不是網(wǎng)絡(luò)（即，經(jīng)協(xié)議棧調(diào)制）獲得的。例如，知道應(yīng)用流量模式，可以提供深入了解更好的協(xié)議棧的設(shè)計(jì)。A背景網(wǎng)絡(luò)研究人員經(jīng)常使用的通信文庫(kù)，如TCP庫(kù)[14]，網(wǎng)絡(luò)的線路，如那些[15,16]，或網(wǎng)路模式，如在[10]驅(qū)動(dòng)網(wǎng)絡(luò)的實(shí)驗(yàn)中，特別是網(wǎng)絡(luò)協(xié)議的增強(qiáng)性能的測(cè)試。然而，這樣的庫(kù)，跟蹤和基于TCP測(cè)量的模型[1]（或類似的工具如PingER[2],NLANR網(wǎng)絡(luò)分析基礎(chǔ)設(shè)施[4],Nimi[5],CoralReef[6]）,這意味著應(yīng)用程序發(fā)送到網(wǎng)絡(luò)上的流量被捕獲的只有通過TCP（或更一般地，任何協(xié)議棧）已經(jīng)通過之后，進(jìn)入網(wǎng)絡(luò)捕獲。即，使導(dǎo)線上的工具捕獲流量（或在網(wǎng)絡(luò)中），而不是在應(yīng)用程序級(jí)別。因此，上述工具不能提供任何與協(xié)議無關(guān)的洞察實(shí)際流量模式的應(yīng)用程序。這項(xiàng)工作是由美國(guó)能源部和洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的計(jì)算機(jī)科學(xué)學(xué)院在洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的合同w-7405-eng-36,支持實(shí)驗(yàn)室的定向研和發(fā)展計(jì)劃。任何一件，研究結(jié)果，結(jié)論或建議是研究者的觀點(diǎn)以及不一定反應(yīng)美國(guó)能源部，洛斯阿拉斯國(guó)家實(shí)驗(yàn)室或洛斯阿拉斯國(guó)家實(shí)驗(yàn)室計(jì)算機(jī)研究院的意見。因此，研究人員尚未測(cè)試使用真實(shí)應(yīng)用生成的信息流跟蹤網(wǎng)絡(luò)協(xié)議的性能；相反，它們都使用了一次調(diào)制（由協(xié)議棧）的流量作為輸入，經(jīng)調(diào)制的第二次協(xié)議的測(cè)試中，如果應(yīng)用程序生成的痕跡和網(wǎng)絡(luò)捕獲的痕跡間的差別可以忽略不計(jì)，這種簡(jiǎn)化是可以接受的。然而，正如我們看到在痕跡上的差異是巨大的，表明該協(xié)議棧的應(yīng)用所產(chǎn)生的流量模式不利于調(diào)節(jié)。這個(gè)觀察可能從無效的網(wǎng)絡(luò)協(xié)議性能評(píng)估聚集過去，因?yàn)樵S多研究人員使用的網(wǎng)絡(luò)捕獲的痕跡，而不是應(yīng)用程序產(chǎn)生的痕跡。在過去的十年的實(shí)驗(yàn)實(shí)證結(jié)果。網(wǎng)絡(luò)研究員需要的是真正的，應(yīng)用程序產(chǎn)生的信息流的痕跡。因此，本文描述了應(yīng)用程序生成的網(wǎng)絡(luò)流量（MAGNeT）捕獲的應(yīng)用程序，而不是在網(wǎng)絡(luò)中產(chǎn)生的流量進(jìn)行監(jiān)控。B相關(guān)工作如圖1所示，MAGNeT與TCP轉(zhuǎn)儲(chǔ)是可以在應(yīng)用程序級(jí)監(jiān)控流量的測(cè)量工具，（即，它穿越協(xié)議棧）以及交通進(jìn)入和離開網(wǎng)絡(luò)。唯一的其他測(cè)量工具進(jìn)行了類似的測(cè)量是在匹茲堡超級(jí)計(jì)算中心[17]TCP核心監(jiān)控器。MAGNeT與TCP核心監(jiān)測(cè)至少在三個(gè)方面有所不同。首先，本文中所描述的MAGNeT，雖然只能監(jiān)控一個(gè)應(yīng)用程序產(chǎn)生的流量（即，應(yīng)用層和TCP層之間的接口），可以在任何地方使用的協(xié)議棧。第二，MAGNeT監(jiān)測(cè)，監(jiān)測(cè)數(shù)據(jù)是TCP內(nèi)核的一個(gè)超集。第三，MAGNeT在Linux操作系統(tǒng)上實(shí)現(xiàn)，而PSC監(jiān)測(cè)工作在NetBSD實(shí)現(xiàn)。II.軟件體系結(jié)構(gòu)發(fā)展中的MAGNeT提出了兩種設(shè)計(jì)挑戰(zhàn)。第一個(gè)是精確的時(shí)間測(cè)量中的問題。MAGNeT采用現(xiàn)代微處理器，可記錄時(shí)間戳與循環(huán)級(jí)粒度的CPU周期計(jì)數(shù)器。此功能依賴于代碼中特定于體系結(jié)構(gòu)的Linux代碼庫(kù)，應(yīng)該是目前大多數(shù)的Linux平臺(tái)。第二，也是更困難的挑戰(zhàn)，需要MAGNeT運(yùn)行在生產(chǎn)環(huán)境中的機(jī)器，以獲得實(shí)際應(yīng)用流量的痕跡。因此，MAGNeT必須有最小的開銷，使得最終用戶不會(huì)受到影響，并保證應(yīng)用程序產(chǎn)生的交通流不會(huì)受到不良的困擾。這一種考慮要求將所捕獲數(shù)據(jù)的任何處理或過濾離線進(jìn)行;減少或過濾數(shù)據(jù)中的實(shí)時(shí)，不僅增加了不可忍受的性能開銷，而且該應(yīng)用程序生成的交通流產(chǎn)生不利擾動(dòng)。我們解決MAGNeT軟件分發(fā)中包括幾個(gè)用戶的應(yīng)用程序，以及修改Linux內(nèi)核的這些設(shè)計(jì)問題。MAGNeT的主要功能都包含在一個(gè)補(bǔ)丁中。這個(gè)補(bǔ)丁創(chuàng)建一個(gè)循環(huán)緩沖區(qū)的內(nèi)核內(nèi)存，并將呼叫整個(gè)網(wǎng)絡(luò)堆棧的數(shù)據(jù)遍歷堆棧來記錄相應(yīng)的信息。一個(gè)用戶空間程序定期清空此內(nèi)核緩沖區(qū)，保存二進(jìn)制數(shù)據(jù)到磁盤上。然后處理數(shù)據(jù)，一組數(shù)據(jù)分析工具會(huì)將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換成機(jī)器和人類可讀的形式。最后，腳本庫(kù)使一組主機(jī)完成MAGNeT包的自動(dòng)數(shù)據(jù)采集。圖2示給出的動(dòng)作和磁鐵的數(shù)據(jù)流在一個(gè)較高的水平。未經(jīng)改動(dòng)的應(yīng)用程序（該測(cè)試系統(tǒng)上運(yùn)行）周期性作出send（）和recv（）系統(tǒng)調(diào)用來發(fā)送和接收網(wǎng)絡(luò)通信量。這些調(diào)用最終使用的TCP，IP或其他網(wǎng)絡(luò)協(xié)議的核心傳輸網(wǎng)絡(luò)上的數(shù)據(jù)。對(duì)于運(yùn)行MAGNet，每一次的send（），recv（），或網(wǎng)絡(luò)協(xié)議調(diào)用系統(tǒng)，伴隨了magnet-add（）。這個(gè)過程使相關(guān)數(shù)據(jù)到環(huán)形緩沖器在內(nèi)核空間中，然后將其保存到磁盤上的用戶級(jí)應(yīng)用程序MAGNeT讀取。每個(gè)步驟的細(xì)節(jié)將在下面討論。A.內(nèi)核空間中的MAGNeT

MAGNeT內(nèi)核補(bǔ)丁增加了幾個(gè)功能，Linux2.4內(nèi)核。該函數(shù)體的add（）將數(shù)據(jù)點(diǎn)保證始終在內(nèi)核內(nèi)存循環(huán)緩沖器。該功能可以隨時(shí)隨地在協(xié)議棧調(diào)用;它經(jīng)過優(yōu)化，使每個(gè)儀表呼叫使用盡可能少的資源成為可能。此外，一個(gè)新的/proc項(xiàng)添加到文件空間的/proc/net/magnet。這個(gè)文件可以被任何用戶讀取以確定當(dāng)前狀態(tài)和磁體內(nèi)核代碼參數(shù)。A.1儀器記錄圖3顯示了MAGNeTadd()儀器使用記錄，添加在每個(gè)測(cè)量點(diǎn)為內(nèi)核緩沖區(qū)的數(shù)據(jù)結(jié)構(gòu)。sockid是為每個(gè)連接流的唯一標(biāo)識(shí)符，從而使磁鐵的方式分開成單獨(dú)的流數(shù)據(jù)的痕跡，同時(shí)保護(hù)用戶隱私應(yīng)用。時(shí)間戳字段是一個(gè)CPU周期計(jì)數(shù)器，用于同步磁活動(dòng)。對(duì)于事件字段的有效值（例如，磁IP發(fā)送）表示事件類型是指特定的記錄。尺寸包含特定事件中傳輸?shù)淖止?jié)數(shù)。數(shù)據(jù)字段（一個(gè)可選字段在內(nèi)核編譯時(shí)選擇）是一個(gè)聯(lián)盟的各種結(jié)構(gòu)，特殊的協(xié)議可以存儲(chǔ)的信息。這場(chǎng)提供了一種磁記錄協(xié)議狀態(tài)信息與事件的轉(zhuǎn)換機(jī)制。A.2儀器活動(dòng)MAGNeT內(nèi)核補(bǔ)丁工具一般套接字處理代碼，在TCP層和IP層。其他協(xié)議可以通過添加新的磁鐵事件代碼和撥打電話，以MAGNeT的add（）在協(xié)議棧合適的地方可以很容易地檢測(cè)。存在著一種可能性，即在固定大小的，圓形的內(nèi)核緩沖區(qū)的空間之前，用戶空間程序能夠讀取其中包含的記錄可能被耗盡。然而，MAGNeT不會(huì)覆蓋任何記錄的數(shù)據(jù)。這是通過使用儀器記錄的時(shí)間戳字段作為MAGNeT使用內(nèi)核級(jí)進(jìn)程之間的同步標(biāo)志來完成。在寫入循環(huán)緩沖區(qū)插槽，MAGNeT內(nèi)核代碼檢查時(shí)間戳字段的該槽的值。值不為零表明時(shí)隙尚未復(fù)制到用戶空間和內(nèi)核緩沖區(qū)已滿。在這種情況下，內(nèi)核代碼遞增的不能被寫入，由于緩沖區(qū)已滿儀器記錄的數(shù)量的計(jì)數(shù)。之后，用戶級(jí)應(yīng)用程序從緩沖區(qū)讀取一條記錄，它寫一個(gè)零到時(shí)間戳字段來發(fā)出信號(hào)，告知插槽是可用的內(nèi)核。一旦緩沖空間可用，內(nèi)核寫入一個(gè)特殊的儀器記錄帶MAGNeT的損失事件類型和大小字段設(shè)置為儀器儀表的記錄數(shù)下降。我們迄今為止的經(jīng)驗(yàn)表明，盡管下降的儀器記錄是可能的，他們很少實(shí)際用戶的監(jiān)控過程中發(fā)生。（參見第三節(jié)-B.3中的細(xì)節(jié)。）B.用戶空間的MAGNeT用戶級(jí)接口，MAGNeT包括三個(gè)應(yīng)用程序（magent-read，magent解析和mkmagnet），一個(gè)特殊的設(shè)備文件，以方便內(nèi)核用戶通信和自動(dòng)化腳本的集合。該應(yīng)用程序MAGNeT讀保存在內(nèi)核緩沖區(qū)中的數(shù)據(jù)到磁盤文件和MAGNeT解析轉(zhuǎn)換所保存的數(shù)據(jù)轉(zhuǎn)換成一個(gè)可以理解的格式。mkmagnet是一個(gè)小工具程序用來創(chuàng)建一個(gè)MAGNeT讀需要操作的文件。腳本中包含的MAGNeT分布允許MAGNeT的操作對(duì)于用戶是完全自動(dòng)化的，透明的。B.1magnet-read,mkmagnet,magnet解析為了減少潛在的損失時(shí)，磁記錄讀取內(nèi)核中的循環(huán)緩沖器儀表記錄并將其寫入磁盤，我們循環(huán)緩沖區(qū)從內(nèi)核到用戶空間通過一個(gè)特殊的“共享內(nèi)存”的設(shè)備文件。在這個(gè)映射的地方，沒有額外的內(nèi)核代碼被執(zhí)行；應(yīng)用程序可能只是讀寫共享內(nèi)存和磁盤。這種透明度是由程序讀取完成的磁鐵，復(fù)制記錄通過鏈接共享內(nèi)存區(qū)域的預(yù)先存在的文件從內(nèi)核的內(nèi)存映射I/行。在上述文件被映射到內(nèi)存之前應(yīng)用程序創(chuàng)建和初始化的mkmagnet。最后一個(gè)工具，磁分析，讀取由磁讀收集的數(shù)據(jù)將制表符分隔的ASCII表收集的數(shù)據(jù)進(jìn)行進(jìn)一步的處理。B.2自動(dòng)化腳本在磁分布兩個(gè)shell腳本，magnet.cron和magnet.copy，提供的例子說明了如何創(chuàng)建一個(gè)自動(dòng)化的，透明的，在校園網(wǎng)絡(luò)環(huán)境監(jiān)測(cè)中的應(yīng)用。magnet.cron是整體磁管理腳本，應(yīng)在初始啟動(dòng)執(zhí)行，并在一定的時(shí)間間隔（例如，在系統(tǒng)運(yùn)