一種基于ma通信的垃圾郵件行為識別技術(shù)

一種基于ma通信的垃圾郵件行為識別技術(shù)

0加大對地下空間的可識別性,提高反病毒的行為識別能力,強(qiáng)化用戶通信秘密隨著中國互聯(lián)網(wǎng)的快速發(fā)展和普及，垃圾郵件的傳播也變得越來越猖獗，嚴(yán)重侵犯了電子郵件用戶的合法權(quán)益和公司的利益，影響了電子郵件服務(wù)的正常運(yùn)作秩序和網(wǎng)絡(luò)的正常運(yùn)行。它直接影響到互聯(lián)網(wǎng)信息安全，每年給經(jīng)濟(jì)帶來數(shù)十億元的巨大損失?；ヂ?lián)網(wǎng)協(xié)會2006年第一次反垃圾郵件調(diào)查結(jié)果表明:2005年11月～2006年3月期間,中國互聯(lián)網(wǎng)用戶收到的垃圾郵件比例由61.53%上升到63.97%,上升了2.44個百分點(diǎn)。中國互聯(lián)網(wǎng)用戶平均每周收到垃圾郵件數(shù)量為19.33封,較2005年10月的每周17.25封上升了2.08封,上升幅度也高于上次的調(diào)查結(jié)果。面對日益嚴(yán)峻的反垃圾郵件形勢,為了維護(hù)廣大用戶的合法權(quán)益、促進(jìn)互聯(lián)網(wǎng)健康發(fā)展,信息產(chǎn)業(yè)部已公布了《互聯(lián)網(wǎng)電子郵件服務(wù)管理辦法》(后面簡稱《管理辦法》),并于2006年3月30日開始施行?！豆芾磙k法》的公布,意味著政府主管部門對垃圾郵件治理工作越來越重視?！豆芾磙k法》中規(guī)定,包括運(yùn)營商、電子郵件服務(wù)提供商和垃圾郵件舉報受理中心,都無權(quán)自行打開郵件和查看郵件的內(nèi)容。因此,以絕大多數(shù)廠商為代表的郵件內(nèi)容掃描技術(shù)則不符合此項(xiàng)法規(guī)。2006年3月21在北京舉行的主題為“治理、規(guī)范、發(fā)展的《管理辦法》研討會暨2006年第一次中國反垃圾郵件狀況發(fā)布會”中,信息產(chǎn)業(yè)部政策法規(guī)司法規(guī)處副處長李長喜博士說:“《管理辦法》對垃圾郵件的管理主要是從電子郵件的標(biāo)題等外在形式方面進(jìn)行判斷?！币虼?本文提出了一種主動式的垃圾郵件行為識別技術(shù)。所謂行為識別技術(shù)就是在MTA通信階段就判斷出所接收郵件是否為垃圾郵件而不需要打開郵件檢查其內(nèi)容。這種行為識別技術(shù)完全符合法律規(guī)定的保障公民通信秘密的要求,也符合《管理辦法》規(guī)定的要求,還可避免內(nèi)容過濾技術(shù)不可避免的誤報率高、語言依賴性強(qiáng)、網(wǎng)絡(luò)流量大和資源消耗大等問題;同時還可提高郵件過濾速度,減少網(wǎng)絡(luò)延遲。1垃圾郵件的定義與通信行為的分析1.1規(guī)范使用權(quán)濫用2002年11月1日,中國互聯(lián)網(wǎng)協(xié)會在《中國互聯(lián)網(wǎng)協(xié)會反垃圾郵件規(guī)范》中是這樣定義垃圾郵件的:“本規(guī)范所稱垃圾郵件,包括下述屬性的電子郵件:a)收件人事先沒有提出要求或者同意接收的廣告、電子刊物、各種形式的宣傳品等宣傳性的電子郵件;b)收件人無法拒收的電子郵件;c)隱藏發(fā)件人身份、地址、標(biāo)題等信息的電子郵件;d)含有虛假的信息源、發(fā)件人、路由等信息的電子郵件。”國際互聯(lián)網(wǎng)郵件協(xié)會(InternetMailConsortium,IMC)于1997年10月做了題名為“不請自來的大量郵件的定義及其產(chǎn)生的原因”的報告。這份報告中就將垃圾郵件定義為不請自來的大量郵件,即UBE(unsolicitedbulke-mail)。美國弗吉尼亞2003年《反計(jì)算機(jī)犯罪法》就采用了“不請自來的大量郵件”來定義垃圾郵件。垃圾郵件之所以煩人,并不是因?yàn)閮?nèi)容無趣不吸引人,而在于大量濫發(fā),任意長驅(qū)直入至收信者電子郵件箱。從法律上講,沒有取得他人同意濫發(fā)垃圾郵件,屬于濫用發(fā)信自由、侵犯他人的收信自由,實(shí)質(zhì)上是強(qiáng)迫通信。反垃圾郵件就是反對強(qiáng)迫通信,維護(hù)通信自由。1.2b發(fā)送含帶病毒的電話垃圾郵件發(fā)送者已經(jīng)在全球形成較緊密的合作網(wǎng)絡(luò),發(fā)送的手段也更加隱蔽和狡猾。垃圾郵件發(fā)送行為解析分類如下:a)郵件濫發(fā)行為。利用軟件群發(fā)帶有商業(yè)目的電子郵件。這些垃圾郵件發(fā)送者經(jīng)常利用動態(tài)IP地址來發(fā)送垃圾郵件,混淆垃圾郵件的來源和路由,以逃避法律法規(guī)的追查和制裁,以及病毒郵件、蠕蟲郵件利用操作系統(tǒng)或應(yīng)用系統(tǒng)的漏洞,大量轉(zhuǎn)發(fā)含帶病毒的郵件。b)郵件非法行為。垃圾郵件發(fā)送者借用各地的多個開啟了openrelay郵件轉(zhuǎn)發(fā)功能的郵件服務(wù)器來發(fā)送郵件的行為。c)郵件偽造行為。發(fā)件人、收件人、發(fā)件主機(jī)或郵件傳輸信息經(jīng)過刻意偽造,經(jīng)查證不屬實(shí)的行為。d)郵件匿名行為。發(fā)件人、收件人、發(fā)件主機(jī)或郵件傳輸信息刻意隱匿,使得無法追溯其來源的行為。e)利用IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)提供的郵件服務(wù)以正常用戶的方式進(jìn)行垃圾郵件發(fā)送。從上面對垃圾郵件通信行為分析發(fā)現(xiàn),垃圾郵件與正常郵件的發(fā)送行為具有極高的區(qū)分度,這對過濾垃圾郵件提供了突破點(diǎn):根據(jù)這些通信行為特征可以判斷垃圾郵件通信的存在性,從而可以采取相應(yīng)的手段來阻止。2會話連接通信過程SMTP(簡單郵件傳輸協(xié)議)有一個協(xié)議狀態(tài)空間,協(xié)議會話過程中,會話雙方都將分別維護(hù)會話狀態(tài)。協(xié)議命令驅(qū)動協(xié)議會話狀態(tài)在SMTP協(xié)議狀態(tài)空間中轉(zhuǎn)換。MTA會話連接通信過程主要包括helo、mail、rcpt和data四個核心命令。下面詳細(xì)介紹其會話連接通信過程。首先,發(fā)件方SMTP發(fā)送helo命令,表示發(fā)件方問候收件方,后面是發(fā)件人的服務(wù)器地址或標(biāo)志;收件方回答OK時標(biāo)志自己的身份;問候和確認(rèn)過程表明兩臺機(jī)器可以進(jìn)行通信。然后發(fā)件方SMTP向收件方發(fā)送mail命令,告知發(fā)件方的身份(發(fā)件方郵件地址);如果收件方接收,就會回答OK。發(fā)件方再發(fā)出rcpt命令,告知收件人的身份(收件人的郵箱即信封地址)。當(dāng)有多個收件人時,需要多次使用該命令,每次只能指明一個人,收件方SMTP確認(rèn)是否接收或轉(zhuǎn)發(fā);如果同意就回答OK。接下來發(fā)件方再發(fā)出data命令就可以進(jìn)行數(shù)據(jù)傳輸了。會話過程中,發(fā)件方SMTP與收件方SMTP采用對話式的交互方式;發(fā)件方提出要求,收件方進(jìn)行確認(rèn),確認(rèn)后才進(jìn)行下一步的動作。3對數(shù)據(jù)進(jìn)行檢查MTA的通信會話過程中有兩個階段可以進(jìn)行過濾:a)在建立通信連接時,可以在mailfrom指令和rcptto指令中對會話數(shù)據(jù)進(jìn)行檢查,即發(fā)送郵件數(shù)據(jù)前的檢查也叫做信封檢查;b)在發(fā)送郵件數(shù)據(jù)后,即在發(fā)送data指令后的過濾,在通過一個點(diǎn)的單行結(jié)束data指令后,可以對data指令接收到的數(shù)據(jù)進(jìn)行檢查,包括信頭檢查和信體檢查。本文的研究重點(diǎn)是根據(jù)郵件在MTA的通信會話過程中所處的不同階段來確定需要檢查的內(nèi)容,即郵件信封檢查;并由此進(jìn)一步驅(qū)動會話狀態(tài)的轉(zhuǎn)換,主要有追蹤源頭認(rèn)證技術(shù)、信譽(yù)驗(yàn)證技術(shù)和質(zhì)詢驗(yàn)證技術(shù),以追蹤、驗(yàn)證并判斷來信是否具有濫發(fā)、偽造、匿名等行為特征的垃圾郵件,從而迅速阻斷垃圾郵件的傳輸,提高郵件過濾的速度。3.1換發(fā)信用戶在SMTP中聲明發(fā)送者郵件地址的mailfrom指令所帶的參數(shù),并沒有要求為合法的可以驗(yàn)證的郵件地址。此參數(shù)可以為空缺或任意指定。目前垃圾郵件發(fā)送者正是利用SMTP這個漏洞,使用專用的垃圾郵件發(fā)送軟件,可以自動、定時變換發(fā)信用戶和連接源IP地址,如發(fā)送的病毒郵件、黑客攻擊郵件和網(wǎng)絡(luò)釣魚郵件等,可以輕易地躲過郵件管理員人工阻斷以及傳統(tǒng)的反垃圾郵件技術(shù)的控制。針對上述情況,追蹤源頭認(rèn)證技術(shù)對mailfrom指令所提供的郵件來源進(jìn)行深度檢查。如果為空,則屬于匿名垃圾郵件;在不為空時,可以通過域名反向解析和檢查是不是符合RFC822格式等,以判斷其是否為垃圾郵件。域名反向解析技術(shù)對發(fā)送者的IP地址進(jìn)行逆向名字解析,通過DNS查詢來判斷發(fā)送者的IP與其聲稱的名字是否一致。若與其DNS記錄不符,則予以拒收。這種方法可以有效過濾掉發(fā)件人、發(fā)件主機(jī)或郵件傳輸信息行為經(jīng)過刻意偽造的垃圾郵件,還能夠有效過濾掉來自動態(tài)IP的垃圾郵件;對于某些使用動態(tài)域名的發(fā)送者,也可以根據(jù)實(shí)際情況進(jìn)行屏蔽。3.2檢查充放電后確認(rèn)發(fā)送電話時,認(rèn)為郵件過濾系統(tǒng)維護(hù)一個允許發(fā)送郵件的安全通信錄,即允許發(fā)送郵件的合法郵箱名。根據(jù)rcptto指令所提供的郵件接收者,檢查mailfrom指令所提供的郵件來源是否在每個郵件接收者的安全通信錄中,即信譽(yù)驗(yàn)證。如果在其常聯(lián)系人通信中,則接收郵件;否則,是一封陌生人的來信,在發(fā)送數(shù)據(jù)前需要作進(jìn)一步的檢查。這種驗(yàn)證技術(shù)既減少了對正常郵件的干擾,又能對陌生人發(fā)來的郵件進(jìn)行更深入的檢查,以便查明其身份而采取相應(yīng)的響應(yīng)。3.3自動發(fā)酵軟件的監(jiān)督根據(jù)互聯(lián)網(wǎng)協(xié)會2006年第二次反垃圾郵件調(diào)查結(jié)果表明,83.83%企業(yè)用戶認(rèn)為地址搜索和群發(fā)軟件依舊是垃圾郵件的首要來源。這些垃圾郵件發(fā)送者經(jīng)常利用合法的動態(tài)IP地址來發(fā)送垃圾郵件,混淆垃圾郵件的來源和路由,以逃避法律法規(guī)的追查和制裁。因此,遏制群發(fā)軟件發(fā)送垃圾郵件是阻止垃圾郵件泛濫的一個極為重要的環(huán)節(jié)。對于這些用自動群發(fā)軟件發(fā)送的陌生郵件或第一次給對方發(fā)送的郵件,質(zhì)詢驗(yàn)證技術(shù)在rcptto指令之后會產(chǎn)生一個特殊的質(zhì)詢問題給發(fā)送者,該問題必須人工回答,而非機(jī)器可以識別。該問題包含某種惟一的可以識別原始消息的代碼,如一個散列、序列標(biāo)志或不規(guī)則的數(shù)字。這個質(zhì)詢消息包含讓發(fā)送者答復(fù)的指示,以便將其加到安全通信錄中。幾乎所有利用自動群發(fā)垃圾郵件的軟件不可能會響應(yīng)這個質(zhì)詢;即使是人為在發(fā)送垃圾郵件,那么他們也會付出很大的精力來響應(yīng)這個質(zhì)詢,從而使其發(fā)送郵件的行為受到控制。當(dāng)合法的發(fā)送者答復(fù)了這個質(zhì)詢之后,就將她/他的地址添加到安全通信錄中,以便將來來自同一地址的消息會自動地通過檢查。因此,質(zhì)詢驗(yàn)證技術(shù)可以阻止大量不請自來的郵件。3.4段外來信息即邊過濾基于郵件信封的垃圾郵件行為識別技術(shù)是在接收郵件之前的會話連接通信階段進(jìn)行垃圾郵件識別與攔截,即邊會話邊識別邊攔截過程。如果在檢查中該會話符合過濾的條件,就可以按照規(guī)則采取相應(yīng)的動作,如直接在會話階段斷開連接、發(fā)出相應(yīng)的警告代碼等。郵件會話與行為識別的詳細(xì)過程如圖1所示。4添加安全通信錄并進(jìn)行行為識別器監(jiān)控mta結(jié)合上述行為識別技術(shù),構(gòu)建了一個可擴(kuò)展性良好的垃圾郵件過濾網(wǎng)關(guān),在郵件會話過程中代替郵件服務(wù)器維護(hù)郵件會話狀態(tài)并對外來郵件進(jìn)行過濾檢查,然后再轉(zhuǎn)發(fā);對需要發(fā)送出去的郵件只起著存儲轉(zhuǎn)發(fā)作用,而不進(jìn)行檢查。其體系結(jié)構(gòu)如圖2所示。主要由安全通信錄、行為識別器、MTA和隊(duì)列四部分組成。安全通信錄是允許發(fā)送郵件的合法寄信者,包括一般聯(lián)系人通信錄和常聯(lián)系人通訊錄。當(dāng)?shù)谝淮伟l(fā)送郵件給收信者時,發(fā)信者要接受質(zhì)詢驗(yàn)證其身份。通過驗(yàn)證時,就被添加到收信者的一般聯(lián)系人通信錄中,其信譽(yù)度加1,在以后每通過一次驗(yàn)證時就累計(jì)信譽(yù)度值;當(dāng)他的信譽(yù)度值大于設(shè)置的常聯(lián)系人閾值時,就將其加入到常聯(lián)系人通信錄中。常聯(lián)系人通信錄中的發(fā)信者不需要質(zhì)詢驗(yàn)證。每個用戶的通信錄都設(shè)置成一定大小。當(dāng)常聯(lián)系人通信錄已滿時,將其中最少聯(lián)系的寄信者淘汰到一般聯(lián)系人通信錄中;而當(dāng)一般聯(lián)系人通信錄已滿時,則將其中最少聯(lián)系的寄信者刪掉。行為識別器監(jiān)控MTA的會話連接傳輸信息,對其進(jìn)行行為識別并判斷是否為垃圾郵件,從而作出相應(yīng)的響應(yīng)來控制MTA的會話過程。MTA代替郵件服務(wù)器中MTA的工作,在接收郵件時,與發(fā)送郵件的服務(wù)器進(jìn)行會話通信。會話過程中的傳輸參數(shù)受到行為識別器的檢查與控制,從而阻斷垃圾郵件的連接通信而接收正常郵件并暫存隊(duì)列中,然后再轉(zhuǎn)發(fā)給郵件服務(wù)器。5實(shí)驗(yàn)與結(jié)果分析5.1實(shí)驗(yàn)環(huán)境和方案5.1.1pc機(jī)實(shí)驗(yàn)時構(gòu)建的網(wǎng)絡(luò)架構(gòu)如圖3所示。主要由普通PC機(jī)、spam發(fā)送機(jī)、防火墻、交換機(jī)、郵件過濾網(wǎng)關(guān)和郵件服務(wù)器各一臺按照如圖3所示的結(jié)構(gòu)連接組成。5.1.2系統(tǒng)配置1實(shí)驗(yàn)1基于smtp的優(yōu)化配置該網(wǎng)關(guān)運(yùn)行在RedHatLinux8.0操作系統(tǒng)下,主要對來自外部寄信者的郵件進(jìn)行檢查,必須符合郵件行為規(guī)范才允許進(jìn)入郵件系統(tǒng)。郵件過濾網(wǎng)關(guān)如圖3所示放在原郵件服務(wù)器前端,分配一個合法的IP地址,把原來指向電子郵件服務(wù)器的MX記錄,重定向到垃圾郵件過濾網(wǎng)關(guān),在垃圾郵件過濾網(wǎng)關(guān)配置SMTP路由,投遞到電子郵件服務(wù)器。配置好后,外界無論是正常郵件、惡意攻擊還是垃圾郵件,均會由垃圾郵件過濾網(wǎng)關(guān)進(jìn)行智能判別和過濾,然后再從垃圾郵件過濾網(wǎng)關(guān)將正常郵件投遞到電子郵件系統(tǒng)。這樣,垃圾郵件過濾網(wǎng)關(guān)就成為外界電子郵件通向電子郵件系統(tǒng)的惟一通道,為電子郵件系統(tǒng)提供可靠的安全屏障。2發(fā)送三種發(fā)送工具該發(fā)送機(jī)運(yùn)行在RedHatLinux8.0操作系統(tǒng)下,在其上執(zhí)行筆者自行研發(fā)的郵件群發(fā)工具。該工具能夠根據(jù)用戶的要求對郵件的信封、信頭任意填寫以及對發(fā)送郵件的數(shù)量、發(fā)送速率等參數(shù)進(jìn)行準(zhǔn)確控制。由于目前大部分垃圾郵件是利用群發(fā)軟件發(fā)送的,作實(shí)驗(yàn)時利用這個工具模擬目前垃圾郵件的通信行為向郵件服務(wù)器發(fā)送垃圾郵件。5.1.3b基于普通電話系統(tǒng)采用兩種方式向目標(biāo)郵件服務(wù)器發(fā)送郵件:a)通過spam發(fā)送機(jī)向目標(biāo)郵件服務(wù)器發(fā)送一定數(shù)量的匿名、偽造、濫發(fā)和非法等行為的英文和中文郵件;b)由普通PC機(jī)作為郵件客戶端通過其他郵件服務(wù)器向目標(biāo)郵件服務(wù)器發(fā)送正常郵件。為便于實(shí)驗(yàn),把DNS服務(wù)器配置域名反向解析,把常聯(lián)系人閾值設(shè)為2,即發(fā)信者第一次給某個收信者發(fā)郵件時,經(jīng)過兩次質(zhì)詢驗(yàn)證后就無須再驗(yàn)證。5.2優(yōu)化實(shí)驗(yàn)對象的識別準(zhǔn)確性實(shí)驗(yàn)數(shù)據(jù)及結(jié)果如表1所示。根據(jù)郵件的發(fā)送行為方式來識別垃圾郵件而無須全部接收下來檢查其內(nèi)容,具有較高的準(zhǔn)確率,而以正常方式發(fā)送合法郵件的誤判率也非常低。經(jīng)過統(tǒng)計(jì)分析,對于以匿名、偽造、非法方式發(fā)送的垃圾郵件的識別準(zhǔn)確率大于99%,以濫發(fā)方式發(fā)送的垃圾郵件的識別準(zhǔn)確率大于90%。實(shí)驗(yàn)中兩封正常郵件的誤判,經(jīng)分析可能在下列情況發(fā)生:a)如果DNS服務(wù)器未配置域名反向解析,可能會導(dǎo)致合法郵件服務(wù)器被認(rèn)為是