iCache9200互聯(lián)網緩存解決方案_第1頁
iCache9200互聯(lián)網緩存解決方案_第2頁
iCache9200互聯(lián)網緩存解決方案_第3頁
iCache9200互聯(lián)網緩存解決方案_第4頁
iCache9200互聯(lián)網緩存解決方案_第5頁
已閱讀5頁,還剩20頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

目錄1簡介 1-12解決方案 2-12.1iCache系統(tǒng)部署場景 2-12.1.1與DPI集成部署 2-22.1.2核心網PS網絡部署 2-22.1.3系統(tǒng)擴展部署 2-32.2iCache系統(tǒng)原理 2-52.2.1Web緩存 2-52.2.2Video緩存 2-122.2.3P2P緩存 2-162.3iCache系統(tǒng)可靠性 2-202.3.1Web緩存可靠性 2-202.3.2Video緩存及P2P緩存 2-202.4iCache系統(tǒng)主要指標說明 2-202.4.1吞吐量(Throughput) 2-202.4.2命中率(HitRatio) 2-202.4.3連接數(shù)(ConnectionNumber) 2-212.4.4用戶網絡對系統(tǒng)指標的影響 2-213結論 3-14縮略語表 4-1簡介近年來隨著互聯(lián)網的發(fā)展,互聯(lián)網用戶數(shù)、互聯(lián)網應用種類、網絡帶寬等都呈現(xiàn)出爆炸式的增長,對社會和人們的生活產生了巨大的影響。在互聯(lián)網應用中P2P技術、在線視頻技術的發(fā)展給互聯(lián)網帶來的影響尤為廣泛,據(jù)預測,到2013年,91%的個人消費者互聯(lián)網流量為視頻,在移動流量中,66%為視頻。P2P應用的快速發(fā)展很大程度上促進了互聯(lián)網的發(fā)展和寬帶接入的普及化,但是其所帶來的負面效應也隨之顯現(xiàn),最突出的矛盾就是對網絡資源的濫用。無論運營商如何增加網絡帶寬,P2P應用總是會盡力搶占所有可用的資源。這種“黑洞效應”直接影響了運營商網絡建設的積極性,同時也導致其用戶滿意度下降,進而間接導致運營商的商業(yè)利益受損。對P2P流量進行控制和管理已經變得非常必要和緊迫,目前主要采用的手段是部署流量分析及控制設備,即對P2P應用進行分析和識別,然后再進行阻斷或限速。這種方案的優(yōu)點是通過控制、管理可識別的P2P應用,來保證網絡帶寬和其他業(yè)務的QoS,但其局限性也十分明顯,因為通過阻止用戶使用來緩解網絡擁擠,會直接導致用戶流失,甚至面臨法律上的風險。顯而易見,這種簡單的“封堵”思路治標不治本。在線視頻的迅速發(fā)展源于用戶上網習慣的轉變,在P2P盛行的時代,受限于網絡帶寬等因素,在線視頻的質量較差,難以滿足用戶對于高品質視頻內容的需求,用戶習慣于“先下載,后體驗”的上網模式,而隨著用戶接入帶寬的不斷提升,在線視頻正在迅速朝著高清化的趨勢發(fā)展,在這種情況下,寬帶用戶更傾向于選擇“即時體驗”來獲取視頻等多媒體資源。面對互聯(lián)網流量的高速增長,運營商主要通過兩種方法來應對:擴容帶寬流量控制,包括技術上對用戶流量進行整形、限速等,以及從資費套餐上進行流量限制等。擴容帶寬的解決方案簡單易實施,但是費用昂貴,并且新擴容的帶寬很快就會被P2P等流量再次占滿,投資收益極少。流量控制是立竿見影的解決方案,投資較小并可以迅速降低互聯(lián)網出口的流量壓力,但同時也極大的影響了用戶體驗,在較為成熟的競爭性市場容易造成用戶流失。因此,上述兩種解決方案在投資收益和用戶體驗上并不能兼顧,往往顧此失彼,運營商需要能在投資收益和用戶體驗上都能兼顧的解決方案,華為iCache互聯(lián)網緩存解決方案可以很好的滿足運營商的需求。解決方案iCache系統(tǒng)部署場景與DPI集成部署當現(xiàn)網已經部署了DPI設備或者計劃部署DPI設備時,iCache可以與DPI設備集成部署,需要DPI具備流量鏡像功能并有足夠的GE接口將鏡像流量轉發(fā)到重定向設備。核心網PS網絡部署iCache系統(tǒng)可以在核心網PS網絡中部署。建議部署在GGSN與防火墻之間,通過對10G/2.5G骨干鏈路的上行鏈路進行分光,然后將分光鏈路接到分流平臺,由分流平臺將10G/2.5G的流量平均分成N*GE流量輸出到重定向設備;同時在交換機上進行策略路由,將http流量轉發(fā)到CSS-WEB子系統(tǒng)。系統(tǒng)擴展部署iCache采用模塊化設計,模塊之間可以靈活、自由的組合,所以具有非常好的彈性和擴展性。靈活的配置保證最佳的緩存效率 由于用戶上網習慣的變化,互聯(lián)網流量趨勢會經常性的發(fā)生變化,比如前幾年BT和eMule等P2P流量占據(jù)了互聯(lián)網50%以上的流量,那時候的用戶上網習慣是“先下載,后體驗”,但是目前用戶的上網習慣已經逐漸變成“實時體驗”,所以P2P流量占比逐漸下降,而在線視頻流量發(fā)展迅速。為了充分保護運營商的既有投資,iCache系統(tǒng)提供了良好的彈性,如下圖所示:在線視頻和P2P緩存設備采用同一硬件平臺,可通過更改軟件License互換。如果HTTPCache設備超過正常負載,則可以通過手工配置將部分大文件下載類流量切換到在線視頻緩存設備上。如果在線視頻緩存設備超過正常負載,則可以通過手工配置將部分在線視頻流量切換到HTTPCache設備。良好的擴展性保護原有投資當運營商的網絡規(guī)模和寬帶用戶數(shù)量增長后,為了繼續(xù)保持較低的互聯(lián)網出口帶寬需求以及良好的用戶體驗,就需要相應的擴容緩存系統(tǒng)。iCache支持平滑的、線性的擴容升級,只需要增加相應的緩存設備即可。分布式部署上述部署方案都基于集中式部署。此外,iCache支持集中式和分布式兩種部署模式,當網絡規(guī)模較小的時候,可以采用集中部署的方式,不僅節(jié)省投資成本,也可以提高緩存效率。當運營商網絡規(guī)模不斷擴大時,仍然可以采用集中部署的模式,只需要增加緩存設備,但是這樣有可能引起各個POP節(jié)點和骨干網之間的鏈路擁塞。這個時候,我們可以從集中部署模式向分布式部署模式遷移,在流量比較大的POP節(jié)點部署新增的緩存系統(tǒng),新增的系統(tǒng)只為POP節(jié)點內的寬帶用戶提供服務,如下圖所示:iCache系統(tǒng)原理 Web緩存HTTP基本原理超文本傳輸協(xié)議(HTTP,HyperTextTransferProtocol)是互聯(lián)網上應用最為廣泛的一種網絡協(xié)議。所有的WWW文件都必須遵守這個標準。設計HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁面的方法。HTTP的發(fā)展是萬維網協(xié)會(WorldWideWebConsortium)和Internet工作小組(InternetEngineeringTaskForce)合作的結果,(他們)最終發(fā)布了一系列的RFC,其中最著名的就是RFC2616。RFC2616定義了HTTP協(xié)議中一個現(xiàn)今被廣泛使用的版本——HTTP1.1。HTTP是一個客戶端和服務器端請求和應答的標準(TCP)??蛻舳耸墙K端用戶,服務器端是網站。通過使用Web瀏覽器、網絡爬蟲或者其它的工具,客戶端發(fā)起一個到服務器上指定端口(默認端口為80)的HTTP請求??蛻舳伺c服務器之間的交互用到了兩種類型的消息:請求(Request)和響應(Response)。其中請求最常見的包括get和post請求,而服務器的響應則包括HTTP版本號,后面跟著3位數(shù)字表示響應代碼,如200代表請求成功,404代表notfound。CSS-WEB緩存工作流程當客戶機向服務器發(fā)送get請求的時候,web服務器將返回請求的資源,同時返回該資源的ETag標識以及expire時間,當沒有超過expire時間,則客戶機下次再次發(fā)送get請求的時候,將直接從緩存中獲取資源,而不需要再次從web服務器上下載資源。部署iCache系統(tǒng)之后,緩存上網流程如下:當用戶向web服務器發(fā)送請求的時候,流量會經過CSS-WEB系統(tǒng),此時CSS-WEB會檢測該資源是否已經被緩存,如果已經緩存,并且該資源沒有過期,則直接將緩存內容返回給用戶。當緩存了該資源,但是該資源已經過期,則CSS-WEB會發(fā)送一個更新請求到web服務器,請求獲得最新資源,如果web服務器返回“沒有更改”報文,則直接返回緩存資源給用戶,否則從服務器上下載資源返回給用戶。如果該資源沒有被緩存,則CSS-WEB會代替用戶去web服務器上下載,同時返回給用戶,如果CSS-WEB定義的策略要求緩存該文件,則緩存該資源,并再次提供服務。CSS-WEB工作模式WEB緩存采用直路部署模式,通過在路由器上配置策略路由(PBR),將HTTP流量從路由器引流到緩存設備,它有2種工作模式:半透明模式、透明模式。半透明模式:需要在路由器/交換機上做一定的配置修改,將用戶訪問外網Web服務器的流量通過策略路由(PBR)轉向緩存服務器,然后由緩存服務器代理用戶去外網下載內容再提供給用戶。緩存系統(tǒng)對用戶是透明的,但是Web服務器看不到用戶的IP,只能看到緩存服務器的IP地址。緩存系統(tǒng)工作流程如下:用戶的HTTP訪問報文通過策略路由(PBR)牽引到緩存設備。緩存設備用自己的IP地址代理用戶向Web服務器發(fā)起請求。Web服務器返回響應報文給緩存設備緩存設備將響應報文返回給用戶。透明模式:需要在路由器/交換機上做一定的配置修改,將用戶訪問外網Web服務器的流量以及Web服務器返回的流量通過策略路由(PBR)轉向緩存服務器,緩存服務器作為所有HTTP流量的中轉站,緩存系統(tǒng)對用戶和Web服務器都是透明的。緩存系統(tǒng)工作流程如下:用戶的HTTP訪問報文通過策略路由(PBR)牽引到緩存設備。緩存設備使用用戶的IP地址代理用戶向Web服務器發(fā)起請求。Web服務器返回的響應報文通過策略路由(PBR)牽引到緩存設備。緩存設備將響應報文返回給用戶。關鍵技術1:URL過濾技術URL過濾功能提供白名單,黑名單,分類地址庫三種方式。黑白名單的方式都是基于管理員自定義并手工輸入URL的方式。分類地址庫采用Brightcloud作為第三方URL數(shù)據(jù)庫提供者。美國BrightCloud公司是全球最大的網址分類導航和內容過濾的互聯(lián)網服務提供商,其網絡覆蓋十數(shù)倍于其他同類服務提供商。Brightcloud提供了80多個詳細分類,覆蓋面廣,命中率、準確率高。URL過濾的流程如下:當用戶向web服務器發(fā)送請求的時候,流量會經過CSS-WEB系統(tǒng),此時CSS-WEB會檢測該URL是否屬于管理員定義的白名單中,如果命中則直接進入緩存上網流程。如果該URL不屬于白名單,則查詢是否屬于黑名單中,如果屬于黑名單中,則直接禁止并重定向該URL。如果黑白名單都沒有命中,則查詢是否啟用了Brightcloud分類禁止功能,如果啟用了該功能,則查詢該URL的分類,如果該分類被禁止,則重定向該URL。如果無法查詢到該URL的分類,則查看是否啟用了在線更新功能,如果啟用,則到互聯(lián)網上升級該URL的分類。如果在線更新依然無法獲得其分類,則查看配置,是否禁用unknown分類的URL。關鍵技術2:支持GZIP壓縮格式CSS-WEB支持GZIP壓縮格式傳輸,HTTP協(xié)議上的GZIP編碼是一種用來改進WEB應用程序性能的技術。大流量的WEB站點常常使用GZIP壓縮技術來讓用戶感受更快的速度。CSS-WEB支持GZIP壓縮傳輸,當客戶端支持HTTP1.1協(xié)議時候,將會向服務器請求資源,當服務器也支持GZIP的時候,就會把資源壓縮之后傳輸給用戶,在CSS-WEB緩存該資源的過程中也會將該壓縮后的資源進行緩存,從而節(jié)省帶寬。GZIP壓縮的原理是在一個文本文件中找出類似的字符串,并臨時替換他們,使整個文件變小。這種形式的壓縮對Web來說特別適合,因為HTML和CSS文件通常包含大量的重復字符串,例如空格,標簽,及樣式定義。GZIP支持的文件包括HTML、JavaScript、CSS和其他TEXT文件。在傳輸優(yōu)化測試中,使用GZIP方式壓縮的站點,其TEXT文件平均可以壓縮75%,壓縮率是相當可觀的。如果每個用戶節(jié)約50%的帶寬,那么相同的帶寬就可以服務多一倍的客戶了。CSS-WEB服務器能夠將web服務器上的資源進行GZIP壓縮,從而節(jié)省空間。對于不支持GZIP的瀏覽器,將緩存內容提供給用戶的時候將首先解壓縮之后再傳輸給用戶。關鍵技術3:配置回退和初始化功能為解決誤操作帶來的后果,iCacheCSS-WEB提供了配置回退和初始化功能。并提供回退后的配置和現(xiàn)在配置的差別。其原理為每次進行了配置修改后,iCacheCSS-WEB都會保持一份配置副本,另外也提供一份默認配置。于是可以將每次的配置副本進行對比,并進行配置文件替換以完成配置回退功能。關鍵技術4:支持safesearch技術谷歌GoogleSafeSearch是一種從搜索結果中過濾掉色情內容的技術。谷歌Google用戶可據(jù)需要設定所需級別。CSS-WEB支持設定是否開啟SafeSearch的默認開啟狀態(tài)。例如,開啟safesearch功能之后,用戶搜索的URL為q=sex&safe=strict,表示搜索啟用了過濾功能,默認情況下該功能是關閉的,用戶可以在“搜索設置”中來設置是否開啟該功能。管理員可以在CSS-WEB中設置是否默認啟用該功能,當啟用該功能之后,用戶使用google搜索引擎的時候,默認的狀態(tài)都啟用了safesearch功能,從而能夠達到過濾色情圖片和文字效果,凈化上網環(huán)境。關鍵技術5:支持熱點統(tǒng)計技術CSS-WEB支持保持近期客戶訪問記錄,并進行數(shù)據(jù)挖掘。支持熱點統(tǒng)計,能夠顯示TOP100站點,并支持按照流量、按照緩存命中率來排序。關鍵技術6:優(yōu)化的存儲技術iCacheCSS-WEB憑借華為公司在存儲領域的深厚積累對緩存存儲技術做了深入的優(yōu)化,包括多核多線程技術,存儲調度技術等。iCacheCSS-WEB采用了強大的IntelNehalem平臺CPU,一臺CSS-WEB上有8個核,為充分利用處理器性能,對多線程處理進行了深度優(yōu)化,保證充分利用每個核的處理能力。iCacheCSS-WEB針對互聯(lián)網緩存的特點,優(yōu)化了存儲調度技術,將小文件盡量保持在內存中,將大文件保存在磁盤中,并在高效的調度算法下,盡量做到順序讀寫磁盤,以提高緩存設備的吞吐能力。 Video緩存Video基本原理和發(fā)展趨勢近年來隨著互聯(lián)網的發(fā)展,互聯(lián)網用戶數(shù)、互聯(lián)網應用種類、網絡帶寬等都呈現(xiàn)出爆炸式的增長,對社會和人們的生活產生了巨大的影響。在線視頻技術的發(fā)展給互聯(lián)網帶來的影響尤為廣泛,據(jù)預測,到2013年,91%的個人消費者互聯(lián)網流量為視頻,在移動流量中,66%為視頻。在線視頻和傳統(tǒng)的觀看視頻不同,視頻資源全部保存在視頻服務器上,用戶同過瀏覽器點播視頻,向服務器發(fā)送點播請求,服務器收到后查找用戶要點播的視頻并過網絡將對應視頻傳到用戶的電腦上,電腦經過處理通過顯示器把視頻呈現(xiàn)給用戶。在線視頻的迅速發(fā)展源于用戶上網習慣的轉變,在P2P盛行的時代,受限于網絡帶寬等因素,在線視頻的質量較差,難以滿足用戶對于高品質視頻內容的需求,用戶習慣于“先下載,后體驗”的上網模式,而隨著用戶接入帶寬的不斷提升,在線視頻正在迅速朝著高清化的趨勢發(fā)展,在這種情況下,寬帶用戶更傾向于選擇“即時體驗”來獲取視頻等多媒體資源。Video緩存的部署方式Video緩存采用旁路部署模式,不需要改變現(xiàn)有網絡的組網結構,不會增加故障點。緩存系統(tǒng)并不是位于正常的網絡流量經過的路徑上,而是采用分光/鏡像的方式復制了一份流量,然后通過對復制的流量進行分析后采用重定向技術將用戶的請求引導到緩存系統(tǒng)。這種部署模式有以下好處:對于緩存系統(tǒng)不關心的流量,緩存系統(tǒng)的存在與否對這些流量沒有任何影響。當部分緩存設備下線時,業(yè)務連續(xù)性不會受到影響,重定向子系統(tǒng)將檢測到下線的緩存設備,并對位于這些設備上的資源停止發(fā)送重定向報文,用戶仍然可以從外網獲取資源。即使整套系統(tǒng)下線,業(yè)務連續(xù)性也不會受到影響,就跟沒有部署緩存系統(tǒng)時一樣,用戶直接從外網獲取資源。Video緩存工作流程:iCache采用熱點探測和被動緩存技術,只有在內網用戶訪問同一資源達到熱點閥值后,才會把資源下載到緩存系統(tǒng)并為后續(xù)的用戶訪問提供服務。在線視頻緩存的具體工作流程分為兩部分:用戶請求的資源達到熱度閥值前:用戶發(fā)起HTTPGET請求。RSS監(jiān)聽到該請求報文符合緩存基本標準,RSS查詢內存中的白名單看資源是否已經被緩存,如沒有,則查詢調度子系統(tǒng)DSS。DSS查詢緩存服務器中是否存在用戶請求的資源,如果沒有,則將資源的熱點閥值加1;DSS通知RSS用戶請求的資源沒有被緩存。重定向子系統(tǒng)不做任何操作,用戶仍然從源站獲取資源。DSS判斷用戶請求的資源是否達到熱度閥值,如果達到熱度閥值,DSS挑選其中一臺CSS服務器去外網下載資源。CSS服務器啟動下載進程。CSS服務器完成資源下載。CSS服務器通知DSS資源已經下載完畢,并告知資源存儲的目錄,流程結束;用戶請求的資源達到熱度閥值并被緩存到本地后:用戶發(fā)起HTTPGET請求。RSS監(jiān)聽到該請求報文符合緩存基本標準,RSS查詢內存中的白名單看資源是否已經被緩存,如有,跳到步驟4;如沒有,則查詢調度子系統(tǒng)DSS。DSS返回保存有用戶請求資源的CSS服務器信息給RSS,RSS將信息記錄到本地的白名單中。RSS發(fā)送重定向報文給內網用戶。內網用戶接到重定向信息后連接CSS服務器進行資源請求。關鍵技術1:緩存資源過濾技術根據(jù)客戶業(yè)務的需要,iCache系統(tǒng)黑白名單的管理功能,為運營商提供健康的緩存內容??梢詫γ舾芯W站或者特定的資源進行訪問控制,將該資源的索引,refer等信息加入黑名單配置中,就可以實現(xiàn)對目標資源的放行、阻斷和重定向功能。下面詳細介紹黑名單幾種狀態(tài)的意義:放行如果資源對象處于黑名單“放行”狀態(tài)時,當用戶從外網獲取該資源時,但系統(tǒng)不會對該資源進行緩存。所有用戶訪問該資源一律從外網獲取。阻斷處于黑名單“阻斷”狀態(tài)時,當用戶試圖從外網訪問該資源時,RSS會及時斷掉內網用戶和外網資源的連接,導致用戶訪問失敗,阻斷用戶訪問該資源。重定向如果資源對象處于“重定向”狀態(tài)時,當用戶試圖從外網訪問該資源時,RSS會及時斷掉內網用戶和外網資源的連接,并把連接重定向到指定好的資源的URL地址,導致用戶只能訪問指定的資源的內容。關鍵技術2:緩存子系統(tǒng)功能的互換華為iCache(InternetCacheSystem)解決方案充分站在用戶的角度為用戶考慮,為了可以使客戶更有效的利用現(xiàn)有資源,節(jié)省客戶的投資成本和維護成本,成功開發(fā)了緩存子系統(tǒng)功能互換的功能。該功能可以使不同的緩存子系統(tǒng)之間(P2P和Video)無限制自由切換,當客戶設備故障或需求改變時,華為iCache(InternetCacheSystem)解決方案可以快速響應客戶,將對應緩存子系統(tǒng)切換為客戶需要的類型,快速滿足客戶需求,解決客戶問題,并有效的節(jié)約了客戶的投入成本,把可能問題對用戶的影響降到最低。關鍵技術3:動態(tài)URL地址判斷技術目前在線視屏網站采用的URL地址技術多數(shù)為動態(tài)URL地址技術,這樣導致針對于普通網站的URL地址算法對于采用動態(tài)地址的在線視頻網站沒有意義,只能產生大量的垃圾數(shù)據(jù)。華為iCache(InternetCacheSystem)解決方案采用動態(tài)URL地址算法技術成功解決了這一難題,對于不同的動態(tài)URL地址在線視頻網站分別采用獨特的算法,精確定位該網站每一個資源。不僅實現(xiàn)了網站資源的緩存和向用戶吐出資源數(shù)據(jù)的基本功能,有效的提升了用戶體驗外等主流業(yè)務外,而且還可以通過黑名單對該網站資源進行控制,很好幫助客戶的實現(xiàn)了上網行為管理等增值業(yè)務。 P2P緩存P2P是peertopeer的縮寫,就是數(shù)據(jù)不存放在統(tǒng)一的資源服務器上,而是存放在各個用戶上的數(shù)據(jù)進行共享,每個用戶下載的資源都是從其他用戶下載,實現(xiàn)這種數(shù)據(jù)傳輸而制定的協(xié)議稱著P2P協(xié)議,采用P2P協(xié)議進行用戶間數(shù)據(jù)傳輸?shù)能浖Q著P2P軟件,常見P2P軟件有BT、eMule、XL(迅雷)等。以往占據(jù)主導地位的互聯(lián)網架構是客戶端/服務器(Client/Server)結構。互聯(lián)網以服務器為中心,各種各樣的資源,包括文字、圖片、音樂、電影等都存放在服務器的硬盤上,網民把自己的電腦作為客戶端通過網絡連到服務器上檢索、下載、上傳資料,在這種架構下,客戶端和服務器存在著明顯的主從關系,而P2P模式,也稱為對等網絡(PeertoPeer)結構,它的本質思想是,整個網絡結構中不存在中心節(jié)點(或中心服務器),在P2P結構中,每一個節(jié)點(Peer)大都同時具有信息消費者、信息提供者和信息通訊等三方面的功能,在P2P網絡中每一個節(jié)點所擁有的權利和義務都是對等的。P2P緩存部署方式目前現(xiàn)網中網絡設備部署方式主要有直路和旁路兩種結構,在直路模式中網絡設備需要串行連接到主干線路上,旁路部署則不需要將設備串進主干線路,只需要鏡像、分光等方式將流量負復制一份給旁路網絡設備。iCache系統(tǒng)采用旁路部署模式,與直路比具有以下優(yōu)勢:不需要改變現(xiàn)有網絡的組網結構,緩存系統(tǒng)并不是位于正常的網絡流量經過的路徑上,而是采用分光/鏡像的方式復制了一份流量,然后通過對復制的流量進行分析后采用重定向技術將用戶的請求引導到緩存系統(tǒng)。不會增加故障點。由于在主干線路上沒有增加任何設備,故不會增加故障點。對于緩存系統(tǒng)不關心的流量,緩存系統(tǒng)的存在與否對這些流量沒有任何影響。當部分緩存設備下線時,業(yè)務連續(xù)性不會受到影響,重定向子系統(tǒng)將檢測到下線的緩存設備,并對位于這些設備上的資源停止發(fā)送重定向報文,用戶仍然可以從外網獲取資源。即使整套系統(tǒng)下線,業(yè)務連續(xù)性也不會受到影響,就跟沒有部署緩存系統(tǒng)時一樣,用戶直接從外網獲取資源。P2P緩存工作流程:iCache系統(tǒng)支持BT、eMule、XL、PPS等多種P2P協(xié)議,由于每種協(xié)議特征的不同,所以對不同協(xié)議的資源提供緩存服務的原理也有所不同。BTCacheiCache在完成BT資源緩存時,由RSS、DSS和CSS共同完成,其熱點處理機制與在線視頻的不同:檢測用戶訪問流量中包含的資源請求信息,一旦檢測到P2P資源請求立即啟動P2P緩存資源進棧。緩存設備邊下載資源邊為用戶提供緩存加速服務,未緩存資源片段仍然通過外網下載。BT緩存的具體工作流程為:用戶出口流量被復制到監(jiān)控服務器RSS監(jiān)控口,RSS對出口流量進行深度分析,識別出網內用戶對外的BT下載請求。RSS發(fā)送重定向報文給用戶,將用戶請求重定向到DSS,DSS將充當代理Tracker服務器的角色。DSS檢索本地緩存系統(tǒng),如果已經存在用戶所需的數(shù)據(jù)資源,會將存有相關數(shù)據(jù)的緩存子系統(tǒng)CSS服務器的IP地址以及同時參與該任務的內網其他用戶的IP地址列表,通過PEERLIST反饋給用戶,用戶根據(jù)所反饋PEERLIST中的IP地址建立連接,從CSS緩存服務器上和內網其它用戶處獲取數(shù)據(jù);如果本地緩存系統(tǒng)里未包含用戶所需要的數(shù)據(jù)資源,DSS會調配某一臺BT緩存服務器去外網下載該資源,并將該BT緩存服務器IP地址通過PeerList反饋給用戶,BT緩存服務器一邊從外網下載一邊為內網用戶提供緩存服務。eMuleCacheiCache在完成eMule資源緩存時,其熱點處理機制跟BT類似,與BT不同的是,eMule的緩存處理流程不需要DSS作為Tracker服務器參與。eMule緩存的具體工作流程為:RSS對出口流量進行深度分析,識別出網內用戶對外的eMule下載請求。RSS根據(jù)配置策略通過UDP報文向用戶發(fā)送負責緩存該eMule資源的eMule緩存服務器的IP地址,普通eMule客戶端收到RSS發(fā)送的帶有緩存服務器IP地址的UDP報文后會自動識別該報文,并將報文中的緩存服務器地址增加到本機的資源用戶列表中,同時會向這些IP請求下載數(shù)據(jù)。關鍵技術1:重定向技術及調度機制iCache緩存系統(tǒng)通過重定向技術將P2P流量引導到運營商內部,采取數(shù)據(jù)內部消化的方式,當用戶請求下載P2P資源時,iCache緩存系統(tǒng)會向用戶發(fā)送重定向報文,使用戶到iCache緩存系統(tǒng)獲取數(shù)據(jù),如果緩存系統(tǒng)已經緩存該數(shù)據(jù),則直接快速從緩存系統(tǒng)獲取資源,當緩存系統(tǒng)還沒緩存該資源時,緩存系統(tǒng)啟動緩存功能對數(shù)據(jù)進行緩存同時提供給用戶,這樣大量減少用戶到外網下載數(shù)據(jù),節(jié)省出口流量,降低運維成本。關鍵技術2:熱點內容管理iCache緩存系統(tǒng)提供強大的管理功能,ISP可以根據(jù)時間段查詢時間段內用戶下載的熱點資源,ISP也可以快速查詢當前top100的熱點資源,熱點內容管理提供給ISP一個了解用戶行為的當前熱點資源信息。關鍵技術3:存儲容量需求的發(fā)展趨勢及iCache的海量存儲iCache緩存系統(tǒng)具有大容量高性能的特性,進入互聯(lián)網信息化時代后,互聯(lián)網中的數(shù)據(jù)每年都在以指數(shù)形式增長,iCache緩存系統(tǒng)能實現(xiàn)無限的擴容,單臺緩存的系統(tǒng)數(shù)據(jù)存儲容量可達20T,每增加一臺緩存子系統(tǒng)可以增加20T存儲容量。關鍵技術4:分布在不同網站的相同內容的判斷機制,可避免重復緩存iCache緩存系統(tǒng)配備了智能識別系統(tǒng),對資源的識別不是單靠資源名稱、資源URL來對資源進行識別,iCache智能識別系統(tǒng)能夠根據(jù)內容本身進行區(qū)分,即使修改了文件的相同資源的名稱iCache也能識別出來,并不會出現(xiàn)重復緩存的現(xiàn)象。在相同資源廣泛分布的情況下,無智能識別的功能的重復數(shù)據(jù)將是幾十倍成百倍。iCache緩存系統(tǒng)的智能識別系統(tǒng)極大的節(jié)省了存儲空間。iCache系統(tǒng)可靠性 Web緩存可靠性Web緩存采用策略路由(PBR)的方式直路部署,一般情況下會部署多臺WebCache設備,因此需要配套負載均衡器在多臺WebCache之間進行負載分擔。負載均衡器具備健康檢測機制,可以實時監(jiān)控WebCache設備的可用性,一旦發(fā)現(xiàn)某臺WebCache設備故障,將停止向故障設備轉發(fā)流量。此外,負載均衡器也可以采用主備模式雙機部署,進一步提高了可靠性。Video緩存及P2P緩存Video緩存和P2P緩存采用旁路部署,不需要改變現(xiàn)有網絡的組網結構,不會增加故障點。緩存系統(tǒng)并不是位于正常的網絡流量經過的路徑上,而是采用分光/鏡像的方式復制了一份流量,然后通過對復制的流量進行分析后采用重定向技術將用戶的請求引導到緩存系統(tǒng)。這種部署模式有以下好處:對于緩存系統(tǒng)不關心的流量,緩存系統(tǒng)的存在與否對這些流量沒有任何影響。當部分緩存設備下線時,業(yè)務連續(xù)性不會受到影響,重定向子系統(tǒng)將檢測到下線的緩存設備,并對位于這些設備上的資源停止發(fā)送重定向報文,用戶仍然可以從外網獲取資源。即使整套系統(tǒng)下線,業(yè)務連續(xù)性也不會受到影響,就跟沒有部署緩存系統(tǒng)時一樣,用戶直接從外網獲取資源。iCache系統(tǒng)主要指標說明吞吐量(Throughput)吞吐量(Throughput):緩存設備單位時間內成功地傳送給客戶的數(shù)據(jù)數(shù)量,單位為Mbps,此指標為緩存設備最為重要的指標之一,直接反映了對運營商的價值??梢酝ㄟ^管理子系統(tǒng)查看緩存設備的吞吐量數(shù)據(jù)。命中率(HitRatio)命中率指標主要分為兩種:請求命中率(RequestHitRatio):按照用戶每次請求命中與否的數(shù)量統(tǒng)計。(用戶請求資源時,在緩存服務器中緩存了則稱

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論