高校云數(shù)據(jù)中心方案建議書_第1頁
高校云數(shù)據(jù)中心方案建議書_第2頁
高校云數(shù)據(jù)中心方案建議書_第3頁
高校云數(shù)據(jù)中心方案建議書_第4頁
高校云數(shù)據(jù)中心方案建議書_第5頁
已閱讀5頁,還剩55頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、高校數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 PAGE - 60 -高校云數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書目 錄 TOC o 1-3 h z u HYPERLINK l _Toc488664845 一、建設(shè)背景 PAGEREF _Toc488664845 h - 4 - HYPERLINK l _Toc488664846 1.1.數(shù)據(jù)中心背景介紹 PAGEREF _Toc488664846 h - 4 - HYPERLINK l _Toc488664847 1.2.數(shù)據(jù)中心建設(shè) PAGEREF _Toc488664847 h - 4 - HYPERLINK l _Toc488664848 1.3.需求分析 P

2、AGEREF _Toc488664848 h - 5 - HYPERLINK l _Toc488664849 二、方案規(guī)劃與設(shè)計(jì) PAGEREF _Toc488664849 h - 6 - HYPERLINK l _Toc488664851 2.1.數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)目標(biāo) PAGEREF _Toc488664851 h - 6 - HYPERLINK l _Toc488664852 2.2.總體設(shè)計(jì)思路及原則 PAGEREF _Toc488664852 h - 7 - HYPERLINK l _Toc488664855 2.3.業(yè)務(wù)分區(qū) PAGEREF _Toc488664855 h - 9 -

3、 HYPERLINK l _Toc488664856 2.4.網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc488664856 h - 11 - HYPERLINK l _Toc488664857 2.4.1.核心交換區(qū) PAGEREF _Toc488664857 h - 12 - HYPERLINK l _Toc488664858 2.4.2.服務(wù)器接入?yún)^(qū) PAGEREF _Toc488664858 h - 13 - HYPERLINK l _Toc488664859 2.4.3.互聯(lián)網(wǎng)區(qū) PAGEREF _Toc488664859 h - 14 - HYPERLINK l _Toc488664860

4、2.4.4.外聯(lián)網(wǎng)區(qū) PAGEREF _Toc488664860 h - 15 - HYPERLINK l _Toc488664861 2.4.5.廣域網(wǎng)接入?yún)^(qū) PAGEREF _Toc488664861 h - 16 - HYPERLINK l _Toc488664862 2.4.6.災(zāi)備接入?yún)^(qū) PAGEREF _Toc488664862 h - 17 - HYPERLINK l _Toc488664863 2.5.安全設(shè)計(jì) PAGEREF _Toc488664863 h - 19 - HYPERLINK l _Toc488664864 2.5.1.安全設(shè)計(jì)原則 PAGEREF _Toc48

5、8664864 h - 19 - HYPERLINK l _Toc488664865 2.5.2.SecBlade FW插卡部署 PAGEREF _Toc488664865 h - 20 - HYPERLINK l _Toc488664866 2.5.3.SecBlade FW+IPS+LB組合部署 PAGEREF _Toc488664866 h - 22 - HYPERLINK l _Toc488664867 2.6.QoS設(shè)計(jì) PAGEREF _Toc488664867 h - 26 - HYPERLINK l _Toc488664868 2.6.1.QoS設(shè)計(jì)原則 PAGEREF _To

6、c488664868 h - 26 - HYPERLINK l _Toc488664869 2.6.2.QoS服務(wù)模型選擇 PAGEREF _Toc488664869 h - 26 - HYPERLINK l _Toc488664870 2.6.3.QoS規(guī)劃 PAGEREF _Toc488664870 h - 27 - HYPERLINK l _Toc488664871 2.6.4.QoS部署 PAGEREF _Toc488664871 h - 29 - HYPERLINK l _Toc488664872 2.7.數(shù)據(jù)中心互聯(lián) PAGEREF _Toc488664872 h - 31 - H

7、YPERLINK l _Toc488664873 2.8.新技術(shù)應(yīng)用 PAGEREF _Toc488664873 h - 33 - HYPERLINK l _Toc488664874 2.8.1.FCoE PAGEREF _Toc488664874 h - 33 - HYPERLINK l _Toc488664875 2.8.2.虛擬機(jī)(VM)部署與遷移 PAGEREF _Toc488664875 h - 35 - HYPERLINK l _Toc488664876 2.9.數(shù)據(jù)中心管理 PAGEREF _Toc488664876 h - 37 - HYPERLINK l _Toc488664

8、877 2.9.1.數(shù)據(jù)中心管理設(shè)計(jì)原則 PAGEREF _Toc488664877 h - 37 - HYPERLINK l _Toc488664878 2.9.2.網(wǎng)絡(luò)管理 PAGEREF _Toc488664878 h - 37 - HYPERLINK l _Toc488664879 2.9.3.網(wǎng)絡(luò)監(jiān)控 PAGEREF _Toc488664879 h - 40 - HYPERLINK l _Toc488664880 三、方案實(shí)施 PAGEREF _Toc488664880 h - 42 - HYPERLINK l _Toc488664882 3.1.網(wǎng)絡(luò)布線建議 PAGEREF _To

9、c488664882 h - 42 - HYPERLINK l _Toc488664883 3.1.1.走線方式的選擇 PAGEREF _Toc488664883 h - 42 - HYPERLINK l _Toc488664884 3.1.2.網(wǎng)絡(luò)配線方式 PAGEREF _Toc488664884 h - 44 - HYPERLINK l _Toc488664885 3.1.3.服務(wù)器接入方式 PAGEREF _Toc488664885 h - 45 - HYPERLINK l _Toc488664886 3.1.4.機(jī)房布線建議 PAGEREF _Toc488664886 h - 48

10、- HYPERLINK l _Toc488664887 3.2.VLAN規(guī)劃 PAGEREF _Toc488664887 h - 48 - HYPERLINK l _Toc488664888 3.3.IP地址規(guī)劃 PAGEREF _Toc488664888 h - 48 - HYPERLINK l _Toc488664889 3.4.路由規(guī)劃 PAGEREF _Toc488664889 h - 50 - HYPERLINK l _Toc488664890 3.5.業(yè)務(wù)遷移 PAGEREF _Toc488664890 h - 52 - HYPERLINK l _Toc488664891 四、設(shè)備

11、介紹 PAGEREF _Toc488664891 h - 53 - HYPERLINK l _Toc488664893 4.1.H3C特色技術(shù)介紹 PAGEREF _Toc488664893 h - 53 - HYPERLINK l _Toc488664894 4.1.1.IRF虛擬化 PAGEREF _Toc488664894 h - 53 - HYPERLINK l _Toc488664895 4.1.2.網(wǎng)絡(luò)安全融合 PAGEREF _Toc488664895 h - 55 -建設(shè)背景數(shù)據(jù)中心背景介紹數(shù)據(jù)中心(英文拼寫Data Center,簡寫DC)是數(shù)據(jù)大集中而形成的集成IT應(yīng)用環(huán)境

12、,它是各種IT應(yīng)用服務(wù)的提供中心,是數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)、存儲的中心。數(shù)據(jù)中心實(shí)現(xiàn)了安全策略的統(tǒng)一部署,IT基礎(chǔ)設(shè)施、業(yè)務(wù)應(yīng)用和數(shù)據(jù)的統(tǒng)一運(yùn)維管理。數(shù)據(jù)中心是當(dāng)前各行業(yè)的IT建設(shè)重點(diǎn)。運(yùn)營商、電力、能源、金融證券、大型企業(yè)、政府、交通、教育、制造業(yè)、網(wǎng)站和電子商務(wù)公司等正在進(jìn)行或已完成數(shù)據(jù)中心建設(shè),通過數(shù)據(jù)中心的建設(shè),實(shí)現(xiàn)對IT信息系統(tǒng)的整合和集中管理,提升內(nèi)部的運(yùn)營和管理效率以及對外的服務(wù)水平,同時(shí)降低IT建設(shè)的TCO。數(shù)據(jù)中心的發(fā)展可分為四個(gè)層面:數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)整合:根據(jù)業(yè)務(wù)需求,基于開放標(biāo)準(zhǔn)的IP協(xié)議,完成對學(xué)?,F(xiàn)有異構(gòu)業(yè)務(wù)系統(tǒng)、網(wǎng)絡(luò)資源和IT資源的整合,解決如何建設(shè)數(shù)據(jù)中心的問題。數(shù)據(jù)中心

13、應(yīng)用智能:基于TCP/IP的開放架構(gòu),保證各種新業(yè)務(wù)和應(yīng)用在數(shù)據(jù)中心的基礎(chǔ)體系架構(gòu)上平滑部署和升級,滿足用戶的多變需求,保證數(shù)據(jù)中心的持續(xù)服務(wù)和業(yè)務(wù)連續(xù)性。各種應(yīng)用的安全、優(yōu)化與集成可以無縫的部署在數(shù)據(jù)中心之上。數(shù)據(jù)中心虛擬化:傳統(tǒng)的應(yīng)用孤島式的數(shù)據(jù)中心模型擴(kuò)展性差,核心資源的分配與業(yè)務(wù)應(yīng)用發(fā)展出現(xiàn)不匹配,使得資源利用不均勻,導(dǎo)致運(yùn)行成本提高、現(xiàn)有投資無法達(dá)到最優(yōu)化的利用、新業(yè)務(wù)部署難度增大、現(xiàn)有業(yè)務(wù)持續(xù)性得不到保證、安全面臨威脅。虛擬化通過構(gòu)建共享的資源池,實(shí)現(xiàn)對網(wǎng)絡(luò)資源、計(jì)算計(jì)算和存儲資源的幾種管理、規(guī)劃和控制,簡化管理維護(hù)、提高設(shè)備資源利用率、優(yōu)化業(yè)務(wù)流程部署、降低維護(hù)成本。數(shù)據(jù)中心資源

14、智能:通過智能化管理平臺實(shí)現(xiàn)對資源的智能化管理,資源智能分配調(diào)度,構(gòu)建高度智能、自動(dòng)化數(shù)據(jù)中心。數(shù)據(jù)中心建設(shè)近年來隨著學(xué)校業(yè)務(wù)的規(guī)模及多樣化發(fā)展,學(xué)校對信息化的依賴程度越來越高,數(shù)據(jù)集中、業(yè)務(wù)7*24小時(shí)高可靠支撐對數(shù)據(jù)中心的要求越來越高。經(jīng)綜合考慮,擬在新建數(shù)據(jù)中心,未來數(shù)據(jù)中心將成為我大學(xué)的主中心,承載所有業(yè)務(wù)系統(tǒng)。需求分析1、各個(gè)院系各有一套系統(tǒng)、各有一套設(shè)備、各有管理人員,力量分散,信息割裂,重復(fù)投入,如何解決? 2、老師需要現(xiàn)代化教學(xué)手段,實(shí)現(xiàn)在線的教與學(xué),每位老師都需要自己獨(dú)立的電子教學(xué)空間,傳統(tǒng)校園網(wǎng)如何保障新式教學(xué)需求? 3、老師做學(xué)術(shù)研究,6個(gè)月的項(xiàng)目需要強(qiáng)大的計(jì)算資源做支持

15、,為了6個(gè)月的項(xiàng)目去進(jìn)行大量重復(fù)投資? 4、學(xué)生做經(jīng)濟(jì)數(shù)學(xué)建模,物理、氣象的模擬計(jì)算等學(xué)習(xí)研究,個(gè)人計(jì)算機(jī)運(yùn)算性能有限,學(xué)生如何獲取計(jì)算資源? 5、為什么要進(jìn)行軟件資源整合?不同部門,不同業(yè)務(wù)系統(tǒng) 信息編碼不統(tǒng)一,流程難互通 信息孤島一座座 數(shù)據(jù)挖掘難,無法支撐決策 6、為什么要進(jìn)行硬件資源整合?不同系統(tǒng),構(gòu)建獨(dú)立物理子網(wǎng) 服務(wù)器資源無法橫向共享 CPU、內(nèi)存等計(jì)算資源無法整合 投資大、故障點(diǎn)多、維護(hù)難 7、為什么要進(jìn)行人力資源整合?各院系信息化人員難以統(tǒng)一思路 各自為政,只顧“小家” 各院系信息化人員水平參差不齊各信息系統(tǒng)效用難以均衡發(fā)揮 方案規(guī)劃與設(shè)計(jì)數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)目標(biāo)我大學(xué)數(shù)據(jù)中心未來

16、將我大學(xué)承載所有生產(chǎn)環(huán)境系統(tǒng)。數(shù)據(jù)中心網(wǎng)絡(luò)作為業(yè)務(wù)網(wǎng)絡(luò)的一個(gè)重要組成部分,為核心業(yè)務(wù)系統(tǒng)服務(wù)器和存儲設(shè)備提供安全可靠的接入平臺。網(wǎng)絡(luò)建設(shè)應(yīng)達(dá)成以下目標(biāo):高可用網(wǎng)絡(luò)作為數(shù)據(jù)中心的基礎(chǔ)設(shè)施,網(wǎng)絡(luò)的高可用直接影響到業(yè)務(wù)系統(tǒng)的可用性。網(wǎng)絡(luò)層的高可用至少包括高可靠、高安全和先進(jìn)性三個(gè)方面:高可靠:應(yīng)采用高可靠的產(chǎn)品和技術(shù),充分考慮系統(tǒng)的應(yīng)變能力、容錯(cuò)能力和糾錯(cuò)能力,確保整個(gè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施運(yùn)行穩(wěn)定、可靠。當(dāng)今,關(guān)鍵業(yè)務(wù)應(yīng)用的可用性與性能要求比任何時(shí)候都更為重要。高安全:網(wǎng)絡(luò)基礎(chǔ)設(shè)計(jì)的安全性,涉及到我大學(xué)業(yè)務(wù)的核心數(shù)據(jù)安全。應(yīng)按照端到端訪問安全、網(wǎng)絡(luò)L2-L7層安全兩個(gè)維度對安全體系進(jìn)行設(shè)計(jì)規(guī)劃,從局部安全、

17、全局安全到智能安全,將安全理念滲透到整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)中。先進(jìn)性:數(shù)據(jù)中心將長期支撐我大學(xué)的業(yè)務(wù)發(fā)展,而網(wǎng)絡(luò)又是數(shù)據(jù)中心的基礎(chǔ)支撐平臺,因此數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)需要考慮后續(xù)的機(jī)會成本,采用主流的、先進(jìn)的技術(shù)和產(chǎn)品(如數(shù)據(jù)中心級設(shè)備、CEE、FCoE、虛擬化支持等),保證基礎(chǔ)支撐平臺510年內(nèi)不會被淘汰,從而實(shí)現(xiàn)投資的保護(hù)。易擴(kuò)展我大學(xué)的業(yè)務(wù)目前已向多元化發(fā)展,未來的業(yè)務(wù)范圍會更多更廣,業(yè)務(wù)系統(tǒng)頻繁調(diào)整與擴(kuò)展再所難免,因此數(shù)據(jù)中心網(wǎng)絡(luò)平臺必須能夠適應(yīng)業(yè)務(wù)系統(tǒng)的頻繁調(diào)整,同時(shí)在性能上應(yīng)至少能夠滿足未來510年的業(yè)務(wù)發(fā)展。對于網(wǎng)絡(luò)設(shè)備的選擇和協(xié)議的部署,應(yīng)遵循業(yè)界標(biāo)準(zhǔn),保證良好的互通性和互操作性,支持業(yè)

18、務(wù)的快速部署。易管理數(shù)據(jù)中心是IT技術(shù)最為密集的地方,數(shù)據(jù)中心的設(shè)備繁多,各種協(xié)議和應(yīng)用部署越來越復(fù)雜,對運(yùn)維人員的要求也越來越高,單獨(dú)依賴運(yùn)維人員個(gè)人的技術(shù)能力和業(yè)務(wù)能力是無法保證業(yè)務(wù)運(yùn)行的持續(xù)性的。因此數(shù)據(jù)中心需要提供完善的運(yùn)維管理平臺,對數(shù)據(jù)中心IT資源進(jìn)行全局掌控,減少日常的運(yùn)維的人為故障。同時(shí)一旦出現(xiàn)故障,能夠借助工具直觀、快速定位??傮w設(shè)計(jì)思路及原則數(shù)據(jù)中心為我大學(xué)業(yè)務(wù)網(wǎng)絡(luò)、日常辦公與外聯(lián)單位提供數(shù)據(jù)訪問、OA和視頻等服務(wù),以及各業(yè)務(wù)的安全隔離控制。數(shù)據(jù)中心并不是孤立存在的,而是與網(wǎng)絡(luò)匯聚中心外聯(lián)單位網(wǎng)絡(luò)等網(wǎng)絡(luò)區(qū)域相輔相成,數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)是業(yè)務(wù)數(shù)據(jù)的傳輸通道,將數(shù)據(jù)的計(jì)算和數(shù)據(jù)存

19、儲有機(jī)的結(jié)合在一起。為保證數(shù)據(jù)中心網(wǎng)絡(luò)的高可用、易擴(kuò)展、易管理,數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)需按照結(jié)構(gòu)化、模塊化和扁平化的原則設(shè)計(jì):結(jié)構(gòu)化結(jié)構(gòu)化的網(wǎng)絡(luò)設(shè)計(jì)便于上層協(xié)議的部署和網(wǎng)絡(luò)的管理,提高網(wǎng)絡(luò)的收斂速度,實(shí)現(xiàn)高可靠。數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)化設(shè)計(jì)體現(xiàn)在適當(dāng)?shù)娜哂嘈院途W(wǎng)絡(luò)的對稱性兩個(gè)方面。如下圖所示:冗余的引入可以消除設(shè)備和鏈路的單點(diǎn)故障,但是過度的冗余同樣會使網(wǎng)絡(luò)過于復(fù)雜,不便于運(yùn)行和維護(hù),因此一般采用雙節(jié)點(diǎn)雙歸屬的架構(gòu)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的對稱,可以使得網(wǎng)絡(luò)設(shè)備的配置簡化、拓?fù)渲庇^,有助于協(xié)議設(shè)計(jì)分析。在數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)時(shí),由于引入了冗余和對稱的設(shè)計(jì),這必將引入網(wǎng)絡(luò)的環(huán)路,可通過如下建設(shè)思路消除環(huán)路影響:啟用STP和

20、VRRP協(xié)議傳統(tǒng)解決方案,標(biāo)準(zhǔn)的協(xié)議,設(shè)備要求較低。但此種部署方案網(wǎng)絡(luò)的協(xié)議部署復(fù)雜,收斂慢,鏈路帶寬利用率低,運(yùn)維管理工作量大。本方案設(shè)計(jì)不采用此方法。IRF網(wǎng)絡(luò)設(shè)備N:1虛擬化技術(shù)通過H3C IRF技術(shù)對同一層面的設(shè)備進(jìn)行橫向整合,將兩臺或多臺設(shè)備虛擬為一臺設(shè)務(wù),統(tǒng)一轉(zhuǎn)發(fā)、統(tǒng)一管理,并實(shí)現(xiàn)跨設(shè)備的鏈路捆綁。因此不會引入環(huán)路,無需部署STP和VRRP等協(xié)議,簡化網(wǎng)絡(luò)協(xié)議的部署,大大縮短設(shè)備和鏈路收斂時(shí)間(毫秒級),鏈路負(fù)載分擔(dān)方式工作,利用率大大提升。在本方案的設(shè)計(jì)中,將采用端到端的IRF部署,滿足網(wǎng)絡(luò)高可靠的同時(shí),簡化網(wǎng)絡(luò)運(yùn)維管理。模塊化構(gòu)建數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)時(shí),應(yīng)采用模塊化的設(shè)計(jì)方法,將數(shù)

21、據(jù)中心劃分為不同的功能區(qū)域,用于實(shí)現(xiàn)不同的功能或部署不同的應(yīng)用,使得整個(gè)數(shù)據(jù)中心的架構(gòu)具備可伸縮性、靈活性、和高可用性。數(shù)據(jù)中心中的服務(wù)器將會根據(jù)服務(wù)器上的應(yīng)用的用戶訪問特性和應(yīng)用的功能不同部署在不同的區(qū)域中。如下圖所示:數(shù)據(jù)中心網(wǎng)絡(luò)分為網(wǎng)絡(luò)接入?yún)^(qū)、數(shù)據(jù)中心核心交換區(qū)和服務(wù)器接入?yún)^(qū)三大功能區(qū)域,其中網(wǎng)絡(luò)接入?yún)^(qū)和服務(wù)器接入?yún)^(qū)依據(jù)服務(wù)類型的不同,可進(jìn)行子區(qū)的細(xì)分,詳細(xì)參見“業(yè)務(wù)分區(qū)”章節(jié)的描述。數(shù)據(jù)中心核心區(qū)用于承接各區(qū)域之間的數(shù)據(jù)交換,是整個(gè)數(shù)據(jù)中心的核心樞紐,因此核心交換機(jī)設(shè)備應(yīng)選用可靠性高的數(shù)據(jù)中心級設(shè)備部署。在進(jìn)行模塊化設(shè)計(jì)時(shí),盡量做到各模塊之間松耦合,這樣可以很好的保證數(shù)據(jù)中心的業(yè)務(wù)擴(kuò)展

22、性,擴(kuò)展新的業(yè)務(wù)系統(tǒng)或模塊時(shí)不需要對核心或其它模塊進(jìn)行改動(dòng)。同時(shí)模塊化設(shè)計(jì)也可以很好的分散風(fēng)險(xiǎn),在某一模塊(除核心區(qū)外)出現(xiàn)故障時(shí)不會影響到其它模塊,將數(shù)據(jù)中心的故障影響降到最小。扁平化數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)依據(jù)接入密度和分為三層架構(gòu)和二層架構(gòu),如下圖所示:傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)通常采用三層架構(gòu)進(jìn)行組網(wǎng),三層架構(gòu)可以保證網(wǎng)絡(luò)具備很好的擴(kuò)展性,同一個(gè)分區(qū)內(nèi)服務(wù)器接入密度高。但三層架構(gòu)網(wǎng)絡(luò)設(shè)備較多,不便于網(wǎng)絡(luò)管理,運(yùn)維工作量大。同時(shí)組網(wǎng)成本相對較高。隨著網(wǎng)絡(luò)交換技術(shù)的不斷發(fā)展,交換機(jī)的端口接入密度也越來越高,二層組網(wǎng)的擴(kuò)展性和密度已經(jīng)能夠很好的滿足學(xué)校數(shù)據(jù)中心服務(wù)器接入的要求。同時(shí)在服務(wù)器虛擬化技術(shù)應(yīng)用越

23、來越廣泛的趨勢下,二層架構(gòu)更容易實(shí)現(xiàn)VLAN的大二層互通,滿足虛擬機(jī)的部署和遷移。相比三層架構(gòu),二層架構(gòu)可以大大簡化網(wǎng)絡(luò)的運(yùn)維與管理。綜合上述因素,數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計(jì)采用二層扁平化架構(gòu),滿足擴(kuò)展性的同時(shí),實(shí)現(xiàn)易管理。業(yè)務(wù)分區(qū)按照3.2章節(jié)中的“模塊化”設(shè)計(jì)原則,需要對業(yè)務(wù)系統(tǒng)進(jìn)行分區(qū)。從技術(shù)看,業(yè)務(wù)分區(qū)需要遵循以下原則:分區(qū)優(yōu)先考慮訪問控制的安全性,單個(gè)應(yīng)用訪問盡量在一個(gè)區(qū)域內(nèi)部完成,單個(gè)區(qū)域故障僅影響一類應(yīng)用,盡量減少區(qū)域間的業(yè)務(wù)耦合度;區(qū)域總數(shù)量的限制:但區(qū)域多則運(yùn)維管理的復(fù)雜度和設(shè)備投資增加,區(qū)域總數(shù)量有運(yùn)維上限不超過20個(gè);單個(gè)區(qū)域內(nèi)服務(wù)器數(shù)量的限制:受機(jī)房空間、二層域大小、接入設(shè)備容

24、量限制,單個(gè)區(qū)域內(nèi)服務(wù)器數(shù)量有限(通常不超過200臺)。接入層設(shè)備利用率的限制:受機(jī)房布局的影響,如果每個(gè)機(jī)房都要部署多個(gè)安全區(qū)的接入交換機(jī),會導(dǎo)致接入交換機(jī)資源浪費(fèi),端口利用率低,因此安全區(qū)的數(shù)量不宜過多。防火墻性能的限制: 區(qū)域之間的流量如果超過10G,則需要考慮通過防火墻橫向擴(kuò)容,或區(qū)域調(diào)整的方式分擔(dān)流量。在實(shí)際的數(shù)據(jù)中心分區(qū)設(shè)計(jì)中,通常有以下三種分區(qū)方法:按照業(yè)務(wù)功能進(jìn)行分區(qū):根據(jù)業(yè)務(wù)系統(tǒng)的功能(如OA、支撐等)或業(yè)務(wù)的實(shí)時(shí)性(實(shí)時(shí)業(yè)務(wù)、非實(shí)時(shí)業(yè)務(wù))或者業(yè)務(wù)系統(tǒng)的功能(如ERP、財(cái)務(wù)等)進(jìn)行分區(qū)劃分,此分區(qū)方法適合大多數(shù)數(shù)據(jù)中心;按照安全等保級別進(jìn)行分區(qū):按照業(yè)務(wù)系統(tǒng)的安全等級定義進(jìn)行

25、劃分,如“三級系統(tǒng)獨(dú)立成域,二級系統(tǒng)統(tǒng)一成域”,此分區(qū)方法適合政府、電力等行業(yè)數(shù)據(jù)中心;按照服務(wù)器類型進(jìn)行分區(qū):一般分為WEB服務(wù)器區(qū)、APP/中間件服務(wù)器區(qū)、DB服務(wù)器區(qū)。此分區(qū)適合互聯(lián)網(wǎng)等數(shù)據(jù)中心。按照需求調(diào)研時(shí)了解的學(xué)校業(yè)務(wù)系統(tǒng)分布情況,結(jié)合業(yè)務(wù)系統(tǒng)的用戶類型,數(shù)據(jù)中心的分區(qū)設(shè)計(jì)按照業(yè)務(wù)功能進(jìn)行分區(qū)。各區(qū)域業(yè)務(wù)系統(tǒng)部署描述如下:辦公局域網(wǎng)區(qū):數(shù)據(jù)中心大樓辦公網(wǎng)絡(luò),包括終端、樓層接入與匯聚。廣域網(wǎng)接入?yún)^(qū):與網(wǎng)絡(luò)匯聚中心廣域網(wǎng)絡(luò)互連,網(wǎng)絡(luò)出口。外聯(lián)網(wǎng)接入應(yīng)用區(qū):與合作單位的專線互連,此區(qū)域也包括合作單位的業(yè)務(wù)前置機(jī)服務(wù)器?;ヂ?lián)網(wǎng)接入應(yīng)用區(qū):互聯(lián)網(wǎng)出口,此區(qū)域也包括學(xué)校網(wǎng)站群WEB服務(wù)器、郵件

26、系統(tǒng)、DNS服務(wù)器等。OA應(yīng)用區(qū):此區(qū)域部署學(xué)校內(nèi)部的OA應(yīng)用服務(wù)器,包括OA、圖檔、視頻會議、文件、網(wǎng)絡(luò)教學(xué)、網(wǎng)上招投標(biāo)等應(yīng)用系統(tǒng)。ERP/財(cái)務(wù)應(yīng)用區(qū):部署學(xué)校內(nèi)部的ERP和財(cái)務(wù)應(yīng)用服務(wù)器。開發(fā)測試區(qū):此區(qū)域用于學(xué)校內(nèi)部信息系統(tǒng)的開發(fā)與測試,或新系統(tǒng)上線前的測試部署。災(zāi)備接入應(yīng)用區(qū):此區(qū)域?qū)崿F(xiàn)數(shù)據(jù)級的異地災(zāi)備。同時(shí)此區(qū)域可以部署一些本地的重要系統(tǒng)備份應(yīng)用。支撐管理區(qū):此區(qū)域部署數(shù)據(jù)中心網(wǎng)絡(luò)、安全、服務(wù)器、存儲等IT資源的運(yùn)維管理系統(tǒng),此外包括學(xué)校內(nèi)部的域管理和身份認(rèn)證服務(wù)器。數(shù)據(jù)中心核心區(qū):此區(qū)域用于實(shí)現(xiàn)各分區(qū)之間的數(shù)據(jù)交互,是數(shù)據(jù)中心網(wǎng)絡(luò)平臺的核心樞紐,無服務(wù)器部署。網(wǎng)絡(luò)設(shè)計(jì)結(jié)合上述的業(yè)務(wù)

27、分區(qū),按照結(jié)構(gòu)化、模塊化、扁平化的設(shè)計(jì)原則,實(shí)現(xiàn)高可用、易擴(kuò)展、易管理的建設(shè)目標(biāo)。網(wǎng)絡(luò)整體拓?fù)淙缦聢D所示:整體網(wǎng)絡(luò)拓?fù)洳捎帽馄交瘍蓪咏M網(wǎng)架構(gòu),從數(shù)據(jù)中心核心區(qū)直接到服務(wù)器接入,省去了中間的匯聚層,這種扁平化的網(wǎng)絡(luò)結(jié)構(gòu)有以下優(yōu)點(diǎn):簡化網(wǎng)絡(luò)拓?fù)?,降低網(wǎng)絡(luò)運(yùn)維的難度;服務(wù)器區(qū)容易構(gòu)建大二層網(wǎng)絡(luò),更適合未來的虛擬機(jī)大量部署及遷移;服務(wù)器接入交換機(jī)未來的擴(kuò)展可直接在現(xiàn)有的IRF虛擬組添加成員交換機(jī),擴(kuò)展方便。對于數(shù)據(jù)中心的網(wǎng)絡(luò)安全部署,在本方案中采用了“分布式安全部署”的策略,防火墻形態(tài)采用了H3C SecBlade安全插卡,實(shí)現(xiàn)網(wǎng)絡(luò)安全的融合。詳細(xì)的安全設(shè)計(jì)參加“3.5安全設(shè)計(jì)”章節(jié)。縱觀整體方案拓?fù)?/p>

28、,在此方案設(shè)計(jì)與部署時(shí)共采用了IRF虛擬化、網(wǎng)絡(luò)安全融合、智能管理三種H3C特有的關(guān)鍵技術(shù)(詳細(xì)參見5.2章節(jié)相關(guān)介紹),在保證數(shù)據(jù)中心的高可靠的同時(shí),簡化網(wǎng)絡(luò)運(yùn)維管理,同時(shí)提供了智能化的管理工具平臺。核心交換區(qū)功能描述核心交換區(qū)的主要功能是完成各服務(wù)器功能分區(qū)、辦公局域網(wǎng)、外聯(lián)網(wǎng)、互聯(lián)網(wǎng)之間數(shù)據(jù)流量的高速交換,是廣域/局域縱向流量與服務(wù)功能分區(qū)間橫向流量的交匯點(diǎn)。核心交換區(qū)必須具備高速轉(zhuǎn)發(fā)的能力,同時(shí)還需要有很強(qiáng)的擴(kuò)展能力,以便應(yīng)對未來業(yè)務(wù)的快速增長。核心模塊是整個(gè)平臺的樞紐。因此,可靠性是衡量核心交換區(qū)設(shè)計(jì)的關(guān)鍵指標(biāo)。否則,一旦核心模塊出現(xiàn)異常而不能及時(shí)恢復(fù)的話,會造成整個(gè)平臺業(yè)務(wù)的長時(shí)間

29、中斷,影響巨大。拓?fù)湓O(shè)計(jì)設(shè)計(jì)要點(diǎn)高可靠核心交換設(shè)備選用數(shù)據(jù)中心級核心交換機(jī),配置雙引擎,雙電源,保證網(wǎng)絡(luò)組件層面的穩(wěn)定性。網(wǎng)絡(luò)架構(gòu)層面,采用雙核心設(shè)計(jì),兩臺設(shè)備進(jìn)行冗余,并通過虛擬化技術(shù)進(jìn)行橫向整合,將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備,并實(shí)現(xiàn)跨設(shè)備的鏈路捆綁,所各分區(qū)的交換機(jī)IRF相配合,實(shí)現(xiàn)端到端IRF部署。兩臺設(shè)備工作在雙活模式,縮短鏈路故障與設(shè)備故障的倒換時(shí)間(毫秒級),保證出現(xiàn)單點(diǎn)故障時(shí)不中斷業(yè)務(wù)。為保證出現(xiàn)單點(diǎn)故障(鏈路/設(shè)備)時(shí)另一臺設(shè)備能夠完全接管業(yè)務(wù),各功能模塊通過“口”字形上行與核心模塊互連。高速傳輸本次網(wǎng)絡(luò)設(shè)計(jì)容量應(yīng)保證未來35年內(nèi)的業(yè)務(wù)擴(kuò)展,本設(shè)計(jì)采用“萬兆到核心,千兆接

30、入”的思路,核心模塊對外接口為全萬兆接口。易于擴(kuò)展按照“核心邊緣架構(gòu)”的設(shè)計(jì)原則,核心模塊應(yīng)避免部署訪問控制策略(如ACL、路由過濾等),保證核心模塊業(yè)務(wù)的單純性與松耦合,便于下聯(lián)功能模塊擴(kuò)展時(shí),不影響核心業(yè)務(wù),同時(shí)可以提高核心模塊的穩(wěn)定性。智能分析針對各個(gè)區(qū)域的業(yè)務(wù)流量變化趨勢,本次在核心交換機(jī)上部署網(wǎng)絡(luò)流量分析模塊,可以實(shí)時(shí)感知,并作為網(wǎng)絡(luò)優(yōu)化及調(diào)整的依據(jù)。服務(wù)器接入?yún)^(qū)功能描述服務(wù)器接入?yún)^(qū)用于完成服務(wù)器的LAN網(wǎng)絡(luò)接入,依照3.3章節(jié)的業(yè)務(wù)分區(qū)設(shè)計(jì),涉及到服務(wù)器接入的業(yè)務(wù)分區(qū)包括應(yīng)用區(qū)、ERP/財(cái)務(wù)應(yīng)用區(qū)、開發(fā)測試區(qū)、支撐管理區(qū)、其它應(yīng)用區(qū),這些區(qū)域雖然部署的應(yīng)用服務(wù)器類型不一樣,設(shè)備的選

31、型要求也不一樣,但對于網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)來說是一樣的,因此在方案設(shè)計(jì)時(shí),這些區(qū)域的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)將在此統(tǒng)一進(jìn)行描述。拓?fù)湓O(shè)計(jì)注:應(yīng)用區(qū)若部署院線WEB服務(wù)器,則服務(wù)器接入交換機(jī)上除了部署FW插卡外,還頊要部署IPS和SLB插卡。設(shè)計(jì)要點(diǎn)服務(wù)器接入交換機(jī)部署雙機(jī),并采用IRF虛擬化,將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備,實(shí)現(xiàn)跨設(shè)務(wù)鏈路捆綁,與核心交換機(jī)配合實(shí)現(xiàn)端到端IRF。此外服務(wù)器雙網(wǎng)關(guān)配置成雙活模式(Active-Active),;各服務(wù)器接入交換機(jī)上部署SecBlade FW插卡,用于本區(qū)域與其它區(qū)域的訪問控制策略部署。應(yīng)用區(qū)部署FW+IPS+LB插卡;服務(wù)器網(wǎng)關(guān)部署在接入交換機(jī)上,防火墻插卡與接入

32、交換機(jī)以及核心交換機(jī)之間運(yùn)行OSPF動(dòng)態(tài)路由,實(shí)現(xiàn)FW的雙機(jī)熱備。互聯(lián)網(wǎng)區(qū)功能描述互聯(lián)網(wǎng)區(qū)用于部署學(xué)校WEB服務(wù)器以及學(xué)校的DNS、FTP、E-mail等需要通過互聯(lián)網(wǎng)對公眾用戶提供服務(wù)器的應(yīng)用系統(tǒng)。拓?fù)湓O(shè)計(jì)設(shè)計(jì)要點(diǎn)Internet出口采用雙運(yùn)營商鏈路,保證用戶訪問效率的同時(shí),實(shí)現(xiàn)鏈路的冗余;服務(wù)器接入交換機(jī)部署雙機(jī),并采用IRF虛擬化,將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備,實(shí)現(xiàn)跨設(shè)務(wù)鏈路捆綁,與服務(wù)器雙網(wǎng)卡配合實(shí)現(xiàn)雙活(Active-Active);采用雙層防火墻部署,外層防火墻用于實(shí)現(xiàn)Internet與WEB、DNS、Email、FTP等公網(wǎng)服務(wù)器的隔離,實(shí)現(xiàn)公網(wǎng)服務(wù)器的分域,并配置DMZ區(qū)

33、域保證安全。內(nèi)層防火墻用于實(shí)現(xiàn)公網(wǎng)服務(wù)器與數(shù)據(jù)中心內(nèi)部其它服務(wù)器之間的隔離,部署內(nèi)部區(qū)域間的訪問控制策略。外層防火墻采用獨(dú)立設(shè)備、內(nèi)層防火墻采用在服務(wù)器接入交換機(jī)上部署SecBlade FW插卡。由于Internet區(qū)部署了較多的網(wǎng)站等WEB服務(wù)器,因此需要部署LB和IPS設(shè)備。來保證負(fù)載分擔(dān)和L2L7層安全過濾。外聯(lián)網(wǎng)區(qū)功能描述外聯(lián)網(wǎng)區(qū)用于實(shí)現(xiàn)與合作單位的專線網(wǎng)絡(luò)進(jìn)行互聯(lián),并部署合作單位的前置機(jī)服務(wù)器。拓?fù)湓O(shè)計(jì)設(shè)計(jì)要點(diǎn)服務(wù)器接入交換機(jī)部署雙機(jī),并采用IRF虛擬化,將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備,實(shí)現(xiàn)跨設(shè)務(wù)鏈路捆綁,與服務(wù)器雙網(wǎng)卡配合實(shí)現(xiàn)雙活(Active-Active);采用雙層防火墻部

34、署,外層防火墻用于實(shí)現(xiàn)前置機(jī)服務(wù)器與合作單位網(wǎng)絡(luò)的隔離,可部署NAT。內(nèi)層防火墻用于實(shí)現(xiàn)前置機(jī)服務(wù)器與數(shù)據(jù)中心內(nèi)部其它服務(wù)器之間的隔離,部署內(nèi)部區(qū)域間的訪問控制策略。外層防火墻H3C SecBlade FW插卡、內(nèi)層防火墻可采用非H3C的第三方FW獨(dú)立設(shè)備進(jìn)行異構(gòu),加強(qiáng)安全性。服務(wù)器接入交換機(jī)上部署SecBlade IPS插卡,實(shí)現(xiàn)L2L7層安全過濾。廣域網(wǎng)接入?yún)^(qū)功能描述廣域網(wǎng)接入?yún)^(qū)用于實(shí)現(xiàn)與網(wǎng)絡(luò)匯聚中心的互連,保證學(xué)校內(nèi)部用戶通過廣域網(wǎng)訪問數(shù)據(jù)中心內(nèi)的業(yè)務(wù)系統(tǒng)。拓?fù)湓O(shè)計(jì)設(shè)計(jì)要點(diǎn)廣域網(wǎng)出口路由器部署雙機(jī),出口鏈路為雙鏈路,保證廣域網(wǎng)出口高可靠;防火墻采用路由器上部署SecBlade FW插卡。

35、災(zāi)備接入?yún)^(qū)功能描述災(zāi)備接入?yún)^(qū)用于實(shí)現(xiàn)數(shù)據(jù)中心與大連災(zāi)備中心的互連,實(shí)現(xiàn)SAN和LAN網(wǎng)絡(luò)雙中心的互通,保證數(shù)據(jù)同步復(fù)制。同時(shí)通過將兩中心的VLAN二層打通,實(shí)現(xiàn)跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò),便于虛擬機(jī)業(yè)務(wù)遷移和跨地域服務(wù)器集群。拓?fù)湓O(shè)計(jì)設(shè)計(jì)要點(diǎn)數(shù)據(jù)中心與大連災(zāi)備中心之間采用雙路裸纖做災(zāi)備互連鏈路,并采用DWDM進(jìn)行復(fù)用。SAN網(wǎng)絡(luò)直接通過光纖上DWDM波分設(shè)備,實(shí)現(xiàn)數(shù)據(jù)存儲備份通道的互通。LAN網(wǎng)絡(luò)通過在服務(wù)器網(wǎng)關(guān)交換機(jī)設(shè)備上通過VLAN Trunk到匯接交換機(jī),然后再上DWDM設(shè)備,實(shí)現(xiàn)雙中心之間的大二層VLAN互通。匯接交換機(jī)部署IRF,實(shí)現(xiàn)雙纖捆綁,保證鏈路的可靠性??绲赜虻亩哟蛲ê?,可以實(shí)

36、現(xiàn)網(wǎng)關(guān)設(shè)備跨地域部署VRRP,保證雙中心服務(wù)器集群時(shí)網(wǎng)關(guān)的切換。安全設(shè)計(jì)安全設(shè)計(jì)原則安全與網(wǎng)絡(luò)密不可分,本方案中的安全設(shè)計(jì)部署采用了與網(wǎng)絡(luò)分區(qū)相同的安全域劃分,同時(shí)采用SecBlade安全插卡實(shí)現(xiàn)了網(wǎng)絡(luò)與安全設(shè)備形態(tài)的融合。整個(gè)方案的安全部署采用了目前應(yīng)用廣泛的“分布式安全部署”方法,如下圖右側(cè)所示:分布式安全部署具有以下優(yōu)勢:分散風(fēng)險(xiǎn):傳統(tǒng)的集中式安全部署一般將防火墻旁掛在核心交換機(jī)兩側(cè),這樣一旦防火墻出現(xiàn)故障,數(shù)據(jù)中心內(nèi)的所有業(yè)務(wù)區(qū)都將不能訪問,整個(gè)數(shù)據(jù)中心的所有業(yè)務(wù)均會中斷,風(fēng)險(xiǎn)和性能壓力都集中在防火墻上。而采用分布式部署后,防火墻出現(xiàn)故障只會影響到本區(qū)域的業(yè)務(wù),進(jìn)而實(shí)現(xiàn)風(fēng)險(xiǎn)和性能的分散

37、,提高了整個(gè)數(shù)據(jù)中心的可靠性;靈活擴(kuò)展:分部式安全部署,核心交換機(jī)原則上不部署任何與業(yè)務(wù)分區(qū)之間的安全策略,可實(shí)現(xiàn)核心區(qū)與各業(yè)務(wù)分區(qū)之間的松耦合,在新增模塊或業(yè)務(wù)系統(tǒng)時(shí),無需更改核心設(shè)備的配置,減小核心區(qū)出現(xiàn)故障的機(jī)率,保證核心區(qū)的高可靠與業(yè)務(wù)分區(qū)的靈活擴(kuò)展;簡化安全策略部署:防火墻下移到各業(yè)務(wù)分區(qū)的出口,防火墻上部署的安全策略可大大簡化,默認(rèn)僅需要?jiǎng)澐謨蓚€(gè)安全域(受信域與非受信域),采用白名單方式下發(fā)策略,減少了策略的交叉。SecBlade FW插卡部署防火墻設(shè)備在數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)中為內(nèi)部系統(tǒng)提供了安全和可靠性保障。防火墻主要部署在數(shù)據(jù)中心的兩個(gè)常見區(qū)域中:數(shù)據(jù)中心出口區(qū)域和服務(wù)器區(qū)域。在數(shù)

38、據(jù)中心出口區(qū)域部署防火墻可以保障來自Internet和合作伙伴的用戶的安全性,避免未經(jīng)授權(quán)的訪問和網(wǎng)絡(luò)攻擊。在數(shù)據(jù)中心服務(wù)器區(qū)域部署防火墻可以避免不同服務(wù)器系統(tǒng)之間的相互干擾,通過自定義防火墻策略還可以提供更詳細(xì)的訪問機(jī)制。防火墻插卡設(shè)備雖然部署在交換機(jī)框中,但仍然可以看作是一個(gè)獨(dú)立的設(shè)備。它通過交換機(jī)內(nèi)部的10GE接口與網(wǎng)絡(luò)設(shè)備相連,它可以部署為2層透明設(shè)備和三層路由設(shè)備。防火墻與交換機(jī)之間的三層部署方式與傳統(tǒng)盒式設(shè)備類似。 如上圖FW三層部署所示,防火墻可以與宿主交換機(jī)直接建立三層連接,也可以與上游或下游設(shè)備建立三層連接,不同連接方式取決于用戶的訪問策略。可以通過靜態(tài)路由和缺省路由實(shí)現(xiàn)三層

39、互通,也可以通過OSPF這樣的路由協(xié)議提供動(dòng)態(tài)的路由機(jī)制。如果防火墻部署在服務(wù)器區(qū)域,可以將防火墻設(shè)計(jì)為服務(wù)器網(wǎng)關(guān)設(shè)備,這樣所有訪問服務(wù)器的三層流量都將經(jīng)過防火墻設(shè)備,這種部署方式可以提供區(qū)域內(nèi)部服務(wù)器之間訪問的安全性。數(shù)據(jù)中內(nèi)部,整體安全采用分布式部署設(shè)計(jì),已經(jīng)對不同的業(yè)務(wù)系統(tǒng)進(jìn)行了分區(qū),整體安全邊界清晰。為簡化SecBlade FW的配置,提高網(wǎng)關(guān)性能,將服務(wù)器的網(wǎng)關(guān)均部署在接入交換機(jī)上, SecBlade FW插卡僅部署本分區(qū)內(nèi)與其它分區(qū)之間的安全策略。若本分區(qū)內(nèi)各服務(wù)器之間有隔離需求,建議在接入交換機(jī)上采用ACL方式實(shí)現(xiàn)。如下圖所示:對于僅部署SecBlade FW插卡的業(yè)務(wù)區(qū)(如ER

40、P/財(cái)務(wù)、開發(fā)測試、支撐管理、外聯(lián)網(wǎng)區(qū)),區(qū)域內(nèi)的安全部署邏輯拓?fù)淙缦聢D所示:接入交換機(jī)雙機(jī)部署IRF虛擬化,并實(shí)現(xiàn)跨設(shè)備鏈路捆綁。兩塊SecBlade FW插卡邏輯上相當(dāng)于插在同一臺交換機(jī)上。每臺接入交換機(jī)邏輯上均可以看成一臺L2交換機(jī)與一臺L3交換機(jī)的疊加,服務(wù)器網(wǎng)關(guān)部署在交換機(jī)上。SecBlade通過內(nèi)部的10GE接口與交換機(jī)互連,并創(chuàng)建多個(gè)L3接口進(jìn)行引流,讓所有流經(jīng)服務(wù)器的流量均經(jīng)過FW過濾。兩塊FW插卡通過帶外狀態(tài)同步線(心跳線)進(jìn)行狀態(tài)同步,F(xiàn)W插卡之間通過OSPF動(dòng)態(tài)路由實(shí)現(xiàn)熱備或負(fù)載分擔(dān)(ECMP)。SecBlade FW+IPS+LB組合部署對于數(shù)據(jù)中心的應(yīng)用區(qū)、互聯(lián)網(wǎng)應(yīng)用

41、區(qū),需要涉及到FW+IPS+LB的組合部署,F(xiàn)W插卡的基本特性3.5.2章節(jié)已做描述,下面先介紹IPS和LB插卡的基本組網(wǎng):SecBlade IPS基本組網(wǎng)設(shè)計(jì)SecBlade IPS插卡為數(shù)據(jù)中心內(nèi)部提供了更堅(jiān)固的安全保護(hù)機(jī)制。通過IPS的深度檢測功能可以有效保護(hù)內(nèi)部服務(wù)器避免受到病毒、蠕蟲、程序漏洞和DDOS等來自應(yīng)用層的安全威脅。IPS插卡通過OAA(開放的應(yīng)用架構(gòu))技術(shù)與宿主交換機(jī)配合使用??梢酝ㄟ^傳統(tǒng)的流量重定向方式將需要IPS處理的業(yè)務(wù)流重定向到IPS插卡上處理,也可以通過OAA方式在IPS的Web頁面上配置重定向策略,這兩種方式都可以實(shí)現(xiàn)相同的功能。由于不同交換機(jī)設(shè)備對OAA的支

42、持程度不同。我們推薦在本方案中采用重定向策略引流。由于IPS插卡在整個(gè)網(wǎng)絡(luò)中屬于2層透明轉(zhuǎn)發(fā)設(shè)備,不會對報(bào)文進(jìn)行任何修改,整個(gè)網(wǎng)絡(luò)從連通性上看加入IPS后不會產(chǎn)生任何變化影響。因此建議實(shí)施的時(shí)候?qū)⑵浞旁谧詈筮M(jìn)行上線配置,即其他設(shè)備都調(diào)試OK,流量轉(zhuǎn)發(fā)與HA設(shè)計(jì)都以正常實(shí)現(xiàn)情況下再進(jìn)行IPS的部署實(shí)施。SecBlade IPS組網(wǎng)結(jié)構(gòu)流量圖SecBlade IPS不會對報(bào)文進(jìn)行任何修改,對于上IPS處理的報(bào)文,非OAA方式只能通過VLAN區(qū)分流量是屬于外部域還是內(nèi)部域。所以在組網(wǎng)設(shè)計(jì)中需注意非OAA方式重定向到IPS插卡的業(yè)務(wù)流上下行流量需為不同VLAN。由于IPS插卡不具有雙機(jī)熱備功能,通過組

43、網(wǎng)設(shè)計(jì),部分環(huán)境可以做到IPS故障的切換,部分環(huán)境中當(dāng)IPS故障后,重定向功能失效,業(yè)務(wù)流將不能繼續(xù)受到IPS的安全保護(hù),流量在短暫中斷后仍然可以保證連續(xù)性。SecBlade LB板卡設(shè)計(jì)部署LB插卡具備兩大主要功能,服務(wù)器負(fù)載均衡和鏈路負(fù)載均衡,分別應(yīng)用于數(shù)據(jù)中心服務(wù)器區(qū)和Internet出口區(qū)域。服務(wù)器負(fù)載均衡為數(shù)據(jù)中心服務(wù)器區(qū)性能的擴(kuò)展和資源利用的優(yōu)化提供完美的解決方案。鏈路負(fù)載均衡非常有效的部署在數(shù)據(jù)中心多出口的組網(wǎng)環(huán)境中,可以同時(shí)對多條廣域網(wǎng)鏈路優(yōu)化資源利用。LB插卡的工作方式與防火墻的類似,仍然作為一個(gè)獨(dú)立的設(shè)備運(yùn)行。通過傳統(tǒng)的三層方式與交換機(jī)或下游設(shè)備相連。可以通過靜態(tài)路由和缺省

44、路由實(shí)現(xiàn)三層互通,也可以通過OSPF這樣的路由協(xié)議提供動(dòng)態(tài)的路由機(jī)制。SecBlade LB在數(shù)據(jù)中心出口的部署如圖所示,在數(shù)據(jù)中心出口區(qū)域,LB插卡可以與宿主交換機(jī)連接三層連接關(guān)系,也可以直接和下游設(shè)備如防火墻等建立三層連接關(guān)系。這取決于用戶的實(shí)際需求,前一種方式可以提供更靈活的路由控制策略,而后一種方式可以簡化組網(wǎng)的復(fù)雜結(jié)構(gòu)(例如:如果經(jīng)LLB下行的流量都要通過防火墻的安全保護(hù),那么可以將防火墻直接作為LLB的下一跳設(shè)備)。需要注意的是,在雙機(jī)熱備的組網(wǎng)環(huán)境中,兩塊LLB的出口配置必須相同,這樣才能保證業(yè)務(wù)切換后能正常運(yùn)行。如圖所示,在數(shù)據(jù)中心服務(wù)器區(qū),LB提供了服務(wù)器的負(fù)載均衡能力。我們

45、可以將LB插卡作為服務(wù)器的網(wǎng)關(guān)設(shè)備,這樣所有的服務(wù)器流量都需經(jīng)過LB設(shè)備。也可以將服務(wù)器網(wǎng)關(guān)放置在交換機(jī)上,LB設(shè)備通過路由方式訪問服務(wù)器群,這樣的部署方式可以靈活控制LB對服務(wù)器的訪問。組合部署在數(shù)據(jù)中心服務(wù)器區(qū)IPS+FW+SLB的部署主要有以下四種方式:IPS如果需要保護(hù)所有流量可以部署在前端,如果僅需要保護(hù)部分關(guān)鍵區(qū)域的業(yè)務(wù)可以放置在FW后面。SLB可以作為服務(wù)器網(wǎng)關(guān)設(shè)備部署,如果服務(wù)器間還需要更嚴(yán)格的防護(hù)策略可以將防火墻部署在SLB下端作為服務(wù)器的隔離設(shè)備。通過IRF堆疊技術(shù)還可以進(jìn)一步簡化組網(wǎng)結(jié)構(gòu),提高管理維護(hù)和配置成本,是目前的流行部署方式。本方案的推薦采用組網(wǎng)四方案,組網(wǎng)邏輯拓

46、撲如下圖所示:在本案例組網(wǎng)設(shè)計(jì)中, 接入交換機(jī)和安全插卡都為雙機(jī)部署,使用OSPF動(dòng)態(tài)路由協(xié)議。交換機(jī)通過IRF方式增強(qiáng)可靠性和管理性,F(xiàn)W插卡與上游設(shè)備建立三層連接關(guān)系,提供安全保護(hù)功能。SLB插卡與接入交換機(jī)建立三層連接關(guān)系,同時(shí)對下做為服務(wù)器網(wǎng)關(guān)設(shè)備提供服務(wù)器負(fù)載均衡功能。QoS設(shè)計(jì)QoS設(shè)計(jì)原則學(xué)校網(wǎng)絡(luò)整網(wǎng)QoS設(shè)計(jì)遵循以下的原則:正常情況下QOS是通過帶寬來保證的。換句話說,即在網(wǎng)絡(luò)帶寬足夠高的情況下,不需要QOS機(jī)制。當(dāng)帶寬利用率達(dá)到60可考慮擴(kuò)容;網(wǎng)絡(luò)設(shè)備的容量不能成為瓶頸;網(wǎng)絡(luò)/鏈路故障或網(wǎng)絡(luò)擁塞情況下QOS策略生效;任何時(shí)候都優(yōu)先保證實(shí)時(shí)業(yè)務(wù)。QoS服務(wù)模型選擇為了更有效的利

47、用帶寬,使關(guān)鍵業(yè)務(wù)得到無阻塞的應(yīng)用,網(wǎng)絡(luò)需要進(jìn)行QoS方案的設(shè)計(jì)實(shí)施,首先需要考慮選擇合適的技術(shù)框架,也即服務(wù)模型。服務(wù)模型指的是一組端到端的QoS功能,目前有以下三種QoS服務(wù)模型:Best-Effort service盡力服務(wù)Integrated service(Intserv)綜合服務(wù)Differentiated service(Diffserv)區(qū)分服務(wù)Best-Effort service:盡力服務(wù)是最簡單的服務(wù)模型。應(yīng)用程序可以在任何時(shí)候,發(fā)出任意數(shù)量的報(bào)文,而且不需要事先獲得批準(zhǔn),也不需要通知網(wǎng)絡(luò)。網(wǎng)絡(luò)則盡最大的可能性來發(fā)送報(bào)文,但對時(shí)延、可靠性等不提供任何保證。Integrat

48、ed service:Intserv是一個(gè)綜合服務(wù)模型,它可以滿足多種QoS需求。這種服務(wù)模型在發(fā)送報(bào)文前,需要向網(wǎng)絡(luò)申請?zhí)囟ǖ姆?wù)。這個(gè)請求是通過信令(signal)來完成的,應(yīng)用程序首先通知網(wǎng)絡(luò)它自己的流量參數(shù)和需要的特定服務(wù)質(zhì)量請求,包括帶寬、時(shí)延等,應(yīng)用程序一般在收到網(wǎng)絡(luò)的確認(rèn)信息,即網(wǎng)絡(luò)已經(jīng)為這個(gè)應(yīng)用程序的報(bào)文預(yù)留了資源后,發(fā)送報(bào)文。而應(yīng)用程序發(fā)出的報(bào)文應(yīng)該控制在流量參數(shù)描述的范圍內(nèi)。Differentiated service:Diffserv即區(qū)別服務(wù)模型,它可以滿足不同的QoS需求。與Integrated service不同,它不需要信令,即應(yīng)用程序在發(fā)出報(bào)文前,不需要通知路由

49、器。網(wǎng)絡(luò)不需要為每個(gè)流維護(hù)狀態(tài),它根據(jù)每個(gè)報(bào)文指定的QoS,來提供特定的服務(wù)。可以用不同的方法來指定報(bào)文的QoS,如IP包的優(yōu)先級位(IP Precedence)、報(bào)文的源地址和目的地址等。網(wǎng)絡(luò)通過這些信息來進(jìn)行報(bào)文的分類、流量整形、流量監(jiān)管和排隊(duì)。這三種服務(wù)模型中,只有Intserv與Diffserv這兩種能提供多服務(wù)的QoS保障。從技術(shù)上看,Intserv需要網(wǎng)絡(luò)對每個(gè)流均維持一個(gè)軟狀態(tài),因此會導(dǎo)致設(shè)備性能的下降,或?qū)崿F(xiàn)相同的功能需要更高性能的設(shè)備,另外,還需要全網(wǎng)設(shè)備都能提供一致的技術(shù)才能實(shí)現(xiàn)QoS。而Diffserv則沒有這方面的缺陷,且處理效率高,部署及實(shí)施可以分布進(jìn)行,它只是在構(gòu)建

50、網(wǎng)絡(luò)時(shí),需要對網(wǎng)絡(luò)中的路由器設(shè)置相應(yīng)的規(guī)則。對于學(xué)校廣域網(wǎng)的QoS,我們建議采用Diffserv方式進(jìn)行部署。QoS規(guī)劃CCITT最初給出定義:QoS是一個(gè)綜合指標(biāo),用于衡量使用一個(gè)服務(wù)滿意程度。QoS性能特點(diǎn)是用戶可見的,使用用戶可理解的語言表示為一組參數(shù),如傳輸延遲、延遲抖動(dòng)、安全性、可靠性等。網(wǎng)絡(luò)中主要包括數(shù)據(jù)、視頻兩種業(yè)務(wù)應(yīng)用。而數(shù)據(jù)又分ERP關(guān)鍵業(yè)務(wù)和其他業(yè)務(wù),因此需要對現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行分類,才能更好地保障業(yè)務(wù)的開展。業(yè)務(wù)分類和標(biāo)記針對學(xué)校的要求,對其主要的流量進(jìn)行劃分和標(biāo)記,具體如下:業(yè)務(wù)類型業(yè)務(wù)特征IP PrecedenceIP DSCP802.1p網(wǎng)絡(luò)控制協(xié)議(hello、SL

51、A)適用于網(wǎng)絡(luò)維護(hù)與管理報(bào)文的可靠傳輸,要求低丟包率756(CS7)7視頻會議對時(shí)延、抖動(dòng)較敏感;帶寬需求高;需要可預(yù)計(jì)的時(shí)延和丟包率534(AF41)5ERP適合重要數(shù)據(jù)業(yè)務(wù),低丟包、高優(yōu)先級324(AF31)3目錄同步和策略下發(fā)適合普通數(shù)據(jù)業(yè)務(wù),低丟包、19(AF11)1郵件系統(tǒng)及Internet應(yīng)用盡力而為(Best effort)轉(zhuǎn)發(fā)000流量監(jiān)管和整形在完成區(qū)分業(yè)務(wù)應(yīng)用類型后,需要對整個(gè)廣域網(wǎng)進(jìn)行流量的監(jiān)管和整形,對于學(xué)校廣域網(wǎng)絡(luò)SDH來說,出口帶寬是有限的,而入口帶寬總是大于出口帶寬,需要對入口和出口進(jìn)行限制和整形,以保障關(guān)鍵流量的順利轉(zhuǎn)發(fā)。隊(duì)列管理在Diffserv體系的隊(duì)列管理

52、中,同樣按照不同的邊界范圍采用不同的隊(duì)列管理技術(shù)。局域網(wǎng)主要基于以太網(wǎng)的組網(wǎng)方式,以太網(wǎng)實(shí)現(xiàn)的QoS功能主要是能夠支持那些對延時(shí)和抖動(dòng)要求較高的業(yè)務(wù)流。目前業(yè)界在以太網(wǎng)絡(luò)交換機(jī)實(shí)現(xiàn)的Qos隊(duì)列管理技術(shù)主要采用嚴(yán)格優(yōu)先級SP(Strict-Priority)隊(duì)列調(diào)度算法、加權(quán)輪循WRR(Weighted Round Robin)調(diào)度算法。SP隊(duì)列調(diào)度算法,是針對關(guān)鍵業(yè)務(wù)型應(yīng)用設(shè)計(jì)的。關(guān)鍵業(yè)務(wù)有一重要的特點(diǎn),即在擁塞發(fā)生時(shí)要求優(yōu)先獲得服務(wù)以減小響應(yīng)的延遲。WRR隊(duì)列調(diào)度算法在隊(duì)列之間進(jìn)行輪流調(diào)度,保證每個(gè)隊(duì)列都得到一定的服務(wù)時(shí)間。在實(shí)際應(yīng)用中,SP隊(duì)列調(diào)度算法與WRR調(diào)度算法可以同時(shí)應(yīng)用一個(gè)端口上

53、,既保證關(guān)鍵業(yè)務(wù)的延時(shí)與抖動(dòng),同時(shí)又保證各業(yè)務(wù)具有一定的帶寬保證。廣域網(wǎng)一般采用路由器組網(wǎng),目前路由器主要支持的隊(duì)列管理技術(shù)包括PQ、CQ、WFQ、CBQ/LLQ,由于PQ、CQ、WFQ的種種問題,目前通常采用CBQ/LLQ做為骨干層的隊(duì)列管理機(jī)制。CBWFQLLQ,有一個(gè)低時(shí)延隊(duì)列 - LLQ,用來支撐EF類業(yè)務(wù),被絕對優(yōu)先發(fā)送(優(yōu)先級低于RTP實(shí)時(shí)隊(duì)列);另外有63個(gè)BQ,用來支撐AF類業(yè)務(wù),可以保證每一個(gè)隊(duì)列的帶寬及可控的時(shí)延;還有一個(gè)FIFO/WFQ,對應(yīng)BE業(yè)務(wù),使用接口剩余帶寬進(jìn)行發(fā)送。但是請注意,由于涉及到復(fù)雜的流分類,對于高速接口(GE以上)啟用CBQLLQ特性系統(tǒng)資源存在一定

54、的開銷。另外如果邊緣層與骨干層的接入采用低速的鏈路接入,因此也必須考慮相應(yīng)的隊(duì)列管理技術(shù)。如果接入帶寬=2M,則需采用骨干層一樣的調(diào)度技術(shù),即CBQ/LLQ。如果接入帶寬2M,則需要考慮采用鏈路有效機(jī)制??刹捎肔FI(鏈路的分段及交叉)技術(shù)避免大報(bào)文長期占用鏈路帶寬,采用LFI以后,數(shù)據(jù)報(bào)文(非RTP實(shí)時(shí)隊(duì)列和LLQ中的報(bào)文)在發(fā)送前被分片、逐一發(fā)送,而此時(shí)如果有語音報(bào)文到達(dá)則被優(yōu)先發(fā)送,從而保證了語音等實(shí)時(shí)業(yè)務(wù)的時(shí)延與抖動(dòng)。另外還可以采用CRTP(IP /UDP/ RTP報(bào)文頭壓縮)技術(shù),以提高鏈路的利用率。擁塞避免建議采用WRED加權(quán)丟棄技術(shù),實(shí)現(xiàn)擁塞避免。WRED(Weighted ea

55、rly random detection)提供了對擁塞的控制,它不是等待緩沖區(qū)填滿然后出現(xiàn)尾部丟棄,而是不停地監(jiān)控緩沖的深度,并可以根據(jù)IP header中的IP Precedence有選擇地早期丟棄一些級別較低的TCP連接的包,保證關(guān)鍵數(shù)據(jù)的傳送,并避免當(dāng)緩沖滿溢時(shí)丟棄大量的數(shù)據(jù)包。主要特點(diǎn):一、WRED利用活動(dòng)隊(duì)列管理,解決尾部刪除的缺點(diǎn);二、WRED主要在TCP為主的IP網(wǎng)絡(luò)中使用,因?yàn)閁DP通信流不像TCP一樣具有對分組刪除具有響應(yīng)能力;三、WRED把非IP通信流看成優(yōu)先級為0,最低優(yōu)先級,因此,非IP通信流放在一個(gè)丟棄桶中,比IP通信更容易刪除,這在大多數(shù)重要通信流(非)IP通信流時(shí)

56、可能遇到問題,但是這現(xiàn)象在DCN網(wǎng)絡(luò)中通常不會出現(xiàn)。QoS部署對與學(xué)校的整體QoS部署,我們建議根據(jù)不同層次進(jìn)行部署,涉及局域網(wǎng)設(shè)備和廣域網(wǎng)設(shè)備,來實(shí)現(xiàn)對學(xué)校關(guān)鍵業(yè)務(wù)的保障。如上圖所示,將網(wǎng)絡(luò)的各個(gè)層次啟用QoS,保障關(guān)鍵業(yè)務(wù)流的快速轉(zhuǎn)發(fā)。對于學(xué)校需要保障的業(yè)務(wù)視頻業(yè)務(wù)和ERP業(yè)務(wù),其優(yōu)先級是不同的,根據(jù)實(shí)施經(jīng)驗(yàn),下面對其做詳細(xì)的QoS設(shè)計(jì):視頻流量站點(diǎn)實(shí)現(xiàn)方法:在站點(diǎn)的出口路由器上配置QoS策略,首先啟用ACL識別視頻流(如視頻會議終端的IP地址),打上優(yōu)先級DSCP標(biāo)記AF41;再啟用CBQ(基于類的隊(duì)列),將其引入CBQ的緊急隊(duì)列,由CBQ進(jìn)行隊(duì)列調(diào)度,搶占足夠帶寬,優(yōu)先轉(zhuǎn)發(fā)緊急隊(duì)列中的

57、報(bào)文,直到發(fā)送完后才發(fā)送其他類對應(yīng)的隊(duì)列的報(bào)文。數(shù)據(jù)中心實(shí)現(xiàn)方法:MCU通過交換機(jī)直接連入路由器,在路由器上啟用ACL識別視頻流(如視頻會議終端的IP地址),打上優(yōu)先級DSCP標(biāo)記AF41;并啟用CBWFQ和PQ,將視頻流放入到PQ的高優(yōu)先隊(duì)列中,優(yōu)先轉(zhuǎn)發(fā),直到發(fā)送完后才發(fā)送其他類對應(yīng)的隊(duì)列的報(bào)文。ERP流量ERP系統(tǒng)是學(xué)校的關(guān)鍵業(yè)務(wù),ERP服務(wù)器部署在數(shù)據(jù)中心,各站點(diǎn)分布多個(gè)ERP工作站訪問數(shù)據(jù)中心的ERP服務(wù)器。由于中間的網(wǎng)絡(luò)設(shè)備連接很多,要做到端到端的QoS,需要在不同的設(shè)備上啟用QoS。在局域網(wǎng)高帶寬和多廠家設(shè)備混合組網(wǎng)的情況(如防火墻采用國產(chǎn)設(shè)備),一般在數(shù)據(jù)中心內(nèi)部局域網(wǎng)內(nèi)不啟用Q

58、oS,以下將介紹兩種方式:第一種方式:端到端的QoS站點(diǎn)實(shí)現(xiàn)方法:在站點(diǎn)的ERP工作站接入交換機(jī)上啟用QoS,通過ACL識別ERP流量(如:源地址+目的地址),打上DSCP優(yōu)先級AF31,并啟用SP(嚴(yán)格優(yōu)先級),將其優(yōu)先發(fā)送,經(jīng)核心交換機(jī)、防火墻至路由器,所經(jīng)各設(shè)備同時(shí)啟用QoS,保障其優(yōu)先轉(zhuǎn)發(fā);再通過路由器啟用CBQ(基于類的隊(duì)列),將ERP流量放入到中優(yōu)先級隊(duì)列,搶占低優(yōu)先級隊(duì)列的帶寬,發(fā)送報(bào)文。數(shù)據(jù)中心實(shí)現(xiàn)方法:在數(shù)據(jù)中心ERP服務(wù)器接入交換機(jī)啟用QoS,通過ACL識別ERP流量(如:源地址+目的地址),打上DSCP優(yōu)先級AF31,并啟用SP(嚴(yán)格優(yōu)先級),將其優(yōu)先發(fā)送,經(jīng)核心交換機(jī)、

59、防火墻至路由器,所經(jīng)各設(shè)備同時(shí)啟用QoS,保障其優(yōu)先轉(zhuǎn)發(fā);再通過路由器啟用CBWFQ(基于類的加權(quán))+PQ,將ERP流量放入到中優(yōu)先級隊(duì)列,搶占低優(yōu)先級隊(duì)列的帶寬,發(fā)送報(bào)文。第二種方式:廣域網(wǎng)路由器啟用QoS站點(diǎn)實(shí)現(xiàn)方法:在站點(diǎn)的路由器上配置QoS策略,首先啟用ACL識別ERP流(如:源地址+目的地址),打上優(yōu)先級DSCP標(biāo)記AF31;再啟用CBQ(基于類的隊(duì)列),將其引入CBQ的中優(yōu)先級隊(duì)列,由CBQ進(jìn)行隊(duì)列調(diào)度,搶占低優(yōu)先級的帶寬,優(yōu)先轉(zhuǎn)發(fā)報(bào)文。數(shù)據(jù)中心實(shí)現(xiàn)方法:在出口路由器上啟用ACL識別ERP流(如:源地址+目的地址),打上優(yōu)先級DSCP標(biāo)記AF31;并啟用CBWFQ和PQ,將ERP放

60、入到PQ的中優(yōu)先隊(duì)列中,優(yōu)先轉(zhuǎn)發(fā)。為簡化網(wǎng)絡(luò)部署,學(xué)校的QoS建議采用第二種方法!數(shù)據(jù)中心互聯(lián)數(shù)據(jù)中心的互聯(lián)包括以下三種類型:三層互聯(lián):也稱為數(shù)據(jù)中心前端網(wǎng)絡(luò)互聯(lián),所謂“前端網(wǎng)絡(luò)”是指數(shù)據(jù)中心面向園區(qū)網(wǎng)或廣域網(wǎng)的出口。不同數(shù)據(jù)中心(主中心、災(zāi)備中心)的前端網(wǎng)絡(luò)通過IP技術(shù)實(shí)現(xiàn)互聯(lián),園區(qū)或分支的客戶端通過前端網(wǎng)絡(luò)訪問各數(shù)據(jù)中心。當(dāng)主數(shù)據(jù)中心發(fā)生災(zāi)難時(shí),前端網(wǎng)絡(luò)將實(shí)現(xiàn)快速收斂,客戶端通過訪問災(zāi)備中心以保障業(yè)務(wù)連續(xù)性。二層互聯(lián):也稱為數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)互聯(lián)(以下簡稱DCI)。在不同的數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)接入層,構(gòu)建一個(gè)跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)(VLAN),以滿足服務(wù)器集群或虛擬機(jī)動(dòng)態(tài)遷移等場景對二層網(wǎng)絡(luò)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論