新一代IP骨干網(wǎng)典范(記愛立信承建中國(guó)電信CN2項(xiàng)目)

新一代IP骨干網(wǎng)典范

――記愛立信承建中國(guó)電信CN2工程(2006-04-2615:53:48)CN2作為中國(guó)電信新一代的IP骨干網(wǎng)，將為3G、NGN以及大企業(yè)客戶效勞，這個(gè)網(wǎng)絡(luò)的意義及影響極其深遠(yuǎn)，已經(jīng)成為“今年中國(guó)乃至整個(gè)亞太地區(qū)非常具有代表性的策略性工程”。在愛立信公司和Juniper公司的共同努力下，我們提供的IP骨干網(wǎng)解決方案終于贏得了CN2的青睞。在這個(gè)骨干網(wǎng)解決方案里面，通過T640、T320、M320、M20等路由設(shè)備的部署，為中國(guó)電信奉獻(xiàn)了一個(gè)高速、可靠、無阻塞的高性能IP網(wǎng)絡(luò)，也為整個(gè)數(shù)據(jù)通信業(yè)界展示一個(gè)完美的IP骨干網(wǎng)典范。清晰的網(wǎng)絡(luò)體系結(jié)構(gòu)這個(gè)IP骨干網(wǎng)將是一個(gè)多業(yè)務(wù)網(wǎng)絡(luò)，為了提高網(wǎng)絡(luò)的高可靠性和可管理性，它分成網(wǎng)絡(luò)承載層面和專門的業(yè)務(wù)層面。其中承載層面負(fù)責(zé)高速、無阻塞的MPLS/IP交換，承載層面由CN2所要求的C1、C2、C3路由器所組成，每臺(tái)設(shè)備擁有1280G/640G/320G的系統(tǒng)容量和高密度的10Gbps、2.5Gbps端口，承載層面利用IP快速收斂和MPLSFRR快速重路由的功能，保證網(wǎng)絡(luò)流量傳送的高度可靠。業(yè)務(wù)層面負(fù)責(zé)接入用戶，并向用戶靈活、方便地提供所需業(yè)務(wù)，業(yè)務(wù)層由CN2所要求的PE設(shè)備組成。承載層面對(duì)最終用戶來說那么是透明的，它由位于各個(gè)節(jié)點(diǎn)的核心路由器通過建網(wǎng)規(guī)那么搭建起來的數(shù)據(jù)傳送交換的骨架。從宏觀的角度來看，整個(gè)承載層面，可以理解為一個(gè)虛擬的中心交叉設(shè)備，所有的業(yè)務(wù)接入路由器都接在這個(gè)虛擬中心交叉設(shè)備上。這個(gè)虛擬中心交叉設(shè)備的功能就是，將其所連接的業(yè)務(wù)接入路由器所送入的業(yè)務(wù)流，轉(zhuǎn)發(fā)到其他地方的業(yè)務(wù)接入路由器。從微觀的角度看，承載層面是由位于不同節(jié)點(diǎn)的不同級(jí)別的骨干路由器連接起來的網(wǎng)絡(luò)。承載層面對(duì)于業(yè)務(wù)流的處理，是基于業(yè)務(wù)路由器上對(duì)業(yè)務(wù)流所打的標(biāo)簽進(jìn)行。先進(jìn)的路由平臺(tái)根據(jù)建設(shè)新一代基于IP/MPLS的網(wǎng)絡(luò)根底設(shè)施的需求，在網(wǎng)絡(luò)中部署業(yè)界最先進(jìn)的T/M系列路由器：具有強(qiáng)大的QoS功能，基于硬件的MPLS，適用于ATM、幀中繼以及IP效勞豐富、可靠的業(yè)務(wù)應(yīng)用統(tǒng)一的JUNOS軟件，可以實(shí)現(xiàn)操作的簡(jiǎn)單性接口的可移植性很強(qiáng)，節(jié)約投資該系列平臺(tái)全部使用具有界面統(tǒng)一、功能強(qiáng)大的JUNOS軟件，同時(shí)結(jié)合硬件的各種密度、速度、性能和特性。這樣，我們無需在各種功能和特性之間進(jìn)行權(quán)衡取舍，就可以非常方便地滿足骨干網(wǎng)絡(luò)的苛刻要求。同時(shí)，T系列路由平臺(tái)還具有良好的擴(kuò)展性，它們可以通過光交換矩陣TX互聯(lián)，組成一個(gè)超過10Tbps容量的邏輯路由系統(tǒng)。這些交叉矩陣的性能及功能，都是業(yè)界獨(dú)一無二的、在現(xiàn)實(shí)環(huán)境中經(jīng)過驗(yàn)證的技術(shù)。T/M系列路由器，已經(jīng)在世界各地的運(yùn)營(yíng)網(wǎng)絡(luò)中，廣泛提供高級(jí)IP/MPLS業(yè)務(wù)，并幫助效勞供給商實(shí)現(xiàn)網(wǎng)絡(luò)轉(zhuǎn)型，增加收入。該路由器完全隔離了控制、轉(zhuǎn)發(fā)和業(yè)務(wù)層面，可在不影響性能的情況下，單一平臺(tái)支持多種業(yè)務(wù)――最大程度增加收入并降低本錢。這些業(yè)務(wù)包括各種VPN、實(shí)時(shí)話音和視頻應(yīng)用、豐富的內(nèi)容播送、IPv6業(yè)務(wù)、精確計(jì)費(fèi)等等。由于體系結(jié)構(gòu)的靈活性和性能優(yōu)勢(shì)，其JUNOS軟件可以不斷推出新特性，新的業(yè)務(wù)產(chǎn)品也將隨之不斷出現(xiàn)。高可用性和路由快速收斂下一代IP網(wǎng)絡(luò)的可用性是區(qū)分于傳統(tǒng)IP骨干網(wǎng)的明顯特征,。而路由的穩(wěn)定性和高可用性要有一個(gè)明顯的提高，需要方案設(shè)計(jì)、設(shè)備應(yīng)用的多方面配合。這個(gè)也是CN2網(wǎng)絡(luò)的一個(gè)亮點(diǎn)。在網(wǎng)絡(luò)中引起通信中斷和可用性降低的事件包括路由器故障、線路故障和維護(hù)操作等，我們?cè)贑N2中同時(shí)部署以下技術(shù)來解決這些問題：IGP/BGP快速收斂該方案對(duì)路由器的接口卡、轉(zhuǎn)發(fā)引擎的故障和線路故障作用明顯，可以在sub-second級(jí)別恢復(fù)通信；實(shí)施相對(duì)簡(jiǎn)單，且通用性、擴(kuò)展性好。T/M-系列路由器采用了IndirectNext-hop〔INH〕的路由優(yōu)化處理技術(shù)，所以，在中國(guó)電信廣東研究院的測(cè)試中，不管是ISIS，還是BGP，其路由收斂時(shí)間都是非常理想的。IndirectNext-hop〔INH〕技術(shù)是JUNOS領(lǐng)先于其它競(jìng)爭(zhēng)對(duì)手的優(yōu)化的路由處理技術(shù)，也是在大型ISP網(wǎng)絡(luò)快速收斂的重要保證。在CN2這樣的網(wǎng)絡(luò)中，由于根本所有的業(yè)務(wù)路由BGP承載，而且數(shù)量遠(yuǎn)大于IGP,因此僅實(shí)現(xiàn)IGP/ISIS的快速收斂是不夠的。在某些情況下，雖然BGP的下一條沒有發(fā)生變化，但是由于IGP/ISIS的變化，BGPpeer的直接下一跳發(fā)生了變化；在另外一些情況下,雖然沒有BGProuteupdate報(bào)文交換,由于BGP的路徑選擇過程在多條路徑中根據(jù)IGPcost確定,BGP路由的下一跳隨著IGP的變化而變。T/M路由器的IndirectNext-hop〔INH〕可以使的僅修改BGP路由的指針指向新的下一跳就可以了，從而大大加快了網(wǎng)絡(luò)收斂的速度。MPLSFRR快速重路由該技術(shù)對(duì)故障進(jìn)行重新路由的性能更加優(yōu)異，可以在50ms內(nèi)進(jìn)行切換。在新的IP骨干網(wǎng)里，MPLSVPN是不可或缺的應(yīng)用。因此，我們認(rèn)為，MPLSFRR是骨干網(wǎng)必須實(shí)施的一項(xiàng)技術(shù)。在CN2里，核心層面將會(huì)啟用這個(gè)技術(shù)，為數(shù)據(jù)傳遞提供一個(gè)可靠、通暢的平臺(tái)。在這個(gè)網(wǎng)絡(luò)里，MPLSFRR在核心層面七大節(jié)點(diǎn)間采用的是LinkProtection〔鏈路保護(hù)〕的功能。在任意兩個(gè)核心間建立兩條LSP，一條主用，另一條為備用；當(dāng)主用LSP所在的鏈路中斷后，MPLSFRR將在50ms內(nèi)切換至備用LSP上，實(shí)現(xiàn)鏈路的保護(hù)，從而保證LSP承載的流量能夠正常轉(zhuǎn)發(fā)。為了實(shí)現(xiàn)這些目的，CN2將在這幾大核心節(jié)點(diǎn)間啟用RSVPTE〔資源預(yù)留〕的配置。同時(shí)考慮到MPLSVPN是這個(gè)網(wǎng)絡(luò)的關(guān)鍵應(yīng)用，而RSVP在幾百個(gè)路由器間建立LSP，其工程浩大、配置復(fù)雜，所以在其它節(jié)點(diǎn)和PE上啟用LDP〔標(biāo)簽分發(fā)〕，來支持VPN業(yè)務(wù)的開通；LDP在核心層面采取LDPoverRSVP的方式，這樣，一方面確保VPN業(yè)務(wù)的靈活開展，另一方面還可以擁有RSVPTE帶來的流量工程優(yōu)勢(shì)，這也是國(guó)際上部署MPLS網(wǎng)絡(luò)一種理想的做法。無中斷轉(zhuǎn)發(fā)T/M-系列路由器的控制平面和轉(zhuǎn)發(fā)平面完全別離，使得T/M-系列路由器能支持GracefulRestart功能，實(shí)現(xiàn)協(xié)議的無中斷轉(zhuǎn)發(fā)。當(dāng)T/M-系列路由器重啟或升級(jí)軟件版本時(shí)，當(dāng)控制平面的路由或信令協(xié)議重啟時(shí)，由于轉(zhuǎn)發(fā)平面并沒有異常，同時(shí)網(wǎng)絡(luò)結(jié)構(gòu)也沒有改變，因此在發(fā)送信息表〔FIB〕中的路由會(huì)保持一段時(shí)間，該路由器在一段時(shí)間內(nèi)仍然能正常發(fā)送數(shù)據(jù)包。發(fā)生重啟的路由器會(huì)通知相鄰路由器，相鄰的路由器仍然認(rèn)為該路由器在設(shè)定的一段時(shí)間內(nèi)仍然能正常發(fā)送數(shù)據(jù)包，同時(shí)相鄰路由器不發(fā)送路由更新給其它路由器。對(duì)于CN2這樣大規(guī)模網(wǎng)絡(luò)，需要BGP和ISIS的GracefulRestart協(xié)同工作，同時(shí)，為了不影響關(guān)鍵的MPLSVPN業(yè)務(wù)，還需要和LDP的GracefulRestart協(xié)同工作；在核心層面還需要和RSVPTE的GracefulRestart協(xié)同工作才能保證MPLSFRR的功能不受RE〔路由引擎〕切換的影響，才能與MPLSFRR共同提高網(wǎng)絡(luò)的可靠性。在中國(guó)電信北京研究院的MPLS測(cè)試中，只有T/M-系列路由器才能勝任上述環(huán)境下的零中斷切換：在同時(shí)使用了BGP、ISIS、RSVP、LDP的情況下，啟用這些協(xié)議的GracefulRestart，測(cè)試結(jié)果說明，在路由引擎RE切換或其他故障期間，T/M-系列路由器零丟包，真正實(shí)現(xiàn)了無中斷轉(zhuǎn)發(fā)。靈活實(shí)用的負(fù)載均衡和流量工程從全局看，CN2通過鏈路容量和業(yè)務(wù)的分布、路由平面的設(shè)計(jì)為負(fù)載均衡和流量工程打下了良好的根底，通過IGP/BGP的調(diào)整可以到達(dá)很好的效果;從局部的細(xì)節(jié)看，大局部通過等值路徑的負(fù)載均衡來實(shí)現(xiàn)。

等值路徑的負(fù)載均衡CN2的核心路由器支持IBGP/EBGP多路徑負(fù)載分擔(dān)，對(duì)于每一條路由，最多可支持16條equalcostpath，并能在這16條path上進(jìn)行負(fù)載分擔(dān)。如果對(duì)某個(gè)目的路由，存在多條〔可以多達(dá)16條〕具有相等cost的路徑時(shí)，核心的T640設(shè)備能夠進(jìn)行多路徑負(fù)載分擔(dān)。目前，基于流〔per-flow〕的負(fù)載分擔(dān)是比擬理想的方式。當(dāng)存在多條相等cost的路徑存在時(shí)，T/M-路由器檢查IP包的以下參數(shù)，并根據(jù)以下參數(shù)把IP包分成不同的流。

SourceIPaddress

DestinationIPaddress

Protocol

Sourceportnumber

Destinationportnumber

Sourceinterfaceindex

Typeofservice(ToS)

MPLStoplevellabel

MPLSsecondlevellabel例如，我們可以把從同一個(gè)源地址發(fā)往同一個(gè)目的地址的所有IP包分成一個(gè)flow。或者進(jìn)行進(jìn)一步更細(xì)致的分類，即把上述從同一個(gè)源地址發(fā)往同一個(gè)目的地址的所有IP包中端口號(hào)＝23的分成一個(gè)flow，而把上述從同一個(gè)源地址發(fā)往同一個(gè)目的地址的所有IP包中端口號(hào)＝80的分成另一個(gè)flow。然后把不同的flow按輪詢的方式放置在不同的多路徑中發(fā)送出去，每一個(gè)flow只通過一條路徑發(fā)送，以保證分組的次序。T/M-系列路由器支持IPv4/IPv6的IBGP/EBGP多路徑功能，還支持OSPF、BGP、MPLS、組播等的多路徑功能。由于T/M-系列路由器能夠把flow分的很細(xì)致，因此能根據(jù)CN2的要求，把業(yè)務(wù)量非常均勻地分布在相等cost的多路徑上。

MPLS核心等值路徑的負(fù)載均衡當(dāng)采用RSVPTE或MPLSFRR時(shí)，需要注意MPLStunnel對(duì)負(fù)載均衡的影響。由于僅在核心層部署RSVP，RSVPtunnel的數(shù)量不大，并且多是單跳或兩跳LSP，不適合于采用不同src-destLSP均分的方式，但非常適合于采用在同一src-destpair間建立多個(gè)等值LSP的方式，分別穿越不同的Path。其次LDP協(xié)議同樣支持等值負(fù)載均衡，當(dāng)某臺(tái)router從多個(gè)peer收到同一條路由的labelmapping請(qǐng)求時(shí)，應(yīng)該能夠同時(shí)使用IGPcost等值的多個(gè)標(biāo)簽。最后，當(dāng)路由器轉(zhuǎn)發(fā)MPLS數(shù)據(jù)并且存在多個(gè)路徑時(shí)，HASH的算法能夠根據(jù)外層、內(nèi)層標(biāo)簽和IPpayload進(jìn)行計(jì)算，使得流量分布比擬合理。使用RR〔路由反射器〕中的IBGP等值負(fù)載當(dāng)使用RR時(shí)，由于RR會(huì)僅反射它認(rèn)為的最優(yōu)的路徑，因此RR的client就只可以使用RR認(rèn)為最優(yōu)的一條路徑。CN2采用的解決方案是:同一POP點(diǎn)的ASBR發(fā)送EBGP路由給IBGPpeer(RR)時(shí)，使用3rdpartynexthop,實(shí)際上是一個(gè)不存在的地址〔虛擬地址〕；在ASBR中設(shè)置靜態(tài)路由，該虛擬地址的下一跳是分別是各自的EBGP的peer,并把這些靜態(tài)路由導(dǎo)入到IGP。

RR反射后的BGProute的下一跳仍然為虛擬的地址，所有的RRclient根據(jù)IGP選擇IBGPnexthop就是同樣的虛擬地址，并根據(jù)IGP選擇各自的實(shí)際的directhop，在多路徑的情況下實(shí)現(xiàn)負(fù)載均衡。這樣操作還有個(gè)額外的好處是可以靈活地控制進(jìn)入LDPLSP的流量：保持缺省配置，只有ASBR的loopback地址被LDP分發(fā),只有ASBR或其他VPNPE的MPLSL2/L3VPN可以使用LSP；如果在ASBR配置策略，ASBR的loopback地址和這些虛擬地址對(duì)應(yīng)到同一個(gè)標(biāo)簽，那么普通Internet流量也可以使用LDPLSP。這些MPLS、IGP和BGP的策略結(jié)合在一