新一代IP骨干網(wǎng)典范(記愛立信承建中國電信CN2項目)

新一代IP骨干網(wǎng)典范

――記愛立信承建中國電信CN2工程(2006-04-2615:53:48)CN2作為中國電信新一代的IP骨干網(wǎng)，將為3G、NGN以及大企業(yè)客戶效勞，這個網(wǎng)絡的意義及影響極其深遠，已經(jīng)成為“今年中國乃至整個亞太地區(qū)非常具有代表性的策略性工程”。在愛立信公司和Juniper公司的共同努力下，我們提供的IP骨干網(wǎng)解決方案終于贏得了CN2的青睞。在這個骨干網(wǎng)解決方案里面，通過T640、T320、M320、M20等路由設備的部署，為中國電信奉獻了一個高速、可靠、無阻塞的高性能IP網(wǎng)絡，也為整個數(shù)據(jù)通信業(yè)界展示一個完美的IP骨干網(wǎng)典范。清晰的網(wǎng)絡體系結構這個IP骨干網(wǎng)將是一個多業(yè)務網(wǎng)絡，為了提高網(wǎng)絡的高可靠性和可管理性，它分成網(wǎng)絡承載層面和專門的業(yè)務層面。其中承載層面負責高速、無阻塞的MPLS/IP交換，承載層面由CN2所要求的C1、C2、C3路由器所組成，每臺設備擁有1280G/640G/320G的系統(tǒng)容量和高密度的10Gbps、2.5Gbps端口，承載層面利用IP快速收斂和MPLSFRR快速重路由的功能，保證網(wǎng)絡流量傳送的高度可靠。業(yè)務層面負責接入用戶，并向用戶靈活、方便地提供所需業(yè)務，業(yè)務層由CN2所要求的PE設備組成。承載層面對最終用戶來說那么是透明的，它由位于各個節(jié)點的核心路由器通過建網(wǎng)規(guī)那么搭建起來的數(shù)據(jù)傳送交換的骨架。從宏觀的角度來看，整個承載層面，可以理解為一個虛擬的中心交叉設備，所有的業(yè)務接入路由器都接在這個虛擬中心交叉設備上。這個虛擬中心交叉設備的功能就是，將其所連接的業(yè)務接入路由器所送入的業(yè)務流，轉發(fā)到其他地方的業(yè)務接入路由器。從微觀的角度看，承載層面是由位于不同節(jié)點的不同級別的骨干路由器連接起來的網(wǎng)絡。承載層面對于業(yè)務流的處理，是基于業(yè)務路由器上對業(yè)務流所打的標簽進行。先進的路由平臺根據(jù)建設新一代基于IP/MPLS的網(wǎng)絡根底設施的需求，在網(wǎng)絡中部署業(yè)界最先進的T/M系列路由器：具有強大的QoS功能，基于硬件的MPLS，適用于ATM、幀中繼以及IP效勞豐富、可靠的業(yè)務應用統(tǒng)一的JUNOS軟件，可以實現(xiàn)操作的簡單性接口的可移植性很強，節(jié)約投資該系列平臺全部使用具有界面統(tǒng)一、功能強大的JUNOS軟件，同時結合硬件的各種密度、速度、性能和特性。這樣，我們無需在各種功能和特性之間進行權衡取舍，就可以非常方便地滿足骨干網(wǎng)絡的苛刻要求。同時，T系列路由平臺還具有良好的擴展性，它們可以通過光交換矩陣TX互聯(lián)，組成一個超過10Tbps容量的邏輯路由系統(tǒng)。這些交叉矩陣的性能及功能，都是業(yè)界獨一無二的、在現(xiàn)實環(huán)境中經(jīng)過驗證的技術。T/M系列路由器，已經(jīng)在世界各地的運營網(wǎng)絡中，廣泛提供高級IP/MPLS業(yè)務，并幫助效勞供給商實現(xiàn)網(wǎng)絡轉型，增加收入。該路由器完全隔離了控制、轉發(fā)和業(yè)務層面，可在不影響性能的情況下，單一平臺支持多種業(yè)務――最大程度增加收入并降低本錢。這些業(yè)務包括各種VPN、實時話音和視頻應用、豐富的內容播送、IPv6業(yè)務、精確計費等等。由于體系結構的靈活性和性能優(yōu)勢，其JUNOS軟件可以不斷推出新特性，新的業(yè)務產品也將隨之不斷出現(xiàn)。高可用性和路由快速收斂下一代IP網(wǎng)絡的可用性是區(qū)分于傳統(tǒng)IP骨干網(wǎng)的明顯特征,。而路由的穩(wěn)定性和高可用性要有一個明顯的提高，需要方案設計、設備應用的多方面配合。這個也是CN2網(wǎng)絡的一個亮點。在網(wǎng)絡中引起通信中斷和可用性降低的事件包括路由器故障、線路故障和維護操作等，我們在CN2中同時部署以下技術來解決這些問題：IGP/BGP快速收斂該方案對路由器的接口卡、轉發(fā)引擎的故障和線路故障作用明顯，可以在sub-second級別恢復通信；實施相對簡單，且通用性、擴展性好。T/M-系列路由器采用了IndirectNext-hop〔INH〕的路由優(yōu)化處理技術，所以，在中國電信廣東研究院的測試中，不管是ISIS，還是BGP，其路由收斂時間都是非常理想的。IndirectNext-hop〔INH〕技術是JUNOS領先于其它競爭對手的優(yōu)化的路由處理技術，也是在大型ISP網(wǎng)絡快速收斂的重要保證。在CN2這樣的網(wǎng)絡中，由于根本所有的業(yè)務路由BGP承載，而且數(shù)量遠大于IGP,因此僅實現(xiàn)IGP/ISIS的快速收斂是不夠的。在某些情況下，雖然BGP的下一條沒有發(fā)生變化，但是由于IGP/ISIS的變化，BGPpeer的直接下一跳發(fā)生了變化；在另外一些情況下,雖然沒有BGProuteupdate報文交換,由于BGP的路徑選擇過程在多條路徑中根據(jù)IGPcost確定,BGP路由的下一跳隨著IGP的變化而變。T/M路由器的IndirectNext-hop〔INH〕可以使的僅修改BGP路由的指針指向新的下一跳就可以了，從而大大加快了網(wǎng)絡收斂的速度。MPLSFRR快速重路由該技術對故障進行重新路由的性能更加優(yōu)異，可以在50ms內進行切換。在新的IP骨干網(wǎng)里，MPLSVPN是不可或缺的應用。因此，我們認為，MPLSFRR是骨干網(wǎng)必須實施的一項技術。在CN2里，核心層面將會啟用這個技術，為數(shù)據(jù)傳遞提供一個可靠、通暢的平臺。在這個網(wǎng)絡里，MPLSFRR在核心層面七大節(jié)點間采用的是LinkProtection〔鏈路保護〕的功能。在任意兩個核心間建立兩條LSP，一條主用，另一條為備用；當主用LSP所在的鏈路中斷后，MPLSFRR將在50ms內切換至備用LSP上，實現(xiàn)鏈路的保護，從而保證LSP承載的流量能夠正常轉發(fā)。為了實現(xiàn)這些目的，CN2將在這幾大核心節(jié)點間啟用RSVPTE〔資源預留〕的配置。同時考慮到MPLSVPN是這個網(wǎng)絡的關鍵應用，而RSVP在幾百個路由器間建立LSP，其工程浩大、配置復雜，所以在其它節(jié)點和PE上啟用LDP〔標簽分發(fā)〕，來支持VPN業(yè)務的開通；LDP在核心層面采取LDPoverRSVP的方式，這樣，一方面確保VPN業(yè)務的靈活開展，另一方面還可以擁有RSVPTE帶來的流量工程優(yōu)勢，這也是國際上部署MPLS網(wǎng)絡一種理想的做法。無中斷轉發(fā)T/M-系列路由器的控制平面和轉發(fā)平面完全別離，使得T/M-系列路由器能支持GracefulRestart功能，實現(xiàn)協(xié)議的無中斷轉發(fā)。當T/M-系列路由器重啟或升級軟件版本時，當控制平面的路由或信令協(xié)議重啟時，由于轉發(fā)平面并沒有異常，同時網(wǎng)絡結構也沒有改變，因此在發(fā)送信息表〔FIB〕中的路由會保持一段時間，該路由器在一段時間內仍然能正常發(fā)送數(shù)據(jù)包。發(fā)生重啟的路由器會通知相鄰路由器，相鄰的路由器仍然認為該路由器在設定的一段時間內仍然能正常發(fā)送數(shù)據(jù)包，同時相鄰路由器不發(fā)送路由更新給其它路由器。對于CN2這樣大規(guī)模網(wǎng)絡，需要BGP和ISIS的GracefulRestart協(xié)同工作，同時，為了不影響關鍵的MPLSVPN業(yè)務，還需要和LDP的GracefulRestart協(xié)同工作；在核心層面還需要和RSVPTE的GracefulRestart協(xié)同工作才能保證MPLSFRR的功能不受RE〔路由引擎〕切換的影響，才能與MPLSFRR共同提高網(wǎng)絡的可靠性。在中國電信北京研究院的MPLS測試中，只有T/M-系列路由器才能勝任上述環(huán)境下的零中斷切換：在同時使用了BGP、ISIS、RSVP、LDP的情況下，啟用這些協(xié)議的GracefulRestart，測試結果說明，在路由引擎RE切換或其他故障期間，T/M-系列路由器零丟包，真正實現(xiàn)了無中斷轉發(fā)。靈活實用的負載均衡和流量工程從全局看，CN2通過鏈路容量和業(yè)務的分布、路由平面的設計為負載均衡和流量工程打下了良好的根底，通過IGP/BGP的調整可以到達很好的效果;從局部的細節(jié)看，大局部通過等值路徑的負載均衡來實現(xiàn)。

等值路徑的負載均衡CN2的核心路由器支持IBGP/EBGP多路徑負載分擔，對于每一條路由，最多可支持16條equalcostpath，并能在這16條path上進行負載分擔。如果對某個目的路由，存在多條〔可以多達16條〕具有相等cost的路徑時，核心的T640設備能夠進行多路徑負載分擔。目前，基于流〔per-flow〕的負載分擔是比擬理想的方式。當存在多條相等cost的路徑存在時，T/M-路由器檢查IP包的以下參數(shù)，并根據(jù)以下參數(shù)把IP包分成不同的流。

SourceIPaddress

DestinationIPaddress

Protocol

Sourceportnumber

Destinationportnumber

Sourceinterfaceindex

Typeofservice(ToS)

MPLStoplevellabel

MPLSsecondlevellabel例如，我們可以把從同一個源地址發(fā)往同一個目的地址的所有IP包分成一個flow?；蛘哌M行進一步更細致的分類，即把上述從同一個源地址發(fā)往同一個目的地址的所有IP包中端口號＝23的分成一個flow，而把上述從同一個源地址發(fā)往同一個目的地址的所有IP包中端口號＝80的分成另一個flow。然后把不同的flow按輪詢的方式放置在不同的多路徑中發(fā)送出去，每一個flow只通過一條路徑發(fā)送，以保證分組的次序。T/M-系列路由器支持IPv4/IPv6的IBGP/EBGP多路徑功能，還支持OSPF、BGP、MPLS、組播等的多路徑功能。由于T/M-系列路由器能夠把flow分的很細致，因此能根據(jù)CN2的要求，把業(yè)務量非常均勻地分布在相等cost的多路徑上。

MPLS核心等值路徑的負載均衡當采用RSVPTE或MPLSFRR時，需要注意MPLStunnel對負載均衡的影響。由于僅在核心層部署RSVP，RSVPtunnel的數(shù)量不大，并且多是單跳或兩跳LSP，不適合于采用不同src-destLSP均分的方式，但非常適合于采用在同一src-destpair間建立多個等值LSP的方式，分別穿越不同的Path。其次LDP協(xié)議同樣支持等值負載均衡，當某臺router從多個peer收到同一條路由的labelmapping請求時，應該能夠同時使用IGPcost等值的多個標簽。最后，當路由器轉發(fā)MPLS數(shù)據(jù)并且存在多個路徑時，HASH的算法能夠根據(jù)外層、內層標簽和IPpayload進行計算，使得流量分布比擬合理。使用RR〔路由反射器〕中的IBGP等值負載當使用RR時，由于RR會僅反射它認為的最優(yōu)的路徑，因此RR的client就只可以使用RR認為最優(yōu)的一條路徑。CN2采用的解決方案是:同一POP點的ASBR發(fā)送EBGP路由給IBGPpeer(RR)時，使用3rdpartynexthop,實際上是一個不存在的地址〔虛擬地址〕；在ASBR中設置靜態(tài)路由，該虛擬地址的下一跳是分別是各自的EBGP的peer,并把這些靜態(tài)路由導入到IGP。

RR反射后的BGProute的下一跳仍然為虛擬的地址，所有的RRclient根據(jù)IGP選擇IBGPnexthop就是同樣的虛擬地址，并根據(jù)IGP選擇各自的實際的directhop，在多路徑的情況下實現(xiàn)負載均衡。這樣操作還有個額外的好處是可以靈活地控制進入LDPLSP的流量：保持缺省配置，只有ASBR的loopback地址被LDP分發(fā),只有ASBR或其他VPNPE的MPLSL2/L3VPN可以使用LSP；如果在ASBR配置策略，ASBR的loopback地址和這些虛擬地址對應到同一個標簽，那么普通Internet流量也可以使用LDPLSP。這些MPLS、IGP和BGP的策略結合在一