計(jì)算機(jī)網(wǎng)絡(luò)畢業(yè)論文-智能網(wǎng)絡(luò)存儲(chǔ)方案

1、    計(jì)算機(jī)網(wǎng)絡(luò)畢業(yè)論文-智能網(wǎng)絡(luò)存儲(chǔ)方案    一、概述 ，數(shù)字視音頻和數(shù)據(jù)網(wǎng)絡(luò)的大量成為電視行業(yè)的必然趨勢(shì)，這就要求提供更大、更快、更有力的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)和共享途徑。網(wǎng)絡(luò)存儲(chǔ)技術(shù)無疑為我們提供了一個(gè)很好的選擇。 二、網(wǎng)絡(luò)存儲(chǔ)技術(shù)的分類 目前的網(wǎng)絡(luò)存儲(chǔ)技術(shù)大致分為三類：   1、 直接依附存儲(chǔ)系統(tǒng)（Direct Attached Storage, DAS） DAS又稱為以服務(wù)器為中心的存儲(chǔ)體系，如圖一所示。其特征為存儲(chǔ)設(shè)備為通用服務(wù)器的一部分，該服務(wù)器同時(shí)提供應(yīng)用程序的運(yùn)行，即數(shù)據(jù)訪問與操作系統(tǒng)、文件系

2、統(tǒng)和服務(wù)程序緊密相關(guān)。當(dāng)用戶數(shù)量增加或服務(wù)器正在提供服務(wù)時(shí)，其響應(yīng)速度會(huì)變慢。在網(wǎng)絡(luò)帶寬足夠的情況下，服務(wù)器本身成為數(shù)據(jù)輸入輸出的瓶頸?，F(xiàn)在已漸漸不能滿足用戶的需求，不再為大家所采用。 2、 網(wǎng)絡(luò)依附存儲(chǔ)系統(tǒng)（Network Attached Storage, NAS）   NAS的結(jié)構(gòu)是以網(wǎng)絡(luò)為中心，面向文件服務(wù)的。在這種存儲(chǔ)系統(tǒng)中，應(yīng)用和數(shù)據(jù)存儲(chǔ)部分不在同一服務(wù)器上，即有專用的應(yīng)用服務(wù)器和專用的數(shù)據(jù)服務(wù)器。其中專用數(shù)據(jù)服務(wù)器不再承擔(dān)應(yīng)用服務(wù)，稱之為"瘦服務(wù)器"（Thin Server）。數(shù)據(jù)服務(wù)器通過局域網(wǎng)的接口與應(yīng)用服務(wù)器連接，應(yīng)用服務(wù)器將數(shù)據(jù)服務(wù)器視做網(wǎng)絡(luò)

3、文件系統(tǒng)，通過標(biāo)準(zhǔn)LAN進(jìn)行訪問。由于采用局域網(wǎng)上通用數(shù)據(jù)傳輸協(xié)議，如NFS、CIFS等，所以NAS能夠在異構(gòu)的服務(wù)器之間共享數(shù)據(jù)，如Windows NT和UNIX混合系統(tǒng)。NAS系統(tǒng)的關(guān)鍵是文件服務(wù)器，一個(gè)經(jīng)過優(yōu)化的專用文件服務(wù)和存儲(chǔ)服務(wù)的服務(wù)器是文件系統(tǒng)所在地和NAS設(shè)備的控制中心，該服務(wù)器一般可以支持多個(gè)I/O節(jié)點(diǎn)和網(wǎng)絡(luò)接口，每個(gè)I/O節(jié)點(diǎn)都有自己的存儲(chǔ)設(shè)備。 3、 存儲(chǔ)區(qū)域網(wǎng)絡(luò)（Storage Area Network, SAN） SAN是一種以光纖通道（Fiber Channel, FC）實(shí)現(xiàn)服務(wù)器和存儲(chǔ)設(shè)備之間通訊的網(wǎng)絡(luò)結(jié)構(gòu)，如圖三所示。SAN的核心是FC，其中的服務(wù)器和存儲(chǔ)系統(tǒng)各

4、自獨(dú)立，地位平等，通過高帶寬（傳輸速率為800Mb/s,雙全工時(shí)可達(dá)1.6Gb/ s）FC集線器或FC交換機(jī)相連，可避免大流量數(shù)據(jù)傳輸時(shí)發(fā)生阻塞和沖突。各應(yīng)用工作站通過局域網(wǎng)訪問服務(wù)器，在各存儲(chǔ)設(shè)備之間交換數(shù)據(jù)時(shí)可以不通過服務(wù)器，這樣就大   大減輕了服務(wù)器承受的壓力。 三、NAS與SAN的比較 NAS、SAN與傳統(tǒng)網(wǎng)絡(luò)存儲(chǔ)技術(shù)相比而言，無論是從網(wǎng)絡(luò)傳輸帶寬、數(shù)據(jù)共享性還是從存儲(chǔ)容量的可擴(kuò)充性、數(shù)據(jù)的一體化和安全性等個(gè)方面來說，其優(yōu)越性是不言而喻的。所以，現(xiàn)在眾多的用戶在對(duì)其存儲(chǔ)方案進(jìn)行選擇時(shí)，實(shí)際上也就成為對(duì)NAS和SAN的選擇了。 NAS和SAN有許多共同的特點(diǎn)。它們都提供集中化

5、的數(shù)據(jù)存儲(chǔ)和整合優(yōu)化，都能有效的存取文件，都允許在眾多的主機(jī)間共享并支持多種操作系統(tǒng)，都允許從應(yīng)用服務(wù)器上分離存儲(chǔ)。而且，它們都提供數(shù)據(jù)的高可用性，都能通過冗余部件和RAID保證數(shù)據(jù)的完整性。 NAS和SAN也有著一些不同點(diǎn)。首先，實(shí)施和維護(hù)的難易程度不同。上面曾提到，NAS的存儲(chǔ)設(shè)備與眾多訪問客戶的連接是通過標(biāo)準(zhǔn)的LAN進(jìn)行的，也就是說，直接將NAS存儲(chǔ)設(shè)備接入LAN中就可以使用了，管理者所要做的只是來定義網(wǎng)絡(luò)寸取權(quán)限或?yàn)槊總€(gè)用戶定義磁盤限額。而且由于NAS采用了熱插拔和即插即用技術(shù)，所以在新設(shè)備接入時(shí)無需關(guān)閉數(shù)據(jù)服務(wù)器或進(jìn)行重新配置，新增的存儲(chǔ)空間可以立即為眾多的應(yīng)用服務(wù)器和客戶機(jī)所共享。

6、而SAN的存儲(chǔ)設(shè)備與客戶之間的聯(lián)系是通過專用FC集線器和交換機(jī)來進(jìn)行的，如果客戶端增加，就要對(duì)交換機(jī)進(jìn)行級(jí)連，這就大大增大了安裝與設(shè)置難度。其次，二者的設(shè)備管理難易成度不同。由于NAS中每一個(gè)I/O節(jié)點(diǎn)都有自己的存儲(chǔ)設(shè)備，而這些設(shè)備又沒有一個(gè)統(tǒng)一的管理的界面，所以管理人員就必須逐一管理每個(gè)NAS設(shè)備，從而使管理成本隨網(wǎng)絡(luò)上的NAS設(shè)備的增多而線性增加。而SAN對(duì)整個(gè)網(wǎng)絡(luò)中的存儲(chǔ)設(shè)備的管理，是采用SAN專用管理軟件來進(jìn)行集中式管理的，用戶可以通過簡單的圖形界面來管理不同平臺(tái)和介質(zhì)上的數(shù)據(jù)，也就是說，在SAN中，其整個(gè)存儲(chǔ)網(wǎng)絡(luò)成為了一個(gè)集中化的存儲(chǔ)池，這樣，管理人員管理起來就非常簡單了。再者，NA

7、S和SAN是管理對(duì)象也不相同。SAN管理的是磁盤空間，而NAS管理的是文件，也就是說，SAN是個(gè)磁盤工廠，而NAS只是一個(gè)文件服務(wù)器。最后，也是最重要的一點(diǎn)，那就是二者在性能上有所不同。NAS是基于傳統(tǒng)以太網(wǎng)絡(luò)的存取設(shè)備，雖然減輕了服務(wù)器所承擔(dān)的壓力，但勢(shì)必嚴(yán)重增加網(wǎng)絡(luò)的負(fù)荷。而且無論存儲(chǔ)磁盤的速度有多快，存取速度只可能與網(wǎng)絡(luò)帶寬所允許的速度一樣快。即NAS達(dá)到高性能的前提條件是網(wǎng)絡(luò)帶寬足夠，否則其性能將急劇下降。而如果為了解決帶寬而增設(shè)寬帶網(wǎng)段，就勢(shì)必喪失NAS價(jià)格較低、安裝設(shè)置容易的優(yōu)勢(shì)。與NAS不同，SAN構(gòu)建于基于光纖的專用數(shù)據(jù)網(wǎng)絡(luò)，可以提供極高的帶寬（新的FC標(biāo)準(zhǔn)可使帶寬達(dá)到4GB）

8、，不必?fù)?dān)心由于帶寬不足而引起的性能下降。 可以說，NAS和SAN各有其長短之處，在實(shí)際應(yīng)用中也各有不同之處。對(duì)于實(shí)力不足，有傳統(tǒng)以太網(wǎng)絡(luò)，且急需擴(kuò)充存儲(chǔ)空間的用戶，NAS無疑是一種便宜、快速的方案。而對(duì)于擁有強(qiáng)大經(jīng)濟(jì)后盾，對(duì)網(wǎng)絡(luò)性能要求較高及未來發(fā)展勢(shì)頭強(qiáng)勁的用戶，則應(yīng)該選擇SAN。四、SAN的現(xiàn)狀和 1、 現(xiàn)狀 由于自身所具有的高速、集中化存儲(chǔ)管理及幾近無限的擴(kuò)充能力這些特點(diǎn)，特別適合對(duì)海量數(shù)據(jù)的視音頻數(shù)據(jù)進(jìn)行存儲(chǔ)、傳輸和實(shí)時(shí)處理，所以采用FC技術(shù)的SAN在很多電視臺(tái)得到了推廣，甚至已成電視臺(tái)運(yùn)做的核心。在視頻處理領(lǐng)域里，SAN就像數(shù)字視頻中的大本營，不但承擔(dān)著視頻數(shù)據(jù)的存貯、遷移、交換、共

9、享，而且掌管著網(wǎng)絡(luò)設(shè)備的登記、刪除、查詢、維護(hù)。可以這么理解，SAN是電視臺(tái)視頻網(wǎng)絡(luò)的主干，在SAN網(wǎng)上可以掛接諸如新聞生產(chǎn)系統(tǒng)、非線性編輯系統(tǒng)、廣告非線性插播系統(tǒng)、數(shù)字化節(jié)目庫系統(tǒng)等。 SAN在日益廣泛的中也暴露了一些缺點(diǎn)和不足。SAN網(wǎng)絡(luò)仍然采用傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行存儲(chǔ)操作，網(wǎng)絡(luò)結(jié)構(gòu)主要由交換機(jī)與集線器構(gòu)成，將這些傳統(tǒng)規(guī)范的硬件應(yīng)用于新的存儲(chǔ)結(jié)構(gòu)中，并應(yīng)用傳統(tǒng)的網(wǎng)絡(luò)管理技術(shù)進(jìn)行存儲(chǔ)管理，最終導(dǎo)致了系統(tǒng)的匹配。SAN系統(tǒng)出現(xiàn)之初，的確為我們解決了數(shù)據(jù)存儲(chǔ)與共享的問題。當(dāng)存儲(chǔ)數(shù)據(jù)達(dá)到TB級(jí)，高帶寬網(wǎng)絡(luò)站點(diǎn)（視頻工作站）很多時(shí)就會(huì)出現(xiàn)很多問題，導(dǎo)致系統(tǒng)性能嚴(yán)重下降。而第二代SAN-SDD（SAN D

10、ata Director）的出現(xiàn)，彌補(bǔ)了這些不足。 2、 發(fā)展 新一代SAN，其結(jié)構(gòu)的核心是SDD，它不是一個(gè)更大的交換機(jī)，但它完成的功能更多。它將交換、緩存、RAID、I/O以及數(shù)據(jù)和文件的管理集于一身，并可以完成數(shù)據(jù)和網(wǎng)絡(luò)的管理，為數(shù)據(jù)交換提供高帶寬、高容錯(cuò)的集中存儲(chǔ)訪問。SDD內(nèi)部有兩個(gè)完全相同的組件，稱之為HSTD（HSTD1、HSTD2），每個(gè)HSTD有四個(gè)100MB/S帶寬流量的數(shù)據(jù)交換端口，稱之為HOST。這樣，每個(gè)HSTD就有400MB/S的帶寬，一個(gè)SDD擁有兩個(gè)HSTD的800MB/S帶寬。HOST端口可直接與服務(wù)器、工作站相連，也可與交換機(jī)相連。每個(gè)HSTD還有一個(gè)60芯

11、的數(shù)據(jù)總線用于和存儲(chǔ)硬盤陣列相連完成數(shù)據(jù)交換。其結(jié)構(gòu)示意圖如圖四所示。   SDD利用HSTD組件省去了復(fù)雜的交換機(jī)間連接，并將RAID控制器集成，前面的端口接服務(wù)器，也可以連接交換機(jī)，后面的端口連接硬盤柜。這樣一來，網(wǎng)絡(luò)結(jié)構(gòu)變得非常清晰、簡潔，可擴(kuò)展性強(qiáng)，并且SDD對(duì)傳輸通道、硬盤通道、硬盤多重冗余，不僅提高了帶寬，又增加了安全保障，系統(tǒng)幾乎永不死機(jī)。 3、 對(duì)比 （1） 帶寬：在傳統(tǒng)SAN方案中，應(yīng)用FC而使帶寬達(dá)到了100M，且其采用的RAID控制器是專門為點(diǎn)對(duì)點(diǎn)通信而設(shè)計(jì)的,在較   少站點(diǎn)同時(shí)訪問一個(gè)數(shù)據(jù)時(shí)有很好的性能表現(xiàn)，但當(dāng)有更多站點(diǎn)同時(shí)訪問一個(gè)數(shù)據(jù)時(shí)，帶寬將

12、嚴(yán)重不足，使系統(tǒng)性能急劇下降。如果采用多硬盤塔來分擔(dān)網(wǎng)絡(luò)帶寬的方案，勢(shì)必需要使用switch進(jìn)行級(jí)連，這樣不但使網(wǎng)絡(luò)的連接變得極為復(fù)雜（如圖五所示），而且switch之間的100M通道帶寬就成為了網(wǎng)絡(luò)的瓶頸。在SDD中，帶寬可達(dá)800M，并且采用新型RAID控制器，將switch的級(jí)連改為并聯(lián)，消除了大規(guī)模網(wǎng)絡(luò)傳輸中的瓶頸。 （2） 擴(kuò)展性：傳統(tǒng)SAN延用了C/S的結(jié)構(gòu)，其可升級(jí)性與智能化都很差,若想進(jìn)行系統(tǒng)升級(jí)則必須增加交換機(jī)、RAID控制器以及不同的控制軟件，而且只能使用交換機(jī)級(jí)連擴(kuò)展站點(diǎn)。這種情況在網(wǎng)絡(luò)規(guī)模較小（網(wǎng)絡(luò)中高帶寬訪問站點(diǎn)數(shù)在十個(gè)以下）時(shí)，不大。但當(dāng)網(wǎng)絡(luò)的高帶寬站點(diǎn)超過10個(gè)時(shí)

13、，傳統(tǒng)SAN的系統(tǒng)性能將越來越低，以至于不能構(gòu)架大型網(wǎng)絡(luò)。這是因?yàn)閭鹘y(tǒng)SAN的FC交換機(jī)速度高，但會(huì)在SAN中引入延時(shí)；為了增加接口而級(jí)連交換機(jī)也會(huì)產(chǎn)生延時(shí)，當(dāng)系統(tǒng)需要多臺(tái)交換機(jī)時(shí)延時(shí)將十分明顯，并將使數(shù)據(jù)處理性能下降。在SDD網(wǎng)絡(luò)中，F(xiàn)C交換機(jī)都與SDD控制器相連，處于并行工作狀態(tài)且互不影響。當(dāng)站點(diǎn)增加時(shí)，不用交換機(jī)級(jí)連，只需將新的FC交換機(jī)接入SDD即可，不用改動(dòng)以前的連接。帶寬得到線性增長，能構(gòu)架大型網(wǎng)絡(luò)。 （3） 穩(wěn)定性、安全性：從圖四中可以看出大型網(wǎng)絡(luò)在站點(diǎn)   增多后傳統(tǒng)SAN需要FC交換機(jī)二級(jí)連接，增加了連接點(diǎn)、RAID控制器、電纜等。故障發(fā)生點(diǎn)增多，同時(shí)故障源難以確定

14、，維護(hù)難度大。而SDD網(wǎng)絡(luò)結(jié)構(gòu)簡單，連接點(diǎn)少，出錯(cuò)的機(jī)率小，易判斷出錯(cuò)點(diǎn)，如圖五所示。比較圖五與圖四可以看出， 在相同網(wǎng)絡(luò)規(guī)模下，SDD網(wǎng)絡(luò)結(jié)構(gòu)連接簡單，故障點(diǎn)少。在存儲(chǔ)硬盤與SDD，F(xiàn)C交換機(jī)與SDD之間都采用雙鏈路備份，容錯(cuò)能力強(qiáng)。 （4） RAID結(jié)構(gòu)：在一個(gè)傳統(tǒng)RAID環(huán)路中對(duì)磁盤的訪問是順序的，降低了RAID卷的讀寫能力。一個(gè)環(huán)路硬盤數(shù)量有限，硬盤卷的容量太小，當(dāng)總存儲(chǔ)容量達(dá)到TB級(jí)以上時(shí)，系統(tǒng)會(huì)出現(xiàn)十幾個(gè)盤符，降低了系統(tǒng)的穩(wěn)定性能，使管理難度加大。如果在NT下做帶區(qū)集，首先降低系統(tǒng)安全性，消耗系統(tǒng)資源，另外帶寬也會(huì)下降。 同時(shí)傳統(tǒng)RAID FC硬盤塔當(dāng)某一硬盤發(fā)生故障時(shí)，不會(huì)影響整

15、個(gè)RAID組。但可怕的是如果盤塔發(fā)生故障，將導(dǎo)致其上整個(gè)RAID組數(shù)據(jù)丟失。而SDD的RAID則是在盤塔之間做RAID。這樣當(dāng)一個(gè)盤塔發(fā)生故障時(shí)，整個(gè)RAID也不會(huì)出現(xiàn)問題，大大提高了存儲(chǔ)系統(tǒng)的容錯(cuò)能力。同時(shí)，SDD是在10個(gè)磁盤通道上做RAID，讀寫一個(gè)RAID時(shí)，對(duì)磁盤的訪問是同時(shí)并發(fā)的；充分利用了系統(tǒng)的多通道、高帶寬的性能。 另外SDD的RAID結(jié)構(gòu)采用兩級(jí)RAID，即在RAID3的基礎(chǔ)上再將多個(gè)RAID組以RAID0方式捆綁。這樣做一方面單個(gè)盤符容量大大增加可達(dá)幾TB，使存儲(chǔ)數(shù)據(jù)得到充分共享；另一方面，帶寬集中利用，單個(gè)分區(qū)的帶寬可達(dá)360Mb/s以上。 （5）升級(jí)能力、性價(jià)比：由于隨

16、著存儲(chǔ)容量、站點(diǎn)的增加，傳統(tǒng)SAN需要增加大量設(shè)備如：FC交換機(jī)、硬盤塔、RAID控制器等，導(dǎo)致成本急劇上升。擴(kuò)展系統(tǒng)結(jié)構(gòu)復(fù)雜，又使維護(hù)成本上升。在SDD網(wǎng)絡(luò)擴(kuò)充時(shí)，只需增加少量交換機(jī)和硬盤。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)不變，維護(hù)成本不增加，有效保護(hù)了用戶的投資。另外SDD可以重新使用傳統(tǒng)結(jié)構(gòu)中的硬件以節(jié)省投資。 除了以上性能提高，SDD還具有傳統(tǒng)SAN不具備的優(yōu)勢(shì)。 (1) ZONING（分區(qū)）能力 可以在SDD控制器中做ZONING，這樣可以指定工作站可以看到哪些LUN（邏輯單元設(shè)備號(hào)），提高系統(tǒng)的安全性，并使跨平臺(tái)連接的安全性得到保障。提供了SDD用戶注冊(cè)的審查，對(duì)非法注冊(cè)提出警告，全部的安全工作都將被記錄。 (2) CACHE的集中使用 SDD系統(tǒng)CACHE非常大，可達(dá)5GB，并且這些緩存集中使用，可當(dāng)應(yīng)急硬盤使用（這對(duì)于視音頻處理很重要），極大的提高利用率，提升系統(tǒng)性能。 而傳統(tǒng)SAN系統(tǒng)總的CACHE雖然也非常大，但卻是分散使用,每一塊對(duì)于視頻采集和回放都太小，沒有利用價(jià)