某電視臺(tái)融合新聞生產(chǎn)及協(xié)同調(diào)度系統(tǒng)項(xiàng)目系統(tǒng)技術(shù)詳細(xì)設(shè)計(jì)方案-3

是什么，它只把存儲(chǔ)文件是為二進(jìn)制文件，也就是說，hbase的存儲(chǔ)數(shù)據(jù)對(duì)

于HDFS文件系統(tǒng)是透明的。下面是HBase文件在HDFS上的存儲(chǔ)示意圖。

HBaseHRegionser/ers集群中的所有的region的數(shù)據(jù)在服務(wù)器啟動(dòng)時(shí)都是被

打開的，并且在內(nèi)沖初始化一些memstore,相應(yīng)的這就在一定程度上加快系統(tǒng)

響應(yīng)；而Hadoop中的block中的數(shù)據(jù)文件默認(rèn)是關(guān)閉的，只有在需要的時(shí)候才

打開，處理完數(shù)據(jù)后就關(guān)閉，這在一定程度上就增加了響應(yīng)時(shí)間。

Blockl:128MBlockl:128M

從根本上說，HBase能提供實(shí)時(shí)計(jì)算服務(wù)主要原因是由其架構(gòu)和底層的數(shù)據(jù)

結(jié)構(gòu)決定的，即由LSM-Tree+HTable（region分區(qū)）+Cache決定客戶端可以直

接定位到要查數(shù)據(jù)所在的HRegionserver服務(wù)器，然后直接在服務(wù)器的一個(gè)

region上查找要匹配的數(shù)據(jù)，并且這些數(shù)據(jù)部分是經(jīng)過cache緩存的。具體查詢

流程如下圖所示：

具體數(shù)據(jù)訪問流程如下：

1.Client會(huì)通過內(nèi)部緩存的相關(guān)的-ROOT-中的信息和.META.中的信息直接

連接與請(qǐng)求數(shù)據(jù)匹配的HRegionserver；

2.然后直接定位到該服務(wù)器上與客戶請(qǐng)求對(duì)應(yīng)的Region,客戶請(qǐng)求首先會(huì)

查詢?cè)揜egion在內(nèi)存中的緩存MemstorefMemstore是一個(gè)按key排

序的樹形結(jié)構(gòu)的緩沖區(qū))；

3.如果在Memstore中查到結(jié)果則直接將結(jié)果返回給Client；

4.在Memstore中沒有查到匹配的數(shù)據(jù)，接下來(lái)會(huì)讀已持久化的StoreFile

文件中的數(shù)據(jù)。前面的章節(jié)已經(jīng)講過，StoreFile也是按key排序的樹形

結(jié)構(gòu)的文件一一并且是特別為范圍查詢或block查詢優(yōu)化過的，；另外

HBase讀取磁盤文件是按其基本I/O單元(即HBaseBlock)讀數(shù)據(jù)的。

具體就是過程就是：

如果在BlockCache中能查到要造的數(shù)據(jù)則這屆返回結(jié)果，否則就讀去相應(yīng)

的StoreFile文件中讀取一block的數(shù)據(jù)，如果還沒有讀到要查的數(shù)據(jù)，就將該

數(shù)據(jù)block放到HRegionServer的blockcache中，然后接著讀下一block塊兒的數(shù)

據(jù)，一直到這樣循環(huán)的block數(shù)據(jù)直到找到要請(qǐng)求的數(shù)據(jù)并返回結(jié)果；如果將該

Region中的數(shù)據(jù)都沒有查到要找的數(shù)據(jù)，最后接直接返回null,表示沒有找的匹

配的數(shù)據(jù)。當(dāng)然blockcache會(huì)在其大小大于一的閥值(heapsize*

hfile.block.cache.size*0.85)后啟動(dòng)基于LRU算法的淘汰機(jī)制，將最老最不常用

的block刪除。

2

l.l.l.l.l.lHbase高可用

Zookeeper集群

MasterMaster

主名點(diǎn)備節(jié)點(diǎn)

節(jié)點(diǎn)1

RacklRack2Rack3RackX

當(dāng)出現(xiàn)上圖三種情況的高可用策略:

1.HDFS機(jī)架識(shí)別策略：當(dāng)數(shù)據(jù)文件損壞時(shí)，會(huì)找相同機(jī)架上備份的數(shù)據(jù)文

件，如果相同機(jī)架上的數(shù)據(jù)文件也損壞會(huì)找不同機(jī)架備份數(shù)據(jù)文件。

2.HBase的Region快速恢復(fù)：當(dāng)節(jié)點(diǎn)損壞時(shí)，節(jié)點(diǎn)上的丟失region,會(huì)在其

他節(jié)點(diǎn)上均勻快速恢復(fù)。

3.Master節(jié)點(diǎn)的HA機(jī)制：Master為一主多備。當(dāng)Master主節(jié)點(diǎn)宕機(jī)后，

剩下的備節(jié)點(diǎn)通過選舉，產(chǎn)生主節(jié)點(diǎn)。

l.l?l?l.l.2Hbase優(yōu)勢(shì)

>列可以動(dòng)態(tài)增加，并且列為空就不存儲(chǔ)數(shù)據(jù)，節(jié)省存儲(chǔ)空間；

>HBase可以自動(dòng)切分?jǐn)?shù)據(jù)，使得數(shù)據(jù)存儲(chǔ)自動(dòng)具有水平擴(kuò)展功能；

>HBase可以提供高并發(fā)讀寫操作的支持；

3

＞與HadoopMapRecue相結(jié)合有利于數(shù)據(jù)分析；

＞容錯(cuò)性；

＞版權(quán)免費(fèi)；

＞非常靈活的模式設(shè)計(jì)(或者說沒有固定模式的限制)；

＞可以跟Hive集成，使用類SQL查詢；

＞自動(dòng)故障轉(zhuǎn)移；

＞客戶端接口易于使用；

＞行級(jí)別原子性，即PUT操作一定是完全成功或者完全失敗。

消息服務(wù)設(shè)計(jì)概要

消息服務(wù)：集成消息中間件服務(wù)，如ActiveMQ,RabbitMQ等，為PaaS服

務(wù)、SaaS應(yīng)用提供消息服務(wù)。

.lActiveMQ

Ll.l.2.l.lActiveMQ概述

ActiveMQ是一種開源的，實(shí)現(xiàn)了JMS1.1規(guī)范的，面向消息(MOM)的中問件，

為應(yīng)用程序提供高效的、可擴(kuò)展的、穩(wěn)定的和安全的企業(yè)級(jí)消息通信。ActiveMQ

使用Apache提供的授權(quán)，任何人都可以對(duì)其實(shí)現(xiàn)代碼進(jìn)行修改。

若采用緊耦合架構(gòu)會(huì)存在一些問題，如下：

Blockingremoteproceduralcall

這種緊耦合的架構(gòu)有著天生的缺陷：

1、這種架構(gòu)將會(huì)造成系統(tǒng)維護(hù)管理上的巨大消費(fèi)，因?yàn)?，即使是很小的?/p>

動(dòng)，很可能會(huì)波及到整個(gè)系統(tǒng)。

2、由于調(diào)用者必須阻塞式的等待被調(diào)用者返回，如果被調(diào)用者處理過程復(fù)

4

雜，將會(huì)嚴(yán)重影響調(diào)用者的執(zhí)行效率和資源使用率。

3、如果調(diào)用失敗，整個(gè)架構(gòu)即失敗。

為解決這些問題，我們采用消息中間件的辦法：

SendingamessageReceivingamessage

應(yīng)用程序1向消息中介（MOM）發(fā)送一條消息，很可能一段時(shí)間之后，應(yīng)

用程序2調(diào)用MOM來(lái)收取消息。任何一個(gè)應(yīng)用程序都不知道對(duì)方是否存在也不

需要阻塞等待。這種通信方式大大縮減了維護(hù)開銷，因?yàn)閷?duì)于一個(gè)應(yīng)用程序的修

改，會(huì)對(duì)其他應(yīng)用程序影響極小。

所以說，消息中間件的方式使得應(yīng)用松耦合，提高應(yīng)用伸縮性。

.L2ActiveMQ優(yōu)勢(shì)

（1）activemq可以很好的運(yùn)行在任何JVM上，而不只是集成到JBoss的應(yīng)

用服務(wù)器中；

（2）activemq支持大量的跨語(yǔ)言客戶端；

（3）activemq支持許多不同的協(xié)議,如Ajax,REST,Stomp,OpenWire,

XMPP

⑷activemq支持許多高級(jí)功能，例如MessageGroups,ExclusiveConsumer,

CompositeDestinations

（5）activemq支持可靠連接并且具有可配置的自動(dòng)重連接

（6）activemq對(duì)Spring有很好的支持

（7）activemq支持跨網(wǎng)絡(luò)的分布式目的地

（8）activemq是速度非?？?一般要比jbossmq快10倍

5

Ll.l.2.l.3ActiveMQ高可用

采用SharedDatabaseMaster/Slave架構(gòu)，Master與Slave之間數(shù)據(jù)進(jìn)行共享。

那如何避免沖突呢？通過爭(zhēng)奪數(shù)據(jù)庫(kù)表的排他鎖，只有Master有鎖，未獲得鎖

的自動(dòng)成為Slave。

ActiveMQMessageBrokerusesarelationaldatabase,itgrabsanexclusivelock

onatableensuringthatnootherActiveMQbrokercanaccessthedatabaseatthe

sametime

對(duì)于“共享存儲(chǔ)”而言，只會(huì)“共享”持久化消息。對(duì)于非持久化消息，它

們是在內(nèi)存中保存的。

可以通過配置(forcePersistencyModeBrokerPluginpersistenceFlag)屬性強(qiáng)制

所有的消息都持久化。

當(dāng)Master宕機(jī)后，Slave可自動(dòng)接管服務(wù)成為Master。由于數(shù)據(jù)是共享的，

因此Master和Slave之間不需要進(jìn)行數(shù)據(jù)的復(fù)制與同步。Slave之間通過競(jìng)爭(zhēng)鎖

來(lái)決定誰(shuí)是Mastero

6

.2RabbitMQ

Ll.l.2.2.lRabbitMQ概述

AMQP,RPAdvancedMessageQueuingProtocol,高級(jí)消息隊(duì)列協(xié)議，是應(yīng)用

層協(xié)議的一個(gè)開放標(biāo)準(zhǔn)，為面向消息的中間件設(shè)計(jì)。消息中間件主要用于組件之

間的解耦，消息的發(fā)送者無(wú)需知道消息使用者的存在，反之亦然。

AMQP的主要特征是面向消息、隊(duì)列、路由(包括點(diǎn)對(duì)點(diǎn)和發(fā)布/訂閱)、可

靠性、安全。

RabbitMQ是一個(gè)開源的AMQP實(shí)現(xiàn)，服務(wù)器端用Erlang語(yǔ)言編寫，支持多

種客戶端，如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript>XMPP、

STOMP等，支持AJAX。用于在分布式系統(tǒng)中存儲(chǔ)轉(zhuǎn)發(fā)消息，在易用性、擴(kuò)展性、

高可用性等方面表現(xiàn)不俗。

22使用消息中間件的好處

場(chǎng)景說明：用戶注冊(cè)后，需要發(fā)注冊(cè)郵件和注冊(cè)短信，傳統(tǒng)的做法有兩種1.

串行的方式2并行的方式

(1)串行方式:將注冊(cè)信息寫入數(shù)據(jù)庫(kù)后,發(fā)送注冊(cè)郵件，再發(fā)送注冊(cè)短信，以上

三個(gè)任務(wù)全部完成后才返回給客戶端。這有一個(gè)問題是，郵件，短信并不是必須的,

它只是一個(gè)通知,而這種做法讓客戶端等待沒有必要等待的東西.

50ms

(2)并行方式:將注冊(cè)信息寫入數(shù)據(jù)庫(kù)后，發(fā)送郵件的同時(shí)，發(fā)送短信，以上二個(gè)

任務(wù)完成后,返回給客戶端，并行的方式能提高處理的時(shí)間。

7

假設(shè)三個(gè)業(yè)務(wù)節(jié)點(diǎn)分別使用50ms,串行方式使用時(shí)間150ms,并行使用時(shí)間

lOOmSo雖然并性已經(jīng)提高的處理時(shí)間，但是，前而說過，郵件和短信對(duì)我正常的使

用網(wǎng)站沒有任何影響，客戶端沒有必要等著其發(fā)送完成才顯示注冊(cè)成功，英愛是

寫入數(shù)據(jù)庫(kù)后就返FI.

(3)消息隊(duì)列

引入消息隊(duì)列后，把發(fā)送郵件,短信不是必須的業(yè)務(wù)邏輯異步處理

由此可以看出，引入消息隊(duì)列后，用戶的響應(yīng)時(shí)間就等于寫入數(shù)據(jù)庫(kù)的時(shí)間+

寫入消息隊(duì)列的時(shí)間(可以忽略不計(jì))引入消息隊(duì)列后處理后，響應(yīng)時(shí)間是串行的

3倍，是并行的2倍。

.2.3RabbitMQ的優(yōu)勢(shì)

1.基于erlang語(yǔ)言開發(fā)具有高可用高并發(fā)的優(yōu)點(diǎn)，適合集群服務(wù)器。

2.健壯、穩(wěn)定、易用、跨平臺(tái)、支持多種語(yǔ)言、文檔齊全。

3.有消息確認(rèn)機(jī)制和持久化機(jī)制，可靠性高。

4.開源。

8

.2.4RabbitMQ的應(yīng)用場(chǎng)景

場(chǎng)景工：?jiǎn)伟l(fā)送單接收

使用場(chǎng)景：簡(jiǎn)單的發(fā)送與接收，沒有特別的處理。

場(chǎng)景2：?jiǎn)伟l(fā)送多接收

使用場(chǎng)景：一個(gè)發(fā)送端，多個(gè)接收端，如分布式的任務(wù)派發(fā)。為了保證消息

發(fā)送的可靠性，不丟失消息，使消息持久化了。同時(shí)為了防止接收端在處理消息

時(shí)down掉，只有在消息處理完成后才發(fā)送ack消息。

場(chǎng)景3：Publish/Subscribe

使用場(chǎng)景：發(fā)布、訂閱模式，發(fā)送端發(fā)送廣播消息，多個(gè)接收端接收。

場(chǎng)景4：Routing（按路線發(fā)送接收）

使用場(chǎng)景：發(fā)送端?！竜utingkey發(fā)送消息，不同的接收端按不同的「outing

key接收消息。

9

場(chǎng)景5：Topics(按topic發(fā)送接收)

使用場(chǎng)景：發(fā)送端不只按固定的routingkey發(fā)送消息，而是按字符串''匹

配〃發(fā)送，接收端同樣如此。

Q1

緩存服務(wù)設(shè)計(jì)概要

緩存服務(wù)：集成Redits、Memcached等內(nèi)存數(shù)據(jù)庫(kù)，可以為服務(wù)模塊、PaaS

服務(wù)、SaaS應(yīng)用提供信息緩存，提升用戶使用的訪問效率。

.1Redits

.1.IRedits概述

Redis是一個(gè)基于key-value的NoSQL數(shù)據(jù)庫(kù)，首先它把數(shù)據(jù)都放在memory

中(注：Redis2.x提供了applicationlevel的virtualmemory,可以把value放入swap

到磁盤)，這一點(diǎn)像memcached,不過它也提供持續(xù)化的特性，可以定期把數(shù)據(jù)

以snapshot的方式刷到磁盤，盡管如此，由于是定期寫入，還是可能會(huì)造成數(shù)

據(jù)丟失,所以它也提供另外一種方式叫AOF(appendonlyfile),很類似HBase中

WAL(WriteAheadLog),在寫數(shù)據(jù)之前先記下這些操作，以保證在程序異常退出或

者機(jī)器掉電的情況下，可以redo而保證數(shù)據(jù)不丟失。

10

Redis不同于其他的key-value數(shù)據(jù)庫(kù)的一個(gè)重要的賣點(diǎn)是，它支持多種數(shù)據(jù)

結(jié)構(gòu)。只有一種類型是但是可以是和

keystring,valuestring,hashjistzsetsortset.

所以你甚至可以把Redis當(dāng)成一種messagequeue來(lái)使用。

Redis的Client/Se'ver之間的通訊協(xié)議就是普通的基于文本的tcp的協(xié)議，

一問一答的類型，考慮到TCP的開銷，需要一個(gè)整的周期RTT(RoundTripTime)

才能完成一次操作。所以Redis使用了Pipeline技術(shù)，即發(fā)送多個(gè)請(qǐng)求，而不等

待每一個(gè)請(qǐng)求回復(fù)才發(fā)送下一條請(qǐng)求，可很大程度的提高系統(tǒng)的吞吐量(5倍)。

l.l?l?3.l.2Redits優(yōu)勢(shì)

性能極高-Redis能讀的速度是110000次/s,寫的速度是81000次/s。

豐富的數(shù)據(jù)類型-Redis支持二進(jìn)制案例的Strings,Lists,Hashes,Sets及

OrderedSets數(shù)據(jù)類型操作。

原子-Redis的所有操作都是原子性的，同時(shí)Redis還支持對(duì)幾個(gè)操作全并

后的原子性執(zhí)行。

豐富的特性-Redis還支持publish/subscribe,通知，key過期等等特性。

L.3Redits高可用

Master

Redis的Server有兩種角色，一種是Master,另外一種是Slave,用戶的寫

操作只能發(fā)生在Master,j(ijSlave只能分擔(dān)只讀操作。Master和Server會(huì)同步

以保證數(shù)據(jù)保持一致,Master只有一個(gè),Slave可以有多個(gè)。在同步時(shí)，對(duì)于Master

來(lái)說是一個(gè)非阻塞的操作，所以Master在同步時(shí)，Master仍然可以接收新的讀

11

請(qǐng)求，而對(duì)于Slave來(lái)說，同步是一個(gè)阻塞操作，所以同步的時(shí)候，就不能接收

讀請(qǐng)求了。所以RedisReplication有兩種用途，一種是為了負(fù)載均衡，另外一種

就是純粹為了數(shù)據(jù)冗余。

l.LL3.l.4Redits應(yīng)用場(chǎng)景

1、會(huì)話緩存(SessionCache)

最常用的一種使用Redis的情景是會(huì)話緩存(sessioncache)。用Redis緩存

會(huì)話比其他存儲(chǔ)(如Memcached)的優(yōu)勢(shì)在于：Redis提供持久化。

2、全頁(yè)緩存(FPC)

除基本的會(huì)話token之外，Redis還提供很簡(jiǎn)便的FPC平臺(tái)?；氐揭恢滦詥?/p>

題，即使重啟了Redis實(shí)例，因?yàn)橛写疟P的持久化，用戶也不會(huì)看到頁(yè)面加載速

度的下降，這是一個(gè)極大改進(jìn)，類似PHP本地FPC。

3、隊(duì)列

Reids在內(nèi)存存儲(chǔ)引擎領(lǐng)域的一大優(yōu)點(diǎn)是提供list和set操作,這使得Redis

能作為一個(gè)很好的消息隊(duì)列平臺(tái)來(lái)使用。Redis作為隊(duì)列使用的操作，就類似于

本地程序語(yǔ)言(illPython)對(duì)list的push/pop操作。

4、排行榜/計(jì)數(shù)器

Redis在內(nèi)存中對(duì)數(shù)字進(jìn)行遞增或遞減的操作實(shí)現(xiàn)的非常好。集合(Set)和

有序集合(SortedSet)也使得我們?cè)趫?zhí)行這些操作的時(shí)候變的非常簡(jiǎn)單，Redis

只是正好提供了這兩種數(shù)據(jù)結(jié)構(gòu)。

5、發(fā)布/訂閱

最后(但肯定不是最不重要的)是Redis的發(fā)布/訂閱功能。發(fā)布/訂閱的使

用場(chǎng)景確實(shí)非常多。

12

.2Memcached

.2.1Memcached概述

Memcached是一個(gè)高性能的分布式的內(nèi)存對(duì)象緩存系統(tǒng)，目前全世界不少

人使用這個(gè)緩存項(xiàng)目來(lái)構(gòu)建自己大負(fù)載的網(wǎng)站，來(lái)分擔(dān)數(shù)據(jù)庫(kù)的壓力，通過在內(nèi)

存里維護(hù)一個(gè)統(tǒng)一的巨大的hash表，它能夠用來(lái)存儲(chǔ)各種格式的數(shù)據(jù)，包括圖

像、視頻、文件以及數(shù)據(jù)庫(kù)檢索的結(jié)果等。簡(jiǎn)單的說就是將數(shù)據(jù)調(diào)用到內(nèi)存中，

然后從內(nèi)存中讀取，從而大大提高讀取速度。

.2.2Memcached工作流程

—>苜次訪問：從RDBMS中取得數(shù)據(jù)保存到memcached

—>第二;次后:從memcached中取得數(shù)據(jù)顯示頁(yè)面

1、先檢查客戶端的請(qǐng)求數(shù)據(jù)是否在memcached中，如有，直接把請(qǐng)求數(shù)據(jù)

返回，不再對(duì)數(shù)據(jù)庫(kù)進(jìn)行任何操作；

2、如果請(qǐng)求的數(shù)據(jù)不在momcached中，就去查數(shù)據(jù)庫(kù)，把從數(shù)據(jù)庫(kù)中獲取

的數(shù)據(jù)返回給客戶端，同時(shí)把數(shù)據(jù)緩存一份到memcached中；

3、每次更新數(shù)據(jù)庫(kù)的同時(shí)更新memcached中的數(shù)據(jù)，保證一致性；

4、當(dāng)分配給memcached內(nèi)存空間用完之后,會(huì)使用LRU（LeastRecently

Used,最近最少使用）策略加上到期失效策略，失效數(shù)據(jù)首先被替換，然后再替

換掉最近未使用的數(shù)據(jù)。

13

L.3Memcached特點(diǎn)

數(shù)據(jù)僅存在于內(nèi)存中，宕機(jī)或重啟數(shù)據(jù)將全部失效。

內(nèi)容數(shù)據(jù)達(dá)到啟動(dòng)時(shí)設(shè)定內(nèi)存指定值后、基于LRU算法刪除緩存，LAZY模

式、可指定最大內(nèi)存用量。

實(shí)際瓶頸在于網(wǎng)絡(luò)連接、占應(yīng)較少的CPU資源。

服務(wù)器端無(wú)分飾式功能（C開發(fā)）、取決于客戶端的實(shí)現(xiàn)（php、C#、java）、可

布署多臺(tái)服務(wù)器，訪問時(shí)做個(gè)均衡策略如根據(jù)IP分配連接負(fù)載。

存儲(chǔ)的節(jié)點(diǎn)數(shù)據(jù)鍵名250字節(jié)、鍵值限制在1MB、只適合普通字符串、作

為小規(guī)模的數(shù)據(jù)分布式平臺(tái)是十分有效果。

32位機(jī)器單進(jìn)程使用最大內(nèi)存2G、可分多個(gè)端口開啟多進(jìn)程支持、64位機(jī)

器可認(rèn)為無(wú)上限。

.2.4Memcached高可用

Memcached一般配合keepalived實(shí)現(xiàn)高可用,兩個(gè)節(jié)點(diǎn),一主一從。如果

主宕機(jī)，keepalived會(huì)立即將備節(jié)點(diǎn)提升至主狀態(tài)。雖然服務(wù)是高可用的，但

是數(shù)據(jù)無(wú)法進(jìn)行共享。

存儲(chǔ)管理服務(wù)設(shè)計(jì)概要

存儲(chǔ)管理服務(wù)：提供存儲(chǔ)系統(tǒng)統(tǒng)一管理服務(wù)，如塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存

儲(chǔ)等。存儲(chǔ)管理服務(wù)屏蔽了底層存儲(chǔ)系統(tǒng)的差異，可以從全局角度統(tǒng)籌資源，同

時(shí)為上層如內(nèi)容管理等提供更大的查詢檢索范圍。

.1定義

為業(yè)務(wù)JL具提供文件實(shí)例的創(chuàng)建、杳詢、修改、刪除功能；提供存儲(chǔ)路徑的

設(shè)置。

1.1.L4.2職能

對(duì)文件實(shí)例進(jìn)行增刪改查。

提供存儲(chǔ)空間的查詢。

14

提供存儲(chǔ)路徑的增刪改杳。

提供文件類型的增刪改查。

.3產(chǎn)品形態(tài)

產(chǎn)品軟件，可獨(dú)立部署帶前端界面；

服務(wù)，以API接口方式提供數(shù)據(jù)。

第2節(jié)IAAS層技術(shù)架構(gòu)設(shè)計(jì)

1.2.1存儲(chǔ)資源設(shè)計(jì)

非編制作存儲(chǔ)設(shè)備本次選型EMCX410設(shè)備5個(gè)節(jié)點(diǎn)，采用分布式集群NAS

存儲(chǔ)設(shè)備，有效容量5U/1B,有效帶寬35UUMB/3;

全媒體共享資源庫(kù)存儲(chǔ)本次選型EMCX210設(shè)備6個(gè)節(jié)點(diǎn)，采用分布式集群

NAS存儲(chǔ)設(shè)備，有效容量205TB,有效帶寬1200MB/S；

省網(wǎng)絡(luò)大廈制作存儲(chǔ)選型精一科技的F1S5116X-D4TNLSAS72*16,采用分布

式集群NAS存儲(chǔ)設(shè)備，有效容量40TB,有效帶寬800MB/S；

歸檔藍(lán)光盤庫(kù)容量配置540TB,有效容量450TB。

非編制作存儲(chǔ)設(shè)備設(shè)計(jì)

系統(tǒng)存儲(chǔ)空間支持扁平化多副本方式存儲(chǔ)。節(jié)點(diǎn)負(fù)載均衡：任意節(jié)點(diǎn)的任意

服務(wù)出現(xiàn)故障，都能實(shí)現(xiàn)服務(wù)能力的自動(dòng)漂移，故障切換時(shí)間不超過5So滿足

XX電視臺(tái)所有電視新聞節(jié)目的生產(chǎn)、制作、數(shù)據(jù)遷移、素材存儲(chǔ)等各個(gè)功能模

塊的需求。

存儲(chǔ)是一個(gè)系統(tǒng)的核心設(shè)備，所以需要從存儲(chǔ)的可靠性、安全性、擴(kuò)展性等

方面進(jìn)行考慮。非編工作站按4層100Mbps碼率計(jì)算存儲(chǔ)所需的峰值帶寬。

根據(jù)發(fā)展需要，預(yù)留一定的帶寬。

本次配置非編制作存儲(chǔ)設(shè)備節(jié)點(diǎn)數(shù)量5個(gè)，每個(gè)節(jié)點(diǎn)物理容量144TB,可

根據(jù)業(yè)務(wù)發(fā)展的需要以及系統(tǒng)的設(shè)計(jì)需要，對(duì)帶寬和容量進(jìn)行線性擴(kuò)展，支持在

15

線擴(kuò)展。所有存儲(chǔ)設(shè)備采用分布式NAS架構(gòu)。

存儲(chǔ)的安全：所有節(jié)點(diǎn)的硬件采用冗余配置，支持熱插拔，任何一個(gè)設(shè)備出

現(xiàn)故障均不會(huì)影響到整個(gè)系統(tǒng)，出現(xiàn)故障的設(shè)備可在線更換。任何一個(gè)節(jié)點(diǎn)掉線

都不影響數(shù)據(jù)訪問。存儲(chǔ)系統(tǒng)提供詳細(xì)管理功能、完善的日志系統(tǒng)、以及自動(dòng)報(bào)

警功能。

.1產(chǎn)品選型配置

EMCisilon集群分布式存儲(chǔ)系統(tǒng)

X410存儲(chǔ)節(jié)點(diǎn)配置：

采用多活式存儲(chǔ)架構(gòu)，配置5個(gè)橫向擴(kuò)展集群存儲(chǔ)系統(tǒng)控制相，320GB緩存,

非SSD或閃存卡模擬；配置10個(gè)萬(wàn)兆光口，10個(gè)千兆接口，10個(gè)40GbIB接口，

提供各類N「S、CI「S、「TP、HTTP、Swift、HD「S等數(shù)據(jù)訪問接口，客戶端無(wú)需安

裝任何軟件可直接通過多種協(xié)議訪問存儲(chǔ)上同一份數(shù)據(jù)；

硬盤配置：

本次配置5個(gè)節(jié)點(diǎn)5*36塊=180塊4TB企業(yè)級(jí)SATA硬盤容量空間。單一

文件系統(tǒng)最大支持260PB存儲(chǔ)容量；

集群網(wǎng)絡(luò)配置：

本次集群存儲(chǔ)系統(tǒng)配置2個(gè)8口40GbIB交換機(jī)。

軟件功能配置：

配置OneFS存儲(chǔ)專用操作系統(tǒng)，統(tǒng)一命名存儲(chǔ)空間，簡(jiǎn)化用戶使用方式；具

備集群存儲(chǔ)系統(tǒng)橫向擴(kuò)展功能，可在線進(jìn)行存儲(chǔ)容量和性能的提升；具備Access

Zones安全多分區(qū)功能，針對(duì)各個(gè)業(yè)務(wù)系統(tǒng)進(jìn)行合理分區(qū)劃分，提升各業(yè)務(wù)系統(tǒng)

整體安全性；配置.Smartconnect負(fù)載均衡功能，實(shí)現(xiàn)前端業(yè)務(wù)應(yīng)用均衡處理，

提升存儲(chǔ)系統(tǒng)性能，并提升鏈路安全性：具備集群N+M數(shù)據(jù)保護(hù)技術(shù)，提升存

儲(chǔ)系統(tǒng)可靠性；存儲(chǔ)配置SmartQuotas存儲(chǔ)配額軟件，可實(shí)現(xiàn)存儲(chǔ)空間細(xì)粒度劃

分，實(shí)現(xiàn)存儲(chǔ)多租戶管理功能；

服務(wù)：3年7X24小時(shí)硬件原廠服務(wù)。

注：配置含一套EMC原廠機(jī)柜和2塊4TB冷備硬盤

16

L產(chǎn)品功能

EMCisilon集群存儲(chǔ)系統(tǒng)面向各種應(yīng)用場(chǎng)景具備不同的X系歹ij（具備高帶寬能

力）、S系列（具備高IOPS能力）、NL（具備大容量能力）、HD（具備超大容量、

高密度能力）系列等多種硬件平臺(tái)，但是所有的硬件平臺(tái)均采用統(tǒng)一的OneFS

操作系統(tǒng)。EMCisilon集群存儲(chǔ)系統(tǒng)可以是基于S或NL系列的存儲(chǔ)系統(tǒng)也可以是

X系列或者HD系列存儲(chǔ)集群，存儲(chǔ)網(wǎng)絡(luò)支持千兆、萬(wàn)兆等不同鏈路。也就是說

一套小型的EMCisilon集群存儲(chǔ)系統(tǒng)就可以滿足不同的性能、容量要求。同時(shí)EMC

isilon存儲(chǔ)系統(tǒng)還具備如下產(chǎn)品特性：

平臺(tái)構(gòu)建靈活——靈活起步，降低初期和日后投資成本

EMCisilon集群存儲(chǔ)系統(tǒng)面向各種應(yīng)用場(chǎng)景具備不同的X系列（具備高帶寬能

力）、S系列（具備高IOPS能力）、NL（具備大容量能力）、HD（具備超大容量、

高密度能力）系列等多種硬件平臺(tái)，但是所有的硬件平臺(tái)均采用統(tǒng)一的OneFS

操作系統(tǒng)。EMCisilon集群存儲(chǔ)系統(tǒng)可以由X系列產(chǎn)品組成，也可以采用S或NL

系列，甚至是HD系列構(gòu)建EMCisilon集群存儲(chǔ)。這些不同系列的產(chǎn)品組合而成

的isilon存儲(chǔ)系統(tǒng)具備完全具備同樣的功能。

Isilon湍料端橫向擴(kuò)展存儲(chǔ)鯽決"案,由OneFS卷⑴系繪扭供支號(hào).

可為用戶槌供廣泛的這項(xiàng)以演足特過的療儲(chǔ)需圾

因此，用戶初期購(gòu)買一套簡(jiǎn)單初級(jí)的設(shè)備就可以滿足自己靈活、多變的需

求，日后隨著業(yè)務(wù)的發(fā)展以及數(shù)據(jù)量的增長(zhǎng)將核心存儲(chǔ)平臺(tái)進(jìn)行容量和性能上的

升級(jí)。另外值得一提的是，日后在進(jìn)行集群存儲(chǔ)系統(tǒng)擴(kuò)容或性能升級(jí)時(shí)，EMC

isilon集群存儲(chǔ)架構(gòu)都能夠充分保證各業(yè)務(wù)的獨(dú)立和安全，并且可以隨時(shí)動(dòng)態(tài)的

保持容量、性能負(fù)載均衡，即時(shí)調(diào)整容量和壓力。通過軟、硬件平臺(tái)的多樣優(yōu)化

17

選擇，既能滿足用戶的實(shí)際應(yīng)用需求，還可以最大程度上降低用戶的初期和日后

投資成本。

單一命名空間——集中化共享虛擬存儲(chǔ)池，使用管理方便

EMCisilon集群存儲(chǔ)系統(tǒng)架構(gòu)可以智能地將數(shù)據(jù)打散存放到每個(gè)數(shù)據(jù)引擎上,

通過每個(gè)數(shù)據(jù)引擎創(chuàng)建一個(gè)集中化的共享虛擬存儲(chǔ)池，可提供超過2OPB的全局

單一的命名空間。全局單一命名空間使前端編輯人員、使用人員直接對(duì)虛擬資源

池進(jìn)行讀寫和管理，而無(wú)需考慮數(shù)據(jù)在存儲(chǔ)設(shè)備中的存放模式，與傳統(tǒng)的NAS

存儲(chǔ)系統(tǒng)相比，簡(jiǎn)化了海量數(shù)據(jù)存儲(chǔ)和管理的復(fù)雜性；另外，單一命名空間其容

量可以近乎無(wú)限的擴(kuò)大，突破了以前廣電用戶所要面臨的操作系統(tǒng)單一目錄不能

超過2TB的限制，為高清大視頻文件的存儲(chǔ)帶來(lái)了便利。

構(gòu)建企業(yè)數(shù)據(jù)湖——縮短業(yè)務(wù)整體處理流程，提升效率，降低風(fēng)險(xiǎn)

隨著'業(yè)務(wù)的發(fā)展，應(yīng)用的轉(zhuǎn)變，目前越來(lái)越多的政府、企業(yè)、學(xué)校等組織架

構(gòu)需要存儲(chǔ)以及處理越來(lái)越多的數(shù)據(jù)。在復(fù)雜的應(yīng)用場(chǎng)景和海量的數(shù)據(jù)規(guī)模下，

當(dāng)前傳統(tǒng)的IT架構(gòu)越來(lái)越顯得束手無(wú)策。這是由于當(dāng)前IT架構(gòu)存在以下幾種問

題：

數(shù)據(jù)孤島——存在投資浪費(fèi)且日后無(wú)法進(jìn)行數(shù)據(jù)挖掘

由于之前企、業(yè)發(fā)展、應(yīng)用建設(shè)模式的原因，之前IT組織在進(jìn)行業(yè)務(wù)系統(tǒng)架

構(gòu)時(shí)，大多會(huì)為每個(gè)業(yè)務(wù)系統(tǒng)、部門、甚至個(gè)人應(yīng)用建設(shè)一套IT設(shè)施。每個(gè)系

統(tǒng)的數(shù)據(jù)均存放在不同的數(shù)據(jù)平臺(tái)上，因此就產(chǎn)生了數(shù)據(jù)孤島。之前的這種“孤

島，，或，，豎井”式IT架構(gòu)實(shí)際上導(dǎo)致了資源的浪費(fèi)，硬件設(shè)備的重復(fù)建設(shè)，同

時(shí)數(shù)據(jù)資源分散在多個(gè)孤島上，不利丁業(yè)務(wù)流程的開展，同時(shí)日后更加無(wú)法有效

開展對(duì)企業(yè)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、數(shù)據(jù)尋寶的1：作。

另一方面，由于現(xiàn)今業(yè)務(wù)流程往往涉及到多個(gè)組織、多個(gè)應(yīng)用，此時(shí)就會(huì)有

數(shù)據(jù)共享或數(shù)據(jù)讀取的需求產(chǎn)生。顯然數(shù)據(jù)孤島的這種架構(gòu)就會(huì)帶來(lái)了第二個(gè)數(shù)

據(jù)共享的問題。

跨平臺(tái)數(shù)據(jù)共享、訪問效率低下

18

當(dāng)前IT企業(yè)中，多個(gè)不同的業(yè)務(wù)系統(tǒng)往往采用多種不同的操作系統(tǒng)

（Windows、Unix、Linux）,不同的數(shù)據(jù)訪問模式（SAN、QFS、NFS）。而之前的

“數(shù)據(jù)孤島”式的IT架構(gòu)將數(shù)據(jù)資源分散在了一個(gè)個(gè)不同的環(huán)境、不同讀取方

式下的數(shù)據(jù)平臺(tái)上。因此跨平臺(tái)的數(shù)據(jù)共享、數(shù)據(jù)訪問的效率不僅低下，而且為

了解決某些特定應(yīng)用無(wú)法進(jìn)行數(shù)據(jù)共享的問題，往往還會(huì)建造一種數(shù)據(jù)擺渡系統(tǒng)。

而這種做法無(wú)疑更加導(dǎo)致了投資的浪費(fèi)，降低了業(yè)務(wù)處理能力。

數(shù)據(jù)保護(hù)低下

由于采用“數(shù)據(jù)孤島”式的構(gòu)架，往往相同的文件內(nèi)容以多種存放格式（比

如ntfs、ext4）存儲(chǔ)在多個(gè)硬件設(shè)備上。此時(shí)我們要對(duì)這些相同的文件采用不同

的數(shù)據(jù)保護(hù)方式（比如raid、快照、復(fù)制、備份等），這導(dǎo)致了我們數(shù)據(jù)備份、

數(shù)據(jù)保護(hù)資源的浪費(fèi)，增加了我們IT的整體投入成本。

因此基于以上這種架構(gòu)不夠靈活的數(shù)據(jù)平臺(tái)，EMCisilon存儲(chǔ)可以特地幫用

戶構(gòu)建自己的一套企業(yè)數(shù)據(jù)湖。數(shù)據(jù)湖可以幫助我們企業(yè)提升業(yè)務(wù)整體效率，避

免投資浪費(fèi)，減少業(yè)務(wù)，提供一套完整的數(shù)據(jù)保批措施。

用戶可以通過EMCisilon存儲(chǔ)構(gòu)建一個(gè)企業(yè)內(nèi)部的數(shù)據(jù)融合環(huán)境一一數(shù)據(jù)湖。

首先EMCisilon數(shù)據(jù)湖規(guī)避了原有的這種數(shù)據(jù)孤島的方式，他可以將各種不同類

型的數(shù)據(jù)均存放在后臺(tái)的EMCisilon存儲(chǔ)空間中。并且EMCisilon存儲(chǔ)的數(shù)據(jù)湖

具備多種不同的訪問模式和訪問接口，用戶和前端各種不同類型的應(yīng)用可以以多

種不同的訪問方式方便快捷的訪問后臺(tái)的數(shù)據(jù)湖中的數(shù)據(jù)。同時(shí)由于數(shù)據(jù)存放在

19

數(shù)據(jù)湖中，我們可以按照各種不同的應(yīng)用、數(shù)據(jù)類型，提供統(tǒng)一的數(shù)據(jù)保護(hù)模式

和生命周期管理。

EMCisilon數(shù)據(jù)湖具備多種訪問模式

EMCisilon存儲(chǔ)所構(gòu)建的企業(yè)數(shù)據(jù)湖不僅具條諸如面向windows平臺(tái)的CIFS

數(shù)據(jù)訪問接口，面向Unix、Linux平臺(tái)的NFS接口以及通用的FTP、HTTP等數(shù)據(jù)

訪問接口，而且還能提供面向大數(shù)據(jù)分析平臺(tái)的HDFS訪問接口以及云計(jì)算平臺(tái)

下S3、Swift接口。如果我們的企業(yè)構(gòu)建了一套自己的數(shù)據(jù)湖，當(dāng)前端的業(yè)務(wù)終

端（windows平臺(tái)）將采集到的數(shù)據(jù)可直接通過CIFS的訪問模式直接在應(yīng)用系統(tǒng)

上將數(shù)據(jù)存放在后臺(tái)的數(shù)據(jù)湖中，而此時(shí)IT系統(tǒng)內(nèi)部的Linux、Unix業(yè)務(wù)服務(wù)器

可通過自己的訪問方式直接讀取后臺(tái)數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行業(yè)務(wù)處理，而無(wú)需進(jìn)行

數(shù)據(jù)流轉(zhuǎn)。同時(shí)企業(yè)內(nèi)部的分析平臺(tái)、數(shù)據(jù)挖掘平臺(tái)也可就地、立刻進(jìn)行數(shù)據(jù)分

析，而不用進(jìn)行數(shù)據(jù)擺渡。而分析的結(jié)果也可立刻的被前端的展示平臺(tái)（服務(wù)器

或移動(dòng)終端）將數(shù)據(jù)結(jié)果進(jìn)行實(shí)時(shí)的展現(xiàn)。這樣可極大的提升業(yè)務(wù)效率。另一方

面EMCisilon構(gòu)建的企業(yè)數(shù)據(jù)湖不僅能夠和現(xiàn)有企業(yè)內(nèi)部IT架構(gòu)進(jìn)行整合，也可

和公有云或日后企業(yè)的構(gòu)建的私有云進(jìn)行整合。

EMCisilon數(shù)據(jù)湖降低風(fēng)險(xiǎn)

由于數(shù)據(jù)是存儲(chǔ)在后臺(tái)數(shù)據(jù)湖中的，因此我們可以提供統(tǒng)一的數(shù)據(jù)保護(hù)方式,

采用統(tǒng)一的數(shù)據(jù)保護(hù)模式的好處在于我們可以有效利用數(shù)據(jù)備份資源，減少不必

20

要的資源浪費(fèi)，降低IT投入，減少運(yùn)維成本。而在這種統(tǒng)一的數(shù)據(jù)保護(hù)模式下，

EMCisilon數(shù)據(jù)湖可根據(jù)不同的應(yīng)用級(jí)別，不同的數(shù)據(jù)類型提供不同的數(shù)據(jù)保護(hù)

方式（諸如：N+M保護(hù)、快照、備份、容災(zāi)等）。進(jìn)而提升企業(yè)內(nèi)部整體數(shù)據(jù)的

安全性。

EMCisilon數(shù)據(jù)湖降低整體投資，提升整體管理性

當(dāng)前企業(yè)內(nèi)部中存在著大量的歷史數(shù)據(jù)和非活躍數(shù)據(jù)，而這些數(shù)據(jù)往往都會(huì)

占據(jù)存儲(chǔ)大部分資源，高端存儲(chǔ)尤為如此。而傳統(tǒng)的IT孤島往往對(duì)此束手無(wú)策,

而構(gòu)建了EMCisilon的數(shù)據(jù)湖之后，EMCisilon存儲(chǔ)內(nèi)部的數(shù)據(jù)湖可根據(jù)數(shù)據(jù)的

活躍程度，數(shù)據(jù)的生命周期情況，將數(shù)據(jù)直接歸檔在數(shù)據(jù)湖內(nèi)部中的便宜、大容

量的歸檔空間內(nèi)。這樣我們就可以極大的提升我們的存儲(chǔ)資源，降低我們后續(xù)的

采購(gòu)成本。另一方面，我們依據(jù)生命周期的管理思路，采用統(tǒng)一的管理模式可極

大的提升IT數(shù)據(jù)平臺(tái)的整體管理性，降低運(yùn)維成本。

Scale-out橫向擴(kuò)展一一性能和容量隨集群規(guī)模二維增長(zhǎng)

不同于傳統(tǒng)的Scale-up（縱向擴(kuò)展）的單個(gè)設(shè)備向更強(qiáng)大的CPU、內(nèi)存、通

道及其他設(shè)備擴(kuò)展的方式，Scale-out橫向擴(kuò)展則是通過一定的技術(shù)將一個(gè)個(gè)獨(dú)立

的設(shè)備聚合成?個(gè)大而強(qiáng)的系統(tǒng)。對(duì)丁?用戶來(lái)講，Scale-up架構(gòu)的存儲(chǔ)系統(tǒng)其設(shè)

備處理能力上限在購(gòu)買時(shí)已經(jīng)確定，如果需求超過上限，只能重新購(gòu)買更高性能

的設(shè)備；而Scale-out架構(gòu)的系統(tǒng)可以采用搭積木的方式，通過把成百個(gè)體聚合

起來(lái)，來(lái)滿足不斷增長(zhǎng)的存儲(chǔ)容量和性能的需求,而EMCisilon集群存儲(chǔ)系統(tǒng)是

一款基于Scale-out架構(gòu)下同時(shí)提供IP-SAN訪問連接和NAS數(shù)據(jù)使用方式的高端

存儲(chǔ)系統(tǒng)，其存儲(chǔ)性能和容量可以按需進(jìn)行動(dòng)態(tài)寸展。

21

由于采用了Scale-out橫向動(dòng)態(tài)擴(kuò)展技術(shù)，EMCisilon集群存儲(chǔ)系統(tǒng)可以為用

戶提供如下好處：打破了傳統(tǒng)存儲(chǔ)架構(gòu)的擴(kuò)展限制，容量最大可超過20PB,同

時(shí)可以保證存儲(chǔ)系統(tǒng)容量和性能的均衡，可以很好的滿足廣電用戶未來(lái)隨業(yè)務(wù)增

長(zhǎng)所帶來(lái)的海量數(shù)據(jù)的存儲(chǔ)空間和帶寬的需求；避免由于用戶需求的不斷增長(zhǎng)而

帶來(lái)的數(shù)據(jù)遷移和應(yīng)用中斷的問題，可隨業(yè)務(wù)需求變化而動(dòng)態(tài)調(diào)整資源，帶寬、

處理能力和存儲(chǔ)容量都可以實(shí)時(shí)調(diào)整和擴(kuò)展；所有擴(kuò)容操作均可以在線進(jìn)行，無(wú)

須中斷應(yīng)用的正常執(zhí)行。

集成的數(shù)據(jù)保護(hù)、容錯(cuò)機(jī)制——提供始終如一的高可用性

一般來(lái)說為保護(hù)存儲(chǔ)上寶貴的信息資源免遭殞壞，都將采用raid技術(shù)，而傳

統(tǒng)的raid技術(shù)，包括raid4、raid5,在過去很長(zhǎng)一段時(shí)期中都能基本滿足需求，

提供單個(gè)磁盤驅(qū)動(dòng)器發(fā)生故障時(shí)的數(shù)據(jù)保護(hù)。但是廣電用戶采用海量的大容量磁

盤驅(qū)動(dòng)器，發(fā)生第二塊、第三塊磁盤故障的概率大增。面密度以將近100%的復(fù)

合年增長(zhǎng)率在不斷加大，但是磁盤驅(qū)動(dòng)器的可靠性和性能并沒有同步提高，而且

由于大容量磁盤需要更長(zhǎng)的RAID重建時(shí)間，極大地增加了同時(shí)發(fā)生幾個(gè)磁盤故

障的可能性，數(shù)據(jù)丟失的風(fēng)險(xiǎn)不可小視。再者傳統(tǒng)的raid*raid5技術(shù)無(wú)法對(duì)整

體存儲(chǔ)性能帶來(lái)明顯的提升，實(shí)際上傳統(tǒng)存儲(chǔ)系統(tǒng)將用戶的數(shù)據(jù)置于危險(xiǎn)和低性

能環(huán)境之中。

而EMCisilon集群存儲(chǔ)采用優(yōu)于傳統(tǒng)raid技術(shù)的統(tǒng)一數(shù)據(jù)保護(hù)方式，EMC

22

isilon集群存儲(chǔ)系統(tǒng)采用OneFS操作系統(tǒng)，OneFS不依賴基于硬件的RAID技術(shù)來(lái)

提供數(shù)據(jù)保護(hù)。相反，OneFS包含核心技術(shù)FlexProtect,此技術(shù)基于可靠的數(shù)學(xué)

構(gòu)造，并利用Reed-Solomon編碼來(lái)提供冗余和可用性。FlexProtect可以提供針

對(duì)最多四個(gè)同時(shí)發(fā)生的全節(jié)點(diǎn)或單個(gè)驅(qū)動(dòng)器的故障的保護(hù)，并且在群集規(guī)模擴(kuò)展

時(shí)，F(xiàn)lexProtect可以滿足確保將單個(gè)故障的重新構(gòu)建時(shí)間縮至最短這一要求。

OneFS傳統(tǒng)

RAID

4個(gè)以上的節(jié)點(diǎn)故障單個(gè)頭部故障

4個(gè)以上的驅(qū)動(dòng)器故障2個(gè)驅(qū)動(dòng)淵故障

N路恢復(fù)能力

FlexProtect是OneFS中的一項(xiàng)重要?jiǎng)?chuàng)新技術(shù)，它采用特定于文件的方法來(lái)實(shí)

現(xiàn)數(shù)據(jù)保護(hù)，為每個(gè)文件單獨(dú)存儲(chǔ)保護(hù)信息。這種獨(dú)立保護(hù)允許將保護(hù)數(shù)據(jù)連同

文件數(shù)據(jù)一起散布在整個(gè)群集中，從而在需要時(shí)大幅提高數(shù)據(jù)訪問和重建的潛在

并行度。在Isilon存儲(chǔ)系統(tǒng)中存在節(jié)點(diǎn)或驅(qū)動(dòng)器故障時(shí)，F(xiàn)lexProtect能夠確定文

件的哪些部分受故障的影響，并讓多個(gè)節(jié)點(diǎn)僅參與受影響的文件的重新構(gòu)建。由

于OneFS中的Autobalance功能將文件散布在整個(gè)群集中，可用來(lái)重新構(gòu)建文件

的磁盤軸和CPU數(shù)量遠(yuǎn)超過典型硬件RAID實(shí)施中可用的數(shù)量。此外，F(xiàn)lexProtect

不需要在單個(gè)備用驅(qū)動(dòng)器上重新構(gòu)建數(shù)據(jù)（RAID采用此方法造成不可避免的瓶

頸）；相反，文件數(shù)據(jù)是在可用空間中重新構(gòu)建的，從而提供了虛擬〃熱備盤〃。

OneFS中的FlexProtect功能可以識(shí)別文件，因此它還提供了特定于文件的保

護(hù)功能?？梢詾閱蝹€(gè)文件（更常見的是某個(gè)目錄）提供特定的保護(hù)級(jí)別，并按照

與數(shù)據(jù)或工作流的重要性級(jí)別保護(hù)文件系統(tǒng)的不同部分。關(guān)鍵數(shù)據(jù)可以獲得更高

的保護(hù)級(jí)別，而不太關(guān)鍵的數(shù)據(jù)可以獲得較低的保護(hù)級(jí)別。這為存儲(chǔ)管理員提供

23

了非常精確的保護(hù)/容量權(quán)衡，可在群集擴(kuò)展和工作流過時(shí)的時(shí)候動(dòng)態(tài)調(diào)整。

結(jié)論

存儲(chǔ)系統(tǒng)中的可擴(kuò)展性、高性能、易管理性和數(shù)據(jù)保護(hù)非常關(guān)鍵，這樣才能

滿足用戶需求。借助EMCisilon集群存儲(chǔ)的OneFS操作系統(tǒng)，管理員只需使用單

個(gè)管理點(diǎn)，即可在單一文件系統(tǒng)最大支持260PB存儲(chǔ)容量。

SmartPools"OneFS@InsightlQ",

操作系統(tǒng)軟件

SmartQuotasSynclQ

SnapshotlQAsperaforIsilonIQSmartConnect

IsilonforvCenter

由EMCisilon集群存儲(chǔ)系統(tǒng)構(gòu)建的整體解決方案實(shí)現(xiàn)了高性能、統(tǒng)一數(shù)據(jù)使

用、統(tǒng)一存儲(chǔ)管理、統(tǒng)一數(shù)據(jù)保護(hù)、零數(shù)據(jù)升級(jí)遷移、容量和性能無(wú)限平滑擴(kuò)展

的企業(yè)數(shù)據(jù)湖構(gòu)建。

.3產(chǎn)品特點(diǎn)

系統(tǒng)存儲(chǔ)空間支持扁平化多副本方式存儲(chǔ)。

節(jié)點(diǎn)負(fù)載均衡：任意節(jié)點(diǎn)的任意服務(wù)出現(xiàn)故障，都能實(shí)現(xiàn)服務(wù)能力的自動(dòng)漂

移，故障切換時(shí)間不超過5so

滿足XX電視臺(tái)所有電視新聞節(jié)目的生產(chǎn)、制作、數(shù)據(jù)遷移、素材存儲(chǔ)等各

個(gè)功能模塊的需求。存儲(chǔ)是一個(gè)系統(tǒng)的核心設(shè)備，所以從存儲(chǔ)的可靠性、安全

性、擴(kuò)展性等方面進(jìn)行考慮。非編工作站按4層100Mbps碼率計(jì)算存儲(chǔ)所需

的峰值帶寬。根據(jù)發(fā)展需要，預(yù)留一定的帶寬。本次配置非編制作存儲(chǔ)設(shè)備節(jié)點(diǎn)

數(shù)量5個(gè)，每個(gè)節(jié)點(diǎn)物理容量144TB。

后續(xù)根據(jù)XX電視臺(tái)業(yè)務(wù)發(fā)展的需要以及系統(tǒng)的設(shè)計(jì)需要，對(duì)帶寬和容量進(jìn)

行線性擴(kuò)展，支持在線擴(kuò)展。所有存儲(chǔ)設(shè)備采用分布式NAS架構(gòu)。

存儲(chǔ)的安全：所有節(jié)點(diǎn)的硬件采用冗余配置，支持熱插拔，任何一個(gè)設(shè)備出

現(xiàn)故障均不會(huì)影響到整個(gè)系統(tǒng)，出現(xiàn)故障的設(shè)備可在線更換。任何一個(gè)節(jié)點(diǎn)掉線

24

都不影響數(shù)據(jù)訪問。存儲(chǔ)系統(tǒng)提供詳細(xì)管理功能、完善的日志系統(tǒng)、以及自動(dòng)報(bào)

警功能。存儲(chǔ)系統(tǒng)支持多副本及跨節(jié)點(diǎn)RAID技術(shù)：全局?jǐn)?shù)據(jù)靈活多級(jí)別冗余設(shè)

置數(shù)據(jù)保護(hù)，最大可達(dá)N+4保護(hù)級(jí)別或8倍副本鏡像保護(hù)?？梢愿鶕?jù)數(shù)據(jù)重要

性對(duì)存儲(chǔ)系統(tǒng)中的不同目錄（存儲(chǔ)系統(tǒng)中的任意目錄）靈活調(diào)節(jié)冗余度等功能，允

許在線更改保護(hù)機(jī)制，不影響應(yīng)用使用，管理界面截圖：

[?Min]Toter*faiureof2Owes81node(Sm^ested)

卜涮―hftxtof2dr?mOR2no<m

【?3dmjkter*ftMeof3drwwOR1node

StorageP(?3ctIMd]kterMeraft?eof3drwesOR.1nodeAM)15ve

(?3n)ktertfeof3(tvmOR3nodn

【川皿』*，3?549wt?0R1no(M

Summary

I*2n]kier*64OR2nodes

WlBfOR4nodMf

Tiers&hocRK]Mnoredo^r2nodeF

㈤Mnoredotr3noclwsiontdSSDOtves

Meme(4x)Mnored4noctesryandthatallnodet>pes

■*200.24(Sx)Mrrcredo*er$nodes

(6xjMncredo^r6nodtt

[7x]5er7

jT8?jMrrc*ed(r?r8nodes

I*MIn]kAwfaAjreoT

NodePoolMetrics

非OEM產(chǎn)品，擁有自主知識(shí)產(chǎn)權(quán)；企業(yè)級(jí)高端分布式集群NAS存儲(chǔ)設(shè)備,

采用橫向擴(kuò)展集群存儲(chǔ)架構(gòu)，同一集群支持144個(gè)節(jié)點(diǎn)擴(kuò)展，全Active并行集群

模式，所有節(jié)點(diǎn)功能一致、地位均等、數(shù)據(jù)均衡分布。無(wú)單獨(dú)元數(shù)據(jù)節(jié)點(diǎn)，無(wú)單

獨(dú)管理節(jié)點(diǎn)；節(jié)點(diǎn)數(shù)量/文件系統(tǒng)可在線動(dòng)態(tài)擴(kuò)展，容量與性能隨著擴(kuò)展同步增

加；EMC具有自有知識(shí)產(chǎn)權(quán)和開發(fā)產(chǎn)品能力，非OEM；

/bin/showfield?f=doc&state=4807:dgo6kx.2.1

25

UnitwlTradecvuirltOfGce

HoaaeM?rIntinSearriifAQGtoM?ryGutaie^CnMMt?HluUneM*114/*rt,Mew?Hr^

Trademarks>TrademarkElectronicSearchSystem(TESS)

1SS”5?&upci^ort3g.Jf8￡Z)r201T

HCZQH

LogcxAPleasek)goufwtienyouredoneioreleasesystemresourcesallocatedforyou.

xuuAt：ORx<1>orecord：Record1outof2

TSDRis?!!nnnrnrw（gm?！ò?。他”皿，癡心”，。mum，。TES$）

ISILONSYSTEMS

13118SYSTEMS

3ood?andSe<v?c<s?C009g021023026036038GssCoo^uiorhx^rafoandwftnnr?namoljrtotgon!storagesystorecapobtoofnoewortoomnwea?on.ooi

USENCOMMERCE20010610

MarkDrawingCo^t<1>TYPtODRAWING

UfialNumber76MTWQ

(ilmgDM。AUQUM.2001

CurrentBasis

>?ginal，AngB?m18

>ublnhedf?OppovuonDoco*to<IS.2001

W”iUf*bcnNumber2467他

ntemattonalRegistration

087553

Mumbef

^egiMraboaOateDec<rr<?r3.2002

Owner(REGtS-RAMT?MonS>>s)cmsInc.CORPORATIONDELAWARE3101Wo?mnAwnuoSoattoWASHWGTON96121

(LASTUSTEOOWNER)EMCCoqxxatonCORPORADONMASSACHUSETTSX^SoJhStreetHoptontonMASSACHUSETTS01748

K*MgnmealRecordedASSIOWENTRECORDED

AttorneyofRecordJohnTJ?xtoy

3ncteimwNOCl/iMISMADETOTHEEXUUSrVERIGHTTOUSESYSTEMS'APARTFROMTHEMARKASSHOW)

M*ofMartTRAD61URK

PRINCIMl

KfMavrtTeitSCCT1$SECTe(6.YR)SECTION6(lO.YR)2Ol2O42e

Q?n?wal1STRENEWU201204W

.ivetOeadIndicatorUVC

支持NFS、QFS、HDFS、FTP、HTTP等公有協(xié)議，無(wú)須在服務(wù)器上安裝客戶

端即可訪問存儲(chǔ)數(shù)據(jù)，并且同一份數(shù)據(jù)可以被這些協(xié)議共同訪問；存儲(chǔ)作為整

體交付用戶，自帶內(nèi)部高速互聯(lián)設(shè)備和對(duì)外服務(wù)的數(shù)據(jù)訪問和管理接口；內(nèi)部交

換互聯(lián)為40GbInfiniband,冗余配置。

單卷或單文件系統(tǒng)容量最大支持?jǐn)U展至60PB；存儲(chǔ)系統(tǒng)支持多副本及跨節(jié)

點(diǎn)RAID技術(shù)：全局?jǐn)?shù)據(jù)靈活多級(jí)別冗余設(shè)置數(shù)據(jù)保護(hù)，最大可達(dá)N+4保護(hù)級(jí)

別或8倍副本鏡像保十。可以根據(jù)數(shù)