DS4700光纖磁盤產(chǎn)品白皮書

1、ibm® system storagetm ds4700 光纖磁盤產(chǎn)品白皮書存儲系統(tǒng)部ibm中國公司2009年目 錄概覽3ds4700優(yōu)勢5ds4700型號概要5硬件技術(shù)概覽6ds4700產(chǎn)品性能13ds4700 軟件功能14ds4000storagemanager存儲管理軟件14高級功能16storage partition存儲器分區(qū)16卷快照18卷拷貝20遠(yuǎn)程卷鏡像20rdac通道負(fù)載均衡功能22存儲總控中心ibm tpc23ds4700產(chǎn)品規(guī)格24概覽ibm 繼ds4800（model82, 84, 88） 4gbs產(chǎn)品推出一年后，又推出了中端ds4300的升級產(chǎn)品ds4700

2、（model70、model72）這使ibm成為市場上4gbs產(chǎn)品家族最多（達(dá)6個產(chǎn)品）、產(chǎn)品覆蓋面最廣（同時在中檔存儲的中、高端市場有多種4gb產(chǎn)品選擇）的存儲廠商。新產(chǎn)品ds4700除在存儲的前、后端采用4gb技術(shù)同時兼容2gb技術(shù)外，同時采用了更快速的cpu/內(nèi)部總線，更多的cache緩存，集成化的磁盤環(huán)路交換芯片，從而比原有產(chǎn)品提高至少60%的iops性能和1倍的帶寬吞吐；與此同時它又承繼了ibm ds4000系列產(chǎn)品的穩(wěn)定可靠、動態(tài)靈活擴(kuò)展、管理快捷方便，支持快照、數(shù)據(jù)遠(yuǎn)程復(fù)制等高端功能特性。ibm ds4000產(chǎn)品線：ds4700提供2個型號，型號70和72。70有4個4gb/s服

3、務(wù)器端接口,2gb緩存；72有8個4gb/s服務(wù)器端接口,和4gb緩存。兩個型號可以滿足客戶對中端san磁盤陣列存儲的不同需要。在以下文檔中，如果沒有特別指出，ds4700通指著兩個型號。ds4700集成了4gb/s fibre channel 技術(shù)，設(shè)計中涵蓋了當(dāng)前最高性能磁盤、強(qiáng)勁的xor引擎和豐富的存儲管理功能，以構(gòu)成一個具有創(chuàng)新性、堅固的、高性能的中端存儲系統(tǒng)。專為開放系統(tǒng)設(shè)計的ds4700，通過進(jìn)一步提到性價比，幫助it應(yīng)用獲得更快的io響應(yīng)能力，因此幫助提升客戶業(yè)務(wù)交易處理效率和提高最終用戶的滿意度。模塊化的設(shè)計，可以隨著業(yè)務(wù)的增長而靈活擴(kuò)容，大大降低初次擁有成本和擴(kuò)容成本。ds4

4、700可以在線擴(kuò)容到33.6tb光纖磁盤容量或56tb sata磁盤容量（最大磁盤數(shù)量112）。fc和sata磁盤可以混插。ds4700可以直接連接服務(wù)器（das）或通過存儲區(qū)域網(wǎng)絡(luò)（san）。ds4700無單點(diǎn)故障，高可靠性設(shè)計幫助用戶減少停機(jī)帶來的損失。ds4700具有廣泛的兼容性，可在各種軟硬件架構(gòu)下使用。ds4700優(yōu)勢速度 作為ds4300的升級換代產(chǎn)品，ds4700的結(jié)構(gòu)采用了更快速的處理器、更高速的內(nèi)外通道，更多緩存，集成的磁盤端交換式光纖結(jié)構(gòu)和4gb光纖技術(shù)。使得ds4700在iops（最大120000iops）和傳輸率（最大1500mb/s）兩方面都比前代產(chǎn)品性能有的突破性提

5、升。更緊湊的產(chǎn)品設(shè)計 在3u機(jī)柜高度的小小空間中，集成了雙控制器、雙電源、雙冷卻系統(tǒng)、雙備援電池，還有16個 3.5英寸熱插拔磁盤槽位。可以安裝fc或sata磁盤?？梢赃B接6個磁盤擴(kuò)展柜，如exp810擴(kuò)展柜，最大磁盤數(shù)量達(dá)112個。明智的價格 ds4700中可安裝磁盤的高密度控制器、更多的服務(wù)器端連接口和更多緩存帶來了優(yōu)越的性價比 兼容性 ds4700在前端和后端都有良好的兼容性。前端支持4gb/s,2gb/s和1gb/s不同速度的fc和san通道，支持幾乎所有主流操作系統(tǒng)平臺。后端磁盤除了可以采用4gb/s的exp810外，還可兼容原有2gb/s exp710擴(kuò)展柜。連接性 前端最大8個服

6、務(wù)器端口和后端4個磁盤端口，在數(shù)量上和帶寬上都比上代產(chǎn)品有一倍提升，因此總的帶寬比前代提高了4倍。ibm原廠3年24x7服務(wù)ds4700定位中端產(chǎn)品，但享有高端產(chǎn)品的服務(wù)待遇。產(chǎn)品包含3年 24 x 7 ibm 上門服務(wù)。ds4700型號概要ds4700有 72和70兩個型號，這兩個型號非產(chǎn)相象，差別主要在緩存大小，服務(wù)器端光纖口數(shù)量和標(biāo)配的分區(qū)個數(shù)。見下表中粗體即有差別項： ds4700 型號 72 ds4700 型號 70 8個 4 gb/s host ports4個 4 gb/s host ports4個 4 gb/s drive ports4個 4 gb/s drive ports4

7、gb 緩存2 gb緩存集成的xor引擎集成的xor引擎16 磁盤槽位16 磁盤槽位最大112磁盤 (6 個擴(kuò)展柜)最大112磁盤 (6 個擴(kuò)展柜)支持fc 和sata磁盤支持fc 和sata磁盤ds4000 storage manager 軟件ds4000 storage manager軟件分區(qū)(標(biāo)準(zhǔn)配置含8分區(qū)，最大64)分區(qū)（標(biāo)準(zhǔn)配置含2分區(qū)，最大64)flashcopy磁盤快照flashcopy磁盤快照volume copy卷克隆volume copy卷克隆enhanced remote mirroring遠(yuǎn)程復(fù)制enhanced remote mirroring遠(yuǎn)程復(fù)制混合 2 gb

8、和 4 gb 擴(kuò)展柜ds4700 支持2gb/s的exp710和4gb/s的exp810擴(kuò)展柜混合使用。當(dāng)然，在級連擴(kuò)展柜時，所有級連擴(kuò)展柜速度是統(tǒng)一的（2gb/s或4gb/s）?；旌?2gb 和 4gb 光纖磁盤ds4700可以在同一機(jī)柜中混合使用2gb/s 和4gb/s 磁盤。如果一個柜中同時有這兩種磁盤，整個柜子內(nèi)部和對外鏈路都降為2gb/s。硬件技術(shù)概覽所有ds4700的機(jī)柜都使用3u柜子，其主要部件如下。 控制器 電源/冷卻磁盤ds4700高性能磁盤系統(tǒng)提供端到端的 4gb/s fibre channel 結(jié)構(gòu)。在一個 3u 控制器機(jī)柜內(nèi)，可包含4.8tb 物理磁盤空間. 還有雙控制

9、器、雙電源、雙冷卻系統(tǒng)、雙備援電池和存儲管理系統(tǒng)。磁盤和各部件均可熱插拔。該產(chǎn)品獲得了 rohs 認(rèn)證并將要取得nebs認(rèn)證.ds4700 控制器包含雙控、雙電源、雙冷卻系統(tǒng)和16個磁盤槽位.ds4000 exp810 擴(kuò)展柜 含雙esms控制, 雙電源、雙冷卻系統(tǒng)和16個磁盤槽位· ds4700以及exp810 安裝可16個300gb光纖磁盤或sata磁盤，因此單柜光纖磁盤容量可達(dá)4.8tb，sata容量8tb。 比前代產(chǎn)品集成度提高14%以上· ds4700 交換式光纖環(huán)路結(jié)構(gòu)是獨(dú)特的，該結(jié)構(gòu)類似原exp710，在每個柜中有2個內(nèi)嵌的 fc “l(fā)oop switch”

10、稱為esm，esm使得盤柜與控制器之間，以及磁盤和esm之間都是點(diǎn)到點(diǎn)的交換式連接。 ds4700中第一個柜子是控制器機(jī)柜，其中可容納16個增強(qiáng)型磁盤模塊（enhanced disk drive modules （e-ddms）. e-ddms 磁盤易于更換和熱插拔。特有的磁盤鎖扣，使得磁盤既可以穩(wěn)固地鎖定在機(jī)柜中，又便于抽出?？刂破鞯谋趁鎴D如下，各部件均可熱插拔 ，兩個控制器左右分布。以下標(biāo)注，只標(biāo)一邊控制器，另一邊完全對稱。控制器主機(jī)端口磁盤擴(kuò)展柜接口以太網(wǎng)口串口電源/風(fēng)扇電池注意：以上是型號72的背視圖。上有8個服務(wù)器端接口，如果是70，那么是4個服務(wù)器端接口，每控制器2個。.下圖是 d

11、s4000 exp810 4gb 擴(kuò)展柜背視圖擴(kuò)展柜端口預(yù)留串口esm（交換機(jī)）電源/風(fēng)扇柜子的id擴(kuò)展柜的連接exp810ds4700 expressexp810exp810exp810exp810exp810ds4700 express full configurationds4700 有4個連接擴(kuò)展柜的端口。可以提供4路光纖連接。為防止連接的單點(diǎn)故障，每兩路構(gòu)成一對光纖通道，每對通道可以連接最大3個擴(kuò)展柜到控制器。右圖為滿配時的連接圖，6個exp810擴(kuò)展柜。 如前述，ds4700也支持2gb/s exp710擴(kuò)展柜。為了防止一般級連式擴(kuò)展柜連接中的鏈路中斷問題（即某一擴(kuò)展柜不能工作后，

12、所有連接在其后的擴(kuò)展柜都無法訪問），ds4700 采用了從上自下再從下到上的雙通道連接方式。譬如有3個擴(kuò)展柜（標(biāo)號1，2，3）在這樣的雙通道上連接，第一個通道上，擴(kuò)展柜級連的次序是從控制器->1->2->3，第二個通道上，級連次序是控制器->3->2->1。假設(shè)，擴(kuò)展柜2整個故障不可用。那么，擴(kuò)展柜1可以通過通道一到達(dá)控制器，而擴(kuò)展柜3可以通過通道二到達(dá)控制器。因此，除了故障的擴(kuò)展柜，其他擴(kuò)展柜不受影響。大部分其他類似模塊化產(chǎn)品的連接，都是簡單菊花鏈?zhǔn)?。即從控制器雙環(huán)路到擴(kuò)展柜1，再到2，再到3，以此類推。如果中間某個擴(kuò)展柜損壞，那么在它之后的所有擴(kuò)展柜都不

13、可使用。 ds4700 控制器結(jié)構(gòu)中端控制器的設(shè)計理念是：在盡可能的有效利用各種運(yùn)算資源的條件下，作到性能/功能/成本的最佳組合和平衡。為控制成本，在idc所定義的priceband4、5的存儲中端產(chǎn)品，一般采用雙active 控制器架構(gòu)，其核心構(gòu)件有：cpu、xor協(xié)處理器、cpu處理器內(nèi)存/專有數(shù)據(jù)處理cache、內(nèi)部數(shù)據(jù)總線（包括總線的時鐘和所傳輸數(shù)據(jù)位）、存儲前/后端交換芯片等，下圖所示為ds4700的體系架構(gòu)：在ds4700中，我們采用660mhz的intel risc cpu芯片（intel xscale 667mhz），該芯片為專有io處理芯片，含有做存儲raid功能的“硬件式”

14、xor協(xié)處理器功能；128mb cpu處理器用內(nèi)存（雙控制器為256mb，下列指標(biāo)皆為單控制器），1gb或2gb專用數(shù)據(jù)cache。對易損部件采用冗余、可動態(tài)拔插設(shè)計：如電源/風(fēng)扇、電池等。 每個控制器有2或4個服務(wù)器端通道，以及2個磁盤通道連接到后臺磁盤交換機(jī)。因此兩個控制器，提供了雙活的4路后臺磁盤通道以及4或8路對外通道。每個控制器有兩個2網(wǎng)口，1個用于out-band的設(shè)備管理.，另一個用于維修和診斷。ds4700產(chǎn)品性能采用ds4000已經(jīng)證明是成功的體系架構(gòu)：簡潔而緊湊，富有效率；具有“硬”xor協(xié)處理器：提高raid磁盤奇偶校驗運(yùn)算能力而提高對raid磁盤的“寫”性能。ds470

15、0的設(shè)計不是簡單的拼資源、拼消耗，而是對各組件進(jìn)行最佳組合配置，優(yōu)化性能，從而在使用最小的成本基礎(chǔ)上，達(dá)到性能/功能的最大。下面是在實驗室條件下測試得到的4gb產(chǎn)品性能指標(biāo)：ds4800ds4700model 72ds4700model 70burst i/o rate cache reads575,000 iops120,000 iops120,000 iopssustained i/o rate disk reads85,000 iops44,000 iops44,000 iopssustained i/o rate disk writes22,000 iops9,000 iops9,00

16、0 iopsdrives in test224 2gb fc112 4gb fcup to 112 4gb fcsustained throughput disk read1,600 mb/s990 mb/s990 mb/ssustained throughput disk write1,300 mb/s850 mb/s850 mb/s值得說明的是：自2003年以來，各存儲廠商發(fā)布的產(chǎn)品cache越來越大，cache iops值越來越高。cache iops是指應(yīng)用數(shù)據(jù)100%裝載在cache中并不通過磁盤的操作而讀到的數(shù)據(jù)；由于只是cache的”讀”，所以它對磁盤后端可以不進(jìn)行任何操作。這在

17、現(xiàn)實世界中是不可能的，但在實驗室中通過廠商專門的軟件可以做到。因此cache iops對用戶而言一般是不可測量的；但越來越多的用戶對cache大小(超過2gb以后)對提高整體性能的作用、cache iops數(shù)值表示懷疑。事實上，廠商通常使用專門的軟件，將要測量的結(jié)果數(shù)據(jù)讀入cache中，同時通過另外的在應(yīng)用端的軟件來讀取cache而獲得的“cacheiops”的值；由于用戶的應(yīng)用無法對讀入cache中的數(shù)據(jù)直接尋址讀取，這使得用戶無法驗證廠商所提供的cache iops。因此cache iops只是衡量了磁盤系統(tǒng)中控制器及cache接受io的速度，并不能參考作為實際性能數(shù)據(jù)。只能作為在選擇產(chǎn)品

18、階段對不同產(chǎn)品比較時，速度方面的一個參考指標(biāo)（畢竟它代表了盤陣部分部件的速度）。對用戶來說，真正在現(xiàn)實世界發(fā)生的、有意義的是磁盤的讀寫iops：用戶可以直接編寫測試程序驗證從對磁盤的操作以及cache中得到的性能指標(biāo)。針對上述情況，ibm ds4000不僅提供用戶cache iops，而且提供完整的基于磁盤的讀寫性能數(shù)據(jù)。另一要指出的是有些廠商將控制器中的部分組件資源如采用的cpu、cache、內(nèi)存總線（cpu用）等作為向用戶展示的買點(diǎn)。事實上對存儲而言，性能應(yīng)是整體的、系統(tǒng)的，而不是某個局部的組件的改進(jìn)。單一某組件的改進(jìn)如cpu的能力、cache的大小、內(nèi)存總線、內(nèi)部數(shù)據(jù)總線、交換結(jié)構(gòu)等，對

19、整體系統(tǒng)性能的提升有益，但畢竟不是整體系統(tǒng)本身。對系統(tǒng)、對用戶真正有意義的是對應(yīng)用的使用效果，即整個存儲的輸出效果。ds4700 軟件功能ds4000storagemanager存儲管理軟件ds4000 storagemanager存儲管理程序軟件為管理ibm ds4000存儲系統(tǒng)提供了一種基于java的強(qiáng)大而易使用的圖形用戶界面（gui）。ds4000 storagemanager軟件允許在不中斷業(yè)務(wù)的情況下在線配置、在線微碼升級、在線動態(tài)擴(kuò)展以及維護(hù)。它對所有的操作系統(tǒng)都提供一致的界面，該軟件允許從網(wǎng)絡(luò)中的任何位置對一個或所有ibm ds4000存儲系統(tǒng)進(jìn)行監(jiān)控和管理。ds4000 sto

20、ragemanager軟件的高級功能存儲器分區(qū)功能（storage partition）、卷快照功能（flashcopy）、卷拷貝功能（volume copy）和遠(yuǎn)程卷鏡像功能（metromirror/geocopy/geomirror ）是完全集成的，它為所有的存儲器管理、分區(qū)和復(fù)制功能創(chuàng)建單一的控制點(diǎn)。特點(diǎn)：集中式的管理監(jiān)控和管理來自任何網(wǎng)絡(luò)位置的所有ibm ds4000存儲器。直觀的guids4000 storagemanager軟件的陣列管理窗口（amw）以一種很容易理解的界面方式顯示了這樣一些信息：存儲系統(tǒng)的邏輯組件（存儲器卷和卷組）、物理組件（控制器和驅(qū)動器）、拓?fù)湓兀ㄖ鳈C(jī)組、主

21、機(jī)、主機(jī)端口）以及卷到lun之間的映射。對于某個選定的存儲系統(tǒng)或者選定的組件，所有存儲管理操作都可以從對應(yīng)的amw菜單中運(yùn)行，或者也可以通過右鍵點(diǎn)擊對應(yīng)的選項來運(yùn)行。配置的靈活性所有卷的設(shè)置都是單獨(dú)配置，保證能夠滿足某個特殊卷準(zhǔn)確需要的特性。卷配置的設(shè)置包括：容量、分段大小、修改優(yōu)先級、允許/禁止讀緩存、允許寫緩存（回寫式）、禁止寫緩存（直寫式）、允許/禁止寫緩存鏡像、預(yù)讀乘法器、允許/禁止電池備份的寫緩存，以及允許/禁止后臺硬盤掃描（帶冗余校驗或不帶冗余校驗）。在線管理當(dāng)存儲器保持在線狀態(tài)并進(jìn)行完全的數(shù)據(jù)讀/寫存取時，ds4000 storagemanager軟件允許執(zhí)行所有的管理任務(wù)。它允

22、許存儲器管理員修改配置、進(jìn)行維護(hù)或者擴(kuò)展存儲器容量，而不會打斷連接到各個主機(jī)之間的i/o。ds4000 storagemanager軟件的在線能力包括：使用hotscale技術(shù)進(jìn)行動態(tài)擴(kuò)展，它允許增加新的驅(qū)動器模塊、配置卷、創(chuàng)建卷，而不會打斷對現(xiàn)有數(shù)據(jù)的存取操作。一旦定義了新創(chuàng)建的卷，ds4000 storagemanager軟件的lun即時可用性能以及“熱增加”功能就能夠允許它被馬上映射，并且可以馬上被主機(jī)訪問。動態(tài)容量擴(kuò)展（dce）功能每次可以給現(xiàn)有的卷組增加兩個驅(qū)動器，這樣就給卷的創(chuàng)建和擴(kuò)展創(chuàng)造了可用的容量，并且提高了該卷組中卷的iops性能。動態(tài)卷擴(kuò)展（dve）功能可以允許您使用現(xiàn)有卷

23、組中的空閑容量來對現(xiàn)有卷的容量進(jìn)行擴(kuò)展。動態(tài)raid層移植（drm）功能可以改變一個卷組的raid層。動態(tài)分段大小移植（dss）功能可以允許改變某個指定卷的分段大小。動態(tài)碎片整理功能會重新整理卷，并且合并卷組內(nèi)的空閑容量，這樣就給現(xiàn)有的卷和新創(chuàng)建的卷帶來了最優(yōu)化的存取模式。非中斷式的控制器固件升級（不會中斷數(shù)據(jù)的存取）獨(dú)特的配置元數(shù)據(jù)ibm ds4000的控制器將配置元數(shù)據(jù)保存在每個被配置驅(qū)動器的私有區(qū)域中，稱為dacstore存儲區(qū)。將元數(shù)據(jù)保存在非易失性的dacstore存儲區(qū)中有著最高的可用性，當(dāng)系統(tǒng)需求改變時能允許進(jìn)行控制器層的升級和驅(qū)動器層的重新配置。當(dāng)需要提高容量或性能時，可以升級

24、整個系統(tǒng)。驅(qū)動器可以在存儲系統(tǒng)內(nèi)部進(jìn)行重新部署來提高通道的利用率和保護(hù)性能，或者甚至可以將整個卷組移植到另外一個存儲系統(tǒng)中去。在前面各種情況中，所有的配置數(shù)據(jù)和用戶數(shù)據(jù)都在驅(qū)動器中保持完整無缺。最高的可用性利用自動通道故障切換功能、在線存儲器管理功能以及對最多15個公用的熱備用磁盤的支持功能，ds4000 storagemanager軟件保證對數(shù)據(jù)的存取不會被中斷。直觀的診斷和恢復(fù)“recovery guru”程序提供了很重要的故障診斷幫助，它能對存儲系統(tǒng)出現(xiàn)的問題進(jìn)行診斷并確定出恰當(dāng)?shù)幕謴?fù)步驟。該程序顯示了存儲系統(tǒng)問題的一覽表和某個選定問題的詳細(xì)信息，以及解決該選定問題需要采取的恢復(fù)步驟。廣

25、泛的操作系統(tǒng)支持對于開放式的系統(tǒng)環(huán)境，ds4000 storagemanager提供了廣泛的支持平臺范圍，包括：windows 系列，solaris，hpux，linux，aix，netware，irix高級功能storage partition存儲器分區(qū)該功能可以給一個ibm ds4000存儲系統(tǒng)創(chuàng)建最多64個邏輯陣列。它支持不同的主機(jī)，這樣就允許在多平臺環(huán)境中實現(xiàn)存儲器的統(tǒng)一。storage partition的邏輯分區(qū)任何可用的卷可以映射到任何已連接的服務(wù)器同ds4000 storagemanager強(qiáng)健的配置能力相結(jié)合，就可以允許管理員在一系列不同特性的卷中進(jìn)行選擇，來滿足服務(wù)器對某個

26、指定的lun的準(zhǔn)確需求。這種靈活性可以讓具有不同容量、不同性能以及不同數(shù)據(jù)保護(hù)需求的一系列主機(jī)有效地共享單個存儲系統(tǒng)。并且storage partition基于存儲器實現(xiàn)的分區(qū)功能規(guī)定在控制器層對卷進(jìn)行訪問，這樣保證了數(shù)據(jù)的完整性。storage partition存儲分區(qū)軟件揭示了ibm ds4000存儲系統(tǒng)的真正威力，存儲管理員通過它可以從一個存儲系統(tǒng)創(chuàng)建出多個虛擬陣列。通過storage partition分區(qū)功能，不同類型的服務(wù)器、不同的操作系統(tǒng)以及不同的應(yīng)用程序使用一個統(tǒng)一的存儲陣列。其結(jié)果就是：運(yùn)行過程減少；對占地和相關(guān)操作費(fèi)用達(dá)到最小化；利用率最優(yōu)化（尤其是通過低端服務(wù)器增加的功

27、能）；可靠性和安全性得到增強(qiáng)；管理員的效率得到提高。storage partition完全集成在ds4000 storagemanager存儲管理軟件中，該軟件為所有的存儲管理和分區(qū)需求創(chuàng)建一個單一的控制點(diǎn)。storage partition分區(qū)程序使用其獨(dú)特的卷到邏輯單元號（lun）之間的映射方法來創(chuàng)建邏輯分區(qū)。每個分區(qū)代表一個虛擬的陣列，包含了一個或者多個分配給服務(wù)器或服務(wù)器組的存儲卷。結(jié)合ds4000 storagemanager軟件的配置能力，storage partition邏輯分區(qū)功能可以允許管理員在具有不同特性的一系列的卷中進(jìn)行選擇，來滿足服務(wù)器對某個指定的lun的精確需要。每個

28、卷可以具有獨(dú)特的配置設(shè)置值，可以屬于不同的硬盤類型，可以有不同的raid級別。這種靈活性使得有著不同的容量、性能或數(shù)據(jù)保護(hù)要求的一系列主機(jī)有效地共享同一個ibm ds4000存儲系統(tǒng)。有了storage partition存儲分區(qū)功能，“外部容量”成為一個過時的事物。為了得到更好的存儲器統(tǒng)一性和存儲器利用率，在需要時可以很容易地將未使用的存儲容量分配給其他的服務(wù)器。管理員還可以很輕易地增加一個新的服務(wù)器或者撤下一個老的服務(wù)器，而不會有停機(jī)時間，也不需要卸下存儲器或者重新裝載存儲器。每個邏輯陣列可以作為一個引導(dǎo)設(shè)備，這樣就允許連接低成本的無盤服務(wù)器，并且通過ibm ds4000存儲系統(tǒng)諸多高可用

29、性功能，可以確保那些關(guān)鍵的引導(dǎo)文件得到完全的保護(hù)。storage partition存儲分區(qū)功能在單一的主機(jī)環(huán)境和不同種類的主機(jī)環(huán)境中都支持存儲器統(tǒng)一化。能支持的分區(qū)數(shù)目：最多64個分區(qū)特性：l每個分區(qū)最多支持256個卷（取決于操作系統(tǒng)）l每個分區(qū)支持一個單一的主機(jī)，或者支持一個含有多個主機(jī)的主機(jī)組l每個分區(qū)可以作為一個引導(dǎo)設(shè)備l每個分區(qū)有它自己的lun地址空間l每個分區(qū)可以支持一個不同的服務(wù)器類型卷的特性l在任何卷組中的、具有任何raid級別的、在任何硬盤容量中的卷可以映射到任何已連接的主機(jī)?？煺站韺τ谌魏蝧an上的主機(jī)都是可以映射和訪問的。安全性l對于每個服務(wù)器或集群，存取被限制到只能訪問

30、構(gòu)成其存儲分區(qū)的那些卷l對于多種類型主機(jī)的環(huán)境，實行最高級別的數(shù)據(jù)保護(hù)。卷快照該功能創(chuàng)建了一個存儲器卷的即時圖像或者說邏輯拷貝，因此在許多應(yīng)用情況下，包括備份、應(yīng)用測試或開發(fā)、信息分析或者數(shù)據(jù)挖掘等，它能夠讓輔助服務(wù)器訪問生產(chǎn)數(shù)據(jù)的掛起版本。這種高容量效率的快照卷作為一種完整拷貝但是需要少得多的磁盤空間，它還能夠用來進(jìn)行快速文件恢復(fù)，可以節(jié)省時間和磁帶檔案的費(fèi)用。并且ds4000 storagemanager軟件的dve功能可以用來動態(tài)地擴(kuò)展倉庫卷，該倉庫卷保存在快照之后發(fā)生改變的數(shù)據(jù)塊，這樣即使快照保持了比預(yù)期情況更長的時間或者遇到了比預(yù)期情況更高的寫入速率，也能夠保證快照持續(xù)有效。base

31、 volumesnapshot reserveflashcopy volumea b ca b cc a cphysical logical快照功能幾乎是在瞬間就創(chuàng)建了卷的即時圖像。它將原始基本信息的視圖和一個倉庫結(jié)合起來，提供那個時刻數(shù)據(jù)的復(fù)制品，也就是快照。由于這種快照功能是以存儲系統(tǒng)為基礎(chǔ)而不是以主機(jī)為基礎(chǔ)，因此它可以使性能最大化，同時能夠在系統(tǒng)繼續(xù)處理關(guān)鍵信息的時候確保數(shù)據(jù)完全可用。該功能只要要很少的存儲容量，通常只是原始數(shù)據(jù)卷的10到20，可以在一個鏡像功能所需要的磁盤空間內(nèi)產(chǎn)生好幾個快照?？煺沼性S多重要的性能是和其他類似的產(chǎn)品不一樣的，但最重要的還是它可以進(jìn)行讀寫。可以寫快照的這種

32、能力加速了對新應(yīng)用的測試過程，特別是因為它可以提供當(dāng)前最新的數(shù)據(jù)用于測試。ibm ds4000的“即寫即復(fù)制”技術(shù)會將數(shù)據(jù)按照它原來的形式保存到快照倉庫中，這樣就使快照圖像以一個完整的卷拷貝的形式出現(xiàn)，它無需等待，也沒有對磁盤空間的要求。原始數(shù)據(jù)卷繼續(xù)進(jìn)行處理，而同時快照圖像可以用來進(jìn)行備份、測量、數(shù)據(jù)挖掘和工作分配。在要求進(jìn)行快速數(shù)據(jù)拷貝的操作中，快照變得尤其有用，此時生產(chǎn)數(shù)據(jù)會立即被復(fù)制。卷圖像快速而且高效，基本上不會中斷用戶的操作。操作瞬時掛起功能允許應(yīng)用數(shù)據(jù)和一個已知狀態(tài)同步進(jìn)行，準(zhǔn)備快照卷以供使用。快照卷和原始數(shù)據(jù)卷有著相同的高可用性，比如raid保護(hù)功能和冗余通道故障切換功能。每個

33、邏輯單元或卷最多可以創(chuàng)建四個快照。對于任何在san中的主機(jī)而言，它都是可映射和可存取訪問的，產(chǎn)品數(shù)據(jù)可以供輔助主機(jī)進(jìn)行讀寫訪問。圖形用戶界面，很容易使用的向?qū)?，和用來編寫快照功能（如自動備份功能）的命令行界面主要?yīng)用范圍：¨ 從快照卷中進(jìn)行備份可以讓生產(chǎn)過程連續(xù)進(jìn)行；靈活的映射到一個san中在其他地方的備份服務(wù)器上；¨ 數(shù)據(jù)保護(hù)：很快速且很容易地對數(shù)據(jù)進(jìn)行恢復(fù)；在備份過程間隙產(chǎn)生多個圖像；在出現(xiàn)用戶錯誤以及出現(xiàn)數(shù)據(jù)惡化時提供額外的保護(hù)；¨ 應(yīng)用測試：新軟件完全投入使用之前在數(shù)據(jù)的快照上進(jìn)行試用（比全卷拷貝更快速，而且只需要10到20的磁盤空間）；¨ 數(shù)據(jù)

34、挖掘：一個數(shù)據(jù)集合用來進(jìn)行大量分析，另外一個“清理過的”數(shù)據(jù)集合則清除了所有的敏感數(shù)據(jù)。卷拷貝該功能在存儲系統(tǒng)內(nèi)部創(chuàng)建一個卷的完整物理拷貝（克隆）。這個克隆卷是一個很獨(dú)特的實體，它可以分配給任何主機(jī)，可以被那些需要生產(chǎn)數(shù)據(jù)的完整pit拷貝的應(yīng)用情況所使用，例如備份、應(yīng)用測試或開發(fā)、信息分析或者數(shù)據(jù)挖掘等，而不會影響生產(chǎn)數(shù)據(jù)的性能。通過將卷重新配置到存儲系統(tǒng)內(nèi)的更多需要的位置，如配置到更快或者容量更高的驅(qū)動器中，卷拷貝功能還可以提高應(yīng)用的性能或者優(yōu)化容量的利用率。而且由于位于不同卷組的、有著不一樣的raid層和不一樣的配置設(shè)置的原始卷和克隆卷可能擁有完全不同的特性，因此卷拷貝功能為存儲器管理提供

35、了最大的靈活性。production serveranalysis serverpitclone遠(yuǎn)程卷鏡像rvm功能通過將本地數(shù)據(jù)連續(xù)地復(fù)制或鏡像到一個遠(yuǎn)程存儲系統(tǒng)中去，從而保護(hù)了存儲在您的ibm ds4000存儲器中的信息。對于每一套含有鏡像對的卷，rvm功能都支持非常多的復(fù)制選項，這樣給管理員對數(shù)據(jù)保護(hù)和利用進(jìn)行優(yōu)化提供了很大的靈活性。rvm可靠的功能包括：多數(shù)據(jù)傳輸模式（同步、異步以及寫入順序統(tǒng)一的異步模式），不會掛起或破壞有效鏡像的從一個模式切換到另一個模式的動態(tài)模式切換，具有三角再同步功能的掛起/恢復(fù)，以及在鏡像保持有效時創(chuàng)建遠(yuǎn)程數(shù)據(jù)的卷快照的能力。此外它還支持交叉鏡像，這樣就允許兩

36、個分開的系統(tǒng)當(dāng)作遠(yuǎn)程災(zāi)難恢復(fù)站點(diǎn)使用。由于rvm功能以存儲器為基礎(chǔ)，因此沒有額外的服務(wù)器和應(yīng)用程序。遠(yuǎn)程卷鏡像功能是一種完全集成到ds4000 storagemanager存儲管理軟件中的高級功能，該軟件對所有的存儲器管理和復(fù)制的需求提供了單一的控制點(diǎn)。a1b1mirrora1mirrorb1crossmirroringsan / wan遠(yuǎn)程卷鏡像功能的好處：¨ 通過實時數(shù)據(jù)復(fù)制方法保護(hù)您在邏輯存儲系統(tǒng)中的重要信息¨ 同步數(shù)據(jù)傳輸確保了遠(yuǎn)程數(shù)據(jù)是最新的¨ 為備份、測試以及恢復(fù)這些用途提供了對離線數(shù)據(jù)的存取訪問¨ 基于存儲器的實現(xiàn)方法不需要主機(jī)服務(wù)器和應(yīng)用

37、程序就能提供高性能的服務(wù)¨ 用戶通過選擇同步優(yōu)先級控制數(shù)據(jù)傳輸?shù)挠绊?#168; 存儲系統(tǒng)之間的交叉鏡像數(shù)據(jù)保護(hù)了在兩邊存儲系統(tǒng)中的數(shù)據(jù)應(yīng)用場合和解決方案1，災(zāi)難恢復(fù)遠(yuǎn)程卷鏡像功能可以將某個站點(diǎn)上ibm ds4000存儲系統(tǒng)中的關(guān)鍵數(shù)據(jù)復(fù)制到另外一個站點(diǎn)上的ibm ds4000存儲系統(tǒng)中去。數(shù)據(jù)的傳輸以光纖通道的速度同步進(jìn)行，提供了一種在遠(yuǎn)程輔助站點(diǎn)上進(jìn)行準(zhǔn)確鏡像復(fù)制的方法。當(dāng)主站點(diǎn)發(fā)生故障時，就可以用遠(yuǎn)程站點(diǎn)上的鏡像數(shù)據(jù)來進(jìn)行故障切換和恢復(fù)。然后，就可以切換到遠(yuǎn)程鏡像站點(diǎn)中去不間斷地執(zhí)行通常情況下由主站點(diǎn)提供的所有服務(wù)的操作。2，數(shù)據(jù)拱頂和數(shù)據(jù)可用性遠(yuǎn)程卷鏡像功能允許數(shù)據(jù)以離線方式

38、進(jìn)行發(fā)送，以保護(hù)數(shù)據(jù)不會受到硬件故障和其他問題造成的影響。數(shù)據(jù)的離線拷貝可以用作測試，也可以進(jìn)行備份，而不會中斷在主站點(diǎn)上進(jìn)行的關(guān)鍵操作。3，高性能的遠(yuǎn)程拷貝遠(yuǎn)程卷鏡像功能在第二個存儲系統(tǒng)中提供了數(shù)據(jù)的一個完整拷貝，可以用來進(jìn)行應(yīng)用測試。這種方法消除了原始存儲系統(tǒng)的處理負(fù)擔(dān)，不會對主機(jī)服務(wù)器造成任何影響。輔助的服務(wù)器和存儲系統(tǒng)只是簡單地中斷鏡像，使用數(shù)據(jù)，然后為下一次測試循環(huán)進(jìn)行重新同步工作。4，雙向數(shù)據(jù)保護(hù)當(dāng)擁有兩個ibm ds4000存儲系統(tǒng)時，利用rvm功能可以讓兩個系統(tǒng)互相提供備份，這是通過將各個系統(tǒng)中關(guān)鍵的卷鏡像到另外一個系統(tǒng)中的卷來實現(xiàn)的。當(dāng)發(fā)生任何服務(wù)中斷事故的時候，這種方法可以

39、讓各系統(tǒng)從另外的那個系統(tǒng)中恢復(fù)數(shù)據(jù)。rdac通道負(fù)載均衡功能rdac（redundant dual active controller ）ds4000 storagemanager存儲管理軟件中提供通道冗余的模塊，將該軟件安裝在主機(jī)中，它可以向應(yīng)用提供透明容錯的數(shù)據(jù)訪問通道。因為，在企業(yè)存儲網(wǎng)絡(luò)中，基礎(chǔ)結(jié)構(gòu)對該環(huán)境的支持?jǐn)U展到了網(wǎng)絡(luò)集線器和接線器上，所以結(jié)構(gòu)的復(fù)雜性就增加了，而潛在的故障點(diǎn)也增加了。rdac無須中斷就可提供客戶需要的信息，因而其商務(wù)運(yùn)作不會因電纜、主機(jī)總線適配器、接線器、網(wǎng)絡(luò)集線器、或控制器的故障而受到影響。數(shù)據(jù)可被連續(xù)地提供，確保了商務(wù)應(yīng)用可靠性的高可用性。rdac軟件在一個

40、連接有一個或主機(jī)系統(tǒng)的服務(wù)器上運(yùn)行時，在主機(jī)到存儲器通道的故障中會自動地重新選擇i/o傳輸路徑。這是一種直接連接配置的結(jié)果，就如通過網(wǎng)絡(luò)集線器和接線器實現(xiàn)服務(wù)器和存儲器間的連接一樣。通過使用雙主機(jī)總線適配器（hba），rdac軟件提供了對故障通道的自動探察和管理。在所有情況下，冗余i/o通道的容錯對服務(wù)器應(yīng)用程序和用戶是通明的。通過自動地從i/o故障中保護(hù)數(shù)據(jù)和應(yīng)用程序，客戶可從其服務(wù)器和應(yīng)用程序投資中獲得更大價值。rdac通過支持同時對兩個控制器的利用，提高了系統(tǒng)和應(yīng)用程序的性能，從而能更多的處理商務(wù)事件。rdac是對現(xiàn)在通用的主機(jī)群集包的一個理想補(bǔ)充。這種組合通過平衡各組件的容錯能力實現(xiàn)了

41、高可用性環(huán)境的優(yōu)化。rdac軟件利用雙hba來提供自動的通道容錯，也就提高了性能。存儲總控中心ibm tpcibm tpc 是一個獨(dú)立與任何硬件的集中化存儲管理軟件。tpc for disk可以精細(xì)地記錄磁盤存儲的使用狀況、配置存儲設(shè)備并能自動預(yù)警。對于所有支持smis標(biāo)準(zhǔn)的磁盤系統(tǒng)都可以進(jìn)行管理和監(jiān)控。存儲設(shè)備配置功能tpc for disk 實現(xiàn)對磁盤陣列從低端到高端的統(tǒng)一管理，可以管理從ata磁盤到e企業(yè)級存儲服務(wù)器的全面管理，取代了以前ibm各種不同設(shè)備采用各自存儲設(shè)備配置管理工具的方式。而且，因為使用行業(yè)標(biāo)準(zhǔn)smi-s，其他廠家使用相同標(biāo)準(zhǔn)的設(shè)備都可以使用tpc for disk管理

42、，如果第三方廠家沒有集成到tpc for disk上，我們可以提供開放的api接口，供第三方廠家集成開發(fā)使用。目前tpc for disk已經(jīng)實現(xiàn)了對ibm設(shè)備和其他廠家主流存儲設(shè)備的設(shè)備統(tǒng)一配置管理。性能監(jiān)控功能tpc for disk能夠?qū)Υ疟P系統(tǒng)以下性能數(shù)據(jù)進(jìn)行記錄和統(tǒng)計，并能根據(jù)預(yù)先設(shè)定的閥值，及時報警。n i/o請求的數(shù)量n 確認(rèn)每天最忙的時間 n 傳輸?shù)臄?shù)據(jù)量n 物理i/o 的讀寫響應(yīng)時間 n 確認(rèn)最忙的陣列，適配卡和服務(wù)器 n cache 使用的統(tǒng)計數(shù)據(jù)并生成各種簡潔明了的報表如下圖：tpc for disk 與ds4700管理軟件ds4700已經(jīng)提供了配置、監(jiān)控和性能報告工具。

43、如果用戶有多臺異構(gòu)磁盤存儲系統(tǒng)，或者想更精確的了解磁盤運(yùn)行性能和歷史性能狀況，可以使用tpc for disk。該軟件是獨(dú)立收費(fèi)軟件。ds4700產(chǎn)品規(guī)格型號1814-70a, 1814-72araid 控制器dual active緩存model 70a: 2gbmodel 72a: 4gb battery-backed 服務(wù)器端口8 host ports model 72, 4 host ports model 70fibre channel (fc) switched and fc arbitrated loop (fc-al) standard, auto-sensing 1 gbps/

44、2 gbps/4 gbps磁盤端口4 drive portsfibre channel (fc) switched and fc arbitrated loop (fc-al) standard, auto-sensing 1 gbps/2 gbps/4 gbps支持驅(qū)動器類型supports 2 gbps fc:10k 73.4gb, 146.8gb, 300gb e-ddm, 15k 36.4gb, 73.4gb, 146.8gb e-ddmsupports 4 gbps fc: 15k 146.8gb, 73.4gb, 36.4gb e-ddm supports 4 gbps sata:

45、 7.2k 500gb raid 級別0, 1, 3, 5, 10存儲分區(qū)4, 8, 16 or 64 storage partitions最大支持磁盤數(shù)model 72a: 112 fc or 112 sata drives (using 6 ds4000 exp810 expansion units)model 70a: 112 fc or 112 sata drives (using 6 ds4000 exp810 expansion units) 風(fēng)扇和電源冗余設(shè)計，可熱插拔支持的機(jī)柜19-inch, industry-standard rack管理軟件ibm system stora

46、ge ds4000 storage manager version 9.16 保修3年 24 x 7 當(dāng)天響應(yīng) ibm上門物理尺寸高寬深h - 130.3 mm (5.13 in) w - 447.0 mm (17.6 in) d - 563.8 mm (22.2 in)支持操作系統(tǒng)平臺支持主流操作系統(tǒng)平臺，如aix，hpux，solaris，windows系列，linux 等。詳見 螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿

47、荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀

48、膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄

49、羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅

50、蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆

51、膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀

52、芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈

53、蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄

54、膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆

55、芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇

56、蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀

57、膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿膁蒅螄螂肇蒄蒄羇羃蒃薆螀節(jié)蒂蚈羅膈薂螁螈肄薁蒀羄羀膇薃螇袆膆螅肂芄膆蒄裊膀膅薇肀肆膄蠆袃羂膃螁蚆芁節(jié)蒁袁膇芁薃蚄肅芀蚆袀罿芀蒅蚃羅艿薈羈芄羋蝕螁膀芇螂羆肆芆蒂蝿羈蒞薄羅袇莄蚇螇膆莄莆羃膂莃蕿螆肈莂蟻肁羄莁螃襖芃莀蒃蚇腿荿薅袂肅蒈蚇蚅羈蒈莇袁袇蕆葿蚃芅蒆螞衿