存儲備份的基本體系結(jié)構(gòu).

1、存儲&備份的基礎bird_man2003-10-26n存儲備份系統(tǒng)的發(fā)展n存儲備份n存儲備份技術(shù)中的誤區(qū)n構(gòu)建存儲備份系統(tǒng)的原則 內(nèi)容存儲備份系統(tǒng)的發(fā)展n軟盤，硬盤，磁帶，磁光盤nscsi技術(shù)，ssa技術(shù)，fc技術(shù)，iscsi技術(shù)ndas，nas，sannLan backup，lanfree backup，serverfree backupn.SCSI技術(shù)與RAID技術(shù)nSCSI是Small Computer System Interface(小型計算機系統(tǒng)接口)的英文縮寫。SCSI最早是一種并行連接使用SCISI命令的計算機硬件接口。nRedundant Array of Inexp

2、ensive (or Independent) Drive。RAID是1988年由美國加州大學的Berkeley分校的David Patterson等幾人提出來的。 RAIDnRAID條切“striped”的存取模式在使用數(shù)據(jù)條切Data Stripping 的RAID 系統(tǒng)之中，對成員磁盤驅(qū)動器的存取方式，可分為兩種：并行存取Paralleled Access獨立存取Independent AccessRAID 2和RAID 3 是采取并行存取模式。RAID 0、RAID 4、RAID 5及RAID 6則是采用獨立存取模式 平行存取模式n并行存取模式支持里，是把所有磁盤驅(qū)動器的主軸馬達作精密

3、的控制，使每個磁盤的位置都彼此同步，然后對每一個磁盤驅(qū)動器作一個很短的I/O數(shù)據(jù)傳送，如此一來，從主機來的每一個I/O 指令，都平均分布到每一個磁盤驅(qū)動器。n為了達到并行存取的功能，RAID 中的每一個磁盤驅(qū)動器，都必須具備幾乎完全相同的規(guī)格：轉(zhuǎn)速必須一樣；磁頭搜尋速度Access Time必須相同；Buffer 或Cache的容量和存取速度要一致；CPU處理指令的速度要相同；I/O Channel 的速度也要一樣?？偠灾?，要利用并行存取模式，RAID 中所有的成員磁盤驅(qū)動器，應該使用同一廠牌，相同型號的磁盤驅(qū)動器。 獨立存取模式n相對于并行存取模式，獨立存取模式并不對成員磁盤驅(qū)動器作同步轉(zhuǎn)

4、動控制，其對每個磁盤驅(qū)動器的存取，都是獨立且沒有順序和時間間格的限制，同時每筆傳輸?shù)臄?shù)據(jù)量都比較大。因此，獨立存取模式可以盡量地利用overlapping 多任務、Tagged Command Queuing等等高階功能，來“隱藏”上述磁盤驅(qū)動器的機械時間延遲Seek 和Rotational Latency。n由于獨立存取模式可以做overlapping 多任務，而且可以同時處理來自多個主機不同的I/O Requests，在多主機環(huán)境如Clustering，更可發(fā)揮最大的性能。 RAID級別 相對優(yōu)點 相對缺點nRAID 0 存取速度最快 沒有容錯 nRAID 1 完全容錯 成本高 nRAID

5、 3 寫入性能最好 沒有多任務功能 nRAID 4 具備多任務及容錯功能 Parity 磁盤驅(qū)動器造成性能瓶頸 nRAID 5 具備多任務及容錯功能 寫入時有overhead nRAID 0+1/RAID 10 速度快、完全容錯 成本高 TapenDDS,8mm,AIT(HP,Exabyte,SONY)nDLT(ATL)nLTO(IBM,HP,Segate)n9840(STK)n.SANnSAN = Storage Area Network (存儲區(qū)域網(wǎng)絡)n是一種基于光網(wǎng)的特殊的后臺后臺數(shù)據(jù)存取網(wǎng)絡n提供了一個性能穩(wěn)定的數(shù)據(jù)高速存取平臺n關(guān)鍵概念:n支持前臺企業(yè)信息處理網(wǎng)絡 (例如：Ethe

6、rnet及TCP/IP）有助于減輕關(guān)鍵工作量和增加應用性能及高可用性n成為一種有靈活同時有擴展性的數(shù)據(jù)平臺來解決現(xiàn)有的數(shù)據(jù)遷移和數(shù)據(jù)共享瓶頸問題n基于NCITS T11:光纖通道(Fibre Channel)標準I/O接口 (X3.230-1994) 光纖通道的特性n光纖通道的優(yōu)點n為一個新的多用途網(wǎng)絡多用途網(wǎng)絡信息基礎結(jié)構(gòu), 用于連接開放系統(tǒng)存儲, 網(wǎng)絡, 視頻應用和服務器集群應用.n為上層協(xié)議(SCSI,IP，ATM，IEEE 802.2等)提供一個通用硬件傳輸平臺n高速高速: 現(xiàn)在可以提供2Gbit(200MB)/秒的數(shù)據(jù)傳輸速率, 全雙工專有連接,未來

7、可升級至10Gbit/秒n串行的串行的, ,無阻塞無阻塞(non-blocking)數(shù)據(jù)傳輸n最大10公里連接距離(通過擴展器可連接上千公里上千公里,適于災難恢復應用)n多平臺多平臺系統(tǒng)支持(包括 AIX, NT, Solaris, HP/UX, UNIX, LINUX, Novell,等)n支持傳統(tǒng)傳統(tǒng)環(huán)境和應用n光纖通道的技術(shù)能力n不存在無線電信號散射 (RFI), 從而消除了電磁信號n串行數(shù)據(jù)傳輸, 每傳輸一位需要0.94納秒(極小的時間延遲)n使用8b/10b編碼方式將8位轉(zhuǎn)換為10b格式進行串行傳輸串行傳輸(內(nèi)置時鐘信號)n先進的流控制流控制系統(tǒng)保證數(shù)據(jù)按順序傳輸.n最多可以連接1

8、1千千6 6百萬百萬個節(jié)點(交換Fabric模式)n幀大小可調(diào)整, 支持128128MBMB的批量數(shù)據(jù)傳輸n強大的錯誤更正能力(位錯誤位錯誤率率 = 1= 1x10 x10-12-12), 比原有銅連接網(wǎng)絡強大1,000倍光纖通道 = 是SAN Fabric的基礎為存儲系統(tǒng)提供一個網(wǎng)絡連接模式客戶機LAN(局域網(wǎng)局域網(wǎng))廣域網(wǎng)廣域網(wǎng)存儲區(qū)域網(wǎng)存儲區(qū)域網(wǎng)（第二網(wǎng)）Fabric = 第二網(wǎng)第二網(wǎng)“Fabric”是一個由智能光纖通道交換機構(gòu)成并具有良好系統(tǒng)設計的高智能網(wǎng)絡, 這一數(shù)據(jù)網(wǎng)絡可以提供企業(yè)級的性能, 擴展能力, 可管理能力, 可靠性和可用能力服務器存儲子系統(tǒng)第一網(wǎng)第一網(wǎng)光纖通道的拓撲結(jié)構(gòu)n

9、Fibre Channel有三種拓撲結(jié)構(gòu)有三種拓撲結(jié)構(gòu):n點對點點對點(Point-to-Point) 兩個設備之間互連n仲裁環(huán)仲裁環(huán)(Arbitrated Loop) 最多支持126個設備互連，形成一個仲裁環(huán) n交換式交換式Fabric(Switch Fabric) 最多1千6百萬個設備互連點對點點對點交換式交換式 FabricArbitrated Loop (仲裁環(huán)仲裁環(huán))光纖通道協(xié)議映射ATMFC - ATMIPFC鏈路封裝FC - LE高層協(xié)議 (ULPs) 支持現(xiàn)有協(xié)議 對于操作系統(tǒng)是透明的 不做更改+ 新的能力SCSI-3SCSI 3命令集映射 IPI - 3 命令集映射 (IPI

10、-3 STD)FC-4FC - AL -2FC-3通用服務FC-0FC-1FC-2光纖物理與信號接口 ( FC- PH, FC-PH2, FC-PH3 )物理變換編碼 / 解碼結(jié)構(gòu)協(xié)議FC - AL8b/10b 編碼銅, 光連接第二網(wǎng)啟動順序：n建議遵循一定的順序啟動網(wǎng)絡設備n首先要啟動的就是網(wǎng)絡系統(tǒng)，包括所有的交換機并確定所有的設備連接正常n第二網(wǎng)啟動進程:(1)啟動Fabric1(3)啟動服務器系統(tǒng)3(2)啟動存儲設備2NASn網(wǎng)絡附加存儲設備（Network Attached Storage，NAS）是一種專業(yè)的網(wǎng)絡文件存儲及文件備份設備，或稱為網(wǎng)絡直聯(lián)存儲設備、網(wǎng)絡磁盤陣列。NAS是基

11、于LAN的，按照TCP/IP協(xié)議進行通信，面向消息傳遞，以文件的I/O方式進行數(shù)據(jù)傳輸。在LAN環(huán)境下，NAS已經(jīng)完全可以實現(xiàn)異構(gòu)平臺之間的數(shù)據(jù)級共享。nNAS 結(jié)構(gòu)和SAN最大的區(qū)別就在于NAS有文件操作和管理系統(tǒng)，而SAN卻沒有這樣的系統(tǒng)功能，其功能僅僅停留在文件管理的下一層，即數(shù)據(jù)管理。nSAN和NAS并不是相互沖突的，是可以共存于一個系統(tǒng)網(wǎng)絡中的，但NAS通過一個公共的接口實現(xiàn)空間的管理和資源共享，SAN僅僅是為服務器存儲數(shù)據(jù)提供一個專門的快速后方通道，在空間的利用上，SAN和NAS也有截然不同之處，SAN是只能獨享的數(shù)據(jù)存儲池，NAS是共享與獨享兼顧的數(shù)據(jù)存儲池。ISCSIniSCS

12、I（互聯(lián)網(wǎng)小型計算機系統(tǒng)接口）是一種在Internet協(xié)議網(wǎng)絡上，特別是以太網(wǎng)上進行數(shù)據(jù)塊傳輸?shù)臉藴?。它是由Cisco和IBM兩家發(fā)起的，并且得到了IP存儲技術(shù)擁護者的大力支持。是一個供硬件設備使用的可以在IP協(xié)議上層運行的SCSI指令集。簡單地說，iSCSI可以實現(xiàn)在IP網(wǎng)絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行路由選擇。nISCSI的工作流程niSCSI協(xié)議就是一個在網(wǎng)絡上封包和解包的過程，在網(wǎng)絡的一端，數(shù)據(jù)包被封裝成包括TCP/IP頭、iSCSI識別包和SCSI數(shù)據(jù)三部分內(nèi)容，傳輸?shù)骄W(wǎng)絡另一端時，這三部分內(nèi)容分別被順序地解開。數(shù)據(jù)時任何資源的基礎DataBusinessI

13、ntelligenceKnowledgeWisdomInformationBackup（備份）nBackup - Definitionn“Backup is a copy type of operation, designed to protect data from accidental or malicious loss or damage”File12 (or more)Backup Copy備份過程拷貝為什么要備份System stolenUser Data and System LossSystem damagedUser Data and System Loss/DowntimeA

14、ccidental File DeletionFile LossAccidental File OverwriteFile LossAccidental Directory DeletionDirectory and/or File LossHacker IntrusionCorrupt or Lost DataMagnetic Disk FailureCorrupt or Lost DataCPU/Motherboard FailureCorrupt or Lost Data and DowntimeNetwork/Interface FailureCorrupt or Lost Data/

15、Loss of Connectivity Application Halt or CrashCorrupt or Lost DataOperating System Halt or CrashCorrupt or Lost Data事件結(jié)果為什么要備份FloodSite Loss - Complete or PartialExtreme Weather EventSite Loss - Complete or PartialSeismic EventSite Loss - Complete or PartialAviation AccidentSite Loss - Complete or P

16、artialTerrorismSite Loss - Complete or PartialEmergency EvacuationLoss of Access to Site災難后果Full backup（全備份）全備份.全備份全備份是在某一個時間點上所有數(shù)據(jù)的一個完全拷貝Differential(差分) BackupsFull BackupDifferentialFull BackupA differential backup is a copy of all the data since the last full Backup.Incremental(增量) BackupsFull B

17、ackup.IncrementalsFull BackupIncremental backup is a copy of only the data that have changed since the last backup.恢復n恢復過程將數(shù)據(jù)從磁帶拷貝回磁盤n備份是比恢復早的一個時間點的完全映象備份記錄了文件的目錄結(jié)構(gòu)，權(quán)限等，備份在具體的某盤磁帶，磁帶在磁帶庫中具體的槽位等這些信息存儲在備份軟件的數(shù)據(jù)庫中通常被稱為元數(shù)據(jù)DiskTape備份數(shù)據(jù)的生命周期Databacked upBrowse PolicyExpiresBROWSABLERetentionPolicy ExpiresR

18、ECOVERABLEVolumeRecycledRECYCLABLE / RECOVERABLEArchive(歸檔)Archive - Definition“Archive is a move type of operation, designed to preserve a file for future reference”源文件1.1.備份歸檔的文件歸檔過程移動, 校驗, (刪除)Hierarchical Storage Management (HSM)HSM 是充分保護現(xiàn)有的硬盤存儲資源的基礎上，將很少使用的文件保存到相對較為便宜的磁帶上，當應用需要訪問的時候自動進行回調(diào)，相對而言在

19、訪問速度上會有所影響；對于應用來說是透明的。1.1.HSM Process “透明的” 移動備份服務器，備份客戶端nBackup Server Definitionn“The Backup Server is the central control and management point of the backup and restore process. It holds the Index database (Metadata)”nA Client - Definitionn“A client is a server or workstation that backs up its da

20、ta over the network to the backup server”.傳統(tǒng)lan環(huán)境下數(shù)據(jù)流走向ApplicationServerLANRAID or JBODTape LibraryBackupServerLanfree備份數(shù)據(jù)流的走向Local Area NetworkMetadataReadWriteBackupServerBackupClientServerfree數(shù)據(jù)流走向DiskFibre ChannelLocal Area NetworkTapeStorage Area NetworkSan環(huán)境下磁帶驅(qū)動器的共享TapeLocal Area NetworkSANFi

21、breChannel集群環(huán)境下的備份Backup ServerVirtual ClientBackupNas的備份NAS ServerTapeBackupServerNDMP CommunicationNDMP - Network Data Management Protocol - is a storage specific communications protocol that allowsNAS systems to backup to local tape libraries under the control of a remote backup server存儲備份的誤區(qū)誤區(qū)1:

22、 混淆備份、雙機熱備份和容災系統(tǒng)在為大型企業(yè)提供咨詢服務時，經(jīng)常有用戶反映: “我們的數(shù)據(jù)庫軟件有容錯和自動恢復功能，服務器主機也做了雙機熱備份，而且以后還要建立容災系統(tǒng)。在這么高標準的安全性保證下，我們再也不需要用磁帶設備和備份軟件每天做備份了?！?誤區(qū)2: 錯解數(shù)據(jù)遷移 n隨著社會的發(fā)展，現(xiàn)代企業(yè)的流動性大大增加，給企業(yè)的數(shù)據(jù)“搬家”在所難免。很多企業(yè)由于業(yè)務需要，都建立了異地的數(shù)據(jù)分發(fā)、數(shù)據(jù)集中或者數(shù)據(jù)同步一類的系統(tǒng)。一些用戶把這種系統(tǒng)稱為“數(shù)據(jù)遷移”。不妥的是，在存儲技術(shù)中，“數(shù)據(jù)遷移”這一概念早已有了明確的定義，而且與之相去甚遠。真正的數(shù)據(jù)遷移技術(shù)(也被稱為分層存儲管理)是指: 由在

23、線存儲設備和離線存儲設備共同構(gòu)成一個協(xié)調(diào)工作的存儲系統(tǒng)，該系統(tǒng)在在線存儲設備和離線存儲設備之間動態(tài)地管理數(shù)據(jù)，使得訪問頻率高的數(shù)據(jù)存放于性能較高的在線存儲設備中，而訪問頻率低的數(shù)據(jù)存放于較為廉價的離線存儲設備中。這樣，既可以保證在絕大部分狀況下系統(tǒng)的性能，同時又大幅度降低了系統(tǒng)成本。 構(gòu)建存儲備份的原則原則一: 信息是存儲的核心 n什么樣的企業(yè)需要存儲系統(tǒng)，實際上，任何企業(yè)都需要存儲系統(tǒng)。因為今天企業(yè)的核心問題之一是信息，而建立存儲系統(tǒng)的目的，就是對信息進行保護、管理和共享。 原則二: 要產(chǎn)品也要技術(shù) n一個典型的數(shù)據(jù)存儲系統(tǒng)基本由以磁盤陣列為主的在線存儲系統(tǒng)、以磁帶設備為主的離線存儲系統(tǒng)、存

24、儲管理軟件、交換設備和主機適配器等周邊設備共4部分的產(chǎn)品構(gòu)成。由于產(chǎn)品提供商很難對用戶的具體數(shù)據(jù)特征做出深入細致的分析，并給出具有針對性的方案，所以在用戶還沒有足夠的能力來自行設計存儲系統(tǒng)之前，選擇一家有經(jīng)驗的存儲專業(yè)集成商是很必要的。 原則三: 明確需求，切勿一味追新 n作為用戶，應該充分把握自己的實際情況，不要盲目地跟隨廠商的思路。在明確需求之時，可以咨詢有經(jīng)驗的行業(yè)專家顧問，或者考察同行業(yè)的系統(tǒng)設計和實施情況，萬不可把自己至關(guān)重要的業(yè)務作為“試驗田”。 原則四: 長遠考慮，打好基礎 n存儲是應用系統(tǒng)的基礎和核心，它的絲毫變化都將“牽一發(fā)而動全身”，同時，存儲系統(tǒng)出現(xiàn)的問題和故障也可能影響到整個IT系統(tǒng)的正常運行。所以，建立存儲系統(tǒng)之初就應該考慮到穩(wěn)定性和結(jié)構(gòu)擴展性等方面的要求，保證系統(tǒng)能夠穩(wěn)定而長期的工作。 綜合評價 為我所用 n確定好選擇哪種存儲系統(tǒng)的基本結(jié)構(gòu)后，我們可以考慮產(chǎn)品問題。存儲產(chǎn)品的評價基本可以集中在下面幾個方面n容錯能力、n性能、n容量、n連接性、n管理性n附加功能1容錯能力n容錯能力是指在存儲