第1章網(wǎng)絡(luò)存儲規(guī)劃

1、第1章 網(wǎng)絡(luò)存儲規(guī)劃主講人主講人 高延增高延增老師介紹 聯(lián)系方式： QQ：276470905 手機(jī)章內(nèi)容3 1網(wǎng)絡(luò)存儲背景3 23 3網(wǎng)絡(luò)需求分析 網(wǎng)絡(luò)存儲方式選擇 3 4制定網(wǎng)絡(luò)存儲方案 1.1 網(wǎng)絡(luò)存儲背景數(shù)據(jù)在現(xiàn)代信息社會中的作用和地位越來越突出，數(shù)據(jù)在迅速的不斷增長中，對于海量數(shù)據(jù)的存儲和備份則成為網(wǎng)絡(luò)管理的重要組成部分之一。在當(dāng)前網(wǎng)絡(luò)中，各種數(shù)據(jù)庫、模型庫、知識庫，以及其他重要數(shù)據(jù)是其核心數(shù)據(jù)，對這些重要數(shù)據(jù)的存儲與備份具有極其重要的意義。1.2 網(wǎng)絡(luò)需求分析 網(wǎng)絡(luò)有各種服務(wù)器系統(tǒng)，包括文件發(fā)布系統(tǒng)、Web服務(wù)器系統(tǒng)、E-Mail系統(tǒng)、服務(wù)器群集技術(shù)等。對存

2、儲系統(tǒng)有各種需求，包括需要高性能的服務(wù)器群集技術(shù)系統(tǒng)、簡單文件共享的文件發(fā)布存儲系統(tǒng)、安全性要求較高的文件存儲系統(tǒng)等。如果使用單一的存儲系統(tǒng)，顯然是無法滿足需要，因此，需要規(guī)劃一種可行的綜合性存儲系統(tǒng)。 1.3 網(wǎng)絡(luò)存儲方式選擇1.3.1 DAS特點與適用1.3.2 SAN特點與適用1.3.3 iSCSI特點與適用1.3.1 DAS特點與適用DAS具有以下優(yōu)點：l實現(xiàn)大容量存儲。將多個磁盤合并成一個邏輯磁盤，滿足海量存儲的需求。l可實現(xiàn)應(yīng)用數(shù)據(jù)和操作系統(tǒng)的分離。操作系統(tǒng)一般存放本機(jī)硬盤中，而應(yīng)用數(shù)據(jù)放置于陣列中。l提高存取性能。操作單個文件資料，同時有多個物理磁盤在并行工作，運行速度比單個磁盤

3、運行速度高。l實施簡單。無須專業(yè)人員操作和維護(hù)，節(jié)省用戶投資。1.3.1 DAS特點與適用DAS方式實現(xiàn)了機(jī)內(nèi)存儲到存儲子系統(tǒng)的跨越，但是缺點依然有很多。主要包括：擴(kuò)展性差。資源利用率低。可管理性差。異構(gòu)化嚴(yán)重。1.3.1 DAS特點與適用DAS適用于以下環(huán)境中：l服務(wù)器在地理分布上較為分散，利用SAN或NAS在進(jìn)行互連時非常非常困難時（銀行在各地區(qū)的分行以及大型連鎖超市是較為典型的例子）。l存儲系統(tǒng)必須被直接連接到應(yīng)用服務(wù)器上時。l包括許多數(shù)據(jù)庫應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用，都需要直接連接到存儲器上。1.3.2 SAN特點與適用SAN具有以下優(yōu)點：設(shè)備整合數(shù)據(jù)集中高擴(kuò)展性總體擁有成本低具有無限

4、的擴(kuò)展能力更高的連接速度和處理能力SAN也有以下缺點：SAN各個客戶端的存儲空間是分離的，通過光纖實現(xiàn)連接，許多設(shè)備價格高昂，因此，SAN的實現(xiàn)需要相當(dāng)高的費用網(wǎng)絡(luò)維護(hù)也需要相當(dāng)?shù)拈_銷1.3.2 SAN特點與適用SAN對于以下應(yīng)用來說是理想的選擇：關(guān)鍵任務(wù)數(shù)據(jù)庫應(yīng)用，其中可預(yù)計的響應(yīng)時間、可用性和可擴(kuò)展性是基本要素。集中的存儲備份，其中性能、數(shù)據(jù)一致性和可靠性可以確保企業(yè)關(guān)鍵數(shù)據(jù)的安全。高可用性和故障切換環(huán)境可以確保更低的成本、更高的應(yīng)用水平。可擴(kuò)展的存儲虛擬化，可使存儲與直接主機(jī)連接相分離，并確保動態(tài)存儲分區(qū)。改進(jìn)的災(zāi)難容錯特性，在主機(jī)服務(wù)器及其連接設(shè)備之間提供光纖通道高性能和擴(kuò)展的距離（達(dá)

5、到150公里）。1.3.2 SAN特點與適用1.3.3 iSCSI特點與適用IP 網(wǎng)絡(luò)的優(yōu)勢可以概括為以下幾點：用于管理、安全和服務(wù)質(zhì)量（QoS）的網(wǎng)絡(luò)協(xié)議和中間件的通用性。將在IP 網(wǎng)絡(luò)的設(shè)計和管理中獲得的經(jīng)驗用于IP 存儲局域網(wǎng)。經(jīng)過培訓(xùn)的、經(jīng)驗豐富的IP 網(wǎng)絡(luò)管理人員可以安裝和管理這些網(wǎng)絡(luò)。通過在整個企業(yè)中使用一套標(biāo)準(zhǔn)的IP 基礎(chǔ)設(shè)施、產(chǎn)品和服務(wù)而獲得經(jīng)濟(jì)效益。iSCSI 與現(xiàn)有的IP LAN 和WAN 基礎(chǔ)設(shè)施兼容。傳輸距離只受應(yīng)用性能要求的限制，而不受IP 協(xié)議的限制。1.4 制定網(wǎng)絡(luò)存儲方案1.4.1 在制定網(wǎng)絡(luò)存儲方案應(yīng)遵循的原則1.4.2 選擇存儲產(chǎn)品1.4.1 在制定網(wǎng)絡(luò)存儲

6、方案應(yīng)遵循的原則 網(wǎng)絡(luò)存儲的核心數(shù)據(jù)要產(chǎn)品也要技術(shù)需求為主長遠(yuǎn)考慮，打好基礎(chǔ)1.4.2 選擇存儲產(chǎn)品容錯能力性能容量連接性管理性附加功能DAS、SAN與ISCSI比較 項目DAS特點SAN特點iSCSI特點設(shè)計理念存儲設(shè)備存儲網(wǎng)絡(luò)存儲網(wǎng)絡(luò)適配器SCSI適配器光纖通道適配器以太網(wǎng)適配器傳輸單位塊I/O塊I/O塊I/O網(wǎng)絡(luò)連接協(xié)議SCSIFC（光纖通道）TCP/IP管理方式在服務(wù)器上管理在服務(wù)器上管理在服務(wù)器上管理性價比性能低成本低性能高成本高性能高成本適中補(bǔ)充：存儲基本知識目 錄123456第一節(jié)第一節(jié) 信息存儲的發(fā)展信息存儲的發(fā)展第二節(jié)第二節(jié) 信息存儲介質(zhì)信息存儲介質(zhì)第三節(jié)第三節(jié) 信息存儲系統(tǒng)

7、信息存儲系統(tǒng)第四節(jié)第四節(jié) 主機(jī)服務(wù)器系統(tǒng)主機(jī)服務(wù)器系統(tǒng)第五節(jié)第五節(jié) 數(shù)據(jù)備份技術(shù)數(shù)據(jù)備份技術(shù)第六節(jié)第六節(jié) 容災(zāi)技術(shù)容災(zāi)技術(shù)新摩爾定律什么是存儲？ 用于存放數(shù)據(jù)信息的設(shè)備和介質(zhì) 等同于計算機(jī)系統(tǒng)中的外部存儲 存儲是一個系統(tǒng) 是計算機(jī)技術(shù)發(fā)展的結(jié)果存儲的基本概念存儲的特征：它是數(shù)據(jù)臨時或長期駐留的物理媒介它是保證數(shù)據(jù)完整安全存放的方式或行為存儲的歷史汞延遲線磁帶磁鼓納米儲存光盤磁芯磁盤存儲的現(xiàn)狀和趨勢存儲體系結(jié)構(gòu) 當(dāng)前存儲的主要體系結(jié)構(gòu)有三種：DAS、 NAS、SAN存儲發(fā)展趨勢 復(fù)數(shù)據(jù)刪除 SSD固態(tài)磁盤 云存儲 虛擬化環(huán)境的保護(hù) 一體化應(yīng)用存儲設(shè)備 非結(jié)構(gòu)化數(shù)據(jù)存儲與管理 備份容災(zāi)存儲介質(zhì)硬盤

8、硬盤：是電腦主要的存儲媒介之一，有一個或多個鋁制或者玻璃制的碟片組成磁帶磁帶：是一種用于記錄聲音、圖像、數(shù)字或其他信號的再有磁層的帶狀材料，是 產(chǎn)量最大和用途最廣的一種磁記錄材料光盤光盤：光盤以光信息做為存儲物的載體軟盤軟盤：軟盤的讀寫通過軟盤驅(qū)動器完成Flash存儲存儲：一種不揮發(fā)的內(nèi)存器件存儲設(shè)備 磁帶機(jī) 磁帶庫 虛擬磁帶庫 Oceanspace S2600 Oceanspace S25000 Oceanspace S5000T存儲的組件存儲組件存儲方案磁盤的組件接口磁盤片主軸組件浮動磁頭組件磁頭驅(qū)動機(jī)構(gòu)前驅(qū)控制電路數(shù)據(jù)傳輸芯片主控芯片高速緩存芯片存儲的組件存儲的組件硬盤的柱面、磁面、磁道

9、與扇區(qū)磁面磁面磁道磁道扇區(qū)扇區(qū)柱面柱面磁道磁面硬盤工作原理l硬盤工作由馬達(dá)帶動磁盤，然后磁頭在磁盤表面以二進(jìn)制的形式讀寫數(shù)據(jù)，讀取的數(shù)據(jù)儲存在硬盤的flash芯片中，最后傳到程序中運行；硬盤在一定的硬件條件下轉(zhuǎn)速越快，讀寫能力越強(qiáng)，但最終讀寫能力受內(nèi)部硬件帶寬限制。 硬盤的分類按照接口類型按照硬盤形態(tài)機(jī)械硬盤固態(tài)硬盤硬盤接口硬盤接口IDE/IDE/ATAATASCSISCSISATASATASASSASFCFC市場主流硬盤l目前市場上主流硬盤廠商包括Seagate(希捷)、WD（西部數(shù)據(jù)）、HITACHI(日立)等。硬盤的參數(shù)容量 硬盤容量=柱面數(shù)磁頭數(shù)扇區(qū)數(shù)512Bytes轉(zhuǎn)速 盤片轉(zhuǎn)動圈數(shù)

10、 / 分鐘(rpm)平均訪問時間 平均尋道時間 平均潛伏時間數(shù)據(jù)傳輸率 外部數(shù)據(jù)傳輸率 內(nèi)部數(shù)據(jù)傳輸率CPU硬盤緩存硬盤緩存磁頭讀取盤片磁頭讀取盤片硬盤緩存硬盤緩存硬盤接口比較接口接口IDESATASCSISASFC接口類型接口類型并行串行并行串行串行主流接口速主流接口速率率100MB/S133MB/S300MB/S600MB/S320MB/S3GB/S6GB/S2GB/S、4GB/S、8GB/S拓?fù)浣Y(jié)構(gòu)拓?fù)浣Y(jié)構(gòu)總線點對點總線用擴(kuò)展器實現(xiàn)的點對點點對點、環(huán)路、交換式雙工雙工半雙工半雙工半雙工全雙工全雙工最大連接設(shè)最大連接設(shè)備數(shù)備數(shù)21 or 15 with port multiplier161

11、6256127-loop1600萬 fabric線纜長度線纜長度0.4 m1m12m6m30m(銅軸電纜)10km(光纖)應(yīng)用應(yīng)用普通PC機(jī)低端工作站中高端工作站中高端工作站高端工作站硬盤操作注意事項l現(xiàn)場硬盤操作、接觸時，必須正確佩戴防靜電手腕或防靜電手套；l硬盤存放和運輸前必須采用防靜電材料進(jìn)行包裝；l硬盤在現(xiàn)場搬運時需要采用原包裝材料進(jìn)行包裝，在運輸過程選擇平滑地 段，遇到臺階，必須輕抬輕放； l硬盤輕拿輕放，切勿堆積或在沒有防靜電措施情況下隨意擺放（現(xiàn)場沒有防靜電墊子，可以考慮利用設(shè)備或硬盤防靜電包裝材料）；l硬盤單元熱拔出時，向外拉出硬盤單元2厘米左右，讓硬盤和背板連接器完全斷開，停

12、留10S左右，保證硬盤電機(jī)停轉(zhuǎn)；再依次完全拔出各硬盤單元；l故障硬盤需要用防靜電材料和緩沖材料包裝好后郵寄，硬盤上建議寫明局點、 客戶和故障現(xiàn)象；SSD硬盤：讀寫機(jī)制決定讀寫效率lSSD在隨機(jī)讀取方面的效率要比硬盤驅(qū)動器高得多，這是因為它沒有必須懸在硬盤上方來讀取數(shù)據(jù)的讀寫頭(類似電唱機(jī)的針頭)。存儲系統(tǒng)產(chǎn)生的背景傳統(tǒng)計算機(jī)存儲系統(tǒng)的局限性：傳統(tǒng)計算機(jī)存儲系統(tǒng)的局限性：硬盤成為整個系統(tǒng)的性能瓶頸有限的硬盤槽位，難滿足大量容量需求單個硬盤存放數(shù)據(jù)，數(shù)據(jù)可靠性難以保證存儲空間利用率低本地存儲，數(shù)據(jù)分散，難以共享 可擴(kuò)展性不好 總線結(jié)構(gòu)，而非網(wǎng)絡(luò)結(jié)構(gòu) 可連接的設(shè)備受到限制增加容量時， 需停機(jī)傳統(tǒng)計算

13、機(jī)存儲系傳統(tǒng)計算機(jī)存儲系統(tǒng)統(tǒng)CPU硬盤RAM存儲網(wǎng)絡(luò)的產(chǎn)生存儲網(wǎng)絡(luò)的基本形態(tài)DAS（Direct Attached Storage存儲設(shè)備（RAID系統(tǒng)、磁帶機(jī)和磁帶庫、光盤庫）直接連接到服務(wù)器；傳統(tǒng)的、最常見的連接方式，容易理解、規(guī)劃和實施；沒有獨立操作系統(tǒng)，不能提供跨平臺的文件共享，各平臺下數(shù)據(jù)需分別存儲；單個DAS系統(tǒng)之間沒有連接，數(shù)據(jù)只能分散管理；備份軟件不能離開服務(wù)器支持；DAS的前期投資比較少；NAS（Network Attached Storage）NAS本身裝有獨立的OS，通過網(wǎng)絡(luò)協(xié)議可以實現(xiàn)完全跨平臺共享，支持WinNT、Linux、Unix等系統(tǒng)共享同一存儲分區(qū)；NAS可以

14、實現(xiàn)集中數(shù)據(jù)管理；一般集成本地備份軟件，可以實現(xiàn)無服務(wù)器備份功能；NAS系統(tǒng)的前期投入相對較高。NAS內(nèi)每個應(yīng)用服務(wù)器通過網(wǎng)絡(luò)共享協(xié)議（如：NFS、CIFS）使用同一個文件管理系統(tǒng)；NAS關(guān)注應(yīng)用、用戶和文件以及它們共享的數(shù)據(jù)；磁盤I/O會占用業(yè)務(wù)網(wǎng)絡(luò)帶寬。SAN（Storage Area Network）高可用性，高性能的專用存儲網(wǎng)絡(luò)，用于安全的連接服務(wù)器和存儲設(shè)備并且具備靈活性和可擴(kuò)展性；SAN對于數(shù)據(jù)庫環(huán)境、數(shù)據(jù)備份和恢復(fù)存在巨大的優(yōu)勢；SAN是一種非常安全的，快速傳輸、存儲、保護(hù)、共享和恢復(fù)數(shù)據(jù)的方法。SAN是獨立出一個數(shù)據(jù)存儲網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)部的數(shù)據(jù)傳輸率很快，但操作系統(tǒng)仍停留在服務(wù)器端

15、，用戶不直接訪問SAN的網(wǎng)絡(luò)，SAN關(guān)注磁盤、磁帶 以及聯(lián)接它們的可靠的基礎(chǔ)結(jié)構(gòu)；存儲網(wǎng)絡(luò)的三種形態(tài)比較存儲設(shè)備的組成l硬件組成一般包括：框控制器BBU風(fēng)扇電源接口卡硬盤（硬盤框）RAID技術(shù)RAID是一種把多塊獨立的硬盤（物理硬盤）按不同的方式組合起來形成一個硬盤組（邏輯硬盤），從而提供比單個硬盤更高的存儲性能和提供數(shù)據(jù)備份技術(shù)。RAID全稱Redundant Array of Independent Disks；即獨立磁盤冗余陣列。RAID優(yōu)勢：容量易擴(kuò)展、分塊提高性能、可用性提高及可靠性提高。RAID級別的選擇不同的RAID級別代表著不同的性能、數(shù)據(jù)安全性和存儲成本。RAID常用級別：R

16、AID0、RAID1、RAID10、RAID5、RAID6。主機(jī)服務(wù)器類型服務(wù)器形態(tài)包括塔式服務(wù)器、機(jī)架服務(wù)器、刀片服務(wù)器刀片服刀片服務(wù)器務(wù)器機(jī)架服務(wù)器機(jī)架服務(wù)器塔式服務(wù)器塔式服務(wù)器服務(wù)器的硬件組成機(jī)箱 電源風(fēng)扇 處理器 內(nèi)存 主板 RAID卡 本地硬盤主機(jī)操作系統(tǒng)windows操作系統(tǒng)Windows2003windows2008linux操作系統(tǒng)Suse linux91011 、 Redhat linux456Vmware esxEsx 45aixaix 456solarisSolaris 910hp-ux 11hp-ux主機(jī)文件系統(tǒng)Windows下常見的文件系統(tǒng)：FAT16、FAT32、N

17、TFSLinux下常見的文件系統(tǒng)：ext3、jfs、Reiserfs、xfs其它文件系統(tǒng):ZFS、HFS、VMFS、UFS、GFS主機(jī)服務(wù)器應(yīng)用應(yīng)用系統(tǒng)：數(shù)據(jù)庫主流數(shù)據(jù)庫：DB2、Oracle、Informix、Sybase、SQL Server、內(nèi)存數(shù)據(jù)庫等應(yīng)用系統(tǒng)：郵件郵件服務(wù)器構(gòu)成了電子郵件系統(tǒng)的核心，管理郵件的收發(fā)應(yīng)用系統(tǒng)：文件文件服務(wù)器負(fù)責(zé)共享資源的管理和傳送接收，管理存儲設(shè)備中的文件，為網(wǎng)絡(luò)用戶提供文件共享服務(wù)，也稱文件共享服務(wù)器應(yīng)用系統(tǒng)：集群服務(wù)器集群就是指將很多服務(wù)器集中起來一起進(jìn)行同一種服務(wù)，在客戶端看來就象是只有一個服務(wù)器，集群可以利用多個計算機(jī)進(jìn)行并行計算從而獲得很高的計

18、算速度，也可以用多個計算機(jī)做備份，從而使得任何一個機(jī)器壞了整個系統(tǒng)還是能正常運行備份的基本概念數(shù)據(jù)備份是將數(shù)據(jù)以某種方式加以保留，以便在系統(tǒng)遭受破壞或其他特定情況下重新加以利用的一個過程。數(shù)據(jù)備份的核心是恢復(fù)，一個無法恢復(fù)的備份對于任何系統(tǒng)來說都是毫無意義的。備份備份原則原則穩(wěn)定性穩(wěn)定性容災(zāi)考容災(zāi)考慮慮操作簡操作簡單單高性能高性能自動化自動化全面性全面性l備份系統(tǒng)的組成備份系統(tǒng)的組成部分部分p備份客戶端p備份服務(wù)器p備份存儲單元p備份管理軟件備份組網(wǎng)LAN-BASE備份LAN-FREE備份數(shù)據(jù)備份的類型l全備份：備份系統(tǒng)中的所有數(shù)據(jù)p優(yōu)點：恢復(fù)時間最短，最可靠，操作最方便p缺點：備份的數(shù)量大，備份所需時間長l增量備份：備份上一次備份以后更新的所有數(shù)據(jù)p優(yōu)點：每次備份的數(shù)據(jù)少，占用空間少，備份時間短p缺點：恢復(fù)時需要全備份及多份增量備份l差量備份：備份上一次全備份以后更新的所有數(shù)據(jù)p優(yōu)點：數(shù)據(jù)恢復(fù)時間短p缺點：備份時間長，恢復(fù)時需要全備份及差量備份什么是災(zāi)難l自然災(zāi)難：地震、水災(zāi)、雷電等l社會災(zāi)難：戰(zhàn)爭、火災(zāi)、盜竊等lIT系