世茂集團SAP存儲系統(tǒng)建設方案建議書 V1.0 NetApp

世茂集團SAP存儲系統(tǒng)建設TIME\@"MMMMd,yyyy"August27,2022?20?2012NetAppAllrightsreserved本文檔包含NetApp公司的商業(yè)及技術(shù)機密。未經(jīng)NetApp公司許可，不得向第三方泄漏或使用。目錄1 概述 31.1 集團概述 31.2 NetApp簡介 32 需求描述 62.1 現(xiàn)狀 62.2 架構(gòu)規(guī)劃及設計要求 72.2.1 架構(gòu)設計原則 72.3 存儲層面數(shù)據(jù)備份要求 72.3.1 存儲層面數(shù)據(jù)備份原則 73 方案設計 83.1 產(chǎn)品選型及設計原則 83.2 方案架構(gòu) 93.2.1 容量與性能規(guī)劃 93.2.2 應用數(shù)據(jù)備份 103.3 未來架構(gòu) 114 數(shù)據(jù)中心存儲架構(gòu)設計方法 164.1 數(shù)據(jù)中心的演變-多層結(jié)構(gòu) 164.2 數(shù)據(jù)中心存儲架構(gòu)的演變 184.3 新一代存儲平臺架構(gòu)-云存儲 204.4 新一代存儲平臺總體設計構(gòu)思 224.5 存儲系統(tǒng)層考慮 234.5.1 存儲協(xié)議考慮 234.5.2 存儲可靠性考慮 244.5.3 存儲性能考慮 244.5.4 存儲容量配置考慮 254.5.5 存儲功能考慮 255 存儲高可靠性 275.1 存儲部署結(jié)構(gòu) 275.1.1 單控制器Stand-Alone模型 275.1.2 雙控制器Cluster-FailOver模型 275.2 磁盤子系統(tǒng) 295.2.1 MultiPathHA(MPHA) 295.2.2 RAID校驗 306 SAP解決方案 346.1 SAP的升級 356.2 SAP的備份和恢復 366.3 SAP的系統(tǒng)復制 386.4 SnapManagerforSAP 396.5 備份數(shù)據(jù)驗證 437 備份 457.1 在線備份 457.2 近線/離線備份 468 系統(tǒng)容災 548.1 系統(tǒng)容災概述 548.2 如何衡量一個容災系統(tǒng) 558.3 數(shù)據(jù)遠程復制方式討論 558.3.1 三種數(shù)據(jù)遠程復制方式 558.3.2 不同的數(shù)據(jù)異步復制技術(shù) 588.4 NetApp數(shù)據(jù)容災技術(shù) 598.4.1 SnapMirror 598.4.2 MetroCluster 619 存儲管理與監(jiān)控 649.1 OperationsManager 649.2 ProtectionManager 699.3 ProvisioningManager 7310 存儲系統(tǒng)規(guī)劃 7610.1 軟件功能升級 7610.2 硬件平臺升級 7610.3 存儲架構(gòu)升級 7711 NetApp的技術(shù)優(yōu)勢 8011.1 集成的統(tǒng)一存儲 8011.2 讀寫的高性能 8011.3 橫向和縱向的系統(tǒng)高擴展性 8111.4 數(shù)據(jù)的高可用性 8111.5 靈活地多級備份方式 8211.6 簡易的管理 8311.7 最低的總體擁有成本（TCO） 84

概述集團概述世茂，是以房地產(chǎn)開發(fā)為主的國際化企業(yè)集群?，F(xiàn)已經(jīng)發(fā)展成為以“世茂房地產(chǎn)(0813.HK)”及“世茂股份(600823.SH)”兩家控股上市公司為核心的大型企業(yè)集團。經(jīng)過二十多年的發(fā)展，世茂已經(jīng)成為中國房地產(chǎn)界領(lǐng)袖企業(yè)之一。

二十多年前，世茂進軍中國大陸房地產(chǎn)市場，在發(fā)展歷程中，致力于不斷提升人居品質(zhì)和居住品位，為城市的形象增添更多光彩。本著“締造生活品位”的理念，企業(yè)在中國大陸首創(chuàng)了房地產(chǎn)“濱江模式”，將景觀、親水、園林和建筑等各種元素融合進了每一個家庭的日常生活，不僅在人居環(huán)境、自然生態(tài)與人文景觀之間架起了一條條人性的橋梁，也在描繪高雅的棲居藝術(shù)的同時創(chuàng)造了一個個地產(chǎn)精品。目前，世茂正在開發(fā)的六十多個項目，分布于中國近四十個大中城市。

同時，世茂始終以創(chuàng)新、前瞻的地產(chǎn)開發(fā)思維，以“成就城市夢想”為己任，實踐“城市經(jīng)營者”的理想，投身于推動城市化進程的大業(yè)。不僅如此，公司更是放眼全球，融匯歐亞文化，把“全球銷售理念”應用于房地產(chǎn)行業(yè)，將地產(chǎn)精品推向世界。在弘揚民族經(jīng)典文化的同時，也為項目當?shù)匾M國際資金，促進國際間經(jīng)濟、文化交流。正是這種一如既往的追求和責任，讓世茂崢嶸業(yè)界數(shù)十載，在生態(tài)住宅、商業(yè)地產(chǎn)、旅游地產(chǎn)等多個領(lǐng)域取得矚目成就，并成為中國房地產(chǎn)頗具影響力的行業(yè)翹楚。NetApp簡介NetApp，是美國Nasdaq上市的一家專業(yè)網(wǎng)絡存儲解決方案公司，提供SAN/NAS統(tǒng)一的數(shù)據(jù)存儲和管理產(chǎn)品。NetApp公司為用戶提供高性價比，易于管理和使用的存儲產(chǎn)品，化繁為簡。通過創(chuàng)新性的軟件開發(fā)，NetApp在多個方面取得了第一的成績。NetApp方案滿足行業(yè)存儲解決的要求NetApp產(chǎn)品為用戶提供能整合內(nèi)部運營管理和綜合業(yè)務系統(tǒng)（基于開放系統(tǒng)的UNIX、Linux和Windows平臺），加強數(shù)據(jù)安全性和可用性，簡化維護管理，提高競爭力。所以更多的企業(yè)已經(jīng)意識到集中存儲系統(tǒng)的重要性，應用的宕機停工所造成的數(shù)據(jù)丟失、生產(chǎn)率的下降以及客戶服務的停滯都會帶來巨大的損失，是絕對不允許和不能接受的。即使是微小的數(shù)據(jù)丟失或短暫的服務停機也會影響企業(yè)的日常運營，客戶會對企業(yè)失去信心，從而導致客戶的流失和負面的社會影響.另一方面，計算機管理人員和設備用戶，面對著復雜的IT環(huán)境，工作量巨大，特別需要簡單易用的產(chǎn)品，使其主要精力可以投入到具有更高價值的面向業(yè)務的服務，而不必花費大量時間和精力在底層設備維護上。系統(tǒng)高可用性——7x24小時的服務NetApp的產(chǎn)品采用Appliance-專用服務器的設計方式，軟硬件一體設計，是專門為數(shù)據(jù)存儲和管理設計的系統(tǒng)，硬件充分冗余，軟件得到完備的測試，設備可以達到99.999%的可用性，具有無中斷業(yè)務系統(tǒng)需要的高擴展性、高性能的、高可用性，滿足海量數(shù)據(jù)I/O吞吐量的需，真正可以實現(xiàn)7x24小時的服務，盡最大可能的去保護您最寶貴的資產(chǎn)。確保業(yè)務連續(xù)性——企業(yè)級災難恢復方案NetApp的產(chǎn)品具有強大的企業(yè)級容災功能，存儲系統(tǒng)內(nèi)置的在線備份功能——快照Snapshot可以再線為數(shù)據(jù)保留255個備份版本，進行瞬間備份?？煺栈謴蚐napRestore可以瞬間恢復幾個TB的數(shù)據(jù)。SnapMirror可以將數(shù)據(jù)通過網(wǎng)絡自動鏡像到異地。實施企業(yè)級災難恢復解決方案可以將用戶數(shù)據(jù)的損失降至最低甚至為零，最大限度地保護數(shù)據(jù)的實時性、完整性和一致性。災難恢復可以降低風險，保證在發(fā)生各種不可預料的故障、破壞性事故或災難情況時，能夠繼續(xù)提供計算機服務，確保業(yè)務系統(tǒng)的7x24小時不間斷運行，極大地降低的損失。從而提高抗變能力，增加客戶的信心。集中存儲——多服務器跨平臺的數(shù)據(jù)集中存儲NetApp的企業(yè)級存儲系統(tǒng)能夠增強企業(yè)內(nèi)部運營管理和綜合業(yè)務系統(tǒng)（基于開放系統(tǒng)的UNIX、Linux和Windows平臺）業(yè)務系統(tǒng)的數(shù)據(jù)可用性和靈活性。如數(shù)據(jù)中心主機系統(tǒng)維護、部件更換、系統(tǒng)移植和軟件升級等情況下提供不停機環(huán)境，保證業(yè)務的連續(xù)性，避免系統(tǒng)中斷運行帶來的行業(yè)聲譽損失以及經(jīng)濟利益損失。NetApp的系統(tǒng)在管理海量數(shù)據(jù)時具有穩(wěn)定的性能，支持SAN/NAS統(tǒng)一存儲滿足各種系統(tǒng)的要求，系統(tǒng)應對增長的業(yè)務量有足夠的適應能力。不僅是初期投資所做的配置滿足一定時間內(nèi)的需要。而且當業(yè)務增長超出初期投資所做配置的能力時，系統(tǒng)能夠靈活擴充和升級。這種能力表現(xiàn)在可以在線增加存儲容量，以滿足數(shù)據(jù)不斷增長的需求。數(shù)據(jù)安全數(shù)據(jù)的正確性直接影響服務質(zhì)量。在各個信息系統(tǒng)運行時要對很多數(shù)據(jù)庫進行操作。如果系統(tǒng)存在隱患而又不能被及時發(fā)現(xiàn)就有可能導致上述數(shù)據(jù)庫出現(xiàn)邏輯錯誤。NetApp的快照功能(Snapshot)可以提供方便的邏輯錯誤保護和恢復能力。由于NetApp的系統(tǒng)不是采用通用的操作系統(tǒng)設計開發(fā)的，對于各種常規(guī)的攻擊和各種計算機病毒具有先天的免疫能力，是數(shù)據(jù)的安全堡壘。業(yè)務高性能NetApp的存儲產(chǎn)品具有十分強大的性能，在處理密集并發(fā)的訪問請求時，響應時間比本地磁盤具有很大的優(yōu)勢。由于系統(tǒng)采用軟硬件一體化的設計，系統(tǒng)充分優(yōu)化，可以為應用提供充足的性能。系統(tǒng)易用性NetApp的存儲系統(tǒng)的使用和管理十分簡單，通過一個簡單的WEB頁面就可以完成所有的管理工作。可以極大地減輕IT人員的工作量和精神壓力，避免復雜操作可能引入的誤操作。減少IT人員底層維護工作量，可以使IT人員發(fā)揮更大的效率。

需求描述現(xiàn)狀世茂集團準備新建一套SAP系統(tǒng)，SAP系統(tǒng)準備采用如下圖所示的架構(gòu)：而對于SAP環(huán)境中的，采用存儲進行本地備份，并且將備份數(shù)據(jù)復制到寧波的容災中心，基本架構(gòu)如下圖所示：架構(gòu)規(guī)劃及設計要求架構(gòu)設計原則所提供的架構(gòu)設計滿足3-5年應用建設要求，容量設計滿足2年需求；方案必須充分考慮系統(tǒng)的成熟性、先進性、可靠性、兼容性、安全性、可擴展性及可管理性；存儲層面數(shù)據(jù)備份要求存儲層面數(shù)據(jù)備份原則備份時必須保證數(shù)據(jù)庫系統(tǒng)的一致性。備份時必須保證應用系統(tǒng)無中斷。

方案設計產(chǎn)品選型及設計原則在存儲產(chǎn)品選型方面，我們主要考慮以下因素：存儲應該集中：存儲系統(tǒng)從邏輯上做到盡可能集中，這樣有利于集中備份、管理等維護操作，降低管理復雜度，節(jié)省管理上的投資；同時可以集中采用高質(zhì)量的存儲設備，保證系統(tǒng)的可靠性和穩(wěn)定性。根據(jù)應用的要求決定了采用SAN或者NAS結(jié)構(gòu)，靈活地滿足的應用需求。響應時間要快：采用的存儲系統(tǒng)應該即使在大并發(fā)量的訪問時仍能夠保持極短的響應時間，并且在讀寫海量小文件有極高的性能表現(xiàn)，這樣才不會造成整體系統(tǒng)的響應延遲，從而導致影響整個的設計研發(fā)和生產(chǎn)工作的進行。具有可靠的故障冗余和容災機制：采用的存儲系統(tǒng)需要具備極高的可靠性，以及迅速從計劃內(nèi)及特別嚴重的計劃外宕機中恢復的能力。并且存儲系統(tǒng)需要具備簡單高效的容災能力，以應對系統(tǒng)管理員意外操作、病毒感染、黑客攻擊等造成的系統(tǒng)災難。存儲平臺應具備整體性和經(jīng)濟性：采用的存儲平臺應該具體根據(jù)數(shù)據(jù)的重要程度和訪問頻度選擇采用在線存儲和近線存儲，以及不同的硬盤類型，這樣才能夠充分保證整體存儲平臺投資的科學性和經(jīng)濟性。同時近線存儲的選擇應該和在線存儲是同構(gòu)的，這樣可以降低系統(tǒng)的復雜度，同時保證整體系統(tǒng)的使用連續(xù)性。本次方案中所設計的存儲架構(gòu)，采用NetApp最新的共享存儲（SharedStorage）的架構(gòu)，構(gòu)建綠色、動態(tài)的數(shù)據(jù)中心。通過應用/存儲分級，定義存儲服務目錄（ServiceCatalog），實現(xiàn)存儲的橫向擴展。而對于未來3-5年內(nèi)新增的應用，可以根據(jù)服務目錄的定義，選擇已有的在線、近線存儲，或擴展新的在線、近線存儲。本次方案中所采用的存儲硬件設備、存儲的操作系統(tǒng)以及基于應用的解決方案，都是NetApp發(fā)布半年及以上的硬件及軟件，并且被其它用戶廣為采用，是成熟的解決方案。在本次方案中的存儲前端接口，采用8GbFC以及10Gb以太網(wǎng)，后端接口及磁盤類型，采用SAS接口，都是目前逐漸開始被用戶選擇的解決方案，具有先進性。在本次方案中，生產(chǎn)存儲以及存儲網(wǎng)絡，均為全冗余架構(gòu)，無單點故障。例如，對于核心存儲的控制器，在本方案中，將集群的兩個控制器部署在兩個機架中，保證可靠性。在本次方案中所采用的存儲設備，兼容主流操作系統(tǒng)和主流的數(shù)據(jù)庫應用。在本次方案中的存儲及解決方案，均支持基于角色的管理方式，保證管理的安全性。在本次方案中所選擇的存儲設備，并不是該系列中的最高級別，具有向上擴展的空間。同時，由于存儲架構(gòu)采用共享存儲的解決方案，具有橫向擴展的空間。方案架構(gòu)在本方案中，我們針對SAP（生產(chǎn)、開發(fā)、質(zhì)檢）和非SAP應用統(tǒng)一考慮，提供整體的解決方案。同時，還提供存儲的虛擬化功能，對目前使用的存儲進行虛擬化管理，創(chuàng)建統(tǒng)一的虛擬化存儲池。同時，我們還整體考慮所有應用的在線快照備份，從磁盤到磁盤(D2D)的快速備份，到帶庫的離線備份，以及核心數(shù)據(jù)的容災等解決方案，希望幫助世茂集團創(chuàng)建一個面向未來的數(shù)據(jù)中心，實現(xiàn)存儲資源的共享。其整體架構(gòu)如下圖所示：在世茂集團上海生產(chǎn)中心，采用FAS3240A作為主存儲，為SAP提供集中存儲服務。同時，對于每個控制器配置了256GB的FlashCache，提升FAS3240A的總體性能（特別是讀性能）。而對于備份，則考慮兩級備份的方式，在FAS3240A上，采用快照進行本地在線備份。而為了保證備份對于SAP數(shù)據(jù)的一致性，在SAP服務器上安裝SnapManagerforSAP來保證快照備份的數(shù)據(jù)一致性。同時，配置第二臺存儲，F(xiàn)AS2240A，作為備份存儲，采用SnapVault從FAS3240A上將快照的變化量每天以增量的方式備份到FAS2240A上。這樣，我們可以在主存儲FAS3240A上保存較少天數(shù)（如7天）的快照，而在二級存儲FAS2240A上保存更多天數(shù)（如30天）的快照。此外，由于FAS2240A上的數(shù)據(jù)直接可見，可以通過FlexClone的技術(shù)在FAS2240A上生成生產(chǎn)系統(tǒng)的快速克隆，提供給開發(fā)/測試系統(tǒng)使用。對于其它文件數(shù)據(jù)的備份，可以采用OSSV（OpenSystemSnapVault）軟件。OSSV軟件可以安裝在Windows和Linux/Unix服務器上，進行文件級的數(shù)據(jù)備份，備份到FAS2240A上。對于FAS2240A備份存儲上的數(shù)據(jù)，通過SnapMirror鏡像到寧波的FAS2240A上，SnapMirror具有存儲端重復數(shù)據(jù)的感知能力，并且在傳輸時可以選擇壓縮功能。此外，還可以在存儲上選擇SnapMirror復制所使用的帶庫。因此，即使在目前上海生產(chǎn)中心和寧波容災中心只有4Mb/s的鏈路的情況下，也可以使用SnapMirror來實現(xiàn)異地容災的功能。容量與性能規(guī)劃在設計SAP應用系統(tǒng)時，考慮到SAP系統(tǒng)IOPS要求較高(150KIOPS)，但是容量相對較低，在FAS3240A上配置了600GB15krpm的SAS硬盤，使得系統(tǒng)在達到相同容量的情況下，具有更多的硬盤，增加存儲系統(tǒng)所能夠提供的IOPS值。此外，根據(jù)ERP系統(tǒng)80%讀，20%寫的特性，我們?yōu)镕AS3240A的每個控制器配置了256GB的高速緩存，使得FAS3240A在提供相同IOPS的情況下使用更少的磁盤，降低了采購、運行維護的成本。應用數(shù)據(jù)備份針對集團的備份要求，我們建議采用存儲端快照的方式來實現(xiàn)在線備份。對于本次項目中的SAP數(shù)據(jù)的備份，并不能夠直接在存儲端創(chuàng)建快照，這樣并不能保證這些應用數(shù)據(jù)從SAP角度的一致性。因此，在本方案中，我們配置了SnapManagerforSAP，以從應用的角度保證數(shù)據(jù)的一致性。對于SAP應用，通過腳本也可以實現(xiàn)備份時數(shù)據(jù)庫數(shù)據(jù)的一致性，但是，通過SnapManager軟件，可以提供更大的便利性，可以選擇是針對整個庫還是某些表空間來進行備份或恢復，提供SAP系統(tǒng)的復制/克隆等功能。雖然所有的快照都可以保存在主存儲端，但是考慮到主存儲完全出現(xiàn)故障而需要恢復的話，如果從離線的磁帶介質(zhì)進行恢復，需要比較長的時間。而如果采用磁盤到磁盤的備份方式，當主存儲出現(xiàn)故障的情況下，可以利用近線存儲來直接提供服務，具有本地容災的能力。因此，在本次項目中，我們提供了多種不同級別的備份和恢復解決方案。在生產(chǎn)存儲端提供在線保護，保存較短時間內(nèi)（具體時間根據(jù)應用的要求而定）的快照；在近線存儲提供時間相對較長的快照保護（具體時間根據(jù)應用的要求而定）；對于更長時間的數(shù)據(jù)，則通過離線的磁帶介質(zhì)來提供保護。以SAP生產(chǎn)系統(tǒng)為例，在生產(chǎn)存儲端每2個小時創(chuàng)建1個快照，保留2份。而在近線存儲端，將生產(chǎn)端存儲快照的變化量每2小時傳輸?shù)浇€存儲，保存3天的快照。同時將近線端的數(shù)據(jù)備份到離線磁帶介質(zhì)。對于在線備份，由于采用NetApp的獨特的快照方式，數(shù)據(jù)永遠寫入新的區(qū)域而不是改寫舊的數(shù)據(jù)，使得在線備份對系統(tǒng)性能沒有影響。下圖為第三方的測試，比較了NetApp和EMC的存儲在使用快照情況下對性能的影響情況。由于EMC的存儲在實現(xiàn)快照時，采用CopyonFirstWrite的方式，即生成快照后，如果需要對原有的數(shù)據(jù)進行修改，則需要將原有數(shù)據(jù)復制到預先定義的快照空間，則會增加額外的讀取和寫入操作，從而影響存儲的性能。上圖中，EMC的存儲在啟用快照后，性能下降為原存儲性能的40%左右，而NetApp的存儲性能則基本上沒有影響。此外，由于采用近線存儲的方式，將更多的快照保存在采用SATA硬盤的近線存儲上，使得在離線備份時可以直接從近線存儲下帶而不影響到生產(chǎn)存儲的性能。未來架構(gòu)我們希望通過本次項目，幫助世茂完成數(shù)據(jù)中心架構(gòu)的轉(zhuǎn)變，將原來的基于項目的基礎(chǔ)架構(gòu)，改變?yōu)槊嫦蚍盏幕A(chǔ)架構(gòu)。原來的基于項目的基礎(chǔ)架構(gòu)，是一種豎井式的架構(gòu)，架構(gòu)中的服務器、網(wǎng)絡及存儲設備很少或者從不加以重復使用，而總是使用新的系統(tǒng)資源。這使得整個架構(gòu)比較低效，有很多浪費的、未被使用的空間及資源。而且這種豎井式的架構(gòu)比較僵化，變更比較困難而且代價高昂。而對于面向服務的基礎(chǔ)架構(gòu)，前端的服務器可以考慮虛擬化的架構(gòu)（這不包含在本方案中），而后端的存儲系統(tǒng)采用能夠一個共享的存儲架構(gòu)，使得整個基礎(chǔ)架構(gòu)是動態(tài)的，非常靈活，系統(tǒng)資源可以被重復利用，項目能夠更快地上線，從而有更快的市場需求的響應時間。整合后的資源池非常高效，具有更低的總體擁有成本（TCO）。為了實現(xiàn)面向服務的基礎(chǔ)架構(gòu)，我們需要根據(jù)成本和數(shù)據(jù)關(guān)鍵級別對應用進行分級，例如：而在應用分級之后，我們還需要對存儲進行分級，例如（下表為舉例說明，并不作為本次項目的存儲分級依據(jù)）：級別細節(jié)灰(Tier-1)描述：高性能，低延遲和高可靠性。采用FC/SAS磁盤。性能：>xxx,000IOPS并且延遲<xxms或具有同步復制可靠性：99.999%(每年平均小于5分鐘的非計劃停機時間)容災復制：同步復制(RPO=0)或異步(RPO=10)建議最新的存儲分配：500GB藍(Tier-2)描述：高性能和高可靠性。（適用于60～70%的應用）性能：>1,000IOPS并<xx,000IOPS并且延遲<20ms可靠性：99.999%(每年平均小于5分鐘的非計劃停機時間)容災復制：異步(RPO=1hour)建議最新的存儲分配：500GB綠(Tier-3)描述：高容量和低成本存儲，性能要求較低。性能：<1,000IOPS或者延遲>20ms可靠性：99.995%(每年平均小于25分鐘的非計劃停機時間)備份RPO：磁盤到磁盤(RPO-24小時)建議最新的存儲分配：1TB對于共享存儲架構(gòu)中，存儲能夠提供的如下：SharedStorageInfrastructure(通過NFS、CIFS、iSCSI和FC訪問)基于性能和容量進行存儲分級（FC/SAS，SATA）共享資源，安全分區(qū)(Multistore)在同一存儲上創(chuàng)建多個安全域，支持應用程序及管理提供數(shù)據(jù)復制(SnapMirrortoDR)提供多種復制頻率將備份和恢復任務委派給應用管理員快速備份和恢復(SnapShot,SnapRestore,SnapManager)快速可靠的基于磁盤的備份和恢復（SnapVault）所有應用數(shù)據(jù)SnapVault到二級存儲(SATA)而為了更好地提供服務，我們建議創(chuàng)建服務目錄（ServiceCatalog），用戶或者應用根據(jù)ServiceCatalog來選擇相應的服務基本，通過ServiceCatalog來簡化管理流程。下面是容災、備份和應用的標準化。RPO機制RPO<10秒同步復制。只對使用灰色級別存儲的應用提供。RPO=10分鐘每5分鐘進行異步復制。RPO=1小時每小時進行異步復制。RPO=24小時不提供數(shù)據(jù)復制。數(shù)據(jù)備份到近線存儲?？焖倩謴蜋C制頻率保留策略定期快照基于存儲的自動快照每小時每天8天或20%應用一致性利用SnapManager來創(chuàng)建應用一致性的快照每小時每天8天或20%主存儲到近線存儲將主存儲快照復制到近線存儲每天每周6個月類型支持的主機/應用主機操作系統(tǒng)Windows2003/200832bit&64bitVMWareESX4.0/4.1AIXversionV5.3Linux

RHEL5HP-UX

11iV3Solaris10數(shù)據(jù)庫MSSQL2003/2005Oracle9i,10gonAIX,Solaris,HP-UXDB2onAIX應用MSExchange2010onWin64VMWareESX4.0/4.1DominoonWin32DominoonAIXMSSharepoint2003onWin32通過類似于上面表格所定義的標準化和ServiceCatalog，我們希望幫助世茂創(chuàng)建一個共享的存儲架構(gòu)，其中Tier1級別的存儲相對穩(wěn)定，而Tier2和Tier3級別的存儲是一個可以擴展的架構(gòu)（如下圖所示）。

數(shù)據(jù)中心存儲架構(gòu)設計方法數(shù)據(jù)中心的演變-多層結(jié)構(gòu)隨著數(shù)據(jù)量的增加，特別是關(guān)鍵業(yè)務數(shù)據(jù)的增加，企業(yè)面臨日益增加的存儲容量要求，以及提高存儲可用性和管理要求。目前應用都采用直接連接服務器的磁盤DAS平臺，需要獨立管理和維護各自的存儲，都面臨日益繁重的存儲設備和數(shù)據(jù)管理工作，而且故障隱患壓力很大，數(shù)據(jù)管理成本會不斷膨脹。提供統(tǒng)一的數(shù)據(jù)管理、保護和容災，整合企業(yè)的數(shù)據(jù)服務，是十分緊迫的。NetApp公司的產(chǎn)品提供網(wǎng)絡化的存儲(NAS/SAN),得到越來越廣泛的使用，NetApp的產(chǎn)品基于網(wǎng)絡，提供從核心數(shù)據(jù)中心到網(wǎng)絡邊緣的完整的數(shù)據(jù)管理和數(shù)據(jù)部署方案，具有快速、簡單、易用和可靠性高的特點，具有優(yōu)異的性價比，是技術(shù)發(fā)展的領(lǐng)導者。隨著網(wǎng)絡帶寬成本降低，特別是互聯(lián)網(wǎng)的發(fā)展，許多企業(yè)通過數(shù)據(jù)中心為企業(yè)通過網(wǎng)絡提供計算服務，數(shù)據(jù)中心可以幫助企業(yè)集約計算資源，減少服務器數(shù)量，提高數(shù)據(jù)使用效率，減少IT工作人員的勞動強度，提高數(shù)據(jù)可用性并且進行容災。數(shù)據(jù)中心迅速進化成為多層的結(jié)構(gòu)，數(shù)據(jù)中心的骨干上有Cache群（CacheFarms）、應用服務器群、應用服務器群、數(shù)據(jù)庫服務器群、存儲集群等，支持企業(yè)計算和各種應用。這種結(jié)構(gòu)提供了顯著的靈活性、擴充能力、可靠性和性價比。傳統(tǒng)的商業(yè)計算結(jié)構(gòu)所有的計算都由主機完成，隨著PC的普及，商業(yè)軟件迅速從集中式過渡到客戶機服務器形式，這種兩層結(jié)構(gòu)具有良好的擴充能力，但是可管理度和可靠性不能達到要求。為了克服這些問題，客戶機服務器模型進一步擴展為客戶機—用戶服務器—數(shù)據(jù)庫服務器模型，減低了客戶機程序的復雜度和數(shù)據(jù)庫服務器的負載。這種結(jié)構(gòu)的缺點是直連的存儲可靠性不夠，同時數(shù)據(jù)中心需要為異種平臺服務器環(huán)境提供共享的存儲，集中管理備份、復制和容量計劃等。另外，原來獨立的各個企業(yè)網(wǎng)絡通過網(wǎng)絡進行通訊，應用也需要消除信息孤島，多層結(jié)構(gòu)提供了理想的方案。多層結(jié)構(gòu)中的數(shù)據(jù)訪問層，優(yōu)化數(shù)據(jù)存取，可用性和數(shù)據(jù)移動，一些技術(shù)得到越來越廣泛的應用。其中在這一層的主要趨勢有：下一代光纖通道速度比現(xiàn)有技術(shù)快2倍，而以太網(wǎng)向10GB前進，快10倍，速度優(yōu)勢已經(jīng)從光纖通道轉(zhuǎn)到以太網(wǎng)技術(shù)。連續(xù)的可用性已經(jīng)成為IDC的服務級別，包括計劃停機時間和意外停機時間。數(shù)據(jù)增長量為每6-9個月翻一番，難以預先計劃。響應時間比吞吐量更為重要，現(xiàn)代應用需要穩(wěn)定的高速I/O。異構(gòu)平臺的數(shù)據(jù)共享日益重要。災難恢復更加現(xiàn)實，磁盤越來越多成為備份工具。每兆磁盤的價錢越來越低。上圖示意了一個典型的網(wǎng)絡計算應用平臺結(jié)構(gòu)，由應用服務器群構(gòu)成了數(shù)據(jù)中心的第一層結(jié)構(gòu)，用戶通過瀏覽器訪問應用，降低了維護桌面PC的成本，統(tǒng)一了內(nèi)部應用用戶訪問、為其他企業(yè)服務和外部用戶應用工作方式，使得應用服務在整個網(wǎng)絡范圍內(nèi)可以到達。應用服務器通過4層交換機進行負載分擔和容錯，可以通過增加服務器的方式迅速擴充WEB服務能力。應用服務器響應用戶的簡單頁面請求，而將Transaction數(shù)據(jù)交給應用服務器，這些應用服務器處理各個應用的邏輯，構(gòu)成了第二層，應用服務器同樣負載分擔，共享相同應用的數(shù)據(jù)。第三層是存儲網(wǎng)絡層，其物理結(jié)構(gòu)為以現(xiàn)有的SAN架構(gòu)形成的SAN光纖網(wǎng)絡和以交換平臺為基礎(chǔ)初步形成的IP存儲交換網(wǎng)絡。前者以4Gbps為網(wǎng)絡標準帶寬，而后者以10Gbps形成下一代數(shù)據(jù)中心的骨干以太網(wǎng)絡，其上可同時承載業(yè)務數(shù)據(jù)交換和服務器應用數(shù)據(jù)的運行，其安全性，性能和靈活性有其特點。第四層是數(shù)據(jù)管理層，存儲并管理所有的數(shù)據(jù)，不需要在服務器上進行數(shù)據(jù)管理工作，例如，容量計劃、劃分空間、備份、調(diào)優(yōu)數(shù)據(jù)訪問等，簡化了服務器的復雜度，增加了可用性。模塊化結(jié)構(gòu)的產(chǎn)品提供了極佳的性價比。對多個中心通過存儲的復制，實現(xiàn)更高數(shù)據(jù)可用性，進行容災。通過建立數(shù)據(jù)管理層，可以使企業(yè)有效進行數(shù)據(jù)的管理，以更少的帶寬更快地訪問數(shù)據(jù)和應用，簡化復雜的數(shù)據(jù)管理任務，將IT服務沿著網(wǎng)絡延伸，帶來更大的可用性和生產(chǎn)率。數(shù)據(jù)中心存儲架構(gòu)的演變從1940年第一部計算機ENIAC問世開始，一直到八十年代，因著使用不同的材料與電子零件，出現(xiàn)許多不同世代的計算機系統(tǒng)，運算速度也越來越快。到了八十年代之后，資料的處理與交換成為發(fā)展的重點。當資料逐漸增多時，就開始考慮到信息管理層面的重要，因為不同的架構(gòu)會影響信息管理的效率與成本。這二十多年來因著信息科技的突飛猛進，信息架構(gòu)也歷經(jīng)多次的轉(zhuǎn)變，以下就簡述這些轉(zhuǎn)變的歷程，了解這些轉(zhuǎn)變的經(jīng)過將有助于預知信息發(fā)展的趨勢。第一個階段：由封閉轉(zhuǎn)變?yōu)殚_放在八十年代我們看見各種大型主機(Mainframe)集運算、應用程序、資料存儲、網(wǎng)絡、打印等功能于一身，客戶必須選擇系統(tǒng)廠商（如IBM、DEC、HP等等）所提供專屬的解決方案。每個廠商有不同的整套系統(tǒng)解決方案，都是完全不兼容的封閉系統(tǒng)。后來面臨許多挑戰(zhàn)：如何降低整體信息管理的成本？如何連接不同系統(tǒng)并交換彼此的資料？如何能有更多彈性的選擇？因應市場迫切的需要，開放式系統(tǒng)躍為市場的主角，以系統(tǒng)廠商為主的解決方案逐漸轉(zhuǎn)變?yōu)殚_放式架構(gòu)的解決方案。同時，一個計算機系統(tǒng)也由各有專長的廠商所領(lǐng)導，可約略分為：處理器、操作系統(tǒng)、網(wǎng)絡、檔案共享、數(shù)據(jù)庫等等不同的水平領(lǐng)域。一般在市場上常見的操作系統(tǒng)如Windows、Unix（SunSolaris、HP-UX、IBMAIX、SGIIRIX、CompaqTrue64）、服務器、FreeBSD、NetWare、AppleMAC等等紛紛出籠，成為開放系統(tǒng)的基本平臺。IBMSUNHPIBMSUNHP第二個階段：由通用轉(zhuǎn)變?yōu)閷Ｓ玫搅司攀甏?，這些操作系統(tǒng)除了擔任應用程序服務器和檔案服務器的角色，也擔任路由器、防火墻、工作站、打印服務器等等各種不同的角色。雖然通用型的操作系統(tǒng)被設計成可以同時擔任不同的角色，便于彈性的調(diào)整任務，應用軟件廠商也有開放的平臺得以發(fā)展所需的軟件，但后來也面臨了許多挑戰(zhàn)：如何將單一角色服務的效率達到最佳化？如何簡化單一角色服務的管理？如何提升單一角色服務的穩(wěn)定性？如何解決擴充與擴展性受到限制的問題？如何將單一角色的功能發(fā)揮得淋漓盡致？因此，每個應用服務也開始漸漸設計成一個專用的設備，以達最佳效益和便于管理。例如路由器設備、打印服務器設備、應用服務器設備，客戶可根據(jù)需求來選擇不同廠商的設備，來建立其信息科技的基礎(chǔ)建設。一方面開放式的架構(gòu)下有更多的選擇；另一方面，每個服務由專用設備來擔任更容易提升效率，而且更穩(wěn)定也更易于管理與擴充。第三個階段：由分散轉(zhuǎn)變?yōu)榧忻啃枰粋€新的應用服務時，只需增加所需的服務器即可，這不僅方便也很容易實現(xiàn)，但是當服務器逐漸增多時，就會開始面臨數(shù)據(jù)管理的困難，因為存儲設備是接在服務器上（故稱之為DirectAttachedStorage，簡稱DAS），每部署一臺新的服務器，就需要一臺新的存儲設備，資料也跟著到處散布在每個應用服務器上，因此又面臨了許多挑戰(zhàn)：備份與恢復：要如何備份每一臺服務器上面的資料呢？如果在每臺服務器上安裝磁帶機，會增加許多投資成本及管理的復雜度。如果透過網(wǎng)絡來作統(tǒng)一的備份，則備份時會造成局域網(wǎng)絡和備份服務器的負載，影響網(wǎng)絡存取的效率，備份的速度也會受限于備份服務器本身的性能瓶頸。資料共享：當主機之間需要彼此共享資料時，也必須藉由耗時的復制才能完成，不僅無法做到實時性的資料共享，也耗用重復的存儲空間。應用程序執(zhí)行速度：當資料逐漸增多時，應用程序的執(zhí)行速度也會變慢，同時備份這些資料的時間也會越來越長，因著復雜度增加，也必須跟著增加管理人員。如果以上三項挑戰(zhàn)未獲解決，服務中斷的時間會越來越長，架構(gòu)和擴展性越來越差，效率越來越低，結(jié)果就是管理及營運成本不斷增加。因此，信息架構(gòu)需要改變，要從資料分散的架構(gòu)轉(zhuǎn)變?yōu)橘Y料集中的架構(gòu)。新的資料存儲架構(gòu)就是要使用網(wǎng)絡化架構(gòu)，一般常見的有兩種集中化的方法，分別是SAN（存儲局域網(wǎng)絡，StorageAreaNetwork）和NAS（網(wǎng)絡存儲設備，NetworkAttachedStorage），就是希望能將資料集中管理，以克服資料分散所帶來的挑戰(zhàn)。新一代存儲平臺架構(gòu)-云存儲原始計算能力現(xiàn)在已變得太便宜以致很容易使總體基礎(chǔ)設施失衡。結(jié)果是相當大一部分新的計算能力保持閑置，等待網(wǎng)絡或存儲瓶頸。讓我們更深入地看一下基本趨勢。受益于空前的性價比飛躍，云計算正走上更快的發(fā)展軌道對于許多高性能的應用，大型的單機系統(tǒng)正讓路給分布式計算網(wǎng)格，這些網(wǎng)格由許多不同的處理器、網(wǎng)絡交換機和存儲設備組成，它們以統(tǒng)一的方法進行交互從而構(gòu)成統(tǒng)一的系統(tǒng)。體現(xiàn)這種轉(zhuǎn)變的趨勢顯示了繼續(xù)發(fā)展的每個特征，而當前主要的動力仍然是計算能力性價比的空前提高。這些都歸功于強大的刀片處理器、不斷提高的CPU頻率、多內(nèi)核和超線程技術(shù)、完善免費的開放源代碼操作系統(tǒng)、高效的低成本制造技術(shù)以及設計和制造的全球化。虛擬化趨勢使云計算在大多數(shù)當前應用中扮演更重要的角色另一個大的趨勢是計算基礎(chǔ)設施的虛擬化。虛擬化的基礎(chǔ)設施給操作系統(tǒng)和應用軟件提供計算、存儲和網(wǎng)絡硬件的抽象視圖。管理員受益于虛擬化，因為更加靈活和簡便的抽象層使他們能夠更好地優(yōu)化和管理整個組織中的資源。用戶和應用程序受益，因為更加容易管理一組專用資源。工作成果受益，因為通過在系統(tǒng)的多個虛擬實例中共享物理硬件可以顯著提高每個系統(tǒng)的利用率。常見虛擬化平臺（如VMware、Xen和Microsoft?VirtualServer）使部署虛擬基礎(chǔ)設施更加簡單，甚至可以簡化從物理基礎(chǔ)設施到虛擬基礎(chǔ)設施的遷移。這反過來使功能強大、經(jīng)濟合算的計算機網(wǎng)格基礎(chǔ)設施更加適合作為基礎(chǔ)硬件的來源。主流應用程序現(xiàn)在也開始采用云計算來實現(xiàn)創(chuàng)造性的改進現(xiàn)在，云計算的主要商業(yè)動力是需要應用大量的計算能力來操縱大量的數(shù)據(jù)—例如，繪制動畫、分析地質(zhì)數(shù)據(jù)、運行專業(yè)的政府防御和安全項目以及運行大規(guī)模的金融數(shù)據(jù)查找和分析應用程序。計算網(wǎng)格主要用于高性能計算領(lǐng)域，因為這些應用程序具有苛刻的只有網(wǎng)格能滿足的性能要求。企業(yè)仍然在不斷尋找用更低的成本做更多事的方法。隨著網(wǎng)格變得越來越容易部署和管理、可以與主流和關(guān)鍵應用軟件集成并逐漸形成了有效的最佳做法，它們將在各種組織和應用中變得更加流行。存儲系統(tǒng)需要在可擴展性方面進行類似的提升來提供滿意的解決方案云計算解決方案已在許多組織中證明了降低成本和提高容量的能力。但是，部署和維護這些網(wǎng)格需要仔細的系統(tǒng)設計，而不能是臨時擴展。如果網(wǎng)絡帶寬和存儲吞吐量迅速成為瓶頸，則簡單地添加更多處理器或刀片式計算服務器將無法顯著提高整個系統(tǒng)的性能。這種情況與將下一代計算體系結(jié)構(gòu)與現(xiàn)在的I/O基礎(chǔ)設施組合在一起時出現(xiàn)的情況相似。最佳的基礎(chǔ)設施從平衡必需的計算資源與正確的存儲和網(wǎng)絡種類開始。它還需要成熟的管理工具來檢測和處理不斷變化的應用程序優(yōu)先級和工作負荷。NetApp為配置和管理動態(tài)云存儲提供各種行業(yè)領(lǐng)先的解決方案，顯著提高系統(tǒng)的總體利用率。通過實施這些解決方案，組織可以高效地部署、分配和擴展他們的網(wǎng)格基礎(chǔ)設施。云存儲用戶可以在不被中斷的情況下獲得更好的性能和更高的容量。NetApp解決方案提供確定和減輕存儲“熱點”的能力，可用于管理跨許多控制器的數(shù)據(jù)集、以不影響業(yè)務的方式添加存儲容量、將所選數(shù)據(jù)從一個位置移到另一個位置以及對存儲基礎(chǔ)設施進行更改而不影響在線應用。新一代存儲平臺總體設計構(gòu)思由上圖所示，在本規(guī)劃中我們把整個存儲平臺架構(gòu)設計如下四個部分存儲系統(tǒng)層：為整個存儲平臺的核心層，由支持多存儲協(xié)議的存儲組成，最終實現(xiàn)用戶業(yè)務數(shù)據(jù)的存放，并通過存儲協(xié)議訪問層為上層應用提供數(shù)據(jù)訪問的服務存儲協(xié)議訪問層：存儲平臺通過多種方問協(xié)議（FCP/ISCSI/CIFS/NFS）提供數(shù)據(jù)存儲和數(shù)據(jù)訪問的協(xié)議支持。主機系統(tǒng)層：主機系統(tǒng)通過存儲訪問協(xié)議層與存儲系統(tǒng)連接，為上層的各個應用系統(tǒng)提供運行平臺。平臺輔助系統(tǒng)：為整個存儲平臺提供提供輔助功能，以實現(xiàn)簡化管理、增強數(shù)據(jù)保護等功能，我們認為可以考慮以下輔助系統(tǒng)備份管理系統(tǒng)數(shù)據(jù)容災系統(tǒng)信息安全系統(tǒng)主機存儲虛擬化信息生命周期系統(tǒng)存儲平臺綜合管理上述的四個部分組成了整個存儲平臺，這樣用戶就可以在此平臺上部署相應的應用系統(tǒng)，利用這個存儲平臺來為這些應用系統(tǒng)提供數(shù)據(jù)存儲和訪問的服務。存儲系統(tǒng)層考慮存儲協(xié)議考慮目前用戶DAS、NAS很SAN搭建了基于SAN/NAS訪問協(xié)議的存儲系統(tǒng)并在其上運行了若干應用系統(tǒng)。雖然SAN可能是目前存儲訪問協(xié)議中最為廣泛使用的一種協(xié)議，但是如果用戶的整個存儲平臺只支持該協(xié)議的話，會大大限制用戶對該存儲平臺的使用，這是因為：SAN協(xié)議是一種基于塊訪問的協(xié)議，因此只能采用裸設備訪問方式。如果應用系統(tǒng)采用文件方式來管理和訪問業(yè)務數(shù)據(jù)，則SAN協(xié)議無法提供支持。對于部分Windows服務器，由于其本身存儲數(shù)據(jù)量不大，但是需要采用外置存儲設備，如果采用SAN架構(gòu)，勢必需要采購FCHBA和相應的光纖端口等設備。增加用戶投資成本。面對此狀況，建議采用基于IP網(wǎng)絡的塊傳輸協(xié)議iSCSI，無需專門硬件設備，即可在IP網(wǎng)絡上實現(xiàn)裸設備訪問方式。對于PDM等系統(tǒng)，一般包含了大量的文件，同時使用數(shù)據(jù)庫來保存這些文件的元數(shù)據(jù)（metadata），建議對數(shù)據(jù)庫采用FC-SAN/iSCSI訪問協(xié)議進行連接，而數(shù)據(jù)文件則采用用NAS訪問協(xié)議進行連接。因此，我們建議用戶的存儲平臺除了支持SAN協(xié)議外，還必須提供iSCSI/NFS/CIFS協(xié)議的支持，并且這兩種協(xié)議能利用同一個以太網(wǎng)絡來實現(xiàn)數(shù)據(jù)的存儲和訪問。這樣，用戶就能非常靈活的利用存儲平臺來滿足各種應用系統(tǒng)對數(shù)據(jù)存儲和訪問的不同需求。NetApp的FAS系列存儲實現(xiàn)了對SAN(FCP/ISCSI)協(xié)議和NAS(CIFS/NFS)協(xié)議的統(tǒng)一化支持，即每套FAS系列存儲在不需要任何其它協(xié)議轉(zhuǎn)換設備的情況下能同時支持SAN協(xié)議訪問和NAS協(xié)議訪問。因此利用NetApp的FAS系列存儲來搭建用戶的綜合存儲平臺，就能完全滿足上面所描述的平臺同時支持NAS和SAN兩種協(xié)議的需求存儲可靠性考慮從某種意義上來說，存儲的可靠性決定了整個存儲架構(gòu)的可靠性，因此我們在規(guī)劃整個存儲架構(gòu)的時候，必須保證后端存儲的可靠性。在可靠性方面，存儲必須實現(xiàn)硬件架構(gòu)的完全冗余保護，任何一個部件的失效不會影響整套陣列的正常運行提供先進的RAID保護技術(shù)，除了傳統(tǒng)的基于單校驗的RAID技術(shù)外，考慮到目前單個硬盤的容量越來越大（現(xiàn)在提供的SATA盤最大為2B），在一個硬盤發(fā)生故障被替換后所需要的RAID重構(gòu)時間越來越長，因此還必須提供雙校驗的RAID技術(shù)以防止在重構(gòu)過程中再次發(fā)生磁盤故障而導致數(shù)據(jù)的丟失提供先進的全局熱備盤技術(shù)支持在線的部件更換和微碼以及功能軟件的升級為了進一步提升后端存儲的可靠性，除了對上述功能的支持外，用戶還應該考慮存儲支持其它的一些用來提升陣列可靠性的技術(shù)，如：支持后端磁盤介質(zhì)掃描支持非法寫操作的監(jiān)控和發(fā)現(xiàn)支持快速RAID組重構(gòu)（后臺數(shù)據(jù)拷貝而不是根據(jù)校驗重構(gòu)的方式）這些額外的技術(shù)支持能大大提升存儲的可靠性從而大大提升整個存儲架構(gòu)的可靠性存儲性能考慮可以這么說，在保證IP網(wǎng)絡層數(shù)據(jù)傳輸帶寬的情況下，后端存儲的性能決定了整個存儲架構(gòu)的性能。因此，我們在規(guī)劃存儲架構(gòu)的時候，必須保證后端存儲具備足夠的性能從而保證整個存儲架構(gòu)具備足夠的性能已滿足前端所有應用系統(tǒng)對數(shù)據(jù)存儲和訪問的需求。在性能方面，我們應該從軟硬件兩方面來考慮在硬件方面，存儲必須配置足夠的硬件資源（如CPU資源、前端通道資源，后端通道資源，緩存資源和硬盤資源等）以保證整套陣列有足夠的數(shù)據(jù)處理性能。在軟件方面，我們應該考慮陣列所提供的軟件在對陣列性能提升上的幫助，如是否能實現(xiàn)底層IO在后端硬盤上的平均分布從而消除陣列訪問熱點，最大限度的發(fā)揮陣列的潛在性能是否能減少RAID校驗的計算量，最大限度的減少RAID保護對性能的影像是否能消除某些存儲功能（如快照、容災等）對性能的影響如果存儲在軟件方面能實現(xiàn)如上所述的功能，則會大大提升整套存儲的性能，這些功能對陣列性能的影響甚至會超出硬件資源對陣列性能的影響。因此用戶在考量存儲性能的時候，不能只考慮硬件資源，必須同時考慮這些軟件因素，才能真正保證后端的存儲具備足夠的性能。存儲容量配置考慮后端的存儲需要配置多少硬盤，這看起來是個比較簡單的問題，那就是配置的硬盤容量必須能在規(guī)劃的時間內(nèi)滿足應用系統(tǒng)存儲業(yè)務數(shù)據(jù)的需求，但是我們建議每套存儲在配置滿足這個最基本要求的磁盤數(shù)量和預算許可的前提下，盡量多配置一些硬盤，這是因為存儲中配置的磁盤越多，這套陣列的潛在性能就越好。如NetApp的存儲所提供的Flexvol技術(shù)能實現(xiàn)IO在陣列硬盤之間的平均分布，這樣就能很好的發(fā)揮這種潛能，使得整套存儲的性能隨著硬盤數(shù)量的增加而呈現(xiàn)線性增加配置更多一點容量，用戶在容量規(guī)劃、快照或克隆配置等方面具有更大的自由性，同時可以降低因為容量規(guī)劃中由于一些信息的不準確而導致的估算誤差帶來的影響配置更多一點硬盤，可以采用更高級別的RAID技術(shù)，可以配置更多的熱備盤，這樣就能提升整套存儲系統(tǒng)的可靠性最后一點，存儲的功能越來越強，好多軟件功能越來越多的集成在陣列的控制器中，這樣在整個成本中，控制器所占的比重越來越大，同時每TB磁盤的價格在不斷下降，因此多配置一些硬盤，對整個項目的成本增加的影響非常小從上面可以看到，在存儲中多配置一些硬盤，不僅能提升性能和可靠性，而且所增加的成本在整個成本結(jié)構(gòu)中所占比例非常小，因此是一件性價比非常高的事情存儲功能考慮隨著存儲技術(shù)的發(fā)展，在存儲上越來越多的集成了以前必須在主機層才能實現(xiàn)的某些存儲功能，這些功能的實現(xiàn)，能極大的簡化用戶對存儲系統(tǒng)的管理和使用，增強對業(yè)務數(shù)據(jù)的保護。因此用戶在規(guī)劃存儲架構(gòu)的時候，應該考慮后端的存儲是否能提供所需的功能以滿足用戶實際需要，從用戶對存儲架構(gòu)的實際需求來看，后端存儲應該提供如下的功能支持：數(shù)據(jù)快照功能：除了支持這個功能之外，用戶還應該考慮該功能的實現(xiàn)代價，即該功能的實現(xiàn)對存儲空間的消耗和對陣列性能的影響，這兩個方面的代價越小，則這個功能越實用數(shù)據(jù)克隆功能：和數(shù)據(jù)快照一樣，用戶也應該從存儲空間消耗和對性能影響兩方面考慮該功能的實現(xiàn)代價存儲空間動態(tài)配置功能，能根據(jù)應用的需求實現(xiàn)存儲空間的靈活配置，這樣一方面能簡化存儲空間的管理和使用，另一方面能大大提升存儲空間的使用率WORM功能：即實現(xiàn)數(shù)據(jù)寫入后在設定的時間內(nèi)無法進行刪除和修改，從而使得這些特定的數(shù)據(jù)滿足法規(guī)遵從的需求數(shù)據(jù)訪問優(yōu)先級控制：陣列應能根據(jù)應用的優(yōu)先級來控制對存儲資源的分配，優(yōu)先保證那些高優(yōu)先級的應用系統(tǒng)的存儲資源從而保證這些核心應用系統(tǒng)的數(shù)據(jù)訪問性能重復數(shù)據(jù)刪除功能：該功能能大大降低應用數(shù)據(jù)對存儲空間的需求。性能加速功能：利用NetApp特有的FlashCache性能加速技術(shù)，可以考慮在PDM等系統(tǒng)中對于大容量的存儲需求采用性價比較高的SATA硬盤，通過FlashCache可以達到和FC磁盤相類似的性能，但是可以大大節(jié)省存儲的投資以及后期供電、制冷等維護成本。

存儲高可靠性在數(shù)據(jù)中心的建設中，世茂逐漸實現(xiàn)了服務器的雙機熱備，以便當一臺服務器出現(xiàn)故障后能夠切換到另外一個控制器，從而提升系統(tǒng)的可靠性，以保證業(yè)務的連續(xù)性。那么，對于存儲而言，是如何保證存儲設備的高可靠性呢？存儲部署結(jié)構(gòu)NetApp的主存儲FAS系列產(chǎn)品有兩種實現(xiàn)模型：單控制器Stand-Alone和雙控制器Cluster-FailOver。單控制器Stand-Alone模型單控制器Stand-Alone模型由一個存儲控制器和若干FC/SATA/SAS磁盤架通過冗余光通道鏈路連接而成。單機存儲模型是NetApp存儲最簡單的架構(gòu)，它主要用于對于高可用性（HA）要求并不嚴格的非關(guān)鍵應用環(huán)境中。需要指出的是采用Stand-Alone的模型結(jié)構(gòu)已經(jīng)可以實現(xiàn)到99.995%的高可用性等級，如下圖所示：雙控制器Cluster-FailOver模型NetAppClusteredFailover為關(guān)鍵業(yè)務環(huán)境提供可靠的高可用數(shù)據(jù)服務。NetAppClusteredFailover安裝在一對NetApp存儲控制器上，它通過將不可用控制器的數(shù)據(jù)服務轉(zhuǎn)移到集群中的另一個控制器來確保數(shù)據(jù)可用性。通常，數(shù)據(jù)服務的轉(zhuǎn)移對最終用戶和應用程序是透明的，數(shù)據(jù)服務將快速恢復，不會出現(xiàn)明顯的業(yè)務運轉(zhuǎn)中斷。NetAppClusteredFailover提供大于99.999%的數(shù)據(jù)可用性。ClusteredFailover的管理任務簡單、直觀，并且易于使用，可以降低管理開銷并減少人為操作錯誤?？偠灾鼈兛梢赃M一步提高整個環(huán)境的總體可用性。NetApp存儲系統(tǒng)支持通過群集技術(shù)（ClusterFailover），實現(xiàn)存儲系統(tǒng)間互為熱備失敗切換的高可用功能，從而提供更強的防范硬件故障的能力。集群的控制器之間通過內(nèi)部適配器和線纜加以連接，并配置為共享一套FC/SATA/SAS通道磁盤陣列和存儲網(wǎng)絡(FCSAN、iSCSI或者NAS)連接。FAS群集的存儲控制器通過心跳線互相偵測對方的健康狀態(tài)，當對方的狀態(tài)出現(xiàn)異常時（如：主控單元掉電、網(wǎng)絡連線中斷），可以接管對方的讀寫操作（包括對方的硬盤組、尚未寫盤的數(shù)據(jù)、IP地址和MAC地址等），繼續(xù)數(shù)據(jù)的IO讀寫，該群集的失敗切換接管（ClusterFailOver）操作完全由存儲系統(tǒng)自動完成，對于前端的服務器和用戶完全透明。在這種配置下，每一個存儲控制器對一組磁盤負主要責任，并能分別獨立工作。NetApp集群結(jié)構(gòu)采用active-active的工作模式。在正常操作期間，兩個控制器分別對它們各自的磁盤陣列加以操作并提供數(shù)據(jù)服務。當集群結(jié)構(gòu)中的一個控制器發(fā)生故障的時候，另一控制器將會自動接管發(fā)生故障的，并且響應那些訪問故障控制器所對應盤陣的請求。在整個故障轉(zhuǎn)移操作過程中，接管控制器的數(shù)據(jù)服務不會受到任何影響，并且完全可用。接管控制器將一直保持這種雙數(shù)據(jù)服務模式，直到管理員采取措施將數(shù)據(jù)服務恢復到其原始狀態(tài)。整個故障轉(zhuǎn)移過程是自動完成的，不需要任何人為操作。功能優(yōu)點自動執(zhí)行故障轉(zhuǎn)移，并向管理員發(fā)出通知確保不可用控制器的數(shù)據(jù)服務不會中斷，并通知管理員發(fā)生了故障轉(zhuǎn)移。手動故障轉(zhuǎn)移和故障恢復可以有計劃地對控制器進行維護，而不會影響數(shù)據(jù)可用性；管理員完全可以控制何時將集群控制器恢復到其正常狀態(tài)。故障轉(zhuǎn)移完全透明最終用戶不會受到故障轉(zhuǎn)移的影響；客戶端在故障轉(zhuǎn)移后可以繼續(xù)以相同的方式訪問數(shù)據(jù)。雙活動配置集群的兩個控制器都可分別提供可用的服務；集群操作不需要空閑資源。簡單易懂的設計和實施管理員在不到30分鐘的時間內(nèi)就可以安裝并配置好集群控制器；需要的日常維護很少。長距離集群集群控制器的地理位置可以非常靈活。除了故障時的自動接管外，控制器也同時支持手工接管，這項功能對于計劃中的控制器設備停機維護是十分有幫助的，可以在設備維護期間仍然提供不間斷的數(shù)據(jù)服務。管理員最常利用NetAppClusterFailover在預定的控制器維護和升級期間通過手動啟動故障轉(zhuǎn)移操作來確保數(shù)據(jù)服務不間斷。在配對控制器接管了數(shù)據(jù)服務后，管理員就可以執(zhí)行計劃的任務，而不會影響到最終用戶。當控制器可以恢復正常的數(shù)據(jù)服務時，管理員可以選擇在最佳時間和條件下執(zhí)行故障恢復操作—將數(shù)據(jù)服務從接管控制器轉(zhuǎn)移回原控制器。也可以在ClusterFailover檢測到控制器可以恢復操作時，由ClusterFailover向原控制器執(zhí)行自動故障恢復。這樣，管理員即可進一步減少額外的人為操作，同時增加系統(tǒng)正常工作時間。磁盤子系統(tǒng)MultiPathHA(MPHA)MultipathHA解決方案通過增加控制器和磁盤柜之間的多個冗余鏈路，來顯著提高存儲數(shù)據(jù)的可用性。這避免了由存儲子系統(tǒng)相關(guān)的故障而引起的不必要的控制器切換。每個控制器通過兩條獨立的主、副路徑訪問每個磁盤柜，如果在某條路徑上的磁盤柜控制模塊或者線纜出現(xiàn)故障，那么存儲控制器將自動通過另一條鏈路來訪問磁盤子系統(tǒng)，而不需要進行控制器的切換。下圖說明了非MPHA和MPHA的不同。詳細而言，在非MPHA的部署中，每個環(huán)路中的最后一個磁盤柜只連接了控制模塊的In的端口，而在MPHA的部署中，將每個環(huán)路中最后一個磁盤柜控制模塊的Out端口和控制器相連接，以形成冗余鏈路。MPHA具有以下優(yōu)點：通過增加較少的投資就可以顯著提供系統(tǒng)的高可靠性冗余多鏈路避免了在非MHPA環(huán)境下單個部件故障時而需要控制器切換MPHA提供了在非MPHA環(huán)境中所不具備的不中斷升級（NDU）能力可以在不進行控制器切換的情況下進行維護操作非常適合于CIFS、FCP和iSCSI等對控制器敏感的環(huán)境下面的表格比較了MPHA和非MPHA環(huán)境的差別。避免控制器進行切換非MPHAMPHA單條控制器到磁盤柜的線纜故障無法避免可以避免單條磁盤柜之間的線纜故障（主鏈路）無法避免可以避免磁盤柜之間的兩條線纜故障無法避免可以避免磁盤柜控制模塊硬件或firmware相關(guān)故障無法避免可以避免磁盤HBA或者端口故障無法避免可以避免RAID校驗除了存儲控制器的高可靠性以外，我們還提供業(yè)界領(lǐng)先的、高性價比的磁盤子系統(tǒng)的高可靠性。傳統(tǒng)的單一奇偶校驗RAID技術(shù)，能為單個故障磁盤驅(qū)動器提供保護。需要警告的是，在重建故障磁盤時必須確保不能發(fā)生其他磁盤故障，而且不能在讀操作過程中出現(xiàn)不可修復的誤碼。如果在重建過程中出現(xiàn)上面任何一種事件，那么保留在RAID陣列或卷中的部分或所有數(shù)據(jù)就可能會丟失。隨著現(xiàn)代更大的磁盤存儲介質(zhì)的出現(xiàn)，由于磁盤容量顯著增加，而誤碼率仍是原來的水平，這就使得出現(xiàn)不可修復的誤碼的可能性相當高。因此，傳統(tǒng)的單一奇偶校驗RAID保護數(shù)據(jù)的方法已經(jīng)超出了其保護極限。更高一級的RAID數(shù)據(jù)保護已經(jīng)發(fā)展到RAID雙奇偶校驗，也稱作RAIDDP，它可以應用于整個網(wǎng)絡應用數(shù)據(jù)存儲產(chǎn)品線。從2004年開始，NetApp推出了雙奇偶校驗RAID，叫做RAIDDP。在NetApp存儲中，RAIDDP是免費的，沒有特殊硬件的要求，以及從RAID4升級到RAIDDP也是非常容易的。在最基本的層面上，RAIDDP為卷中的每個RAID組增加了第二個奇偶校驗磁盤。RAID組是建立卷的基本結(jié)構(gòu)。每一個傳統(tǒng)的NetAppRAID4組都有一些數(shù)據(jù)磁盤和一個奇偶校驗磁盤，而一個卷通常會包括一個或多個RAID4組。而RAID4卷上的奇偶校驗磁盤則通過RAID4組上的磁盤對行奇偶校驗進行存儲，額外的RAIDDP奇偶校驗磁盤則通過RAIDDP組上的磁盤存儲對角線上的奇偶校驗。通過RAIDDP上的這兩個奇偶校驗條，（一個傳統(tǒng)的水平奇偶校驗和一個對角線奇偶校驗，即使同一RAID組上的兩個磁盤發(fā)生故障時也能得到數(shù)據(jù)保護。在RAIDDP中，仍然使用了傳統(tǒng)的RAID4水平奇偶校驗結(jié)構(gòu)，并且這種結(jié)構(gòu)已成為RAIDDP結(jié)構(gòu)的子集換句話說，RAIDDP并沒有改變RAID4在NetApp存儲上的工作方式。數(shù)據(jù)通過每一行的奇偶校驗計算被寫入水平行，并被視作雙奇偶校驗中的行，這個同樣的過程仍會保留到RAIDDP中。實際上，如果是單一磁盤故障，或是從壞數(shù)據(jù)塊中的讀取錯誤，或者出現(xiàn)誤碼，那么RAID4的行奇偶校驗方法就是進行數(shù)據(jù)恢復的唯一手段，無需采用RAIDDP。在這種情況下，RAIDDP的對角線奇偶校驗組件僅僅是行奇偶校驗組件周圍的保護層。RAID4水平行奇偶校驗下列圖表說明了在傳統(tǒng)NetAppRAID4解決方案中使用水平行奇偶校驗的方法，也是您了解RAIDDP和雙奇偶校驗的第一步。圖表代表了傳統(tǒng)的RAID4組，使用包括4個數(shù)據(jù)磁盤（前4列，標注為“D”）和一列奇偶校驗磁盤（最后一列，標注為“P”）的單向奇偶校驗。上面圖表中的行顯示了實施傳統(tǒng)NetAppRAID4時使用的標準4KB塊。上面圖表中的第二行在每個4KB塊和行中數(shù)據(jù)的奇偶校驗計算中添加了一些樣例數(shù)據(jù)，隨后存儲在奇偶校驗磁盤上相應的塊中。在這種情況下，計算奇偶校驗的方式是向每個水平塊中添加值，然后將這些值的和存儲為奇偶校驗值（3+1+2+3=9）。實際上，奇偶校驗是通過專門的OR（XOR）過程進行計算，但其它情況也與此例非常相似。如果需要從單一故障中重建數(shù)據(jù)，則產(chǎn)生奇偶校驗的過程將與此相反。例如，當RAID4恢復上面第一列的數(shù)據(jù)值3時，如果第一個磁盤發(fā)生故障，就會從奇偶校驗中存儲的值中減去剩余磁盤上的值（9-3-2-1=3）。這個通過單一奇偶校驗RAID重建的例子，應該有助于從概念上理解為什么能夠?qū)我淮疟P故障提供數(shù)據(jù)保護。添加RAIDDP雙奇偶校驗條下表將一個以藍色陰影塊表示的對角線奇偶校驗條和一個在第六列中以“DP”表示的第二個奇偶校驗磁盤添加到前面的RAID4組中。這表示RAIDDP結(jié)構(gòu)是RAID4水平行奇偶校驗解決方案的超集。在這個例子中對角線奇偶校驗條通過相加的方法計算，并且存儲在第二個奇偶校驗磁盤上，而不是上面所說的實際使用的XOR（1+2+2+7=12）。此時，需要注意的最重要的問題是，對角線奇偶校驗條包括一個來自行奇偶校驗的元素作為其對角線奇偶校驗和的一部分。RAIDDP將把最初在RAID4結(jié)構(gòu)中的磁盤（包括數(shù)據(jù)和行奇偶校驗磁盤）視作相同的磁盤。下一個圖表為每個塊加入了余下的數(shù)據(jù)，并且建立了相應的行和對角線奇偶校驗條。從上圖可以明顯看出，在RAIDDP中，對角線奇偶校驗條都在行奇偶校驗結(jié)構(gòu)的邊緣。在這個例子中，對于RAIDDP對雙磁盤故障進行恢復的能力，有兩種重要情況可能不是很明顯。第一種情況是，每一個對角線條會錯過唯一的一個磁盤，但是每個對角線錯過的磁盤都不一樣。第二種情況的結(jié)果是，在第二個對角線奇偶校驗磁盤上會產(chǎn)生或存儲一個沒有得到奇偶校驗的對角線條。在這個例子中，被遺漏的對角線條是白色的塊。在之后的重建例子中會明顯的看出，遺漏一個對角線條不會影響RAIDDP在雙磁盤故障中恢復所有數(shù)據(jù)的能力。NetApp是業(yè)內(nèi)最早提出雙校驗技術(shù)的公司，也是最早在用戶的生產(chǎn)環(huán)境中部署雙校驗技術(shù)的。在最近的一、兩年，其它存儲公司也陸續(xù)開始推出雙校驗的RAID-6技術(shù)。但是，由于RAID-6技術(shù)是基于傳統(tǒng)的RAID-5基礎(chǔ)上的，具有其先天不足的局限性。在其它公司的文檔中，公開提到RAID-6和RAID-5相比，有30%的性能下降。而NetApp的RAIDDP則不同，基于NetApp優(yōu)化的RAID4+技術(shù)，配合專利的NVRAM，使得RAIDDP的性能和RAID4+相比，沒有明顯的差異。所以NetApp的RAIDDP技術(shù)，可以實現(xiàn)比傳統(tǒng)RAID10更高的可靠性，同時又可以減少45%左右的磁盤數(shù)量，并且又沒有明顯的性能影響。正是由于這些特性，使得RAIDDP技術(shù)在NetApp的用戶中被廣泛采用。

SAP解決方案NetApp和SAP是緊密的合作伙伴，為SAP提供前所未有的存儲和數(shù)據(jù)管理方案，提高可用性、促進數(shù)據(jù)共享、提升性能并降低TCO。NetApp解決方案能夠加速SAP的部署和升級，從而加速投資回報（ROI）并減少風險。簡化數(shù)據(jù)管理是NetApp的創(chuàng)業(yè)基礎(chǔ)和理念。我們革新的存儲技術(shù)幫助用戶提供專業(yè)的解決方案——保存信息以及提供信息服務。這個解決方案能夠幫助企業(yè)實現(xiàn)持續(xù)的創(chuàng)新和引人注目的價值觀。總之，NetApp能夠幫助用戶降低復雜度、提高可用性、實現(xiàn)較高的投資回報，并能夠減少30%以上的總體投資。NetApp和SAP有悠久的合作歷史。作為SAPAdaptiveComputing解決方案的創(chuàng)始合作伙伴之一，NetApp在UNIX、Linux和Windows平臺存儲解決方案服務獲得了一系列針對SAPAdaptiveComputing的一致性認證，并由于技術(shù)創(chuàng)新獲得了SAP的Pinnacle獎。SAP卓越中心（CenterofExcellence）和NetApp一起，為快速部署和配置SAPlandscape相關(guān)的系統(tǒng)克隆以及l(fā)andscape的備份和恢復構(gòu)建優(yōu)化的存儲配置。NetApp和SAP協(xié)同工作，開發(fā)支持landscape的先進的存儲虛擬化工具。NetApp通過了SAPNetWeaver?的認證，而NetApp的操作系統(tǒng)DataONTAP?7G是WebDav的認證的軟件接口。NetApp和歸檔軟件廠商包括Symantec、OpenText以及FileNet等合作，以幫助企業(yè)利用NetApp的近線存儲解決方案實現(xiàn)低成本的SAP數(shù)據(jù)歸檔。NetAppSAPCompetenceCenter的工程師確保NetApp的存儲能夠平滑的和SAP的新應用、數(shù)據(jù)庫以及平臺整合在一起。針對企業(yè)級用戶在Windows、UNIX和Linux平臺下的多種存儲需求，NetApp提供了統(tǒng)一的存儲平臺能夠同時滿足數(shù)據(jù)塊和文件級的數(shù)據(jù)存取。這個集成的、統(tǒng)一的存儲平臺能夠幫助用戶在企業(yè)的任何地點都能夠進行信息的訪問和管理。NetApp是SAPEnterpriseServiceCommunityProgram的創(chuàng)始成員之一。通過參加這個項目，NetApp開發(fā)了一系列的標準化存儲服務，以提升SAP應用的在線時間并縮短進入市場的時間。通過NetApp統(tǒng)一化的存儲實現(xiàn)方式以及和SAP的合作伙伴關(guān)系，幫助用戶簡化復雜的SAP存儲環(huán)境并降低成本。我們的解決方案能夠平滑的運行在異構(gòu)環(huán)境中并幫助用戶在Windows和UNIX環(huán)境中安全地共享數(shù)據(jù)。NetApp為SAPlandscape提供企業(yè)級的SAN/IPSAN存儲系統(tǒng)。NetApp與SAP的AdaptiveComputing技術(shù)相結(jié)合，幫助用戶實現(xiàn)動態(tài)的存儲部署以及隨著業(yè)務需求的發(fā)展動態(tài)擴展SAP的基礎(chǔ)架構(gòu)。在2006年3月，MercerManagementConsulting比較了在SAP環(huán)境中NetApp和其他廠商的存儲解決方案（詳見Mercerstudy“TotalCostComparison:ITDecision-MakerPerspectivesonEMC?,HP?andNetApp?StorageSolutionsinEnterpriseSAPEnvironments”，可以從/partners/sap下載），得出了以下結(jié)論：在FCSAN、IPSAN和NFS環(huán)境中，NetApp與其它存儲廠商的解決方案相比，其總體擁有成本低28%至40%NetApp的后期管理成本要低47%至49%相同的可用容量需求下，NetApp的裸容量要少15%NetApp環(huán)境需要較少的管理資源和開銷；對于容量規(guī)劃、LUN部署、系統(tǒng)重新配置，以及對復制和鏡像的管理都比其他廠商容易和需要更少的時間在應用出現(xiàn)故障的情況下，NetApp的恢復時間比其它存儲廠商要少2倍SAP的升級在傳統(tǒng)方式下，SAP生產(chǎn)系統(tǒng)采用如下圖所示的方式進行升級：在每次升級前需要進行磁帶備份，然后進行升級，升級完成后再進行磁帶備份，然后再進行配置調(diào)整和測試，測試完成后再進行磁帶備份，然后將測試完成的系統(tǒng)發(fā)布為生產(chǎn)系統(tǒng)。在整個過程中，需要進行三次備份。而傳統(tǒng)的備份方式需要比較長的時間，一般需要3