GPFS雙活數(shù)據(jù)中心方案介紹

IBMATS,China?2013IBMCorporationPowerGPFSActive-ActiveSolutionATS:NiGang12021/5/9

雙活數(shù)據(jù)中心的思考

GPFS雙活解決方案及實(shí)施

客戶案例分享

內(nèi)容提綱

GPFS雙活數(shù)據(jù)中心解決方案22021/5/9

1雙活數(shù)據(jù)中心的思考雙活數(shù)據(jù)中心的需求“0”切換高資源利用率雙活數(shù)據(jù)中心技術(shù)實(shí)現(xiàn)條件基礎(chǔ)架構(gòu)的要求32021/5/9關(guān)鍵業(yè)務(wù)運(yùn)營(yíng)依賴信息系統(tǒng)GartnerandDRJ2012BCM/DRsurvey各行業(yè)關(guān)鍵業(yè)務(wù)RTO各行業(yè)宕機(jī)損失商業(yè)運(yùn)營(yíng)每小時(shí)的營(yíng)收30秒數(shù)據(jù)的價(jià)值制造業(yè)$1,610,000$13,417金融$1,495,000$12,458零售$1,107,000$9,225制藥$1,082,000$9,017醫(yī)療$636,000$5,300公用事業(yè)$643,000$5,358天災(zāi)人禍難以避免…災(zāi)備市場(chǎng)&增長(zhǎng)率IDC《中國(guó)業(yè)務(wù)連續(xù)性與災(zāi)難恢復(fù)市場(chǎng)2008-2012年預(yù)測(cè)與分析》4恢復(fù)時(shí)間目標(biāo)15Min.1-4Hr..4-8Hr..8-12Hr..12-16Hr..24Hr..Days成本/價(jià)值BCTier4–快照復(fù)制，用于備份/恢復(fù)BCTier3–磁帶庫(kù)，電子VaultingBCTier2–熱備站點(diǎn)，磁帶恢復(fù)BCTier7–服務(wù)器或者存儲(chǔ)復(fù)制，且端到端的服務(wù)器自動(dòng)恢復(fù)BCTier6–實(shí)時(shí)的持續(xù)數(shù)據(jù)復(fù)制，服務(wù)器或者存儲(chǔ)BCTier1–磁帶恢復(fù)從磁盤(pán)恢復(fù)從磁帶拷貝恢復(fù)數(shù)據(jù)容災(zāi)級(jí)別（BCTier）

恢復(fù)時(shí)間目標(biāo)RTO需要均衡成本與性能客戶目標(biāo):均衡恢復(fù)時(shí)間和合理的成本BCTier5–應(yīng)用/數(shù)據(jù)庫(kù)級(jí)的復(fù)制和集成RTO=0&RPO=0的雙活數(shù)據(jù)中心能提供更高的BCTier52021/5/9雙活系統(tǒng)中心的”0”切換

當(dāng)前非雙活系統(tǒng)中心模式>”0”切換本地高可用系統(tǒng)異地容災(zāi)系統(tǒng)應(yīng)急保障系統(tǒng)雙活系統(tǒng)中心=“0”切換系統(tǒng)切換的風(fēng)險(xiǎn)和成本用戶滿意度運(yùn)營(yíng)/KPI考核應(yīng)急情況處理能力技術(shù)創(chuàng)新點(diǎn)用戶滿意度運(yùn)營(yíng)/KPI考核雙活系統(tǒng)“0”切換運(yùn)行風(fēng)險(xiǎn)62021/5/9雙活系統(tǒng)中心的高資源利用率

ServerSAN存儲(chǔ)ActiveSiteSAN存儲(chǔ)ActiveSitenotstandbyServer72021/5/9FabricAFabricB

支持跨站點(diǎn)集群功能的應(yīng)用存儲(chǔ)虛擬化，實(shí)現(xiàn)跨站點(diǎn)數(shù)據(jù)讀寫(xiě)和數(shù)據(jù)冗余雙活數(shù)據(jù)中心的實(shí)現(xiàn)條件82021/5/9設(shè)計(jì)雙活數(shù)據(jù)中心的考慮因素?zé)o論客戶或者廠家實(shí)施雙活數(shù)據(jù)中心都必須解決以下挑戰(zhàn)：雙活數(shù)據(jù)中心之延遲和穩(wěn)定性:由于光速限制，每100km所產(chǎn)生的數(shù)據(jù)來(lái)回延遲約為1ms。該延遲已經(jīng)跟一般硬盤(pán)讀寫(xiě)可比。因此，會(huì)對(duì)實(shí)際應(yīng)用性能構(gòu)成影響,特別是兩數(shù)據(jù)中心數(shù)據(jù)交互密切的業(yè)務(wù)。另外，數(shù)據(jù)中心之間的網(wǎng)絡(luò)更難以維護(hù)和掌控。Quorum/Tie-Breaker之需求:為了避免雙活數(shù)據(jù)中心產(chǎn)生腦裂(SplitBrain)或場(chǎng)地分割(siteisolation)狀況，解決方案需要提供有效的Quorum/Tie-Breaker方式來(lái)保證數(shù)據(jù)完整性.工作負(fù)載之考慮:業(yè)務(wù)交易中，應(yīng)用所產(chǎn)生之寫(xiě)操作(INSERT,UPDATE,DELETE)比例越高，則越多數(shù)據(jù)需要跨數(shù)據(jù)中心傳送。這類型業(yè)務(wù)交易不利于雙活數(shù)據(jù)中心設(shè)計(jì)。推薦業(yè)務(wù)劃分，讀寫(xiě)分離等有效規(guī)避數(shù)據(jù)中心間交互的架構(gòu)。92021/5/9IBMGPFS雙活解決方案GPFS相關(guān)技術(shù)簡(jiǎn)介GPFS雙活+OracleRACGPFS雙活+DB2Purescale(GDPC)與EMCVPLEX競(jìng)爭(zhēng)分析

2102021/5/9storagenetworkIPnetwork并行文件系統(tǒng)shareddiskstorage/DB1_data/user_homeclientsserverclustersoftwareclustersoftwareclustersoftware/DB1_data/user_home/DB1_data/user_home/DB1_data/user_home11IBMConfidentialIBMGPFSGeneralParallelFileSystem(GPFS)

悠久的歷史2006200520021998HPCGPFSGeneralFileServingStandardsPortableoperatingsysteminterface(POSIX)semantics

-LargeblockDirectoryandSmallfileperfDatamanagementVirtualTapeServer(VTS)Linux?Clusters(Multiplearchitectures)IBMAIX?LooseClustersGPFS2.1-2.3HPCResearchVisualizationDigitalMediaSeismicWeatherexplorationLifesciences32bit/64bitInter-op(IBMAIX&Linux)GPFSMulticlusterGPFSoverwideareanetworks(WAN)LargescaleclustersthousandsofnodesGPFS3.1-3.22009First

called

GPFSGPFS3.4EnhancedWindowsclustersupport-HomogenousWindowsServerPerformanceandscalingimprovementsEnhancedmigrationanddiagnosticssupport2010GPFS3.3RestrictedAdminFunctionsImprovedinstallationNewlicensemodelImprovedsnapshotandbackupImprovedILMpolicyengine2012EaseofadministrationMultiple-networks/RDMADistributedTokenManagementWindows2008MultipleNSDserversNFSv4SupportSmallfileperformanceInformationlifecyclemanagement(ILM)StoragePoolsFilesetsPolicyEngineGPFS3.5ActiveFileManagementGPFSNativeRAIDGPFSSharedNothingCluster122021/5/9GPFS是基于共享存儲(chǔ)的分布式、高性能的集群文件系統(tǒng)存儲(chǔ)Server網(wǎng)絡(luò)集群內(nèi)可多達(dá)8192個(gè)節(jié)點(diǎn)，256個(gè)FS支持多平臺(tái)PowerPowerX86IntaniumX86AIXAIXRedhat/SUSEWindowsWindows支持異構(gòu)存儲(chǔ)（IBMDSSotrage/IBMXIV/EMCDMX……）實(shí)測(cè)環(huán)境中，文件系統(tǒng)容量高達(dá)

4PB網(wǎng)絡(luò)支持EthernetInfinBandSANSAN可以無(wú)限擴(kuò)展在線靈活的擴(kuò)展13支持的存儲(chǔ)產(chǎn)品InadditiontoIBMStorage,IBMGeneral

ParallelFileSystem(GPFS?)supports

storagehardwarefromthesevendors:GPFSsupportsmanystoragesystems,andtheIBMsupportteamcanhelpcustomersusingstoragehardwaresolutionsnotonthislistoftesteddevices.EMCHitachiHewlettPackardDDN142021/5/9GPFS解決方案GPFSiscertifiedfor

RACon

/solutions/sap/doc/content/landingdtw/1605307130.html?g_type=pspotPoweredbyGPFSIBMVirtualizationEngineTS7700TS7510VirtualizationEngine

VirtualTapeServerModelB10

VirtualTapeServerModelB20

IBMfamilyofVirtualizationTapeSystemsGPFSinsideSASGridissupportedonGPFSGPFSV9.8&GPFS152021/5/9NSDServerNSDServerSANNSDClientAppNSDClientAppNSDClientAppNSDClientAppNSDClientAppNSDClientAppNSDClientAppNSDClientAppNSDClientAppNSDServerNSDServer僅NSD服務(wù)器

連接SAN存儲(chǔ)盤(pán)，NSDClient通過(guò)LAN連接Server所有節(jié)點(diǎn)連接SAN存儲(chǔ)盤(pán)，NSDServer*NSDServerApp*NSDServerApp*NSDServerApp*NSDServerAppSAN*OptionallyconfiguredtoenhanceavailabilityGPFS存儲(chǔ)管理-NSD（Networkshareddisk）GPFS中所有Disk定義成NSD，是否直連SAN存儲(chǔ)是區(qū)別NSDServer和Client的標(biāo)志NSD即GPFS中集群用于描述各Disk的全局唯一的名字一個(gè)節(jié)點(diǎn)上定義則所有節(jié)點(diǎn)可用NSDs可以在多種存儲(chǔ)設(shè)備類型上創(chuàng)建(hdisk,vpath,Emcpower,Lv)162021/5/9IBMConfidentialFailureGroup:在一個(gè)Storagepool中，通過(guò)不同failuregroups對(duì)pool內(nèi)Disks進(jìn)行分離;文件復(fù)制時(shí)，兩份數(shù)據(jù)自動(dòng)分布到兩個(gè)不同的group元數(shù)據(jù)同步及數(shù)據(jù)復(fù)制防止存儲(chǔ)故障引起數(shù)據(jù)高可用支持定義失效組，防止存儲(chǔ)單點(diǎn)故障（如數(shù)據(jù)位于同一存儲(chǔ)陣列）失效組數(shù)據(jù)自動(dòng)同步多至2份拷貝支持復(fù)制整個(gè)文件系統(tǒng)，一組文件或單個(gè)文件失效組的恢復(fù)日志自動(dòng)同步支持Local讀支持異地容災(zāi)支持跨域GPFS復(fù)制支持同步的MetroMirror支持異步的GlobalMirror17GPFSGPFS存儲(chǔ)管理-FailureGroup2021/5/9IBMConfidentialReplication:復(fù)制，當(dāng)GPFS的復(fù)制功能啟用時(shí),GPFS文件系統(tǒng)的數(shù)據(jù)和元數(shù)據(jù)將被保存兩個(gè)分布在不同的失效組的副本,當(dāng)其中一個(gè)副本不可用時(shí),另一個(gè)副本將使文件系統(tǒng)保持可用.18GPFSReplicationoverfailuregroupsInode,indirectblock,and/ordatablocksmaybereplicatedEachdiskaddress:ListofpointerstoreplicasEachpointer:diskid+sectorno.GPFS文件系統(tǒng)寫(xiě)數(shù)據(jù)的時(shí)候會(huì)同時(shí)寫(xiě)入不同的失效組內(nèi)的盤(pán)中,這樣就實(shí)現(xiàn)了數(shù)據(jù)的高可用.數(shù)據(jù)類型可以包括結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù).另外GPFS支持本地讀,這樣對(duì)于讀的操作,GPFS優(yōu)先選擇本數(shù)據(jù)中心的存儲(chǔ)進(jìn)行讀取,避免了因讀取遠(yuǎn)端存儲(chǔ)而引起的性能損失.2021/5/9此quorum機(jī)制是文件系統(tǒng)的核心仲裁,和failuregroup一起保障了存儲(chǔ)層的高可用.創(chuàng)建時(shí):若有５個(gè)不同failuregroups,就會(huì)創(chuàng)建５份復(fù)制若有３個(gè)不同Disk,就會(huì)創(chuàng)建３份復(fù)制若只有１個(gè)或２個(gè)Disk,則每個(gè)Disk上創(chuàng)建一份復(fù)制這些Disk中必需超過(guò)半數(shù)的復(fù)制可用來(lái)維持文件系統(tǒng)操作可通過(guò)創(chuàng)建descOnlyNSD增加mmlsdiskdevice-Lremarkfield:descorexcl

DiskDescriptorQuorumNode1Node2FileSystemDescriptorQuorum192021/5/9IBMConfidentialQuorumNodeNon-QuorumNodePrimaryConfigurationServerSecondaryConfigurationServerIPNetworkSANSANGPFSSynchronousReplicationPrimarySiteSecondarySiteTie-BreakerSiteSingleGPFSCluster20Active-ActiveGPFSActive-ActiveSolution2021/5/9|IPnetworkSiteASiteBSiteC(tiebreaker)Shareddiskaccess(SAN/NSD)SiteAstorage(failuregroup1)Samplediskdescriptorlistgpfs1nsd:siteAnode1::dataAndMetadata:1gpfs2nsd:siteAnode1::dataAndMetadata:1gpfs3nsd:siteAnode3::dataAndMetadata:1gpfs4nsd:siteAnode4::dataAndMetadata:1gpfs5nsd:siteBnode1::dataAndMetadata:2gpfs6nsd:siteBnode2::dataAndMetadata:2gpfs7nsd:siteBnode3::dataAndMetadata:2gpfs8nsd:siteBnode4::dataAndMetadata:2gpfs9nsd:siteCnode1::descOnly:3SiteBstorage(failuregroup2)non-quorumnodequorumnodeprimaryclusterconfigurationdataserversecondaryclusterconfigurationdataserver仲裁站點(diǎn)(C)用于保證一個(gè)數(shù)據(jù)中心出現(xiàn)故障時(shí)，維持整個(gè)cluster的可用性HoldsanadditionalquorumnodeHoldsa“filesystemdescriptor-only”(descOnly)diskinathirdfailuregroupSinglereplicatedGPFSfilesystem:mmcrfs/gpfs/fs0fs0–FdiskDescList-r2-R2-m2-M2GPFSActive-ActiveSolutionConfiguration212021/5/9

22IBMConfidentialGPFSCluster心跳機(jī)制2021/5/9

23IBMConfidentialGPFSCluster心跳相關(guān)參數(shù)leaseDurationTimeadisk-leaseisgrantedfromCfgMgrtoanynode.Default:35secondsleaseRecoveryWaitAdditionaltimetowaitincaseanodefailedtorenewthelease.ThepurposeallowsforI/Osthatwerestartedjustbeforetheleaseranouttofinishfirst.Default:35secondsPingPeriodTimeperiodbetweentwopings(second)Default:2seconds

TotalPingTimeoutTotalamountoftimepinginganodebeforegivingup(second)Default:120seconds2021/5/9

24IBMConfidentialGPFSPersistentReserveFunction

PersistentReserve:

PersistentReservereferstoasetofSmallComputerSystemsInterface-3(SCSI-3)standardcommandsandcommandoptions.ThesePRcommandsandcommandoptionsgiveSCSIinitiatorstheabilitytoestablish,preempt,query,andresetareservationpolicywithaspecifiedtargetdisk.ThefunctionsprovidedbyPRcommandsareasupersetofcurrentreserveandreleasemechanisms.Thesefunctionsarenotcompatiblewithlegacyreserveandreleasemechanisms.Targetdiskscanonlysupportreservationsfromeitherthelegacymechanismsorthecurrentmechanisms.Note:GPFSmanagesreserve_policyandPR_key_valueusingreserve_policy=PR_sharedwhenPersistentReservesupportisenabledandreserve_policy=no_reservewhenPersistentReserveisdisabled.2021/5/9

GPFSPersistentReserveHWSupportList

25IBMConfidential2021/5/9

26IBMConfidentialGPFSLocalReadConfiguration

LocalRead:

在GPFSReplication環(huán)境下，可以通過(guò)指定NSD的優(yōu)先級(jí)來(lái)實(shí)現(xiàn)雙數(shù)據(jù)中心的本地讀需求.一般情況下，GPFS優(yōu)先使用SAN提供IO服務(wù).

#mmfsadmdumpdisk|greprelAcctime dtype'nsd',directlyattachedrelAcctime0 dtype'nsd',directlyattachedrelAcctime1 dtype'nsd',LANattachedrelAcctime2

默認(rèn)下，SANAttached優(yōu)先級(jí)為0，LANAttached優(yōu)先級(jí)為2.Command:mmfsadmtestdiskrelaccoradatansd11##修改遠(yuǎn)端數(shù)據(jù)中心的nsd1優(yōu)先級(jí)為1.2021/5/9IBMConfidentialIPNetworkSANSANGPFSSynchronousReplicationPrimarySiteSecondrySiteTie-BreakerSiteSingleGPFSCluster27MoreRequirement–兩地三中心IPNetworkSANMetroorGlobalMirrorBackupSiteBackupGPFSCluster2021/5/9IBMConfidentialRAC01RAC02IPnetworkSANSWITCHSANSWITCHDWDNDWDNGPFSClusterusingReplicationActiveSiteAActiveSiteBTie-BreakerSiteCGroup1PrimaryGroup2Group2PrimaryGroup1GPFSAA+OracleExtendedRAC282021/5/9GPFSforOracleRAC11gonAIXTheGPFSv3.2Concepts,PlanningandInstallationGuidecontainsa“GPFSusewithOracle”chapterthatcontainsOracleconfigurationandtuningconsiderations.OracleMetaLinkNote302806.1containsa“GPFSTuningRequirementsforOracle”sectionwhichdescribesthelatesttuninginformation.IBMWhitepaper:OracleDatabase11gandOracleRAC11gonIBMAIX–TipsandConsiderations/support/techdocsGPFSistheonlyIBMfilesystemcertifiedfor

RACon292021/5/9OracleRAC&GPFSRACONGPFS基本配置GPFS本地復(fù)制,增加RAC可用性GPFS通過(guò)SAN或IP的異地復(fù)制方案為RAC提供災(zāi)備解決方案302021/5/9OracleRAC仲裁:31IBMConfidentialOracleRAC仲裁機(jī)制:

OCSSD這個(gè)進(jìn)程是OracleClusterware中最關(guān)鍵的進(jìn)程，如果這個(gè)進(jìn)程出現(xiàn)異常，會(huì)導(dǎo)致系統(tǒng)重啟，這個(gè)進(jìn)程提供CSS(ClusterSynchronizationService)服務(wù)。CSS服務(wù)通過(guò)多種心跳機(jī)制實(shí)時(shí)監(jiān)控集群狀態(tài)，提供腦裂保護(hù)等基礎(chǔ)集群服務(wù)功能.

CSS服務(wù)有2種心跳機(jī)制：一種是通過(guò)私有網(wǎng)絡(luò)的NetworkHeartbeat，另一種是通過(guò)VotingDisk的DiskHeartbeat.這2種心跳都有最大延時(shí)，對(duì)于DiskHeartbeat，這個(gè)延時(shí)叫作IOT(I/OTimeout);對(duì)于NetworkHeartbeat,這個(gè)延時(shí)叫MC(Misscount);重啟起最大允許被驅(qū)逐的次數(shù)reboottime默認(rèn)為3次，Disktimeout默認(rèn)200秒，Misscount默認(rèn)值:2021/5/9OracleRAC仲裁和GPFS集群仲裁:32IBMConfidentialOracle不建議使用共享文件系統(tǒng)來(lái)保存Votingdisk.實(shí)施中建議取兩臺(tái)存儲(chǔ)的rawdevice做為voting1和voting2，

仲裁站點(diǎn)的仲裁Sever創(chuàng)建NFS為做voting3.在容災(zāi)場(chǎng)景中，GPFS

恢復(fù)時(shí)間應(yīng)該小于OracleRAC的timeout.GPFS使用網(wǎng)絡(luò)做為整個(gè)IO集群的心跳，Oracle的PrivateNetwork也對(duì)網(wǎng)絡(luò)有很高要求，建議分別部署dedicatednetwork.2021/5/9DB2PureScale解決方案

Geographically-DispersedPureScaleCluster(GDPC)Mbr

1Mbr

3Mbr

2Mbr

4CF

secCF

priInfinibandswitch

Database

Log

Log

Log

LogEthernetInfinibandFiberChannelGPFSSharedStorage(logicalview)PhysicalStorageSingle-site

pureScale

configurationGDPC

pureScale

configurationNkmIBrangeextenderMbr

1Mbr

3Mbr

2Mbr

4CFsecCF

priDarkFiberorWAN

Database

Log

Log

Log

LogFiber

ChannelGPFSSharedStorage(logicalview)PhysicalStoragesite'A'PhysicalStoragesite'B'Infiniband+IPoIBGPFSreplicationbetweensites3rdSite

tie-breakerEthernet332021/5/9

LANBackboneSANswitchesHeterogeneousstoragesystemOracleRACcluster(primary)Node1RACinterconnectLANBackboneNode2MirrorA(active)MirrorB(active)VPLEXinterconnect(darkfibre)PrimaryI/OpathPrimaryI/OpathNote:NoMirrorI/OpathrequiredVPLEXClustersVPLEXWitness(virtualmachine)DedicatedIPlinkDedicatedIPlink“Identical”virtualvolumes(actuallythesamevolumes)PhysicalvolumesEMCVPLEX雙活數(shù)據(jù)中心方案

342021/5/9通過(guò)VPLEXMetro提供的分布式聯(lián)合能力，擴(kuò)展了同步距離內(nèi)兩個(gè)位置間的訪問(wèn)能力。VPLEXMetro利用AccessAnywhere支持跨遠(yuǎn)距離共享、訪問(wèn)單個(gè)數(shù)據(jù)拷貝。實(shí)現(xiàn)主備主機(jī)同時(shí)訪問(wèn)同一套卷的愿望，也就是所謂的“雙活”架構(gòu)，EMCVPLEX雙活數(shù)據(jù)中心方案

352021/5/9IBMGPFSVSEMCVPLEX指標(biāo)對(duì)比指標(biāo)EMCVPLEXIBMGPFS應(yīng)用案例2010年5月才發(fā)布早在2.X版本就支持AA架構(gòu)(2005)支持盤(pán)陣與主機(jī)類型有限（IBMi系列不支持）絕大多數(shù)廠商都支持物理安裝所有設(shè)備必須安裝在同一EMC機(jī)柜可以分開(kāi)安裝在任何標(biāo)準(zhǔn)機(jī)柜最大虛擬卷數(shù)量每個(gè)集群8000個(gè)只受OS限制和存儲(chǔ)限制最大虛擬卷大小96TB只受OS限制和存儲(chǔ)限制Point-in-timecopy不支持有snapshot功能遠(yuǎn)程異步復(fù)制不支持不支持寫(xiě)緩存不支持（只支持讀緩存）GPFS本身提供寫(xiě)緩存(Oracle使用DirectIO)copies之間在線復(fù)制/同步支持支持是否支持向兩地三中心擴(kuò)展使用存儲(chǔ)的異步復(fù)制實(shí)現(xiàn)使用存儲(chǔ)的異步復(fù)制實(shí)現(xiàn)數(shù)據(jù)不同步后是否支持增量同步不支持支持本地讀支持支持價(jià)格低，性價(jià)比高362021/5/9客戶案例分享交通銀行(GDPC)山東移動(dòng)(win)渤海銀行(ongoing)武漢社保(ongoing)

3372021/5/9交通銀行GDPC項(xiàng)目-項(xiàng)目需求項(xiàng)目目標(biāo)把試點(diǎn)應(yīng)用改造為在雙中心同時(shí)處理雙中心運(yùn)行時(shí)的業(yè)務(wù)交易性能控制到可接受的范圍內(nèi)恢復(fù)時(shí)間目標(biāo)（RTO）為分鐘級(jí)恢復(fù)點(diǎn)目標(biāo)（RPO）需趨近于0設(shè)計(jì)方案不要求應(yīng)用有太多改動(dòng)試點(diǎn)考察應(yīng)用系統(tǒng)一套網(wǎng)銀支付類應(yīng)用一套貸款流程管理類應(yīng)用根據(jù)實(shí)際效果推廣1/2ofclient

connections1/2ofclient

connectionsClientAppsClientAppsClientAppsClientAppsClientAppsClientAppsM1M3M2M4CFSCFPSiteASiteB70kmConnectionsbalanced382021/5/9生產(chǎn)中心和同城副生產(chǎn)中心之間光纖距離70公里客戶與其合作伙伴了解DataSharing/z原理2009年實(shí)現(xiàn)了MultiSiteDataSharing，采用讀寫(xiě)分離等措施達(dá)到了期望性能2011年部分實(shí)施了GDPS客戶的開(kāi)放平臺(tái)試點(diǎn)應(yīng)用改造前采用了WASCluster,DB2ESE+HACMP和EMCSRDF.客戶選擇了GDPC參考架構(gòu)作為實(shí)現(xiàn)項(xiàng)目目標(biāo)的基礎(chǔ)交通銀行GDPC項(xiàng)目-項(xiàng)目背景GDPCActive-Active392021/5/9故障類型場(chǎng)景應(yīng)用故障轉(zhuǎn)移時(shí)間提供業(yè)務(wù)連續(xù)性Member服務(wù)器故障重啟約3秒非故障MemberDB2進(jìn)程崩潰約5秒非故障MemberInfiniband網(wǎng)絡(luò)故障約2秒非故障Member以太網(wǎng)故障(非GPFS心跳網(wǎng))約9秒非故障MemberGPFS心跳網(wǎng)絡(luò)故障約38秒非故障Member暫掛約18秒后繼續(xù)服務(wù)

主CF服務(wù)器故障重啟應(yīng)用幾乎不受影響所有MemberCF進(jìn)程崩潰應(yīng)用幾乎不受影響所有MemberInfiniband網(wǎng)絡(luò)故障應(yīng)用幾乎不受影響所有Member以太網(wǎng)故障(非GPFS心跳網(wǎng))應(yīng)用幾乎不受影響所有MemberGPFS心跳網(wǎng)絡(luò)故障應(yīng)用幾乎不受影響所有Member交通銀行GDPC項(xiàng)目–實(shí)測(cè)結(jié)果切換測(cè)試402021/5/9山東移動(dòng)Oracle雙活項(xiàng)目–介紹GPFSActive-Active412021/5/9RAC私網(wǎng)GPFS心跳以太網(wǎng)絡(luò)生產(chǎn)與DR主機(jī)DR與生產(chǎn)主機(jī)生產(chǎn)存儲(chǔ)分區(qū)節(jié)點(diǎn)站點(diǎn)所有網(wǎng)絡(luò)生產(chǎn)節(jié)點(diǎn)422021/5/9類型描述被操作設(shè)備執(zhí)行操作現(xiàn)象描述數(shù)據(jù)恢復(fù)網(wǎng)絡(luò)故障模擬一個(gè)節(jié)點(diǎn)RAC私網(wǎng)中斷Power770_3ifconfigen1downPower770_3的數(shù)據(jù)庫(kù)IO終止并且該實(shí)例退出.其他節(jié)點(diǎn)數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)IO暫停40秒左右后繼續(xù)兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)模擬一個(gè)節(jié)點(diǎn)GPFS心跳通訊網(wǎng)絡(luò)故障Power770_4ifconfigen2downPower770_4被從GPFS集群中踢出,數(shù)據(jù)庫(kù)實(shí)例退出，其他三個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)IO暫停20秒左右后繼續(xù)兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)模擬站點(diǎn)間網(wǎng)絡(luò)通訊故障Power770_3/Power770_4ifconfigen2down;ifconfigen1downPower770_3,4從集群中踢出，其他兩個(gè)節(jié)點(diǎn)IO暫停60秒后繼續(xù)數(shù)據(jù)一致，無(wú)需恢復(fù)存儲(chǔ)故障兩個(gè)站點(diǎn)間FC鏈路故障DS8300-08/09關(guān)掉生產(chǎn)站點(diǎn)存儲(chǔ)與DR站點(diǎn)主機(jī)相連的光纖端口一個(gè)站點(diǎn)停止服務(wù)，另一個(gè)站點(diǎn)在暫停40-50秒后恢復(fù)服務(wù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步關(guān)掉DR站點(diǎn)存儲(chǔ)與生產(chǎn)站點(diǎn)主機(jī)相連的光纖端口生產(chǎn)存儲(chǔ)故障DS8300-08關(guān)掉生產(chǎn)站點(diǎn)存儲(chǔ)與4個(gè)節(jié)點(diǎn)相連的光纖端口四個(gè)節(jié)點(diǎn)的業(yè)務(wù)暫停20秒左右后繼續(xù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步山東移動(dòng)Oracle雙活項(xiàng)目–實(shí)測(cè)結(jié)果1切換測(cè)試432021/5/9類型描述被操作設(shè)備執(zhí)行操作現(xiàn)象描述數(shù)據(jù)恢復(fù)節(jié)點(diǎn)故障模擬節(jié)點(diǎn)故障Power770_3halt-q其他三個(gè)點(diǎn)的數(shù)據(jù)庫(kù)IO暫停30秒左右后繼續(xù)兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)站點(diǎn)故障模擬站點(diǎn)間通訊故障Power770_3/Power770_4,DS8308/09ifconfigen1/en2down;一個(gè)站點(diǎn)停止服務(wù)，另一個(gè)站點(diǎn)在暫停40-50秒后恢復(fù)服務(wù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步關(guān)掉生產(chǎn)站點(diǎn)存儲(chǔ)與DR站點(diǎn)主機(jī)相連的光纖端口關(guān)掉DR站點(diǎn)存儲(chǔ)與生產(chǎn)站點(diǎn)主機(jī)相連的光纖端口模擬生產(chǎn)站點(diǎn)故障Power770_1,Power770_2,DS8300-08Power770_1/2:halt-qPower770_3/4數(shù)據(jù)庫(kù)IO暫停60秒左右后繼續(xù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步關(guān)掉生產(chǎn)站點(diǎn)存儲(chǔ)與4個(gè)節(jié)點(diǎn)相連的光纖端口山東移動(dòng)Oracle雙活項(xiàng)目–實(shí)測(cè)結(jié)果2切換測(cè)試442021/5/9天津渤海銀行Oracle雙活項(xiàng)目–介紹GPFSActive-Active452021/5/9

類型被操作設(shè)備執(zhí)行操作現(xiàn)象描述數(shù)據(jù)恢復(fù)1節(jié)點(diǎn)故障RAC02halt-qRAC01的數(shù)據(jù)庫(kù)IO暫停17秒后繼續(xù)兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)

2仲裁節(jié)點(diǎn)(RAC03)halt-q沒(méi)有任何影響兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)

3存儲(chǔ)故障生產(chǎn)站點(diǎn)存儲(chǔ)關(guān)掉生產(chǎn)節(jié)點(diǎn)存儲(chǔ)連到交換機(jī)上的所有端口(2個(gè))兩個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)IO均暫停76秒后繼續(xù)暫停76秒受PowerPath判斷路徑失敗的機(jī)制影響,卸載PowerPath之后切換時(shí)間降低到15秒兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步

mmnsddiscover-a-Nall

mmchdiskoradatastart-d"data_dr"

4網(wǎng)絡(luò)故障RAC02ifconfigen4down

模擬一個(gè)GPFS網(wǎng)絡(luò)通訊故障RAC02的數(shù)據(jù)庫(kù)IO終止并且該實(shí)例退出

RAC01的數(shù)據(jù)庫(kù)IO暫停20秒后繼續(xù)兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)

需要重新啟動(dòng)第二個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)

5RAC02ifconfigen3down

模擬RAC私有網(wǎng)絡(luò)通訊故障RAC02節(jié)點(diǎn)會(huì)Crash并reboot

RAC01節(jié)點(diǎn)的數(shù)據(jù)庫(kù)IO暫停58秒后繼續(xù)兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)

需要重新啟動(dòng)第二個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)

6RAC02ifconfigen3down;

ifconfigen4down;

模擬站點(diǎn)間網(wǎng)絡(luò)通訊故障與上一致與上一致

7RAC02

RAC03(仲裁站點(diǎn))RAC02:ifconfigen4down;

RAC03:ifconfigen1down;

模擬兩個(gè)GPFS節(jié)點(diǎn)通訊網(wǎng)絡(luò)故障GPFS集群由于超過(guò)半數(shù)的節(jié)點(diǎn)失效,故GPFS文件系統(tǒng)不能訪問(wèn),Oracle被終止,兩個(gè)節(jié)點(diǎn)數(shù)據(jù)庫(kù)IO均中斷兩份數(shù)據(jù)一致,數(shù)據(jù)無(wú)需恢復(fù)

網(wǎng)絡(luò)恢復(fù)后需要重新啟動(dòng)兩個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)

天津渤海銀行Oracle雙活項(xiàng)目–實(shí)測(cè)結(jié)果1切換測(cè)試462021/5/9

類型被操作設(shè)備執(zhí)行操作現(xiàn)象描述數(shù)據(jù)恢復(fù)備注8FC鏈路故障RAC01關(guān)掉fcs0連在交換機(jī)上的端口兩個(gè)節(jié)點(diǎn)數(shù)據(jù)庫(kù)IO暫停79秒后繼續(xù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步暫停79秒受PowerPath判斷路徑失敗的機(jī)制影響,卸載PowerPath之后切換時(shí)間降低到15秒9

兩個(gè)站點(diǎn)間FC鏈路故障關(guān)掉生產(chǎn)站點(diǎn)存儲(chǔ)與DR站點(diǎn)主機(jī)相連的光纖端口

關(guān)掉DR站點(diǎn)存儲(chǔ)與生產(chǎn)站點(diǎn)主機(jī)相連的光纖端口兩個(gè)節(jié)點(diǎn)立刻沒(méi)有數(shù)據(jù)庫(kù)IO,第一個(gè)節(jié)點(diǎn)的Oracle進(jìn)程退出,第二個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)IO暫停76秒后繼續(xù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步暫停76秒受PowerPath判斷路徑失敗的機(jī)制影響,卸載PowerPath之后切換時(shí)間降低到15秒

10站點(diǎn)故障生產(chǎn)站點(diǎn)(RAC02)及生產(chǎn)站點(diǎn)存儲(chǔ)RAC02:halt-q

關(guān)掉生產(chǎn)節(jié)點(diǎn)存儲(chǔ)連到交換機(jī)上的所有端口(2個(gè))

RAC01數(shù)據(jù)庫(kù)IO暫停76秒后繼續(xù)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步暫停76秒受PowerPath判斷路徑失敗的機(jī)制影響,卸載PowerPath之后切換時(shí)間降低到15秒

11存儲(chǔ)故障(卸載PowerPath驅(qū)動(dòng))生產(chǎn)站點(diǎn)存儲(chǔ)關(guān)掉生產(chǎn)節(jié)點(diǎn)存儲(chǔ)連到交換機(jī)上的所有端口(2個(gè))兩個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)IO均暫停15秒后繼續(xù)

(PowerPath影響了3,8,9,10測(cè)試場(chǎng)景的切換時(shí)間)兩份數(shù)據(jù)不一致,通過(guò)增量方式實(shí)現(xiàn)數(shù)據(jù)同步采用AIXNativeMPIO能加快路徑切換時(shí)間天津渤海銀行Oracle雙活項(xiàng)目–實(shí)測(cè)結(jié)果2切換測(cè)試472021/5/9武漢社保Oracle雙活項(xiàng)目–介紹GPFSActive-Active482021/5/9

類型被操作設(shè)備執(zhí)行操作現(xiàn)象描述數(shù)據(jù)恢復(fù)備注1節(jié)點(diǎn)故障GPFSnode2ha