油田數字資產集中存儲與管理技術交流

油田數字資產集中存儲與管理北京東晨利能科技開展DCC曲鳳山副總經理/技術總監(jiān)Tel105E-mail:qufs@dcc-bi技術交流DCC技術交流內容1、北京東晨利能科技開展介紹2、油田數字資產集中存儲與管理整體建設需求分析3、目前存儲技術介紹4、油田數字資產集中存儲與管理整體解決方案與技術關鍵5、存儲產品與技術性能介紹6、問題與解答第二局部：需求分析DCC第二局部：油田數字資產集中存儲與管理整體建設需求分析1、我國石油數字資產現(xiàn)狀2、面臨問題3、解決這些問題的技術4、技術需求分析第二局部：需求分析DCC1、我國石油數字資產現(xiàn)狀?數據類型豐富多樣、復雜---勘探地震數據、開發(fā)數據、測井數據---地面工程數據---油藏數據---井口生產數據---信息綜合數據〔電子郵件、文件等〕---財務數據---煉油與銷售數據?存儲分散、管理難度大---各種信息存放不同應用的前端計算機系統(tǒng)內，存在信息孤島---管理分散、管理費用昂貴?數據沒有被充分共享---數據共享難---數據挖掘與分析應用難?數據平安性差---備份與恢復費用昂貴---數據不能集中保護?數據管理平臺不統(tǒng)一

----Oracle、Sybase----圖形文件、文本文件第二局部：需求分析DCC2、油田數字資產管理面臨的問題★數據量劇烈膨脹，管理越來越難---互連網不斷向企業(yè)的經營與管理滲透---油田生產與管理技術不斷更新、許多新技術借助數據---電子商務、交易廣泛使用---相關行業(yè)數字化應用影響★數據資產保護越來越重要---數據在油田生產和經營的作用越來越重要---目前平安保護模式不系統(tǒng)化、科學化---沒有策略化、自動的備份與恢復措施---關鍵系統(tǒng)應用沒有容災★數據存儲與管理不適應油田數字化開展，影響企業(yè)的競爭力---數據分散存儲在數以萬計的各種計算機系統(tǒng)、管理復雜、費用昂貴---數據不能集中保護、有些數據的喪失可能造成災難性的破壞---數據不能被企業(yè)科學、高效的共享、影響企業(yè)的對各種數據的分析與決策

數據管理數據共享數據保護第二局部：需求分析DCC3、目前解決這些問題存在的技術★構建以數據中心為核心、以多級存儲為結構的數據存儲架構

---數據中心采用SAN、二級或三級存儲中心采用NAS的數據整體存儲結構---實現(xiàn)SAN、NAS與現(xiàn)有系統(tǒng)有機整合★采用自動化備份與容災技術實現(xiàn)對數據的保護

---自動、策略化的備份/恢復技術---遠程異地同步、異步容災技術---數據快照與快照恢復技術---冗于技術、RAID技術★數據共享與數據挖掘

---基于GIS等應用的數據共享---各種數據挖掘、數據分析、決策支持技術★數據集中管理技術

SANNASDASISCSI第二局部：需求分析DCC3、技術上的需求與可行性SANNASDASISCSI1、數據集中存儲與管理體系結構分級集中存儲與管理，構建全油田的數據中心和二級單位的數據中心。數據中心：全油田數據的集中存儲、集中管理、合理共享、集中備份、容災二級數據中心：負責集中存儲各二級單位的數據、廠級數據共享、挖掘二級數據中心的局部數據復制到數據中心，數據中心與二級中心互為備份2、業(yè)界成熟的存儲技術，多種技術整合滿足不同需求SAN、NAS、DAS、備份與恢復、容災、數據保護3、基于Oracle/Sybase為底層的數據管理解決油田各種數據格式的存儲與業(yè)界各種數據存儲技術有效整合4、多種數據平安技術保證數據的有效使用Zonning技術卷保護專用內核與文件系統(tǒng)DCC第三局部目前存儲技術介紹第三局部：存儲技術介紹★DAS、SAN、NAS技術★備份/恢復技術★容災技術★數據平安與保護技術---Zonning---卷管理---快照與恢復---網絡平安★數據集中管理技術★數據共享技術DCC第三局部：存儲技術介紹DAS、NAS、SAN網絡和文件系統(tǒng)的位置定義了三種存儲架構：DAS：DirectAttachedStorageSAN:StorageAreaNetwork

NAS:NetworkAttachedStorageDCCDAS技術：〔1〕網絡出現(xiàn)前的存儲方式〔2〕應用定位：低端環(huán)境---辦公環(huán)境、提供系統(tǒng)驅動高端環(huán)境---大量的磁盤陣列直聯(lián)于主機，為I/O密集的應用提供可接受的性能〔3〕擴展不容易、應用停機、分散不易管理SCSI、FC-AL網絡第三局部：存儲技術介紹DAS、NAS、SAN廠商：各種效勞器磁盤生產商DCCNAS●瘦效勞器，主要功能文件共享和數據管理，客戶端利用LAN共享數據●主要應用是文件分發(fā)、代碼共享、小數據塊的I/O。面向文件I/O應用●使用簡單、實施容易、異構平臺文件共享、集中數據管理與存儲●千兆網作為通路支持●支持距離長，適合前端系統(tǒng)到中心的數據存儲●自動、策略化備份使用專用軟件利用NDMP協(xié)議完成占用LAN帶寬LAN性能影響NAS性能網絡文件系統(tǒng)支持〔NFS、CIFS〕第三局部：存儲技術介紹DAS、NAS、SAN非常適合油田以采油廠為中心的二級存儲系統(tǒng)DCC第三局部：存儲技術介紹DAS、NAS、SAN◆專業(yè)NAS：

◎具有專用的內核、文件系統(tǒng)

◎優(yōu)化設計、專用于數據I/O、性能優(yōu)越

◎擁有多種技術對數據進行全方位保護

◎能廣泛與業(yè)界各種技術進行整合

◎支持多種業(yè)界標準◆非專業(yè)NAS：◎利用效勞器與盤陣采用DAS技術連接的NAS◎通用內核與文件系統(tǒng)◎設計不優(yōu)化、性能不好◎數據不平安NAS產品：廠家：

NetWorkApplianceF800EMCIP4700IBM：NAS300SGI：NASHP：NAS如何選擇NAS產品●根據不同的數據量、數據平安重要性選擇NAS專業(yè)NAS、非專業(yè)NAS專業(yè)NAS特性：專用OS、文件系統(tǒng)----性能優(yōu)化、數據平安管理軟件豐富----方便、快速、維護簡單數據保護軟件----快照與恢復功能、容災功能保證數據平安高可用性----冗于設計、熱交換、路徑自動切換、RAID高性能----高速數據通路、快速的數據讀寫、快速的啟動與恢復技術成熟、應用廣泛、與多種數據庫、電子商務產品兼容支持多種協(xié)議、文件共享、支持帶庫備份非專業(yè)NAS：通用OS和文件系統(tǒng)----性能和平安不好管理與應用軟件性能不好、維護復雜第三局部：存儲技術介紹DCCSAN★為存儲和效勞器之間提供高速的數據通路★延遲低、性能連續(xù)穩(wěn)定、規(guī)?？蓴U★將多種接口的存儲整合在一起★提供存儲池，實現(xiàn)存儲的集中管理★策略化、LAN-FREE的數據備份與恢復★FC協(xié)議，構建存儲網絡*實施復雜、技術新*費用高*互連性應用：面向塊I/O大數據中心數據集中管理高性能應用連續(xù)性的應用第三局部：存儲技術介紹DAS、NAS、SAN非常適合大數據中心建設DCC第三局部：存儲技術介紹DAS、NAS、SAN構建SAN高性能：光交換機〔1GB/2GB〕、磁盤陣列、HBARouter、效勞器、外網等到達整體性能最優(yōu)高可靠：冗于、熱交換、雙機容錯、路徑冗于數據平安：RAID保護、HotSpare、Zonning、備份與容災價格：性價比、與目前現(xiàn)有設備的整合、TCO互連性：所有設備互連集中管理：智能管理、界面豐富、能管理整個存儲系統(tǒng)數據使用：生產與數據分析并行、共享穩(wěn)定性：整體系統(tǒng)運行穩(wěn)定、技術成熟、先進存儲整合：與現(xiàn)有系統(tǒng)的有機整合，保護投資DCCSAN的組成1、FC協(xié)議的光交換機

1Gb/sor2Gb/sSANFC-ALSWFC-SW

BrocadeVixelMcData

2、磁盤陣列

全光纖SCSISTK、EMC、HDSIBM、SUN、HP3、應用效勞器群性能、價格應用兼容體系結構擴展能力SUN、IBM、SUN、DELL4、備份與恢復軟件〔Veritas、Legato)磁帶庫〔STK〕容量磁帶機5、其他主機接口卡HBARouterCablesHUB各種數據管理、數據共享、保護等軟件第三局部：存儲技術介紹DCC項目規(guī)劃項目實施售后服務◎評估工程的需求并量化〔容量、主機數量、軟件應用狀況〕◎劃分關鍵應用和非關鍵應用數據◎目前運行環(huán)境狀況〔效勞器、存儲設備、連接、軟件運行〕◎數據平安保護級別〔在線保護、離線保護、設備的可靠性〕◎功能規(guī)劃：容災、備份◎設計存儲結構〔SAN、NAS、SAN+NAS〕◎資金狀況●設計必須采購的設備與軟件規(guī)格和型號●形成采購的技術指標并采購☆設備的到貨、場地準備、技術培訓☆安裝與調試☆驗收☆設備保修、升級效勞☆技術的連續(xù)性設備連通性、系統(tǒng)管理、存儲資源利用、技術支持設備采購SAN設計與工程規(guī)劃第三局部：存儲技術介紹DCCSAN與NAS的結合方式一：性能不損數據共享管理分開優(yōu)勢互補適應數據處理與解釋TCP/IPDiskArrayNASEngineFC方式二：性能受損數據共享NAS瓶頸影響SAN性能適應小數據塊的連機交易與數據挖掘平安隱患第三局部：存儲技術介紹方式三：NAS與SAN融于一個存儲設備即提供NAS接口和效勞，有提供SAN接口性能優(yōu)化、管理簡單NetWorkerApplianceStorageTekDiskArrayFCDCC第三局部：存儲技術介紹1、數據備份與恢復必要性

●離線數據保護

●保存時間長2、備份與恢復技術要求●自動化、無人職守●策略化、支持增量、全部等多種備份機智●界面簡單、管理容易、集中管理●LAN-Free、Server-Less●多任務、多驅動器并行●備份時窗●策略化的恢復●基于專用應用的備份〔ORACLE、Sybase等〕3、備份與恢復系統(tǒng)使用的軟、硬件●自動帶庫系統(tǒng)---STK----TapeDriver:LTO、DLT●備份效勞器●專用備份軟件：Veritas、Legato、Tivoli、HP/Omniback、CASTK磁帶庫數據備份與恢復技術Veritas-NetbackupServer-TapeDrivesupportxnVeritasClientLANPS樓層效勞器3樓層效勞器1四樓SCSI盤陣2樓層效勞器2主效勞器光纖連接雙絞線連接SCSI連接VeritasClientVeritasClientVeritasClientVeritasClient樓層效勞器1

DCC第三局部：存儲技術介紹數據備份與恢復技術LANAdministratorSANStorageAreaNetworkSAN備份與恢復技術LAN-FreeServer-LessTier分層集中管理DCC第三局部：存儲技術介紹容災技術1、容災應用---數據與應用平安級別最高保護容災規(guī)模：●數據容災----只是將數據與容災中心進行鏡像適合數據非常重要、應用可以在規(guī)定時間內恢復的應用〔石油〕●應用容災----將數據和具體的應用與遠程數據中心進行鏡像。適合高可靠性的應用，銀行、證券、電信、民航容災方式：●異地同步----

數據中心與容災中心數據完全一致、影響數據中心的應用性能?！癞惖禺惒?---

數據中心與容災中心的數據鏡像有時間差，數據中心的應用不用等容災中心鏡像成功就繼續(xù)進行下一步工作。對性能影響不大。容災線路：●專線---在數據中心與容災中心鋪設專用的光纖通路●利用行業(yè)專用網絡〔石油專網、局域網絡〕●衛(wèi)星等專用線路DCC第三局部：存儲技術介紹容災技術2、容災實現(xiàn)●專業(yè)容災軟件Veritas:VVRLegato:ReplistorEMC:SRDFIBM:PPRCHDS:HRCcompaq:ReplicatorSUN:SNDRNetApp:SyncMirror(同步〕SnapMirror(異步〕SourceTargetSRDFlinks第三局部：存儲技術介紹數據平安與保護技術●SANZonning技術〔Port)●LUNManager(LUN)●RAID●SnapShotandSnapRestore●網絡平安技術●加密技術EMCED-1032“NT”FA1A“Sun”FA2ANT“AIX”FA1BAIXAIX“AIX”FA2BDetermineswhichhosts“see〞whichFAportAllowsforheterogeneousconnectivity-byHBAFAportscurrentlyset-uphomogeneouslyZonning第三局部：存儲技術介紹數據平安與保護技術Zonning第三局部：存儲技術介紹數據平安與保護技術LUNSecurityOpen9Open9Open9Whatdoesitdoforyou?ProtectsaccesstoinformationbyallowingsecureaccesstoassignedstorageSimplifiesenvironmentbyconsolidatingmultiplehostsonasinglearraywhileensuringaccesssecurityHowdoesitwork?EnablesthearraystohideLUNsassignedtoonehostfromanother使不同的效勞器存取到自己的LUN第三局部：存儲技術介紹數據平安與保護技術虛擬存儲：將主機劃分成不同的域來實現(xiàn)數據保護利用存儲PORT與主機存取域來實現(xiàn)數據的平安讀寫EnablesstoragepoolingattheLUNlevelHostStorageDomainsdefinespanofcontrolOptimizedheterogeneousconnectivityFewerphysicalconnectionsEnablesconsolidation第三局部：存儲技術介紹數據平安與保護技術RAID技術：利用磁盤陣列實現(xiàn)數據保護技術按實現(xiàn)方式劃分：硬RAID、軟RAID按RAID實現(xiàn)的保護級別劃分：RAID0----Stripping對數據無保護，改進性能RAID1----鏡像，數據雙份，影響寫性能RAID4----采用奇偶校驗，校驗信息存放在校驗盤上，寫性能下降，有熱點盤效應RAID5----采用奇偶校驗，校驗信息散落在不同的盤上，寫性能下降。HotSpare技術D1D3D2P3D+1PRAIDD1D2D2’SD1’2D+2D0+15第三局部：存儲技術介紹數據平安與保護技術快照與快照恢復技術C’SnapshotFile:NETAPP.DATABCActiveFileSystemFile:NETAPP.DATDiskblocks只是快速在本地磁盤內復制變化數據塊的指針，性能卓越占用空間少，容災、數據保護、數據分析與挖掘應用DCC第三局部：存儲技術介紹數據集中管理技術管理復雜的存儲系統(tǒng)和數據●集中管理---單點●豐富的管理界面和接口〔Web、GUI、CLI〕●簡單、靈活、方便●資源動態(tài)分配與調整●設備集中監(jiān)控●將效勞器與存儲系統(tǒng)各個環(huán)節(jié)有效的管理起來〔不同廠家有不同的軟件〕DCC第三局部：存儲技術介紹數據共享技術數據共享：

●數據的移動

●數據按時間點復制

●多平臺讀寫文件TrueCopyAsynchronous(Asynchronousremotecopy)Darkfiber/PublicLine(ATM)/InternetCCICCIFibreChannelFCCCICCIManagerFibreC