油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理技術(shù)交流

1、油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理北京東晨利能科技發(fā)展有限公司DCC曲鳳山副總經(jīng)理/技術(shù)總監(jiān)Tel105-mail:qufs技術(shù)交流DCC技術(shù)交流內(nèi)容1、北京東晨利能科技發(fā)展有限公司介紹2、油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理整體建設(shè)需求分析3、目前存儲(chǔ)技術(shù)介紹4、油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理整體解決方案與技術(shù)關(guān)鍵5、存儲(chǔ)產(chǎn)品與技術(shù)性能介紹6、問題與解答第二部分：需求分析DCC第二部分：油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理整體建設(shè)需求分析1、我國石油數(shù)字資產(chǎn)現(xiàn)狀2、面臨問題3、解決這些問題的技術(shù)4、技術(shù)需求分析第二部分：需求分析DCC1、我國石油數(shù)字資產(chǎn)現(xiàn)狀 數(shù)據(jù)類型豐

2、富多樣、復(fù)雜 - 勘探地震數(shù)據(jù)、開發(fā)數(shù)據(jù)、測井?dāng)?shù)據(jù) - 地面工程數(shù)據(jù) - 油藏?cái)?shù)據(jù) - 井口生產(chǎn)數(shù)據(jù) - 信息綜合數(shù)據(jù)（電子郵件、文件等） - 財(cái)務(wù)數(shù)據(jù) - 煉油與銷售數(shù)據(jù) 存儲(chǔ)分散、管理難度大 - 各種信息存放不同應(yīng)用的前端計(jì)算機(jī)系統(tǒng)內(nèi)，存在信息孤島 -管理分散、管理費(fèi)用昂貴數(shù)據(jù)沒有被充分共享 -數(shù)據(jù)共享難 -數(shù)據(jù)挖掘與分析應(yīng)用難數(shù)據(jù)安全性差 -備份與恢復(fù)費(fèi)用昂貴 - 數(shù)據(jù)不能集中保護(hù)數(shù)據(jù)管理平臺(tái)不統(tǒng)一 -Oracle、Sybase - 圖形文件、文本文件第二部分：需求分析DCC2、油田數(shù)字資產(chǎn)管理面臨的問題數(shù)據(jù)量劇烈膨脹，管理越來越難 -互連網(wǎng)不斷向企業(yè)的經(jīng)營與管理滲透 - 油田生產(chǎn)與管理

3、技術(shù)不斷更新、許多新技術(shù)借助數(shù)據(jù) - 電子商務(wù)、交易廣泛使用 - 相關(guān)行業(yè)數(shù)字化應(yīng)用影響數(shù)據(jù)資產(chǎn)保護(hù)越來越重要 - 數(shù)據(jù)在油田生產(chǎn)和經(jīng)營的作用越來越重要 - 目前安全保護(hù)模式不系統(tǒng)化、科學(xué)化 - 沒有策略化、自動(dòng)的備份與恢復(fù)措施 - 關(guān)鍵系統(tǒng)應(yīng)用沒有容災(zāi)數(shù)據(jù)存儲(chǔ)與管理不適應(yīng)油田數(shù)字化發(fā)展，影響企業(yè)的競爭力 -數(shù)據(jù)分散存儲(chǔ)在數(shù)以萬計(jì)的各種計(jì)算機(jī)系統(tǒng)、管理復(fù)雜、費(fèi)用昂貴 -數(shù)據(jù)不能集中保護(hù)、有些數(shù)據(jù)的丟失可能造成災(zāi)難性的破壞 -數(shù)據(jù)不能被企業(yè)科學(xué)、高效的共享、影響企業(yè)的對(duì)各種數(shù)據(jù)的分析與決策 數(shù)據(jù)管理數(shù)據(jù)共享數(shù)據(jù)保護(hù)第二部分：需求分析DCC3、目前解決這些問題存在的技術(shù)構(gòu)建以數(shù)據(jù)中心為核心、以多級(jí)

4、存儲(chǔ)為結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)架構(gòu) -數(shù)據(jù)中心采用SAN、二級(jí)或三級(jí)存儲(chǔ)中心采用NAS的數(shù)據(jù)整體存儲(chǔ)結(jié)構(gòu) -實(shí)現(xiàn)SAN、NAS與現(xiàn)有系統(tǒng)有機(jī)整合采用自動(dòng)化備份與容災(zāi)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的保護(hù) -自動(dòng)、策略化的備份/恢復(fù)技術(shù) - 遠(yuǎn)程異地同步、異步容災(zāi)技術(shù) - 數(shù)據(jù)快照與快照恢復(fù)技術(shù) - 冗于技術(shù)、RAID技術(shù)數(shù)據(jù)共享與數(shù)據(jù)挖掘 - 基于GIS等應(yīng)用的數(shù)據(jù)共享 -各種數(shù)據(jù)挖掘、數(shù)據(jù)分析、決策支持技術(shù)數(shù)據(jù)集中管理技術(shù) SANNASDASISCSI第二部分：需求分析DCC3、技術(shù)上的需求與可行性SANNASDASISCSI1、數(shù)據(jù)集中存儲(chǔ)與管理體系結(jié)構(gòu)分級(jí)集中存儲(chǔ)與管理，構(gòu)建全油田的數(shù)據(jù)中心和二級(jí)單位的數(shù)據(jù)中心。

5、數(shù)據(jù)中心：全油田數(shù)據(jù)的集中存儲(chǔ)、集中管理、合理共享、集中備 份、容災(zāi) 二級(jí)數(shù)據(jù)中心：負(fù)責(zé)集中存儲(chǔ)各二級(jí)單位的數(shù)據(jù)、廠級(jí)數(shù)據(jù)共享、 挖掘 二級(jí)數(shù)據(jù)中心的部分?jǐn)?shù)據(jù)復(fù)制到數(shù)據(jù)中心，數(shù)據(jù)中心與二級(jí)中心互為備份2、業(yè)界成熟的存儲(chǔ)技術(shù)，多種技術(shù)整合滿足不同需求 SAN、NAS、DAS、備份與恢復(fù)、容災(zāi)、數(shù)據(jù)保護(hù)3、基于Oracle/Sybase為底層的數(shù)據(jù)管理 解決油田各種數(shù)據(jù)格式的存儲(chǔ) 與業(yè)界各種數(shù)據(jù)存儲(chǔ)技術(shù)有效整合4、多種數(shù)據(jù)安全技術(shù)保證數(shù)據(jù)的有效使用 Zonning 技術(shù) 卷保護(hù) 專用內(nèi)核與文件系統(tǒng)DCC第三部分 目前存儲(chǔ)技術(shù)介紹第三部分：存儲(chǔ)技術(shù)介紹 DAS、SAN、NAS技術(shù)備份/恢復(fù)技術(shù)容災(zāi)技

6、術(shù)數(shù)據(jù)安全與保護(hù)技術(shù) -Zonning -卷管理 - 快照與恢復(fù) - 網(wǎng)絡(luò)安全數(shù)據(jù)集中管理技術(shù)數(shù)據(jù)共享技術(shù)DCC第三部分：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN網(wǎng)絡(luò)和文件系統(tǒng)的位置定義了三種存儲(chǔ)架構(gòu)：DAS：Direct Attached StorageSAN: Storage Area Network NAS: Network Attached StorageDCCDAS技術(shù)： （1）網(wǎng)絡(luò)出現(xiàn)前的存儲(chǔ)方式 （2）應(yīng)用定位： 低端環(huán)境 - 辦公環(huán)境、提供系統(tǒng)驅(qū)動(dòng) 高端環(huán)境 - 大量的磁盤陣列直聯(lián)于主機(jī)，為 I/O密集的應(yīng)用提供可接受的性能 （3）擴(kuò)展不容易、應(yīng)用停機(jī)、分散不易管理SCSI、FC-A

7、L網(wǎng)絡(luò)第三部分：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN廠商： 各種服務(wù)器 磁盤生產(chǎn)商DCCNAS瘦服務(wù)器，主要功能文件共享和數(shù)據(jù)管理，客戶端利用LAN共享數(shù)據(jù)主要應(yīng)用是文件分發(fā)、代碼共享、小數(shù)據(jù)塊的I/O。面向文件I/O應(yīng)用使用簡單、實(shí)施容易、異構(gòu)平臺(tái)文件共享、集中數(shù)據(jù)管理與存儲(chǔ)千兆網(wǎng)作為通路支持支持距離長，適合前端系統(tǒng)到中心的數(shù)據(jù)存儲(chǔ)自動(dòng)、策略化備份 使用專用軟件利用NDMP 協(xié)議完成占用LAN 帶寬LAN性能影響NAS性能網(wǎng)絡(luò)文件系統(tǒng)支持（NFS、CIFS）第三部分：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN非常適合油田以采油廠為中心的二級(jí)存儲(chǔ)系統(tǒng)DCC第三部分：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN專業(yè)

8、NAS： 具有專用的內(nèi)核、文件系統(tǒng) 優(yōu)化設(shè)計(jì)、專用于數(shù)據(jù)I/O、性能優(yōu)越 擁有多種技術(shù)對(duì)數(shù)據(jù)進(jìn)行全方位保護(hù) 能廣泛與業(yè)界各種技術(shù)進(jìn)行整合 支持多種業(yè)界標(biāo)準(zhǔn)非專業(yè)NAS： 利用服務(wù)器與盤陣采用DAS技術(shù)連接的NAS 通用內(nèi)核與文件系統(tǒng) 設(shè)計(jì)不優(yōu)化、性能不好 數(shù)據(jù)不安全NAS產(chǎn)品：廠家： NetWork Appliance F800 EMC IP4700IBM：NAS 300SGI：NASHP：NAS如何選擇NAS產(chǎn)品根據(jù)不同的數(shù)據(jù)量、數(shù)據(jù)安全重要性選擇NAS專業(yè)NAS、非專業(yè)NAS專業(yè)NAS特性： 專用OS、文件系統(tǒng)-性能優(yōu)化、數(shù)據(jù)安全 管理軟件豐富-方便、快速、維護(hù)簡單 數(shù)據(jù)保護(hù)軟件-快照與恢

9、復(fù)功能、容災(zāi)功能保證數(shù)據(jù)安全 高可用性 -冗于設(shè)計(jì)、熱交換、路徑自動(dòng)切換、RAID 高性能-高速數(shù)據(jù)通路、快速的數(shù)據(jù)讀寫、快速的啟動(dòng)與恢復(fù) 技術(shù)成熟、應(yīng)用廣泛、與多種數(shù)據(jù)庫、電子商務(wù)產(chǎn)品兼容 支持多種協(xié)議、文件共享、支持帶庫備份 非專業(yè)NAS： 通用OS和文件系統(tǒng)-性能和安全不好 管理與應(yīng)用軟件性能不好、維護(hù)復(fù)雜第三部分：存儲(chǔ)技術(shù)介紹DCCSAN為存儲(chǔ)和服務(wù)器之間提供高速的數(shù)據(jù)通路延遲低、性能連續(xù)穩(wěn)定、規(guī)?？蓴U(kuò)將多種接口的存儲(chǔ)整合在一起提供存儲(chǔ)池，實(shí)現(xiàn)存儲(chǔ)的集中管理策略化、LAN-FREE的數(shù)據(jù)備份與恢復(fù)FC協(xié)議，構(gòu)建存儲(chǔ)網(wǎng)絡(luò)*實(shí)施復(fù)雜、技術(shù)新*費(fèi)用高*互連性應(yīng)用：面向塊I/O 大數(shù)據(jù)中心 數(shù)

10、據(jù)集中管理 高性能應(yīng)用 連續(xù)性的應(yīng)用第三部分：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN非常適合大數(shù)據(jù)中心建設(shè)DCC第三部分：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN構(gòu)建SAN高 性 能：光交換機(jī)（1GB/2GB）、磁盤陣列、HBA Router、服務(wù)器、外網(wǎng)等達(dá)到整體性能最優(yōu)高 可 靠：冗于、熱交換、雙機(jī)容錯(cuò)、路徑冗于 數(shù)據(jù)安全：RAID保護(hù)、HotSpare、Zonning、備份與容災(zāi)價(jià) 格：性價(jià)比、與目前現(xiàn)有設(shè)備的整合、TCO互 連 性：所有設(shè)備互連集中管理：智能管理、界面豐富、能管理整個(gè)存儲(chǔ)系統(tǒng)數(shù)據(jù)使用：生產(chǎn)與數(shù)據(jù)分析并行、共享穩(wěn) 定 性：整體系統(tǒng)運(yùn)行穩(wěn)定、技術(shù)成熟、先進(jìn)存儲(chǔ)整合：與現(xiàn)有系統(tǒng)的有機(jī)整

11、合，保護(hù)投資DCCSAN的組成1、FC協(xié)議的光交換機(jī) 1Gb/s or 2Gb/s SAN FC-AL SW FC-SW Brocade Vixel McData 2、磁盤陣列 全光纖 SCSISTK、EMC、HDSIBM、SUN、HP3、應(yīng)用服務(wù)器群性能、價(jià)格應(yīng)用兼容體系結(jié)構(gòu)擴(kuò)展能力SUN、IBM、SUN、DELL4、備份與恢復(fù) 軟件（Veritas、Legato) 磁帶庫（STK） 容量 磁帶機(jī)5、其他主機(jī)接口卡HBARouterCablesHUB各種數(shù)據(jù)管理、數(shù)據(jù)共享、保護(hù)等軟件第三部分：存儲(chǔ)技術(shù)介紹DCC項(xiàng)目規(guī)劃項(xiàng)目實(shí)施售后服務(wù)評(píng)估項(xiàng)目的需求并量化（容量、主機(jī)數(shù)量、軟件應(yīng)用狀況）劃分關(guān)

12、鍵應(yīng)用和非關(guān)鍵應(yīng)用數(shù)據(jù)目前運(yùn)行環(huán)境狀況（服務(wù)器、存儲(chǔ)設(shè)備、連接、軟件運(yùn)行）數(shù)據(jù)安全保護(hù)級(jí)別（在線保護(hù)、離線保護(hù)、設(shè)備的可靠性）功能規(guī)劃：容災(zāi)、備份設(shè)計(jì)存儲(chǔ)結(jié)構(gòu)（SAN、NAS、SAN+NAS）資金狀況設(shè)計(jì)必須采購的設(shè)備與軟件規(guī)格和型號(hào)形成采購的技術(shù)指標(biāo)并采購設(shè)備的到貨、場地準(zhǔn)備、技術(shù)培訓(xùn)安裝與調(diào)試驗(yàn)收設(shè)備保修、升級(jí)服務(wù)技術(shù)的連續(xù)性設(shè)備連通性、系統(tǒng)管理、存儲(chǔ)資源利用、技術(shù)支持設(shè)備采購SAN設(shè)計(jì)與項(xiàng)目規(guī)劃第三部分：存儲(chǔ)技術(shù)介紹DCCSAN與NAS的結(jié)合方式一：性能不損 數(shù)據(jù)共享 管理分開 優(yōu)勢互補(bǔ) 適應(yīng)數(shù)據(jù)處理與解釋TCP/IPDisk ArrayNAS EngineFC方式二：性能受損 數(shù)據(jù)共享

13、 NAS瓶頸影響SAN性能 適應(yīng)小數(shù)據(jù)塊的連機(jī)交易與數(shù)據(jù)挖掘 安全隱患第三部分：存儲(chǔ)技術(shù)介紹方式三：NAS與SAN融于一個(gè)存儲(chǔ)設(shè)備 即提供NAS接口和服務(wù)，有提供SAN接口 性能優(yōu)化、管理簡單 NetWorker Appliance StorageTekDisk ArrayFCDCC第三部分：存儲(chǔ)技術(shù)介紹1、數(shù)據(jù)備份與恢復(fù)必要性 離線數(shù)據(jù)保護(hù) 保存時(shí)間長2、備份與恢復(fù)技術(shù)要求 自動(dòng)化、無人職守 策略化、支持增量、全部等多種備份機(jī)智 界面簡單、管理容易、集中管理 LAN-Free、Server-Less 多任務(wù)、多驅(qū)動(dòng)器并行 備份時(shí)窗 策略化的恢復(fù) 基于專用應(yīng)用的備份（ORACLE、Sybase

14、等）3、備份與恢復(fù)系統(tǒng)使用的軟、硬件 自動(dòng)帶庫系統(tǒng) -STK -Tape Driver:LTO、DLT 備份服務(wù)器 專用備份軟件：Veritas 、Legato、Tivoli、HP/Omniback、CASTK磁帶庫數(shù)據(jù)備份與恢復(fù)技術(shù)Veritas-Netbackup Server-Tape Drive support x nVeritasClientLAN PS樓層服務(wù)器3樓層服務(wù)器1四樓SCSI盤陣2樓層服務(wù)器2主服務(wù)器光纖連接雙絞線連接SCSI連接VeritasClientVeritasClientVeritasClientVeritasClient樓層服務(wù)器1DCC第三部分：存儲(chǔ)技術(shù)介

15、紹數(shù)據(jù)備份與恢復(fù)技術(shù) LANAdministratorSANStorage Area NetworkSAN備份與恢復(fù)技術(shù) LAN-Free Server-Less Tier分層 集中管理DCC第三部分：存儲(chǔ)技術(shù)介紹容災(zāi)技術(shù)1、容災(zāi)應(yīng)用-數(shù)據(jù)與應(yīng)用安全級(jí)別最高保護(hù)容災(zāi)規(guī)模： 數(shù)據(jù)容災(zāi) -只是將數(shù)據(jù)與容災(zāi)中心進(jìn)行鏡像 適合數(shù)據(jù)非常重要、應(yīng)用可以在規(guī)定時(shí)間內(nèi)恢復(fù)的應(yīng)用（石油） 應(yīng)用容災(zāi) -將數(shù)據(jù)和具體的應(yīng)用與遠(yuǎn)程數(shù)據(jù)中心進(jìn)行鏡像。 適合高可靠性的應(yīng)用，銀行、證券、電信、民航容災(zāi)方式： 異地同步 - 數(shù)據(jù)中心與容災(zāi)中心數(shù)據(jù)完全一致、影響數(shù)據(jù)中心的應(yīng)用性能。 異地異步 - 數(shù)據(jù)中心與容災(zāi)中心的數(shù)據(jù)鏡像有

16、時(shí)間差，數(shù)據(jù)中心的應(yīng)用不用等容災(zāi)中心鏡像 成功就繼續(xù)進(jìn)行下一步工作。對(duì)性能影響不大。容災(zāi)線路： 專線 - 在數(shù)據(jù)中心 與容災(zāi)中心鋪設(shè)專用的 光纖通路 利用行業(yè)專用網(wǎng)絡(luò) （石油專網(wǎng)、局域網(wǎng)絡(luò)） 衛(wèi)星等專用線路DCC第三部分：存儲(chǔ)技術(shù)介紹容災(zāi)技術(shù)2、容災(zāi)實(shí)現(xiàn) 專業(yè)容災(zāi)軟件 Veritas:VVR Legato: Replistor EMC:SRDF IBM:PPRC HDS:HRC compaq:Replicator SUN:SNDR NetApp:SyncMirror(同步） SnapMirror(異步）SourceTargetSRDFlinks第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)安全與保護(hù)技術(shù) SAN

17、Zonning 技術(shù)（Port) LUN Manager(LUN) RAID SnapShot and SnapRestore 網(wǎng)絡(luò)安全技術(shù) 加密技術(shù)EMCED-1032“NT” FA1A“Sun” FA2ANT“AIX” FA1BAIXAIX“AIX” FA2BDetermines which hosts “see” which FA portAllows for heterogeneous connectivity - by HBAFA ports currently set-up homogeneouslyZonning第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)安全與保護(hù)技術(shù)Zonning第三部分：存儲(chǔ)

18、技術(shù)介紹數(shù)據(jù)安全與保護(hù)技術(shù)LUN SecurityOpen 9Open 9Open 9What does it do for you?Protects access to information by allowing secure access to assigned storageSimplifies environment by consolidating multiple hosts on a single array while ensuring access securityHow does it work?Enables the arrays to hide LUNs assig

19、ned to one host from another使不同的服務(wù)器存取到自己的LUN第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)安全與保護(hù)技術(shù)虛擬存儲(chǔ)：將主機(jī)劃分成不同的域來實(shí)現(xiàn)數(shù)據(jù)保護(hù)利用存儲(chǔ)PORT與主機(jī)存取域來實(shí)現(xiàn)數(shù)據(jù)的安全讀寫Enables storage pooling at the LUN levelHost Storage Domains define span of controlOptimized heterogeneous connectivityFewer physical connectionsEnables consolidation第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)安全與保護(hù)技術(shù)RAID

20、技術(shù)：利用磁盤陣列實(shí)現(xiàn)數(shù)據(jù)保護(hù)技術(shù)按實(shí)現(xiàn)方式劃分：硬RAID、軟RAID按RAID實(shí)現(xiàn)的保護(hù)級(jí)別劃分： RAID 0 - Stripping 對(duì)數(shù)據(jù)無保護(hù)，改進(jìn)性能 RAID 1 - 鏡像，數(shù)據(jù)雙份，影響寫性能 RAID 4 - 采用奇偶校驗(yàn)，校驗(yàn)信息存放在校驗(yàn)盤上，寫 性能下降，有熱點(diǎn)盤效應(yīng) RAID 5 -采用奇偶校驗(yàn)，校驗(yàn)信息散落在不同的盤上，寫 性能下降。HotSpare技術(shù)D1D3D2P3D + 1P RAIDD1D2D2SD12D + 2D0+15第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)安全與保護(hù)技術(shù)快照與快照恢復(fù)技術(shù)CSnapshotFile: NETAPP.DATABCActive File

21、 SystemFile: NETAPP.DATDisk blocks只是快速在本地磁盤內(nèi)復(fù)制變化數(shù)據(jù)塊的指針，性能卓越占用空間少，容災(zāi)、數(shù)據(jù)保護(hù)、數(shù)據(jù)分析與挖掘應(yīng)用DCC第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)集中管理技術(shù)管理復(fù)雜的存儲(chǔ)系統(tǒng)和數(shù)據(jù) 集中管理 -單點(diǎn) 豐富的管理界面和接口（Web、GUI、CLI） 簡單、靈活、方便 資源動(dòng)態(tài)分配與調(diào)整 設(shè)備集中監(jiān)控 將服務(wù)器與存儲(chǔ)系統(tǒng)各個(gè)環(huán)節(jié)有效的 管理起來（不同廠家有不同的軟件）DCC第三部分：存儲(chǔ)技術(shù)介紹數(shù)據(jù)共享技術(shù)數(shù)據(jù)共享： 數(shù)據(jù)的移動(dòng) 數(shù)據(jù)按時(shí)間點(diǎn)復(fù)制 多平臺(tái)讀寫文件TrueCopy Asynchronous(Asynchronous remote copy)Dark fiber /Public Line (ATM) /InternetCCICCIFibre