油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理技術(shù)交流

油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理北京東晨利能科技開展DCC曲鳳山副總經(jīng)理/技術(shù)總監(jiān)Tel105E-mail:qufs@dcc-bi技術(shù)交流DCC技術(shù)交流內(nèi)容1、北京東晨利能科技開展介紹2、油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理整體建設(shè)需求分析3、目前存儲(chǔ)技術(shù)介紹4、油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理整體解決方案與技術(shù)關(guān)鍵5、存儲(chǔ)產(chǎn)品與技術(shù)性能介紹6、問題與解答第二局部：需求分析DCC第二局部：油田數(shù)字資產(chǎn)集中存儲(chǔ)與管理整體建設(shè)需求分析1、我國(guó)石油數(shù)字資產(chǎn)現(xiàn)狀2、面臨問題3、解決這些問題的技術(shù)4、技術(shù)需求分析第二局部：需求分析DCC1、我國(guó)石油數(shù)字資產(chǎn)現(xiàn)狀?數(shù)據(jù)類型豐富多樣、復(fù)雜---勘探地震數(shù)據(jù)、開發(fā)數(shù)據(jù)、測(cè)井?dāng)?shù)據(jù)---地面工程數(shù)據(jù)---油藏?cái)?shù)據(jù)---井口生產(chǎn)數(shù)據(jù)---信息綜合數(shù)據(jù)〔電子郵件、文件等〕---財(cái)務(wù)數(shù)據(jù)---煉油與銷售數(shù)據(jù)?存儲(chǔ)分散、管理難度大---各種信息存放不同應(yīng)用的前端計(jì)算機(jī)系統(tǒng)內(nèi)，存在信息孤島---管理分散、管理費(fèi)用昂貴?數(shù)據(jù)沒有被充分共享---數(shù)據(jù)共享難---數(shù)據(jù)挖掘與分析應(yīng)用難?數(shù)據(jù)平安性差---備份與恢復(fù)費(fèi)用昂貴---數(shù)據(jù)不能集中保護(hù)?數(shù)據(jù)管理平臺(tái)不統(tǒng)一

----Oracle、Sybase----圖形文件、文本文件第二局部：需求分析DCC2、油田數(shù)字資產(chǎn)管理面臨的問題★數(shù)據(jù)量劇烈膨脹，管理越來(lái)越難---互連網(wǎng)不斷向企業(yè)的經(jīng)營(yíng)與管理滲透---油田生產(chǎn)與管理技術(shù)不斷更新、許多新技術(shù)借助數(shù)據(jù)---電子商務(wù)、交易廣泛使用---相關(guān)行業(yè)數(shù)字化應(yīng)用影響★數(shù)據(jù)資產(chǎn)保護(hù)越來(lái)越重要---數(shù)據(jù)在油田生產(chǎn)和經(jīng)營(yíng)的作用越來(lái)越重要---目前平安保護(hù)模式不系統(tǒng)化、科學(xué)化---沒有策略化、自動(dòng)的備份與恢復(fù)措施---關(guān)鍵系統(tǒng)應(yīng)用沒有容災(zāi)★數(shù)據(jù)存儲(chǔ)與管理不適應(yīng)油田數(shù)字化開展，影響企業(yè)的競(jìng)爭(zhēng)力---數(shù)據(jù)分散存儲(chǔ)在數(shù)以萬(wàn)計(jì)的各種計(jì)算機(jī)系統(tǒng)、管理復(fù)雜、費(fèi)用昂貴---數(shù)據(jù)不能集中保護(hù)、有些數(shù)據(jù)的喪失可能造成災(zāi)難性的破壞---數(shù)據(jù)不能被企業(yè)科學(xué)、高效的共享、影響企業(yè)的對(duì)各種數(shù)據(jù)的分析與決策

數(shù)據(jù)管理數(shù)據(jù)共享數(shù)據(jù)保護(hù)第二局部：需求分析DCC3、目前解決這些問題存在的技術(shù)★構(gòu)建以數(shù)據(jù)中心為核心、以多級(jí)存儲(chǔ)為結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)架構(gòu)

---數(shù)據(jù)中心采用SAN、二級(jí)或三級(jí)存儲(chǔ)中心采用NAS的數(shù)據(jù)整體存儲(chǔ)結(jié)構(gòu)---實(shí)現(xiàn)SAN、NAS與現(xiàn)有系統(tǒng)有機(jī)整合★采用自動(dòng)化備份與容災(zāi)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的保護(hù)

---自動(dòng)、策略化的備份/恢復(fù)技術(shù)---遠(yuǎn)程異地同步、異步容災(zāi)技術(shù)---數(shù)據(jù)快照與快照恢復(fù)技術(shù)---冗于技術(shù)、RAID技術(shù)★數(shù)據(jù)共享與數(shù)據(jù)挖掘

---基于GIS等應(yīng)用的數(shù)據(jù)共享---各種數(shù)據(jù)挖掘、數(shù)據(jù)分析、決策支持技術(shù)★數(shù)據(jù)集中管理技術(shù)

SANNASDASISCSI第二局部：需求分析DCC3、技術(shù)上的需求與可行性SANNASDASISCSI1、數(shù)據(jù)集中存儲(chǔ)與管理體系結(jié)構(gòu)分級(jí)集中存儲(chǔ)與管理，構(gòu)建全油田的數(shù)據(jù)中心和二級(jí)單位的數(shù)據(jù)中心。數(shù)據(jù)中心：全油田數(shù)據(jù)的集中存儲(chǔ)、集中管理、合理共享、集中備份、容災(zāi)二級(jí)數(shù)據(jù)中心：負(fù)責(zé)集中存儲(chǔ)各二級(jí)單位的數(shù)據(jù)、廠級(jí)數(shù)據(jù)共享、挖掘二級(jí)數(shù)據(jù)中心的局部數(shù)據(jù)復(fù)制到數(shù)據(jù)中心，數(shù)據(jù)中心與二級(jí)中心互為備份2、業(yè)界成熟的存儲(chǔ)技術(shù)，多種技術(shù)整合滿足不同需求SAN、NAS、DAS、備份與恢復(fù)、容災(zāi)、數(shù)據(jù)保護(hù)3、基于Oracle/Sybase為底層的數(shù)據(jù)管理解決油田各種數(shù)據(jù)格式的存儲(chǔ)與業(yè)界各種數(shù)據(jù)存儲(chǔ)技術(shù)有效整合4、多種數(shù)據(jù)平安技術(shù)保證數(shù)據(jù)的有效使用Zonning技術(shù)卷保護(hù)專用內(nèi)核與文件系統(tǒng)DCC第三局部目前存儲(chǔ)技術(shù)介紹第三局部：存儲(chǔ)技術(shù)介紹★DAS、SAN、NAS技術(shù)★備份/恢復(fù)技術(shù)★容災(zāi)技術(shù)★數(shù)據(jù)平安與保護(hù)技術(shù)---Zonning---卷管理---快照與恢復(fù)---網(wǎng)絡(luò)平安★數(shù)據(jù)集中管理技術(shù)★數(shù)據(jù)共享技術(shù)DCC第三局部：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN網(wǎng)絡(luò)和文件系統(tǒng)的位置定義了三種存儲(chǔ)架構(gòu)：DAS：DirectAttachedStorageSAN:StorageAreaNetwork

NAS:NetworkAttachedStorageDCCDAS技術(shù)：〔1〕網(wǎng)絡(luò)出現(xiàn)前的存儲(chǔ)方式〔2〕應(yīng)用定位：低端環(huán)境---辦公環(huán)境、提供系統(tǒng)驅(qū)動(dòng)高端環(huán)境---大量的磁盤陣列直聯(lián)于主機(jī)，為I/O密集的應(yīng)用提供可接受的性能〔3〕擴(kuò)展不容易、應(yīng)用停機(jī)、分散不易管理SCSI、FC-AL網(wǎng)絡(luò)第三局部：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN廠商：各種效勞器磁盤生產(chǎn)商DCCNAS●瘦效勞器，主要功能文件共享和數(shù)據(jù)管理，客戶端利用LAN共享數(shù)據(jù)●主要應(yīng)用是文件分發(fā)、代碼共享、小數(shù)據(jù)塊的I/O。面向文件I/O應(yīng)用●使用簡(jiǎn)單、實(shí)施容易、異構(gòu)平臺(tái)文件共享、集中數(shù)據(jù)管理與存儲(chǔ)●千兆網(wǎng)作為通路支持●支持距離長(zhǎng)，適合前端系統(tǒng)到中心的數(shù)據(jù)存儲(chǔ)●自動(dòng)、策略化備份使用專用軟件利用NDMP協(xié)議完成占用LAN帶寬LAN性能影響NAS性能網(wǎng)絡(luò)文件系統(tǒng)支持〔NFS、CIFS〕第三局部：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN非常適合油田以采油廠為中心的二級(jí)存儲(chǔ)系統(tǒng)DCC第三局部：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN◆專業(yè)NAS：

◎具有專用的內(nèi)核、文件系統(tǒng)

◎優(yōu)化設(shè)計(jì)、專用于數(shù)據(jù)I/O、性能優(yōu)越

◎擁有多種技術(shù)對(duì)數(shù)據(jù)進(jìn)行全方位保護(hù)

◎能廣泛與業(yè)界各種技術(shù)進(jìn)行整合

◎支持多種業(yè)界標(biāo)準(zhǔn)◆非專業(yè)NAS：◎利用效勞器與盤陣采用DAS技術(shù)連接的NAS◎通用內(nèi)核與文件系統(tǒng)◎設(shè)計(jì)不優(yōu)化、性能不好◎數(shù)據(jù)不平安NAS產(chǎn)品：廠家：

NetWorkApplianceF800EMCIP4700IBM：NAS300SGI：NASHP：NAS如何選擇NAS產(chǎn)品●根據(jù)不同的數(shù)據(jù)量、數(shù)據(jù)平安重要性選擇NAS專業(yè)NAS、非專業(yè)NAS專業(yè)NAS特性：專用OS、文件系統(tǒng)----性能優(yōu)化、數(shù)據(jù)平安管理軟件豐富----方便、快速、維護(hù)簡(jiǎn)單數(shù)據(jù)保護(hù)軟件----快照與恢復(fù)功能、容災(zāi)功能保證數(shù)據(jù)平安高可用性----冗于設(shè)計(jì)、熱交換、路徑自動(dòng)切換、RAID高性能----高速數(shù)據(jù)通路、快速的數(shù)據(jù)讀寫、快速的啟動(dòng)與恢復(fù)技術(shù)成熟、應(yīng)用廣泛、與多種數(shù)據(jù)庫(kù)、電子商務(wù)產(chǎn)品兼容支持多種協(xié)議、文件共享、支持帶庫(kù)備份非專業(yè)NAS：通用OS和文件系統(tǒng)----性能和平安不好管理與應(yīng)用軟件性能不好、維護(hù)復(fù)雜第三局部：存儲(chǔ)技術(shù)介紹DCCSAN★為存儲(chǔ)和效勞器之間提供高速的數(shù)據(jù)通路★延遲低、性能連續(xù)穩(wěn)定、規(guī)模可擴(kuò)★將多種接口的存儲(chǔ)整合在一起★提供存儲(chǔ)池，實(shí)現(xiàn)存儲(chǔ)的集中管理★策略化、LAN-FREE的數(shù)據(jù)備份與恢復(fù)★FC協(xié)議，構(gòu)建存儲(chǔ)網(wǎng)絡(luò)*實(shí)施復(fù)雜、技術(shù)新*費(fèi)用高*互連性應(yīng)用：面向塊I/O大數(shù)據(jù)中心數(shù)據(jù)集中管理高性能應(yīng)用連續(xù)性的應(yīng)用第三局部：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN非常適合大數(shù)據(jù)中心建設(shè)DCC第三局部：存儲(chǔ)技術(shù)介紹DAS、NAS、SAN構(gòu)建SAN高性能：光交換機(jī)〔1GB/2GB〕、磁盤陣列、HBARouter、效勞器、外網(wǎng)等到達(dá)整體性能最優(yōu)高可靠：冗于、熱交換、雙機(jī)容錯(cuò)、路徑冗于數(shù)據(jù)平安：RAID保護(hù)、HotSpare、Zonning、備份與容災(zāi)價(jià)格：性價(jià)比、與目前現(xiàn)有設(shè)備的整合、TCO互連性：所有設(shè)備互連集中管理：智能管理、界面豐富、能管理整個(gè)存儲(chǔ)系統(tǒng)數(shù)據(jù)使用：生產(chǎn)與數(shù)據(jù)分析并行、共享穩(wěn)定性：整體系統(tǒng)運(yùn)行穩(wěn)定、技術(shù)成熟、先進(jìn)存儲(chǔ)整合：與現(xiàn)有系統(tǒng)的有機(jī)整合，保護(hù)投資DCCSAN的組成1、FC協(xié)議的光交換機(jī)

1Gb/sor2Gb/sSANFC-ALSWFC-SW

BrocadeVixelMcData

2、磁盤陣列

全光纖SCSISTK、EMC、HDSIBM、SUN、HP3、應(yīng)用效勞器群性能、價(jià)格應(yīng)用兼容體系結(jié)構(gòu)擴(kuò)展能力SUN、IBM、SUN、DELL4、備份與恢復(fù)軟件〔Veritas、Legato)磁帶庫(kù)〔STK〕容量磁帶機(jī)5、其他主機(jī)接口卡HBARouterCablesHUB各種數(shù)據(jù)管理、數(shù)據(jù)共享、保護(hù)等軟件第三局部：存儲(chǔ)技術(shù)介紹DCC項(xiàng)目規(guī)劃項(xiàng)目實(shí)施售后服務(wù)◎評(píng)估工程的需求并量化〔容量、主機(jī)數(shù)量、軟件應(yīng)用狀況〕◎劃分關(guān)鍵應(yīng)用和非關(guān)鍵應(yīng)用數(shù)據(jù)◎目前運(yùn)行環(huán)境狀況〔效勞器、存儲(chǔ)設(shè)備、連接、軟件運(yùn)行〕◎數(shù)據(jù)平安保護(hù)級(jí)別〔在線保護(hù)、離線保護(hù)、設(shè)備的可靠性〕◎功能規(guī)劃：容災(zāi)、備份◎設(shè)計(jì)存儲(chǔ)結(jié)構(gòu)〔SAN、NAS、SAN+NAS〕◎資金狀況●設(shè)計(jì)必須采購(gòu)的設(shè)備與軟件規(guī)格和型號(hào)●形成采購(gòu)的技術(shù)指標(biāo)并采購(gòu)☆設(shè)備的到貨、場(chǎng)地準(zhǔn)備、技術(shù)培訓(xùn)☆安裝與調(diào)試☆驗(yàn)收☆設(shè)備保修、升級(jí)效勞☆技術(shù)的連續(xù)性設(shè)備連通性、系統(tǒng)管理、存儲(chǔ)資源利用、技術(shù)支持設(shè)備采購(gòu)SAN設(shè)計(jì)與工程規(guī)劃第三局部：存儲(chǔ)技術(shù)介紹DCCSAN與NAS的結(jié)合方式一：性能不損數(shù)據(jù)共享管理分開優(yōu)勢(shì)互補(bǔ)適應(yīng)數(shù)據(jù)處理與解釋TCP/IPDiskArrayNASEngineFC方式二：性能受損數(shù)據(jù)共享NAS瓶頸影響SAN性能適應(yīng)小數(shù)據(jù)塊的連機(jī)交易與數(shù)據(jù)挖掘平安隱患第三局部：存儲(chǔ)技術(shù)介紹方式三：NAS與SAN融于一個(gè)存儲(chǔ)設(shè)備即提供NAS接口和效勞，有提供SAN接口性能優(yōu)化、管理簡(jiǎn)單NetWorkerApplianceStorageTekDiskArrayFCDCC第三局部：存儲(chǔ)技術(shù)介紹1、數(shù)據(jù)備份與恢復(fù)必要性

●離線數(shù)據(jù)保護(hù)

●保存時(shí)間長(zhǎng)2、備份與恢復(fù)技術(shù)要求●自動(dòng)化、無(wú)人職守●策略化、支持增量、全部等多種備份機(jī)智●界面簡(jiǎn)單、管理容易、集中管理●LAN-Free、Server-Less●多任務(wù)、多驅(qū)動(dòng)器并行●備份時(shí)窗●策略化的恢復(fù)●基于專用應(yīng)用的備份〔ORACLE、Sybase等〕3、備份與恢復(fù)系統(tǒng)使用的軟、硬件●自動(dòng)帶庫(kù)系統(tǒng)---STK----TapeDriver:LTO、DLT●備份效勞器●專用備份軟件：Veritas、Legato、Tivoli、HP/Omniback、CASTK磁帶庫(kù)數(shù)據(jù)備份與恢復(fù)技術(shù)Veritas-NetbackupServer-TapeDrivesupportxnVeritasClientLANPS樓層效勞器3樓層效勞器1四樓SCSI盤陣2樓層效勞器2主效勞器光纖連接雙絞線連接SCSI連接VeritasClientVeritasClientVeritasClientVeritasClient樓層效勞器1

DCC第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)備份與恢復(fù)技術(shù)LANAdministratorSANStorageAreaNetworkSAN備份與恢復(fù)技術(shù)LAN-FreeServer-LessTier分層集中管理DCC第三局部：存儲(chǔ)技術(shù)介紹容災(zāi)技術(shù)1、容災(zāi)應(yīng)用---數(shù)據(jù)與應(yīng)用平安級(jí)別最高保護(hù)容災(zāi)規(guī)模：●數(shù)據(jù)容災(zāi)----只是將數(shù)據(jù)與容災(zāi)中心進(jìn)行鏡像適合數(shù)據(jù)非常重要、應(yīng)用可以在規(guī)定時(shí)間內(nèi)恢復(fù)的應(yīng)用〔石油〕●應(yīng)用容災(zāi)----將數(shù)據(jù)和具體的應(yīng)用與遠(yuǎn)程數(shù)據(jù)中心進(jìn)行鏡像。適合高可靠性的應(yīng)用，銀行、證券、電信、民航容災(zāi)方式：●異地同步----

數(shù)據(jù)中心與容災(zāi)中心數(shù)據(jù)完全一致、影響數(shù)據(jù)中心的應(yīng)用性能?！癞惖禺惒?---

數(shù)據(jù)中心與容災(zāi)中心的數(shù)據(jù)鏡像有時(shí)間差，數(shù)據(jù)中心的應(yīng)用不用等容災(zāi)中心鏡像成功就繼續(xù)進(jìn)行下一步工作。對(duì)性能影響不大。容災(zāi)線路：●專線---在數(shù)據(jù)中心與容災(zāi)中心鋪設(shè)專用的光纖通路●利用行業(yè)專用網(wǎng)絡(luò)〔石油專網(wǎng)、局域網(wǎng)絡(luò)〕●衛(wèi)星等專用線路DCC第三局部：存儲(chǔ)技術(shù)介紹容災(zāi)技術(shù)2、容災(zāi)實(shí)現(xiàn)●專業(yè)容災(zāi)軟件Veritas:VVRLegato:ReplistorEMC:SRDFIBM:PPRCHDS:HRCcompaq:ReplicatorSUN:SNDRNetApp:SyncMirror(同步〕SnapMirror(異步〕SourceTargetSRDFlinks第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)平安與保護(hù)技術(shù)●SANZonning技術(shù)〔Port)●LUNManager(LUN)●RAID●SnapShotandSnapRestore●網(wǎng)絡(luò)平安技術(shù)●加密技術(shù)EMCED-1032“NT”FA1A“Sun”FA2ANT“AIX”FA1BAIXAIX“AIX”FA2BDetermineswhichhosts“see〞whichFAportAllowsforheterogeneousconnectivity-byHBAFAportscurrentlyset-uphomogeneouslyZonning第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)平安與保護(hù)技術(shù)Zonning第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)平安與保護(hù)技術(shù)LUNSecurityOpen9Open9Open9Whatdoesitdoforyou?ProtectsaccesstoinformationbyallowingsecureaccesstoassignedstorageSimplifiesenvironmentbyconsolidatingmultiplehostsonasinglearraywhileensuringaccesssecurityHowdoesitwork?EnablesthearraystohideLUNsassignedtoonehostfromanother使不同的效勞器存取到自己的LUN第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)平安與保護(hù)技術(shù)虛擬存儲(chǔ)：將主機(jī)劃分成不同的域來(lái)實(shí)現(xiàn)數(shù)據(jù)保護(hù)利用存儲(chǔ)PORT與主機(jī)存取域來(lái)實(shí)現(xiàn)數(shù)據(jù)的平安讀寫EnablesstoragepoolingattheLUNlevelHostStorageDomainsdefinespanofcontrolOptimizedheterogeneousconnectivityFewerphysicalconnectionsEnablesconsolidation第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)平安與保護(hù)技術(shù)RAID技術(shù)：利用磁盤陣列實(shí)現(xiàn)數(shù)據(jù)保護(hù)技術(shù)按實(shí)現(xiàn)方式劃分：硬RAID、軟RAID按RAID實(shí)現(xiàn)的保護(hù)級(jí)別劃分：RAID0----Stripping對(duì)數(shù)據(jù)無(wú)保護(hù)，改進(jìn)性能RAID1----鏡像，數(shù)據(jù)雙份，影響寫性能RAID4----采用奇偶校驗(yàn)，校驗(yàn)信息存放在校驗(yàn)盤上，寫性能下降，有熱點(diǎn)盤效應(yīng)RAID5----采用奇偶校驗(yàn)，校驗(yàn)信息散落在不同的盤上，寫性能下降。HotSpare技術(shù)D1D3D2P3D+1PRAIDD1D2D2’SD1’2D+2D0+15第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)平安與保護(hù)技術(shù)快照與快照恢復(fù)技術(shù)C’SnapshotFile:NETAPP.DATABCActiveFileSystemFile:NETAPP.DATDiskblocks只是快速在本地磁盤內(nèi)復(fù)制變化數(shù)據(jù)塊的指針，性能卓越占用空間少，容災(zāi)、數(shù)據(jù)保護(hù)、數(shù)據(jù)分析與挖掘應(yīng)用DCC第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)集中管理技術(shù)管理復(fù)雜的存儲(chǔ)系統(tǒng)和數(shù)據(jù)●集中管理---單點(diǎn)●豐富的管理界面和接口〔Web、GUI、CLI〕●簡(jiǎn)單、靈活、方便●資源動(dòng)態(tài)分配與調(diào)整●設(shè)備集中監(jiān)控●將效勞器與存儲(chǔ)系統(tǒng)各個(gè)環(huán)節(jié)有效的管理起來(lái)〔不同廠家有不同的軟件〕DCC第三局部：存儲(chǔ)技術(shù)介紹數(shù)據(jù)共享技術(shù)數(shù)據(jù)共享：

●數(shù)據(jù)的移動(dòng)

●數(shù)據(jù)按時(shí)間點(diǎn)復(fù)制

●多平臺(tái)讀寫文件TrueCopyAsynchronous(Asynchronousremotecopy)Darkfiber/PublicLine(ATM)/InternetCCICCIFibreChannelFCCCICCIManagerFibreC