海洋大數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)規(guī)范

海洋大數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)規(guī)范范圍本文件規(guī)定了海洋大數(shù)據(jù)的數(shù)據(jù)分級(jí)以及分級(jí)存儲(chǔ)的技術(shù)要求和管理要求。本文件適用于10?PB級(jí)以XX洋大數(shù)據(jù)的分級(jí)存儲(chǔ)與管理。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語術(shù)語和定義GB/T35295—2017界定的以及下列術(shù)語和定義適用于本文件。

大數(shù)據(jù)bigdata具有數(shù)據(jù)巨大、種類多樣、流動(dòng)速度快、特征多變等特性，并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)和數(shù)據(jù)處理技術(shù)進(jìn)行有效組織、存儲(chǔ)、計(jì)算、分析和管理的數(shù)據(jù)集。[來源：GB/T37973—2019，3.1]

海洋大數(shù)據(jù)oceanbigdata具有大數(shù)據(jù)特征的海洋領(lǐng)域數(shù)據(jù)集。

數(shù)據(jù)分級(jí)dataclassification按照存儲(chǔ)效能的分級(jí)規(guī)則對(duì)大數(shù)據(jù)進(jìn)行定級(jí)。

分級(jí)存儲(chǔ)hierarchicalstorage采用相應(yīng)等級(jí)的存儲(chǔ)要求對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)。

遷移策略migrationstrategy根據(jù)大數(shù)據(jù)的分級(jí)等級(jí)及數(shù)據(jù)訪問量要求所建立的分級(jí)存儲(chǔ)實(shí)施策略。包括遷移觸發(fā)條件、源存儲(chǔ)設(shè)備、目標(biāo)存儲(chǔ)設(shè)備等。縮略語下列縮略語適用于本文件。CPU：中央處理單元（CentralProcessingUnit）ETL：數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extract-Transform-Load）IOPS：每秒讀寫次數(shù)（InputOutputOperationsPerSecond）ORC：列式存儲(chǔ)（OptimizedRowColumnar）PB：拍字節(jié)，1PB=2的50次方字節(jié)（Petabyte）RCFile：列存儲(chǔ)文件（RecordColumnarFile）SQL：結(jié)構(gòu)化查詢語言（StructuredQueryLanguage）數(shù)據(jù)分級(jí)分級(jí)要素海洋大數(shù)據(jù)分級(jí)定級(jí)主要考慮的要素為海洋大數(shù)據(jù)的訪問頻率，即根據(jù)海洋大數(shù)據(jù)訪問量從高到低來判斷，可分為高頻率訪問的海洋大數(shù)據(jù)、一般頻率訪問的海洋大數(shù)據(jù)、低頻率訪問的海洋大數(shù)據(jù)。定級(jí)規(guī)則海洋大數(shù)據(jù)分級(jí)等級(jí)分為三級(jí)、二級(jí)、一級(jí)，應(yīng)按照表1進(jìn)行海洋大數(shù)據(jù)的定級(jí)。海洋大數(shù)據(jù)等級(jí)條件及判定規(guī)則等級(jí)條件判定規(guī)則判定等級(jí)三級(jí)等級(jí)條件：高頻率訪問的海洋大數(shù)據(jù)。數(shù)據(jù)訪問頻次從高到低，排序前10?%部分?jǐn)?shù)據(jù)。三級(jí)二級(jí)等級(jí)條件：一般頻率訪問的海洋大數(shù)據(jù)。數(shù)據(jù)訪問頻次從高到低，排序前10?%～30?%部分?jǐn)?shù)據(jù)。二級(jí)一級(jí)等級(jí)條件：訪問頻率較低，或不經(jīng)常被訪問的海洋大數(shù)據(jù)，或歸檔的歷史海洋大數(shù)據(jù)。數(shù)據(jù)訪問頻次從高到低，排序30?%～100?%部分?jǐn)?shù)據(jù)。一級(jí)根據(jù)對(duì)海洋大數(shù)據(jù)訪問周期的統(tǒng)計(jì)結(jié)果，結(jié)合本機(jī)構(gòu)的實(shí)際情況，對(duì)三級(jí)、二級(jí)、一級(jí)等級(jí)的存儲(chǔ)空間比例進(jìn)行適當(dāng)調(diào)整。分級(jí)等級(jí)及存儲(chǔ)要求相應(yīng)等級(jí)的海洋大數(shù)據(jù)的存儲(chǔ)應(yīng)符合表2的規(guī)定。海洋大數(shù)據(jù)分級(jí)等級(jí)及存儲(chǔ)要求數(shù)據(jù)分級(jí)等級(jí)分級(jí)存儲(chǔ)要求三級(jí)三級(jí)海洋大數(shù)據(jù)的存儲(chǔ)應(yīng)符合以下要求：應(yīng)實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)訪問，訪問延遲應(yīng)小于5?ms；可擴(kuò)展性：應(yīng)采用可擴(kuò)展的存儲(chǔ)架構(gòu)，當(dāng)存儲(chǔ)資源不足時(shí)應(yīng)具備在線擴(kuò)展能力，且不影響原存儲(chǔ)系統(tǒng)的正常運(yùn)行；可靠性：多種手段保護(hù)數(shù)據(jù)，確保數(shù)據(jù)100?%不丟失，保證業(yè)務(wù)99.999?99?%高可用。二級(jí)二級(jí)海洋大數(shù)據(jù)的存儲(chǔ)應(yīng)符合以下基本要求：可實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)訪問，訪問延遲應(yīng)小于100?ms；可擴(kuò)展性：具備一定的在線存儲(chǔ)容量擴(kuò)充能力，且不影響原存儲(chǔ)系統(tǒng)的正常運(yùn)行；可靠性：多種手段保護(hù)數(shù)據(jù)，確保數(shù)據(jù)100?%不丟失，保證業(yè)務(wù)99.999?9?%高可用。表2海洋大數(shù)據(jù)分級(jí)等級(jí)及存儲(chǔ)要求數(shù)據(jù)分級(jí)等級(jí)分級(jí)存儲(chǔ)要求一級(jí)一級(jí)海洋大數(shù)據(jù)的存儲(chǔ)應(yīng)符合以下基本要求：可實(shí)現(xiàn)數(shù)據(jù)延遲訪問，訪問延遲不高于5?min；可擴(kuò)展性：應(yīng)支持離線擴(kuò)展能力，且不影響原存儲(chǔ)系統(tǒng)的正常運(yùn)行；可靠性：確保數(shù)據(jù)100?%不丟失，保證業(yè)務(wù)99.999?9?%高可用。分級(jí)存儲(chǔ)技術(shù)要求基本要求海洋大數(shù)據(jù)存儲(chǔ)的基本要求：應(yīng)提供結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和處理等功能；應(yīng)支持分布式存儲(chǔ)，包括分布式文件存儲(chǔ)、分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、分布式列式數(shù)據(jù)存儲(chǔ)、分布式圖數(shù)據(jù)存儲(chǔ)；應(yīng)提供時(shí)序數(shù)據(jù)存儲(chǔ)功能；應(yīng)提供實(shí)時(shí)數(shù)據(jù)存儲(chǔ)功能；應(yīng)支持批處理計(jì)算功能，包括離線批量數(shù)據(jù)處理、在線批量數(shù)據(jù)處理等功能；應(yīng)支持實(shí)時(shí)流處理/計(jì)算功能；宜提供數(shù)據(jù)壓縮存儲(chǔ)功能，支持壓縮存儲(chǔ)格式，包括文本格式、RCFile、ORC等；宜提供多副本存儲(chǔ)功能，并確保數(shù)據(jù)存儲(chǔ)完整性和多副本一致性；宜提供多種編程語言和腳本語言進(jìn)行數(shù)據(jù)處理功能。分級(jí)存儲(chǔ)實(shí)現(xiàn)海洋大數(shù)據(jù)的分級(jí)存儲(chǔ)實(shí)現(xiàn)：應(yīng)事先明確海洋大數(shù)據(jù)的數(shù)據(jù)分級(jí)等級(jí)，分級(jí)等級(jí)的判定應(yīng)根據(jù)5.2的要求開展；應(yīng)支持依據(jù)海洋大數(shù)據(jù)的分級(jí)等級(jí)將海洋大數(shù)據(jù)存儲(chǔ)在相應(yīng)等級(jí)的存儲(chǔ)設(shè)備或系統(tǒng)中，海洋大數(shù)據(jù)分級(jí)等級(jí)及存儲(chǔ)要求應(yīng)符合5.3的要求；海洋大數(shù)據(jù)分級(jí)存儲(chǔ)前應(yīng)事先進(jìn)行數(shù)據(jù)處理，應(yīng)對(duì)缺失值數(shù)據(jù)進(jìn)行補(bǔ)齊，支持差異數(shù)據(jù)、臟數(shù)據(jù)、冗余數(shù)據(jù)的清洗、去噪、過濾等；應(yīng)定期評(píng)估海洋大數(shù)據(jù)的分級(jí)等級(jí)，分級(jí)等級(jí)發(fā)生變化的，應(yīng)將海洋大數(shù)據(jù)遷移至相應(yīng)等級(jí)的存儲(chǔ)設(shè)備或系統(tǒng)，包括以下兩種方式：歸檔的歷史海洋大數(shù)據(jù)可直接拷貝至磁帶庫/光盤庫等存儲(chǔ)介質(zhì)中；采用數(shù)據(jù)抽取方式將海洋大數(shù)據(jù)遷移至相應(yīng)等級(jí)的存儲(chǔ)設(shè)備或系統(tǒng)，應(yīng)按照6.3的規(guī)定開展數(shù)據(jù)遷移。應(yīng)支持根據(jù)海洋大數(shù)據(jù)的分級(jí)等級(jí)及存儲(chǔ)要求、數(shù)據(jù)訪問量，進(jìn)行不同存儲(chǔ)方式之間的遷移策略的設(shè)置、修改、刪除等操作；應(yīng)支持根據(jù)遷移策略實(shí)現(xiàn)對(duì)海洋大數(shù)據(jù)的組合查詢；應(yīng)支持根據(jù)海洋大數(shù)據(jù)的遷移策略實(shí)現(xiàn)海洋大數(shù)據(jù)的自動(dòng)遷移，自動(dòng)遷移應(yīng)支持遷移日志。數(shù)據(jù)遷移遷移準(zhǔn)備遷移準(zhǔn)備工作應(yīng)包括但不限于：制定待遷移數(shù)據(jù)源的詳細(xì)說明，包括數(shù)據(jù)的存儲(chǔ)方式、數(shù)據(jù)量、數(shù)據(jù)的時(shí)間跨度等；建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典；舊系統(tǒng)歷史數(shù)據(jù)的質(zhì)量分析；新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的差異分析；新舊系統(tǒng)代碼數(shù)據(jù)的差異分析；建立新舊系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系，并對(duì)無法映射的字段進(jìn)行處理；開發(fā)、部署ETL工具，編寫數(shù)據(jù)轉(zhuǎn)換的測(cè)試計(jì)劃和校驗(yàn)程序；制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。遷移實(shí)施數(shù)據(jù)抽取應(yīng)建立新舊系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系，采用合適的數(shù)據(jù)抽取工具將海洋大數(shù)據(jù)從源存儲(chǔ)設(shè)備或系統(tǒng)抽取至目標(biāo)存儲(chǔ)設(shè)備或系統(tǒng)。數(shù)據(jù)轉(zhuǎn)換應(yīng)對(duì)遷移至新存儲(chǔ)設(shè)備或系統(tǒng)的海洋大數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量分析，以找出存在問題的數(shù)據(jù)。應(yīng)對(duì)重復(fù)、錯(cuò)誤、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題數(shù)據(jù)進(jìn)行相應(yīng)的操作。數(shù)據(jù)裝載通過裝載工具或自行編寫的SQL程序?qū)⒊槿　⑥D(zhuǎn)換后的結(jié)果數(shù)據(jù)加載到目標(biāo)存儲(chǔ)系統(tǒng)中的存儲(chǔ)設(shè)備。數(shù)據(jù)校驗(yàn)遷移后的質(zhì)量校驗(yàn)要求：海洋大數(shù)據(jù)遷移后，應(yīng)對(duì)遷移后的海洋大數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)，可通過以下兩種方式對(duì)遷移后的海洋大數(shù)據(jù)進(jìn)行校驗(yàn)：新舊系統(tǒng)查詢數(shù)據(jù)對(duì)比檢查，通過新舊系統(tǒng)各自的查詢工具，對(duì)相同指標(biāo)的數(shù)據(jù)進(jìn)行查詢，并比較最終的查詢結(jié)果；將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，并將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)數(shù)據(jù)補(bǔ)錄到新系統(tǒng)，檢查有無異常，并和舊系統(tǒng)比較最終產(chǎn)生的結(jié)果。數(shù)據(jù)校驗(yàn)內(nèi)容應(yīng)包括但不限于：數(shù)據(jù)格式檢查：檢查數(shù)據(jù)的格式是否一致和可用；數(shù)據(jù)長度檢查：檢查數(shù)據(jù)的有效長度；區(qū)間范圍檢查：檢查數(shù)據(jù)是否包含在定義的最大值和最小值的區(qū)間中；空值、默認(rèn)值檢查：檢查新舊系統(tǒng)定義的空值、默認(rèn)值是否相同；完整性檢查：檢查數(shù)據(jù)的關(guān)聯(lián)完整性；一致性檢查：檢查邏輯上是否存在不一致的數(shù)據(jù)。分級(jí)存儲(chǔ)管理要求設(shè)備管理支持分級(jí)存儲(chǔ)系統(tǒng)或設(shè)備的磁盤、CPU、內(nèi)存、電源、風(fēng)扇、網(wǎng)口等信息的查詢，以便實(shí)時(shí)了解分級(jí)存儲(chǔ)系統(tǒng)或設(shè)備運(yùn)行狀態(tài)等；同時(shí)及時(shí)了解運(yùn)行有誤的分級(jí)存儲(chǔ)系統(tǒng)或設(shè)備，若有必要應(yīng)采取適當(dāng)措施保證其正常運(yùn)行。資源管理海洋大數(shù)據(jù)分級(jí)存儲(chǔ)資源管理要求：應(yīng)提供分級(jí)存儲(chǔ)系統(tǒng)的各個(gè)節(jié)點(diǎn)的服務(wù)情況的查詢功能，包括節(jié)點(diǎn)的主備、節(jié)點(diǎn)的容量和性能（IOPS、讀流量、寫流量）等信息，實(shí)時(shí)了解域內(nèi)資源信息，運(yùn)行狀態(tài)；應(yīng)提供用戶權(quán)限范圍內(nèi)的節(jié)點(diǎn)管理功能，包括存儲(chǔ)信息的添加、修改、刪除等；應(yīng)及時(shí)了解資源的異常，若有必要應(yīng)采取適當(dāng)措施保證其正常運(yùn)行；應(yīng)提供CPU、內(nèi)存、存儲(chǔ)等資源的調(diào)度和配置功能；應(yīng)支持靜態(tài)資源分配策略和動(dòng)態(tài)資源分配策略；應(yīng)提供資源視圖查看功能，包括可用CPU、內(nèi)存、存儲(chǔ)等的利用率、分占比等；宜提供設(shè)置任務(wù)優(yōu)先級(jí)的功能，并按任務(wù)優(yōu)先級(jí)對(duì)資源進(jìn)行調(diào)度；宜提供作業(yè)自動(dòng)分配或手動(dòng)分配功能；宜提供作業(yè)運(yùn)行狀態(tài)管理功能，包括開始、暫停、轉(zhuǎn)移和重啟等；宜提供資源擴(kuò)展和預(yù)留功能，以及資源預(yù)警、告警功能。策略管理海洋大數(shù)據(jù)分級(jí)存儲(chǔ)策略管理要求：分級(jí)存儲(chǔ)策略管理：應(yīng)提供靈活的分級(jí)存儲(chǔ)策略，包括異地存儲(chǔ)、加密存儲(chǔ)、壓縮存儲(chǔ)、同步或異步等存儲(chǔ)方式，不同分級(jí)等級(jí)海洋大數(shù)據(jù)的分級(jí)存儲(chǔ)策略應(yīng)符合5.3的要求；應(yīng)支持對(duì)海洋大數(shù)據(jù)分級(jí)存儲(chǔ)策略的設(shè)置、修改、刪除和查詢等。遷移策略管理：應(yīng)支持對(duì)海洋大數(shù)據(jù)遷移策略的設(shè)置、修改、刪除和查詢等；應(yīng)提供海洋大數(shù)據(jù)分級(jí)等級(jí)、分級(jí)存儲(chǔ)要求和遷移策略三者間的映射關(guān)系。監(jiān)控運(yùn)維海洋大數(shù)據(jù)分級(jí)存儲(chǔ)監(jiān)控運(yùn)維要求：應(yīng)定期對(duì)海洋大數(shù)據(jù)的分級(jí)等級(jí)進(jìn)行監(jiān)測(cè)，海洋大數(shù)據(jù)分級(jí)等級(jí)發(fā)生變化時(shí)，應(yīng)實(shí)現(xiàn)海洋大數(shù)據(jù)的自動(dòng)遷移或人工遷移；應(yīng)實(shí)時(shí)監(jiān)控各分級(jí)等級(jí)的存儲(chǔ)設(shè)備的剩余空間，當(dāng)存儲(chǔ)設(shè)備剩余空間達(dá)到預(yù)先設(shè)定指標(biāo)時(shí)，應(yīng)實(shí)現(xiàn)海洋大數(shù)據(jù)的自動(dòng)遷移或人工遷移；應(yīng)定期掃描海洋大數(shù)據(jù)的數(shù)據(jù)訪