2023海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范

海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范II目 次前言 II112范引文件 13語定義 14略語 15據(jù)級 25.1分要素 25.2定規(guī)則 25.3分等及儲求 26級儲術(shù)求 36.1基要求 36.2分存實現(xiàn) 36.3數(shù)遷移 37級儲理求 47.1設(shè)管理 47.2資管理 57.3策管理 57.4監(jiān)運維 5PAGEPAGE1海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范范圍10PB（GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語GB/T35295—2017界定的以及下列術(shù)語和定義適用于本文件。3.1大數(shù)據(jù) bigdata具有數(shù)據(jù)巨大、種類多樣、流動速度快、特征多變等特性，并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)和數(shù)據(jù)處GB/T37973—2019，3.1]3.2海洋數(shù)據(jù) oceanbigdata具有大數(shù)據(jù)特征的海洋領(lǐng)域數(shù)據(jù)集。3.3數(shù)據(jù)級 dataclassification按照存儲效能的分級規(guī)則對大數(shù)據(jù)進行定級。3.4分級儲 hierarchicalstorage采用相應(yīng)等級的存儲要求對大數(shù)據(jù)進行存儲。3.5遷移略 migrationstrategy根據(jù)大數(shù)據(jù)的分級等級及數(shù)據(jù)訪問量要求所建立的分級存儲實施策略。注：包括遷移觸發(fā)條件、源存儲設(shè)備、目標存儲設(shè)備等?？s略語下列縮略語適用于本文件。CPU：中央處理單元（CentralProcessingUnit）ETL：數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extract-Transform-Load）IOPS：每秒讀寫次數(shù)（InputOutputOperationsPerSecond）ORC：列式存儲（OptimizedRowColumnar）PB1PB=2的50（Petabyte）RCFile（RecordColumnarFile）SQL（StructuredQueryLanguage）海洋大數(shù)據(jù)分級等級分為三級、二級、一級，應(yīng)按照表1進行海洋大數(shù)據(jù)的定級。表1 海洋數(shù)等條及定規(guī)則等級條件判定規(guī)則判定等級三級等級條件：高頻率訪問的海洋大數(shù)據(jù)。10三級二級等級條件：一般頻率訪問的海洋大數(shù)據(jù)。10～30數(shù)據(jù)。二級一級等級條件：訪問頻率較低，或不經(jīng)常被訪問的海洋大數(shù)據(jù)，或歸檔的歷史海洋大數(shù)據(jù)。數(shù)據(jù)訪問頻次從高到低，排序30%～100%部分數(shù)據(jù)。一級注：根據(jù)對海洋大數(shù)據(jù)訪問周期的統(tǒng)計結(jié)果，結(jié)合本機構(gòu)的實際情況，對三級、二級、一級等級的存儲空間比例進行適當調(diào)整。相應(yīng)等級的海洋大數(shù)據(jù)的存儲應(yīng)符合表2的規(guī)定。表2 海洋數(shù)分等及儲要求數(shù)據(jù)分級等級分級存儲要求三級三級海洋大數(shù)據(jù)的存儲應(yīng)符合以下要求：應(yīng)實現(xiàn)數(shù)據(jù)實時訪問，訪問延遲應(yīng)小于5ms；系統(tǒng)的正常運行；可靠性：多種手段保護數(shù)據(jù)，確保數(shù)據(jù)10099.99999二級二級海洋大數(shù)據(jù)的存儲應(yīng)符合以下基本要求：可實現(xiàn)數(shù)據(jù)實時訪問，訪問延遲應(yīng)小于100ms；可擴展性：具備一定的在線存儲容量擴充能力，且不影響原存儲系統(tǒng)的正常運行；可靠性：多種手段保護數(shù)據(jù)，確保數(shù)據(jù)10099.9999表2 海大據(jù)級級及儲求數(shù)據(jù)分級等級分級存儲要求一級一級海洋大數(shù)據(jù)的存儲應(yīng)符合以下基本要求：可實現(xiàn)數(shù)據(jù)延遲訪問，訪問延遲不高于5min；可擴展性：應(yīng)支持離線擴展能力，且不影響原存儲系統(tǒng)的正常運行；可靠性：確保數(shù)據(jù)10099.9999海洋大數(shù)據(jù)存儲的基本要求：RCFile、ORC海洋大數(shù)據(jù)的分級存儲實現(xiàn)：5.25.36.3的規(guī)定遷移準備工作應(yīng)包括但不限于：ETL通過裝載工具或自行編寫的SQL程序?qū)⒊槿?、轉(zhuǎn)換后的結(jié)果數(shù)據(jù)加載到目標存儲系統(tǒng)中的存儲設(shè)備。遷移后的質(zhì)量校驗要求：C