DB37-T 4529-2022 海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范

ICS35.240.99

CCSL67

37

山東省地方標(biāo)準(zhǔn)

DB37/T4529—2022

海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范

Technicalspecificationforhierarchicalstorageofoceanbigdata

2022-07-25發(fā)布2022-08-25實(shí)施

山東省市場監(jiān)督管理局發(fā)布

DB37/T4529—2022

海洋大數(shù)據(jù)分級存儲技術(shù)規(guī)范

1范圍

本文件規(guī)定了海洋大數(shù)據(jù)的數(shù)據(jù)分級以及分級存儲的技術(shù)要求和管理要求。

本文件適用于10PB級以上海洋大數(shù)據(jù)的分級存儲與管理。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語

3術(shù)語和定義

GB/T35295—2017界定的以及下列術(shù)語和定義適用于本文件。

3.1

大數(shù)據(jù)bigdata

具有數(shù)據(jù)巨大、種類多樣、流動速度快、特征多變等特性，并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)和數(shù)據(jù)處

理技術(shù)進(jìn)行有效組織、存儲、計(jì)算、分析和管理的數(shù)據(jù)集。

[來源：GB/T37973—2019，3.1]

3.2

海洋大數(shù)據(jù)oceanbigdata

具有大數(shù)據(jù)特征的海洋領(lǐng)域數(shù)據(jù)集。

3.3

數(shù)據(jù)分級dataclassification

按照存儲效能的分級規(guī)則對大數(shù)據(jù)進(jìn)行定級。

3.4

分級存儲hierarchicalstorage

采用相應(yīng)等級的存儲要求對大數(shù)據(jù)進(jìn)行存儲。

3.5

遷移策略migrationstrategy

根據(jù)大數(shù)據(jù)的分級等級及數(shù)據(jù)訪問量要求所建立的分級存儲實(shí)施策略。

注：包括遷移觸發(fā)條件、源存儲設(shè)備、目標(biāo)存儲設(shè)備等。

4縮略語

下列縮略語適用于本文件。

CPU：中央處理單元（CentralProcessingUnit）

ETL：數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extract-Transform-Load）

1

DB37/T4529—2022

IOPS：每秒讀寫次數(shù)（InputOutputOperationsPerSecond）

ORC：列式存儲（OptimizedRowColumnar）

PB：拍字節(jié)，1PB=2的50次方字節(jié)（Petabyte）

RCFile：列存儲文件（RecordColumnarFile）

SQL：結(jié)構(gòu)化查詢語言（StructuredQueryLanguage）

5數(shù)據(jù)分級

5.1分級要素

海洋大數(shù)據(jù)分級定級主要考慮的要素為海洋大數(shù)據(jù)的訪問頻率，即根據(jù)海洋大數(shù)據(jù)訪問量從高到低

來判斷，可分為高頻率訪問的海洋大數(shù)據(jù)、一般頻率訪問的海洋大數(shù)據(jù)、低頻率訪問的海洋大數(shù)據(jù)。

5.2定級規(guī)則

海洋大數(shù)據(jù)分級等級分為三級、二級、一級，應(yīng)按照表1進(jìn)行海洋大數(shù)據(jù)的定級。

表1海洋大數(shù)據(jù)等級條件及判定規(guī)則

等級條件判定規(guī)則判定等級

三級等級條件：

數(shù)據(jù)訪問頻次從高到低，排序前10%部分?jǐn)?shù)據(jù)。三級

高頻率訪問的海洋大數(shù)據(jù)。

二級等級條件：數(shù)據(jù)訪問頻次從高到低，排序前10%～30%部分

二級

一般頻率訪問的海洋大數(shù)據(jù)。數(shù)據(jù)。

一級等級條件：

數(shù)據(jù)訪問頻次從高到低，排序30%～100%部分

訪問頻率較低，或不經(jīng)常被訪問的海洋大數(shù)據(jù)，或歸一級

數(shù)據(jù)。

檔的歷史海洋大數(shù)據(jù)。

注：根據(jù)對海洋大數(shù)據(jù)訪問周期的統(tǒng)計(jì)結(jié)果，結(jié)合本機(jī)構(gòu)的實(shí)際情況，對三級、二級、一級等級的存儲空間比例

進(jìn)行適當(dāng)調(diào)整。

5.3分級等級及存儲要求

相應(yīng)等級的海洋大數(shù)據(jù)的存儲應(yīng)符合表2的規(guī)定。

表2海洋大數(shù)據(jù)分級等級及存儲要求

數(shù)據(jù)分級等級分級存儲要求

三級海洋大數(shù)據(jù)的存儲應(yīng)符合以下要求：

1)應(yīng)實(shí)現(xiàn)數(shù)據(jù)實(shí)時訪問，訪問延遲應(yīng)小于5ms；

三級2)可擴(kuò)展性：應(yīng)采用可擴(kuò)展的存儲架構(gòu)，當(dāng)存儲資源不足時應(yīng)具備在線擴(kuò)展能力，且不影響原存儲

系統(tǒng)的正常運(yùn)行；

3)可靠性：多種手段保護(hù)數(shù)據(jù)，確保數(shù)據(jù)100%不丟失，保證業(yè)務(wù)99.99999%高可用。

二級海洋大數(shù)據(jù)的存儲應(yīng)符合以下基本要求：

1)可實(shí)現(xiàn)數(shù)據(jù)實(shí)時訪問，訪問延遲應(yīng)小于100ms；

二級

2)可擴(kuò)展性：具備一定的在線存儲容量擴(kuò)充能力，且不影響原存儲系統(tǒng)的正常運(yùn)行；

3)可靠性：多種手段保護(hù)數(shù)據(jù)，確保數(shù)據(jù)100%不丟失，保證業(yè)務(wù)99.9999%高可用。

2

DB37/T4529—2022

表2海洋大數(shù)據(jù)分級等級及存儲要求

數(shù)據(jù)分級等級分級存儲要求

一級海洋大數(shù)據(jù)的存儲應(yīng)符合以下基本要求：

1)可實(shí)現(xiàn)數(shù)據(jù)延遲訪問，訪問延遲不高于5min；

一級

2)可擴(kuò)展性：應(yīng)支持離線擴(kuò)展能力，且不影響原存儲系統(tǒng)的正常運(yùn)行；

3)可靠性：確保數(shù)據(jù)100%不丟失，保證業(yè)務(wù)99.9999%高可用。

6分級存儲技術(shù)要求

6.1基本要求

海洋大數(shù)據(jù)存儲的基本要求：

a)應(yīng)提供結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)存儲和處理等功能；

b)應(yīng)支持分布式存儲，包括分布式文件存儲、分布式結(jié)構(gòu)化數(shù)據(jù)存儲、分布式列式數(shù)據(jù)存儲、

分布式圖數(shù)據(jù)存儲；

c)應(yīng)提供時序數(shù)據(jù)存儲功能；

d)應(yīng)提供實(shí)時數(shù)據(jù)存儲功能；

e)應(yīng)支持批處理計(jì)算功能，包括離線批量數(shù)據(jù)處理、在線批量數(shù)據(jù)處理等功能；

f)應(yīng)支持實(shí)時流處理/計(jì)算功能；

g)宜提供數(shù)據(jù)壓縮存儲功能，支持壓縮存儲格式，包括文本格式、RCFile、ORC等；

h)宜提供多副本存儲功能，并確保數(shù)據(jù)存儲完整性和多副本一致性；

i)宜提供多種編程語言和腳本語言進(jìn)行數(shù)據(jù)處理功能。

6.2分級存儲實(shí)現(xiàn)

海洋大數(shù)據(jù)的分級存儲實(shí)現(xiàn)：

a)應(yīng)事先明確海洋大數(shù)據(jù)的數(shù)據(jù)分級等級，分級等級的判定應(yīng)根據(jù)5.2的要求開展；

b)應(yīng)支持依據(jù)海洋大數(shù)據(jù)的分級等級將海洋大數(shù)據(jù)存儲在相應(yīng)等級的存儲設(shè)備或系統(tǒng)中，海洋

大數(shù)據(jù)分級等級及存儲要求應(yīng)符合5.3的要求；

c)海洋大數(shù)據(jù)分級存儲前應(yīng)事先進(jìn)行數(shù)據(jù)處理，應(yīng)對缺失值數(shù)據(jù)進(jìn)行補(bǔ)齊，支持差異數(shù)據(jù)、臟

數(shù)據(jù)、冗余數(shù)據(jù)的清洗、去噪、過濾等；

d)應(yīng)定期評估海洋大數(shù)據(jù)的分級等級，分級等級發(fā)生變化的，應(yīng)將海洋大數(shù)據(jù)遷移至相應(yīng)等級

的存儲設(shè)備或系統(tǒng)，包括以下兩種方式：

1)歸檔的歷史海洋大數(shù)據(jù)可直接拷貝至磁帶庫/光盤庫等存儲介質(zhì)中；

2)采用數(shù)據(jù)抽取方式將海洋大數(shù)據(jù)遷移至相應(yīng)等級的存儲設(shè)備或系統(tǒng)，應(yīng)按照6.3的規(guī)定

開展數(shù)據(jù)遷移。

e)應(yīng)支持根據(jù)海洋大數(shù)據(jù)的分級等級及存儲要求、數(shù)據(jù)訪問量，進(jìn)行不同存儲方式之間的遷移

策略的設(shè)置、修改、刪除等操作；

f)應(yīng)支持根據(jù)遷移策略實(shí)現(xiàn)對海洋大數(shù)據(jù)的組合查詢；

g)應(yīng)支持根據(jù)海洋大數(shù)據(jù)的遷移策略實(shí)現(xiàn)海洋大數(shù)據(jù)的自動遷移，自動遷移應(yīng)支持遷移日志。

6.3數(shù)據(jù)遷移

6.3.1遷移準(zhǔn)備

遷移準(zhǔn)備工作應(yīng)包括但不限于：

3

DB37/T4529—2022

a)制定待遷移數(shù)據(jù)源的詳細(xì)說明，包括數(shù)據(jù)的存儲方式、數(shù)據(jù)量、數(shù)據(jù)的時間跨度等；

b)建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典；

c)舊系統(tǒng)歷史數(shù)據(jù)的質(zhì)量分析；

d)新舊系統(tǒng)數(shù)據(jù)結(jié)構(gòu)的差異分析；

e)新舊系統(tǒng)代碼數(shù)據(jù)的差異分析；

f)建立新舊系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系，并對無法映射的字段進(jìn)行處理；

g)開發(fā)、部署ETL工具，編寫數(shù)據(jù)轉(zhuǎn)換的測試計(jì)劃和校驗(yàn)程序；

h)制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。

6.3.2遷移實(shí)施

6.3.2.1數(shù)據(jù)抽取

應(yīng)建立新舊系統(tǒng)數(shù)據(jù)庫表的映射關(guān)系，采用合適的數(shù)據(jù)抽取工具將海洋大數(shù)據(jù)從源存儲設(shè)備或系統(tǒng)

抽取至目標(biāo)存儲設(shè)備或系統(tǒng)。

6.3.2.2數(shù)據(jù)轉(zhuǎn)換

應(yīng)對遷移至新存儲設(shè)備或系統(tǒng)的海洋大數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量分析，以找出存在問題的數(shù)據(jù)。

應(yīng)對重復(fù)、錯誤、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題數(shù)據(jù)進(jìn)行相應(yīng)的操作。

6.3.2.3數(shù)據(jù)裝載

通過裝載工具或自行編寫的SQL程序?qū)⒊槿　⑥D(zhuǎn)換后的結(jié)果數(shù)據(jù)加載到目標(biāo)存儲系統(tǒng)中的存儲設(shè)備。

6.3.2.4數(shù)據(jù)校驗(yàn)

遷移后的質(zhì)量校驗(yàn)要求：

a)海洋大數(shù)據(jù)遷移后，應(yīng)對遷移后的海洋大數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)，可通過以下兩種方式對遷移后

的海洋大數(shù)據(jù)進(jìn)行校驗(yàn)：

1)新舊系統(tǒng)查詢數(shù)據(jù)對比檢查，通過新舊系統(tǒng)各自的查詢工具，對相同指標(biāo)的數(shù)據(jù)進(jìn)行查

詢，并比較最終的查詢結(jié)果；

2)將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，并將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)

數(shù)據(jù)補(bǔ)錄到新系統(tǒng)，檢查有無異常，并和舊系統(tǒng)比較最終產(chǎn)生的結(jié)果。

b)數(shù)據(jù)校驗(yàn)內(nèi)容應(yīng)包括但不限于：

1)數(shù)據(jù)格式檢查：檢查數(shù)據(jù)的格式是否一致和可用；

2)數(shù)據(jù)長度檢查：檢查數(shù)據(jù)的有效長度；

3)區(qū)間范圍檢查：檢查數(shù)據(jù)是否包含在定義的最大值和最小值的區(qū)間中；

4)空值、默認(rèn)值檢查：檢查新舊系統(tǒng)定義的空值、默認(rèn)值是否相同；

5)完整性檢查：檢查數(shù)據(jù)的關(guān)聯(lián)完整性；

6)一致性檢查：檢查邏輯上是否存在不一致的數(shù)據(jù)。

7分級存儲管理要求

7.1設(shè)備管理

4

DB37/T4529—2022

支持分級存儲系統(tǒng)或設(shè)備的磁盤、CPU、內(nèi)存、電源、風(fēng)扇、網(wǎng)口等信息的查詢，以便實(shí)時了解分

級存儲系統(tǒng)或設(shè)備運(yùn)行狀態(tài)等；同時及時了解運(yùn)行有誤的分級存儲系統(tǒng)或設(shè)備，若有必要應(yīng)采取適當(dāng)措

施保證其正常運(yùn)行。

7.2資源管理

海洋大數(shù)據(jù)分級存儲資源管理要求：

a)應(yīng)提供分級存儲系統(tǒng)的各個節(jié)點(diǎn)的服務(wù)情況的查詢功能，包括節(jié)點(diǎn)的主備、節(jié)點(diǎn)的容量和性

能（IOPS、讀流量、寫流量）等信息，實(shí)時了解域內(nèi)資源信息，運(yùn)行狀態(tài)；

b)應(yīng)提供用戶權(quán)限范圍內(nèi)的節(jié)點(diǎn)管理功能，包括存儲信息的添加、修改、刪除等；

c)應(yīng)及時了解資源的異常，若有必要應(yīng)采取適當(dāng)措施保證其正常運(yùn)行；

d)應(yīng)提供CPU、內(nèi)存、存儲等資源的調(diào)度和配置功能；

e)應(yīng)支持靜態(tài)資源分配策略和動態(tài)資源分配策略；

f)應(yīng)提供資源視圖查看功能，包括可用CPU、內(nèi)存、存儲等的利用率、分占比等；

g)宜提供設(shè)置任務(wù)優(yōu)先級的功能，并按任務(wù)優(yōu)先級對資源進(jìn)行調(diào)度；

h)宜提供作業(yè)自動分配或手動分配功能；

i)宜提供作業(yè)運(yùn)行狀態(tài)管理功能，包括開始、暫停、轉(zhuǎn)移和重啟等；

j)宜提供資源擴(kuò)展和預(yù)留功能，以及資源預(yù)警、告警功能。

7.3策略管理

海洋大數(shù)據(jù)分級存儲策略管理要求：

a)分級存儲策略管理：

1)應(yīng)提供靈活的分級存儲策略，包括異地存儲、加密存儲、壓縮存儲、同步或異步等存儲

方式，不同分級等級海洋大數(shù)據(jù)的分級存儲策略應(yīng)符合5.3的要求；

2)應(yīng)支持對海洋大數(shù)據(jù)分級存儲策略的設(shè)置、修改、刪除和查詢等。

b)遷移策略管理：應(yīng)支持對海洋大數(shù)據(jù)遷移策略的設(shè)置、修改、刪除和查詢等；

c