《數(shù)據(jù)庫 3D 可視化系統(tǒng)規(guī)范》

ICS35.040

CCSL80

CASME

中國中小商業(yè)企業(yè)協(xié)會團(tuán)體標(biāo)準(zhǔn)

T/CASMEXXXX—XXXX

數(shù)據(jù)庫3D可視化系統(tǒng)規(guī)范

Specificationfordatabase3Dvisualizationsystem

（征求意見稿）

2023-XX-XX發(fā)布2023-XX-XX實(shí)施

中國中小商業(yè)企業(yè)協(xié)會??發(fā)布

T/CASMEXXXX—XXXX

數(shù)據(jù)庫3D可視化系統(tǒng)規(guī)范

1范圍

本文件規(guī)定了數(shù)據(jù)庫3D可視化系統(tǒng)規(guī)范的術(shù)語和定義、縮略語、功能要求、性能要求、運(yùn)行測試。

本文件適用于數(shù)據(jù)庫3D可視化系統(tǒng)的設(shè)計(jì)開發(fā)。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T22239信息安全技術(shù)網(wǎng)絡(luò)安全等級保護(hù)基本要求

GB/T25000.51系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價（SQuaRE）第51部分：就緒可用軟

件產(chǎn)品（RUSP）的質(zhì)量要求和測試細(xì)則

GB/T25068.2信息技術(shù)安全技術(shù)網(wǎng)絡(luò)安全第2部分：網(wǎng)絡(luò)安全設(shè)計(jì)和實(shí)現(xiàn)指南

GB/T29831.3系統(tǒng)與軟件功能性第3部分：測試方法

GB/T29832.3系統(tǒng)與軟件可靠性第3部分：測試方法

GB/T29833.3系統(tǒng)與軟件可移植性第3部分：測試方法

GB/T29834.3系統(tǒng)與軟件維護(hù)性第3部分：測試方法

GB/T29835.3系統(tǒng)與軟件效率第3部分：測試方法

GB/T29836.3系統(tǒng)與軟件易用性第3部分：測試方法

GB/T36073數(shù)據(jù)管理能力成熟度評估模型

3術(shù)語和定義

下列術(shù)語和定義適用于本文件。

3.1

數(shù)據(jù)庫database

支持一個或多個應(yīng)用領(lǐng)域，按概念結(jié)構(gòu)組織的數(shù)據(jù)集合，其概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對應(yīng)

實(shí)體間的聯(lián)系。

3.2

可視化visualization

通過創(chuàng)建圖像、圖表或動畫來傳達(dá)信息的技術(shù)。

4縮略語

CPU中央處理器（CentralProcessingUnit）

CSV文本分隔值（Comma-SeparatedValues）

API應(yīng)用程序接口（ApplicationProgramInterface）

POP開放平臺（pctowapopenplatform）

ECS云服務(wù)器（ElasticComputeService）

JDBCJava數(shù)據(jù)庫連接（JavaDatabaseConnectivity）

ODBC開放數(shù)據(jù)庫連接（OpenDatabaseConnectivity）

SQL結(jié)構(gòu)化查詢語言（StructuralQueryLanguage）

NAS網(wǎng)絡(luò)附屬存儲（NetworkAttachedStorage）

1

T/CASMEXXXX—XXXX

JSON一種輕量級的數(shù)據(jù)交換格式（JavaScriptObjectNotation）

5功能要求

5.1總體要求

5.1.1系統(tǒng)的功能性應(yīng)符合GB/T25000.51中5.3.1的規(guī)定，能夠快速的對大量數(shù)據(jù)的收集整理，并經(jīng)

過篩選后精準(zhǔn)的歸類，節(jié)約人力成本，提高數(shù)據(jù)整理的效率和準(zhǔn)確率。

5.1.2數(shù)據(jù)庫主要功能是以庫或表為單位，基于集群形式的架構(gòu)形態(tài)，用傳統(tǒng)數(shù)據(jù)庫常見的操作模式，

主要面向分析型的業(yè)務(wù)類型，提供海量數(shù)據(jù)的存儲和計(jì)算能力，能夠?qū)?shù)據(jù)進(jìn)行全生命周期的處理。

5.1.3系統(tǒng)的易用性應(yīng)符合GB/T25000.51中5.3.3的規(guī)定。

5.1.4系統(tǒng)可靠性應(yīng)符合GB/T25000.51中5.3.5的規(guī)定，系統(tǒng)可按照設(shè)定的數(shù)據(jù)分標(biāo)準(zhǔn)進(jìn)行精準(zhǔn)分

類。

5.1.5系統(tǒng)的維護(hù)性應(yīng)符合GB/T25000.51中5.3.7的規(guī)定。

5.1.6系統(tǒng)的效率應(yīng)符合GB/T25000.51中5.3.10的規(guī)定，通過系統(tǒng)高速運(yùn)算識別，高效率的進(jìn)行數(shù)

據(jù)的收集整理。

5.2數(shù)據(jù)庫功能要求

系統(tǒng)數(shù)據(jù)庫還應(yīng)滿足如下功能要求：

a)數(shù)據(jù)應(yīng)源自互聯(lián)網(wǎng)，可采用全息存儲、專用軟件、專用芯片或編程數(shù)據(jù)處理器壓縮存儲海量數(shù)

據(jù)等方法，通過局域網(wǎng)進(jìn)行，依賴NAS技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)存儲。

b)應(yīng)具備數(shù)據(jù)處理的基本功能，包括數(shù)據(jù)的導(dǎo)入、存儲、計(jì)算和分析等；

c)應(yīng)具備容錯能力，當(dāng)節(jié)點(diǎn)、進(jìn)程、網(wǎng)絡(luò)出現(xiàn)故障時，系統(tǒng)仍能對外提供正常服務(wù)，數(shù)據(jù)不丟失；

d)應(yīng)具備安全能力，包括對用戶進(jìn)行身份認(rèn)證的能力，按人員和使用場景進(jìn)行操作權(quán)限分級管理

的能力，按庫、表、行、列為級別進(jìn)行數(shù)據(jù)權(quán)限分配的能力，數(shù)據(jù)的加解密的能力，以及進(jìn)行

安全審計(jì)的能力；

e)應(yīng)具備開放性和兼容性，支持ODBC、JDBC等開發(fā)接口，兼容關(guān)系型數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入和連接操作，

具備和大數(shù)據(jù)批處理平臺、大數(shù)據(jù)流處理平臺友好的對接形式，兼容異構(gòu)芯片和多種操作系統(tǒng)；

f)應(yīng)具備集群規(guī)模彈性伸縮的能力，包括以在線或離線形式增加或減少集群服務(wù)節(jié)點(diǎn)，系統(tǒng)對外

服務(wù)不出現(xiàn)異常，數(shù)據(jù)不丟失；

g)應(yīng)具備運(yùn)維管理能力，支持集群資源和任務(wù)的監(jiān)控，集群部署升級、配置管理、節(jié)點(diǎn)啟停、服

務(wù)啟停、用戶管理等功能；

h)宜采用分布式存儲和并行計(jì)算框架，結(jié)合ApacheSpark（計(jì)算引擎）、MapReduce（基于集群

的高性能并行計(jì)算平臺）、Hadoop（分布式系統(tǒng)基礎(chǔ)架構(gòu)）等多種分布式計(jì)算引擎，對各類結(jié)

構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的信息資源進(jìn)行快速的分布式計(jì)算，提供基于關(guān)聯(lián)、聚類、分類、

預(yù)測等類算法庫以及可視化組件、拖拽式的數(shù)據(jù)挖掘分析開發(fā)工具包。

5.3可視化功能要求

系統(tǒng)的可視化功能還應(yīng)滿足如下功能要求：

a)應(yīng)滿足互聯(lián)網(wǎng)爆發(fā)的大數(shù)據(jù)需求，快速的收集、篩選、分析、歸納、展現(xiàn)決策者所需要的信息，

并根據(jù)新增的數(shù)據(jù)進(jìn)行實(shí)時更新；

b)應(yīng)以散點(diǎn)圖、熱力圖、柱形圖、餅圖、折線圖、地理圖、雷達(dá)圖、箱線圖、關(guān)系圖、矩形樹圖

等主要的圖表形式對數(shù)據(jù)進(jìn)行可視化展現(xiàn)，讓數(shù)據(jù)結(jié)果一目了然；

c)應(yīng)提供海量數(shù)據(jù)的地理軌跡、地理飛線、熱力分布、地域區(qū)塊、3D地圖、3D地球，實(shí)現(xiàn)地理數(shù)

據(jù)的多層疊加，此外還有拓?fù)潢P(guān)系、樹圖等異形圖表供自由搭配；

d)應(yīng)適配非常規(guī)的拼接分辨率，創(chuàng)建的可視化應(yīng)用能夠發(fā)布分享，作為對外數(shù)據(jù)業(yè)務(wù)展示的窗；

e)應(yīng)支持接入包括分析型數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫、本地CSV上傳和在線API等，支持動態(tài)請求。

5.4拓展要求

數(shù)據(jù)庫3D可視化系統(tǒng)還應(yīng)滿足以下要求：

2

T/CASMEXXXX—XXXX

a)硬件方面：系統(tǒng)運(yùn)行應(yīng)具有良好的縱向擴(kuò)展性（通過在單機(jī)中增加CPU、內(nèi)存、硬盤等資源提

高系統(tǒng)處理性能）和橫向擴(kuò)展性（通過增加服務(wù)器數(shù)量提高系統(tǒng)的處理性能）；

b)網(wǎng)絡(luò)方面：應(yīng)使用能通過增加網(wǎng)絡(luò)設(shè)備達(dá)到提高網(wǎng)絡(luò)傳輸性能的目標(biāo)；

c)軟件方面：應(yīng)能支持通過參數(shù)化配置應(yīng)對業(yè)務(wù)功能的一般性變化，提供預(yù)留接口以支持與未來

其他系統(tǒng)的連接，盡量減少業(yè)務(wù)擴(kuò)充對系統(tǒng)的影響，采用統(tǒng)一的數(shù)據(jù)接口規(guī)范，通過數(shù)據(jù)交互

中間件與其他業(yè)務(wù)系統(tǒng)以及外部系統(tǒng)進(jìn)行數(shù)據(jù)交換，以實(shí)現(xiàn)各系統(tǒng)之間的數(shù)據(jù)互操作，應(yīng)實(shí)現(xiàn)

平臺與其他外部系統(tǒng)互聯(lián)操作，系統(tǒng)在設(shè)計(jì)時應(yīng)根據(jù)具體情況定義接口規(guī)范。

5.5多數(shù)據(jù)源要求

系統(tǒng)多數(shù)據(jù)源要求見表1。

表1多數(shù)據(jù)源要求

類型關(guān)系型數(shù)據(jù)源文件類API類其他

數(shù)據(jù)源主流關(guān)系型數(shù)據(jù)庫支持RDSforSQLServer（云數(shù)據(jù)支持CSV文件、靜支持POPAPI、API數(shù)據(jù)代理服

描述庫）、MySQL數(shù)據(jù)庫態(tài)JSON網(wǎng)關(guān)務(wù)、ECS

6性能要求

6.1數(shù)據(jù)處理要求

系統(tǒng)的數(shù)據(jù)處理應(yīng)滿足以下要求：

a)數(shù)據(jù)處理在針對普通數(shù)據(jù)的維度、度量進(jìn)行直接分析和觀察數(shù)據(jù)的整體效應(yīng)以外，還應(yīng)具備分

析平均數(shù)、最大值、最小值、總體標(biāo)準(zhǔn)偏差、樣本標(biāo)準(zhǔn)偏差、總體偏差、樣本方差分位數(shù)等需

求。

b)圖形化頁面渲染完成時間應(yīng)不大于3s。

c)數(shù)據(jù)導(dǎo)入加載完畢后數(shù)據(jù)應(yīng)能以結(jié)構(gòu)化數(shù)據(jù)形式對外顯示并進(jìn)行處理操作。

d)數(shù)據(jù)批處理計(jì)算應(yīng)以數(shù)據(jù)集合為單位，對已存儲的數(shù)據(jù)進(jìn)行批量計(jì)算，支持的數(shù)據(jù)轉(zhuǎn)換應(yīng)包括

數(shù)據(jù)清洗、數(shù)據(jù)內(nèi)容和數(shù)據(jù)結(jié)構(gòu)的轉(zhuǎn)化，支持的數(shù)據(jù)分析應(yīng)包括基于SQL的數(shù)據(jù)查詢、統(tǒng)計(jì)、

分析等能力。

6.2運(yùn)維要求

系統(tǒng)應(yīng)該具備對系統(tǒng)各模塊完備的運(yùn)維管理能力，包括但不限于以下內(nèi)容：

a)系統(tǒng)部署：能夠以圖形化或腳本等友好的部署方式，向?qū)桨惭b部署分布式分析數(shù)據(jù)庫，使其

能夠正常提供服務(wù)；

b)集群資源監(jiān)控告警：能夠?qū)⑾到y(tǒng)實(shí)時和歷史硬件資源的使用情況，以圖表等可視化形式進(jìn)行展

示，同時設(shè)定異常閱值，當(dāng)出現(xiàn)異常時，能夠以多種方式進(jìn)行告警通知；

c)系統(tǒng)服務(wù)管理：能夠?qū)φw系統(tǒng)服務(wù)、子模塊服務(wù)、執(zhí)行的應(yīng)用進(jìn)行顯示以及批量啟動、停止

操作；

d)用戶管理：能夠在統(tǒng)一的管理頁面實(shí)現(xiàn)用戶的創(chuàng)建、修改和刪除，并配置密碼，同時為不同級

別的用戶分配針對不同庫、表的操作權(quán)限。

6.3兼容性要求

系統(tǒng)應(yīng)該對上層應(yīng)用開放友好的開發(fā)接口，包括但不限于以下內(nèi)容：

a)JDBC和ODBC接口的支持；

b)支持不同型號或架構(gòu)的芯片等進(jìn)行異構(gòu)計(jì)算；

c)支持多種主流的操作系統(tǒng)；

d)對分布式批處理平臺、分布式流處理平臺的兼容性。

6.4安全性要求

3

T/CASMEXXXX—XXXX

系統(tǒng)除了信息安全應(yīng)符合GB/T22239的規(guī)定、網(wǎng)絡(luò)安全應(yīng)符合GB/T25068.2的規(guī)定、數(shù)據(jù)安全應(yīng)符

合GB/T36073的規(guī)定以外，還應(yīng)具備防止惡意的訪問，防止關(guān)鍵數(shù)據(jù)的泄漏的安全保護(hù)技術(shù)，包括但不

限于以下內(nèi)容：

a)系統(tǒng)各個模塊對用戶以密碼或秘鑰方式進(jìn)行身份認(rèn)證的功能；

b)至少按照管理員、審計(jì)員和操作員三種角色進(jìn)行分級權(quán)限管理的功能，針對操作員按照數(shù)據(jù)庫、

表、行列等不同粒度進(jìn)行權(quán)限控制；

c)支持多種類型的數(shù)據(jù)加解密方式；

d)支持對于操作進(jìn)行審計(jì)的功能，包括用戶操作、任務(wù)執(zhí)行操作、運(yùn)維操作、權(quán)限操作等。

6.5容錯要求

系統(tǒng)應(yīng)該支持各個組件在出現(xiàn)故障后系統(tǒng)進(jìn)行恢復(fù)能力，包括但不限于以下內(nèi)容：

a)存儲數(shù)據(jù)能夠以全量、增量、加密、壓縮等形式進(jìn)行在線或離線備份以及恢復(fù)；

b)系統(tǒng)各組件能夠在插拔硬盤、網(wǎng)絡(luò)故障、節(jié)點(diǎn)故障、應(yīng)用故障等常見故障發(fā)生時，進(jìn)行主備節(jié)

點(diǎn)切換，不影響正在執(zhí)行的業(yè)務(wù)進(jìn)度，同時保障數(shù)據(jù)正確性。

6.6性能測試要求

系統(tǒng)應(yīng)該能夠滿足特定應(yīng)用場景中對大數(shù)據(jù)批處理的性能要求，性能測試主要考慮以下內(nèi)容：

a)測試需基于一定資源冗余的硬件環(huán)境，包括服務(wù)器節(jié)點(diǎn)規(guī)模、網(wǎng)絡(luò)鏈路、內(nèi)存總量、CPU總量、

磁盤總量等；

b)測試需定義良好的測試業(yè)務(wù)場景，包括合理規(guī)模的數(shù)據(jù)量、與實(shí)際業(yè)務(wù)相符的數(shù)據(jù)模式和操作

模式；

c)測試需定義合理的衡量指標(biāo)，例如單節(jié)點(diǎn)吞吐量、系統(tǒng)總吞吐量、平均時延、最大時延、執(zhí)行

時間等；

d)常見的測試場景包括多類型查詢、混合負(fù)載、壓力測試、穩(wěn)定性測試等。

7運(yùn)行測試

7.1測試環(huán)境

系統(tǒng)測試時集群節(jié)點(diǎn)應(yīng)大于3，并保持測試環(huán)境的網(wǎng)絡(luò)通暢。

7.2測試范圍

測試范圍應(yīng)包括系統(tǒng)功能測試和和非功能性測試。對集成后的系統(tǒng)從業(yè)務(wù)以及功能角度進(jìn)行