非結構化數(shù)據(jù)管理系統(tǒng)

1、精選優(yōu)質文檔-傾情為你奉上精選優(yōu)質文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質文檔-傾情為你奉上專心-專注-專業(yè)非結構化數(shù)據(jù)管理系統(tǒng)范圍本標準規(guī)定了非結構化數(shù)據(jù)管理系統(tǒng)的功能性要求和質量要求。本標準適用于非結構化數(shù)據(jù)管理系統(tǒng)產品的研制、開發(fā)和測試。符合性對于非結構化數(shù)據(jù)管理系統(tǒng)是否符合本標準的規(guī)定如下：非結構化數(shù)據(jù)管理系統(tǒng)若滿足本標準基本要求中的所有要求，則稱其滿足本標準的基本要求；非結構化數(shù)據(jù)管理系統(tǒng)在滿足所有基本要求的前提下，若滿足某部分擴展要求，則稱其滿足本標準的基本要求和該部分擴展要求；非結構化數(shù)據(jù)管理系統(tǒng)若滿足本標準基本要求和擴展要求中的所有要求，則稱其滿足本標準的所有

2、要求。規(guī)范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB 180302005信息技術中文編碼字符集GB/T AAAAA-AAAA非結構化數(shù)據(jù)訪問接口規(guī)范術語和定義下列術語和定義適用于本文件。4.1非結構化數(shù)據(jù)unstructured data沒有明確結構約束的數(shù)據(jù)，如文本、圖像、音頻、視頻等。4.2非結構化數(shù)據(jù)管理系統(tǒng)unstructured data management system對非結構化數(shù)據(jù)進行管理、操作的大型基礎軟件，提供非結構化數(shù)據(jù)存儲、特征抽取、索引、查詢

3、等管理功能?？s略語下列縮略語適用于本文件。IDF：逆向文件頻率 (Inverse Document Frequency)MFCC：梅爾頻率倒譜系數(shù)（Mel Frequency Cepstrum Coefficient）PB：千萬億字節(jié)（Peta Byte）SIFT：尺度不變特征轉換（Scale-invariant Feature Transform）TF：詞頻 (Term Frequency)功能性要求總體要求非結構化數(shù)據(jù)管理系統(tǒng)的總體要求如下：應包括存儲與計算設施、存儲管理、特征抽取、索引管理、查詢處理、訪問接口、管理工具七個基本組成部分；宜包括轉換加載、分析挖掘、可視展現(xiàn)三個擴展組成部分。

4、存儲與計算設施基本要求存儲與計算設施基本要求如下：應支持磁盤、磁盤陣列、內存存儲、鍵值存儲、關系型存儲、分布式文件系統(tǒng)等一種或多種存儲設施；應支持單機、并行計算集群、分布式計算集群等一種或多種計算設施。擴展要求無。存儲管理基本要求存儲管理基本要求如下：應提供涵蓋原始數(shù)據(jù)、基本屬性、底層特征、語義特征的概念層存儲建模功能；應提供邏輯層的存儲建模功能；支持整型、浮點型、布爾型、字符串、日期、日期時間、二進制塊等基本數(shù)據(jù)類型；支持向量、矩陣、關聯(lián)等數(shù)據(jù)類型；應支持根據(jù)建好的邏輯層存儲模型創(chuàng)建存儲實例；應支持在創(chuàng)建好的存儲實例上插入、修改、刪除非結構化數(shù)據(jù)；應支持刪除存儲實例；應支持非結構化數(shù)據(jù)操作的

5、原子性。擴展要求存儲管理擴展要求如下：應支持全局事務的定義并保證事務的原子性、一致性、隔離性和持久性；應支持數(shù)據(jù)類型的多值結構和層次結構；應支持在不同的存儲設施上創(chuàng)建存儲實例并實現(xiàn)自動映射；應支持PB級數(shù)據(jù)存儲。特征抽取基本要求特征抽取總體要求特征抽取基本要求的總體要求如下：應支持從非結構化數(shù)據(jù)中抽取名稱、類型、創(chuàng)建者和創(chuàng)建時間等基本屬性；應支持文本、圖像、音頻、視頻中至少一種非結構化數(shù)據(jù)特征的抽取。文本特征抽取文本特征抽取基本要求如下：應支持從文本中抽取詞；應支持從文本中抽取停用詞；應支持從文本中抽取TF-IDF特征；應支持從文本中抽取關鍵詞。圖像特征抽取圖像特征抽取基本要求如下：應支持從圖

6、像中抽取顏色空間、主導顏色、色彩內容、顏色結構、顏色布局等顏色特征；應支持從圖像中抽取均勻紋理、邊緣直方圖等紋理特征；應支持從圖像中抽取區(qū)域形狀、輪廓形狀等形狀特征。音頻特征抽取音頻特征抽取基本要求如下：應支持從音頻中按靜音抽取片段；應支持從音頻中抽取音頻波譜特征；應支持從音頻中抽取MFCC特征。視頻特征抽取視頻特征抽取基本要求如下：應支持從視頻中按鏡頭抽取片段；應支持從視頻中抽取關鍵幀。擴展要求特征抽取總體要求應支持文本、圖像、音頻、視頻中兩種及以上非結構化數(shù)據(jù)特征的抽取。文本特征抽取文本特征抽取擴展要求如下：應支持從文本中抽取人名、地名、機構名、時間等內容；應支持從文本中抽取主題詞；應支持

7、從文本中抽取摘要；應支持從文本中抽取語義特征。圖像特征抽取圖像特征抽取擴展要求如下：應支持從圖像中抽取SIFT局部區(qū)域描述特征；應支持從圖像中抽取語義特征。音頻特征抽取音頻特征抽取擴展要求如下：應支持從音頻中抽取音頻指紋特征；應支持從音頻中抽取旋律特征；應支持從音頻中抽取音色和響度特征；應支持從音頻中抽取語義特征。視頻特征抽取視頻特征抽取擴展要求如下：應支持從視頻中抽取運動特征；應支持從視頻中抽取語義特征。索引管理基本要求應提供索引建立、維護和刪除功能。擴展要求索引管理擴展要求如下：應支持B+樹索引、倒排索引、全文索引和高維索引多種索引類型；應支持PB級數(shù)據(jù)索引。查詢處理基本要求查詢處理基本要

8、求如下：應支持范圍查詢、全文查詢、樣例查詢、語義查詢和跨媒體查詢多種查詢方式；應提供查詢結果排序和批量返回功能。擴展要求查詢處理擴展要求如下：應提供查詢相關性反饋功能；應支持PB級數(shù)據(jù)查詢。訪問接口基本要求訪問接口基本要求如下：應依從GB/T AAAAA-AAAA中第4章規(guī)定的查詢語言訪問接口要求；應依從GB/T AAAAA-AAAA中第5章規(guī)定的應用程序訪問接口要求。擴展要求應依從GB/T AAAAA-AAAA中第6章規(guī)定的Web服務訪問接口要求。管理工具基本要求管理工具基本要求如下：應提供安裝部署工具；應提供邏輯層模型定義工具；應提供查詢分析工具。擴展要求應提供任務管理工具。轉換加載基本要

9、求轉換加載基本要求如下：應支持常用格式的文本數(shù)據(jù)轉換加載；應支持常用格式的圖像數(shù)據(jù)轉換加載；應支持常用格式的音頻數(shù)據(jù)轉換加載；應支持常用格式的視頻數(shù)據(jù)轉換加載。擴展要求應提供面向醫(yī)療、工業(yè)控制、金融等特定應用領域的非結構化數(shù)據(jù)轉換加載工具集。分析挖掘基本要求分析挖掘基本要求如下：應支持分析模型定義；應支持分析模型執(zhí)行；應支持挖掘模型定義；應支持挖掘模型執(zhí)行。擴展要求應提供數(shù)據(jù)挖掘工具集?？梢曊宫F(xiàn)基本要求可視展現(xiàn)基本要求如下：應支持文本數(shù)據(jù)展現(xiàn)；應支持圖像數(shù)據(jù)展現(xiàn)；應支持音頻數(shù)據(jù)展現(xiàn)；應支持視頻數(shù)據(jù)展現(xiàn)；應提供柱狀圖可視化方法；應提供折線圖可視化方法；應提供餅圖可視化方法。擴展要求可視展現(xiàn)擴展要

10、求如下：應提供標簽云可視化方法；應提供關系圖可視化方法；應提供基于地圖的可視化方法。統(tǒng)計信息時間統(tǒng)計信息基本要求應提供系統(tǒng)平均數(shù)據(jù)插入時間的統(tǒng)計信息。擴展要求應提供系統(tǒng)平均查詢響應時間的統(tǒng)計信息。容量統(tǒng)計信息基本要求應提供系統(tǒng)可支持的數(shù)據(jù)量的統(tǒng)計信息。擴展要求應提供系統(tǒng)可支持的并發(fā)用戶數(shù)的統(tǒng)計信息。質量要求信息安全性基本要求信息安全性基本要求如下：應支持創(chuàng)建、刪除用戶；應支持用戶設置密碼；應支持創(chuàng)建、刪除角色；應支持用戶角色的授予、收回、查看；應提供權限體系；應支持用戶和角色權限的授予、收回、查看；應支持數(shù)據(jù)加密。擴展要求應支持用戶審計。易用性基本要求易用性基本要求如下：應提供完整的用戶手冊；應提供聯(lián)機幫助；應提供圖形化管理界面；應提供模型定義和數(shù)據(jù)操作的交互工具。擴展要求應提供向導工具。維