數(shù)據(jù)倉庫系統(tǒng)設計說明書

1、數(shù)據(jù)庫房-系統(tǒng)設計說明書數(shù)據(jù)庫房-系統(tǒng)設計說明書18/18數(shù)據(jù)庫房-系統(tǒng)設計說明書歸一大數(shù)據(jù)平臺數(shù)據(jù)庫房系統(tǒng)設計說明書件控制受控不受控檔編號版本號分冊名稱第冊/共冊總頁數(shù)正文附錄編制審批見效日期優(yōu)選文檔更正更正記錄：更正條款及內(nèi)容更正人審批人更改日期創(chuàng)辦文檔閻飛謝益武2015-11-5.優(yōu)選文檔目錄1序言51.1文檔編制目的51.2背景61.3詞匯表61.4參照資料62整體設計72.1軟件系統(tǒng)結(jié)構(gòu)72.2系統(tǒng)運行系統(tǒng)錯誤!不決義書簽。運行系統(tǒng)圖錯誤!不決義書簽。程序/模塊對應表錯誤!不決義書簽。2.3系統(tǒng)物理結(jié)構(gòu)72.4技術路線83系統(tǒng)接口設計83.1用戶接口84子系統(tǒng)/模塊設計84.1數(shù)據(jù)庫

2、房8ODL(操作數(shù)據(jù))層設計8BDL(數(shù)據(jù)庫房)層設計10IDL(寬表)層設計11PDL(應用)層設計12PUB(維度)層設計15數(shù)據(jù)導出設計165數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)庫設計176外面儲藏結(jié)構(gòu)設計177故障辦理說明178尚需解決的問題18.優(yōu)選文檔編寫指南：本模板力求給出系統(tǒng)設計階段可能包括的基本信息，重點在于和需求解析文檔相聯(lián)系。描述系統(tǒng)整體情況。若是某個章節(jié)在項目或當前階段中無法描述，則可保留其標題，注明“不.優(yōu)選文檔適用”；若是需要對本模板的個別章節(jié)詳細描述，也可將其形成單獨的文檔，成為本文檔附件。若文檔中的某個章節(jié)已經(jīng)在其他項目文檔中加以描述，可保留標題，注明“拜會（文檔編號）（文檔名稱）（

3、條款）”。形成正式文檔后須刪除斜體字內(nèi)容。報告編制要求這里列出本系統(tǒng)設計報告編制的經(jīng)驗性要求，須由系統(tǒng)設計人員參照其進行裁剪以確定本次報告編制的有關規(guī)定。序號要求對各種結(jié)構(gòu)圖要求采用Visio繪制。軟件系統(tǒng)結(jié)構(gòu)圖平時包括：子系統(tǒng)實體、子系統(tǒng)間數(shù)據(jù)流、有關說明。軟件結(jié)構(gòu)圖平時包括：模塊實體、模塊間數(shù)據(jù)流、數(shù)據(jù)儲藏、有關說明。運行系統(tǒng)圖包括：進度實體、啟動序次、并發(fā)性、數(shù)據(jù)交換。物理結(jié)構(gòu)圖包括：物理節(jié)點實體、物理節(jié)點分布、物理節(jié)點描述、物理節(jié)點間互有關系。對數(shù)據(jù)庫結(jié)構(gòu)的描述要求采用結(jié)構(gòu)圖方式描述，而非采用過多表格。數(shù)據(jù)庫結(jié)構(gòu)圖主要包括：表實體、表間關系、主要字段、有關說明四部分。對于平臺性產(chǎn)品，要

4、求有系統(tǒng)層次的劃分圖。平時要隔斷應用對數(shù)據(jù)庫的直接接見。序言1.1文檔編制目的指導開發(fā)人員進行后期的開發(fā)工作；指導測試人員進行解決方案級的系統(tǒng)測試；.優(yōu)選文檔1.2背景表達系統(tǒng)設計階段的目標、作用范圍以及其他應向讀者說明的理解本報告所需的背景，如與公司其他軟件之間的聯(lián)系等。1.3詞匯表列出本系統(tǒng)設計說明書中特地術語的定義、英文縮寫詞的原詞組和意義、項目組內(nèi)達成一致建議的專用詞匯，同時要求繼承全部的先前過程中定義過的詞匯。詞匯名稱詞匯含義備注備注中注明該詞匯的本源，或有其他更詳細的講解的文檔地址；以及對該詞匯的其他叫法。1.4參照資料需求規(guī)格說明書系統(tǒng)架構(gòu)設計說明書數(shù)據(jù)庫房命名規(guī)范.docx.優(yōu)

5、選文檔整體設計2.1軟件系統(tǒng)結(jié)構(gòu)2.2系統(tǒng)物理結(jié)構(gòu)描述使用本軟件系統(tǒng)典型用戶的物理設備分布圖及設備上相應基本軟件配置。軟件環(huán)境包括：操作系統(tǒng)、數(shù)據(jù)庫、以及其他支撐軟件；硬件環(huán)境包括：主機種類、網(wǎng)絡種類、儲藏器容量、其他特別設備。要求：1）盡量為系統(tǒng)的每個物理節(jié)點定義一個和功能有關的名稱，名稱的含義在詞匯表中說明；2）結(jié)合運行系統(tǒng)圖中提到的“程序”，將有關的“運行程序”分布到各個物理節(jié)點中；3）采用網(wǎng)絡拓撲圖表示。.優(yōu)選文檔2.3技術路線描述本軟件系統(tǒng)在實現(xiàn)過程中所采用的技術路線、方法。對較新的技術恩賜詳細的闡述及必要的說明，在可能的情況下給出相應的技術參照資料。系統(tǒng)接口設計3.1用戶接口無接口

6、。子系統(tǒng)/模塊設計4.1數(shù)據(jù)庫房4.1.1ODL(操作數(shù)據(jù)層)設計功能描述實現(xiàn)從外面系統(tǒng)導入數(shù)據(jù)到大數(shù)據(jù)平臺,ODL層數(shù)據(jù)與數(shù)據(jù)源保持一致.同步方式包括:增量同步全量同步數(shù)據(jù)源種類包括:數(shù)據(jù)庫業(yè)務流程流程圖:.優(yōu)選文檔數(shù)據(jù)同步流程圖調(diào)換系統(tǒng)分布式數(shù)據(jù)庫房數(shù)據(jù)源系統(tǒng)開始遠程調(diào)用數(shù)據(jù)庫讀取同步腳本數(shù)據(jù)庫同可否成功是ODL當?shù)乇聿椒癞惓＾k理結(jié)束流程說明:調(diào)換系統(tǒng)準時啟動數(shù)據(jù)同步作業(yè).作業(yè)讀取數(shù)據(jù)同步腳本,遠程調(diào)用數(shù)據(jù)庫接口.數(shù)據(jù)庫接口返回遠程調(diào)用結(jié)果.接收數(shù)據(jù)庫接口返回的數(shù)據(jù)集,裝載到ODL當?shù)乇??異常辦理:調(diào)換系統(tǒng)捕獲異常并辦理日志說明:由調(diào)換系統(tǒng)負責記錄作業(yè)(正常和異常)日志.數(shù)據(jù)源說明:經(jīng)過

7、視圖封裝需要同步的物理表,與業(yè)務進行隔斷.當物理表發(fā)生變動,盡量經(jīng)過更正視圖兼容.數(shù)據(jù)同步程序接見數(shù)據(jù)源視圖.?數(shù)據(jù)粒度說明：與數(shù)據(jù)源保持完好一致。作業(yè)設計詳見.優(yōu)選文檔4.1.2BDL(事物層)設計功能描述BDL層對ODL數(shù)據(jù)進行沖刷、變換，實現(xiàn)一致維度的數(shù)據(jù)整合。業(yè)務流程流程圖:BDL數(shù)據(jù)流程圖調(diào)換系統(tǒng)分布式數(shù)據(jù)庫房開始ODL表讀取作業(yè)腳本數(shù)據(jù)沖刷ETL階維度變換、捕獲維表段BDL當?shù)乇斫Y(jié)束流程說明:調(diào)換系統(tǒng)準時啟動數(shù)據(jù)同步作業(yè).2.作業(yè)讀取ODL表，進行數(shù)據(jù)沖刷，對不吻合規(guī)則的數(shù)據(jù)進行扔掉或變換.將變換后的結(jié)果數(shù)據(jù)裝載到BDL當?shù)乇??異常辦理:調(diào)換系統(tǒng)捕獲異常并辦理.日志說明:由調(diào)換系

8、統(tǒng)負責記錄作業(yè)(正常和異常)日志.優(yōu)選文檔數(shù)據(jù)粒度說明：與ODL保持一致.作業(yè)設計詳見4.1.3IDL(寬表層)設計功能描述在IDL層對BDL事實表按主題進行合并,形成一次寫多次讀的寬表,降低系統(tǒng)整體開銷.并實質(zhì)依照需要進行用戶級粒度的聚合,進一步提高盤問效率.業(yè)務流程流程圖:IDL數(shù)據(jù)流程圖調(diào)換系統(tǒng)分布式數(shù)據(jù)庫房開始BDL表1BDL表N讀取作業(yè)腳本按主題關系ETL階事物級粒度用戶級粒度聚合段IDL當?shù)乇斫Y(jié)束流程說明:.優(yōu)選文檔調(diào)換系統(tǒng)準時啟動數(shù)據(jù)同步作業(yè).按主題讀取有關BDL表,進行關系,盡量補齊維度字段,生成事物級寬表.按用戶級粒度聚合,生成用戶級寬表.?異常辦理:調(diào)換系統(tǒng)捕獲異常并辦理日

9、志說明:由調(diào)換系統(tǒng)負責記錄作業(yè)(正常和異常)日志.數(shù)據(jù)粒度說明:事物級粒度.用戶級粒度.作業(yè)設計詳見4.1.4PDL(應用層)設計功能描述PDL層按業(yè)務需求,IDL寬表匯總盤問生成各種結(jié)果表.業(yè)務流程流程圖:.優(yōu)選文檔PDL數(shù)據(jù)流程圖調(diào)換系統(tǒng)分布式數(shù)據(jù)庫房開始IDL表各種粒度聚合讀取作業(yè)腳本E維度條件優(yōu)選TL階生成指標數(shù)據(jù)段PDL當?shù)乇斫Y(jié)束流程說明:調(diào)換系統(tǒng)準時啟動數(shù)據(jù)同步作業(yè).讀取IDL寬表,按業(yè)務需求進行聚合,優(yōu)選,生成指標數(shù)據(jù).結(jié)果寫入PDL層結(jié)果表.異常辦理:調(diào)換系統(tǒng)捕獲異常并辦理日志說明:由調(diào)換系統(tǒng)負責記錄作業(yè)(正常和異常)日志.數(shù)據(jù)粒度說明:按業(yè)務需求的各種粒度.業(yè)務賬數(shù)據(jù)統(tǒng)計設計

10、業(yè)務賬數(shù)據(jù)統(tǒng)計以下特點:業(yè)務賬指標由多個交易種類代碼組合,一個交易種類代碼對應多個業(yè)務指標,比方:.優(yōu)選文檔業(yè)務賬指標A交易種類代碼M00010,M00001,M00002,M00003,業(yè)務賬指標B交易種類代碼M00010,M00011,M00012,M00013,業(yè)務賬指標C交易種類代碼M00000,M00011,M00002,M00023,隨需求也業(yè)務變化,業(yè)務賬指標及其交易種類代碼也會變化.每個業(yè)務賬指標統(tǒng)計算法相同,可是其交易種類代碼組合不相同.每個業(yè)務賬指標可能會被多個報表調(diào)用，比方“積分總金額”針對以上特點,經(jīng)過抽象的方法，設計對指標（交易種類代碼）配置化管理、運算一致化技術的功

11、能，減少系統(tǒng)保護成本。業(yè)務賬指標定義交易種類代碼字典業(yè)務賬指標業(yè)務賬流水配置業(yè)務賬指標數(shù)據(jù)報表調(diào)用作業(yè)設計詳見.優(yōu)選文檔4.1.5PUB(維度)庫設計功能描述采用異步LOOUP方法,主動捕獲非法維度數(shù)據(jù),經(jīng)過人工鑒別生成維度數(shù)據(jù).業(yè)務流程流程圖:PUB數(shù)據(jù)流程圖調(diào)換系統(tǒng)分布式數(shù)據(jù)庫房開始ODL表、維表讀取作業(yè)腳本異步LOOKUP維度照射表ETL階捕獲異常維度是人工鑒別辦理段維度表結(jié)束流程說明:調(diào)換系統(tǒng)準時啟動數(shù)據(jù)同步作業(yè).異步讀取ODL表和維表,比較維度照射表查找可否有不存在的維度數(shù)據(jù).若是發(fā)現(xiàn)非法維度數(shù)據(jù),經(jīng)過人工鑒別,寫入維度照射表和維度表.異常辦理:調(diào)換系統(tǒng)捕獲異常并辦理日志說明:由調(diào)換

12、系統(tǒng)負責記錄作業(yè)(正常和異常)日志.優(yōu)選文檔作業(yè)設計詳見業(yè)務賬(數(shù)據(jù)集市)庫數(shù)據(jù)導出設計功能描述將PDL表和維度導出,同步給mysql庫,供統(tǒng)計報表盤問使用.業(yè)務流程數(shù)據(jù)導出流程圖調(diào)換系統(tǒng)分布式數(shù)據(jù)庫房門戶系統(tǒng)開始讀取同步腳本抽取PDL表、維表裝載統(tǒng)計表、維表ETL階段結(jié)束流程說明:1.調(diào)換系統(tǒng)準時啟動數(shù)據(jù)同步作業(yè).優(yōu)選文檔讀取PDL表和維表,將數(shù)據(jù)裝載到MYSQL庫對應的表中.?異常辦理:調(diào)換系統(tǒng)捕獲異常并辦理日志說明:由調(diào)換系統(tǒng)負責記錄作業(yè)(正常和異常)日志.作業(yè)設計數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)庫設計詳見外面儲藏結(jié)構(gòu)設計說明本系統(tǒng)存貯于磁盤等長遠性存貯介質(zhì)，而且不是由數(shù)據(jù)庫管理系統(tǒng)進行管理的數(shù)據(jù)的組織結(jié)構(gòu)，包括數(shù)據(jù)名稱、用途、每