企業(yè)數(shù)據(jù)倉庫詳細(xì)設(shè)計說明書-DSS詳細(xì)設(shè)計分冊

XXXX企數(shù)倉庫概要設(shè)計說明詳細(xì)設(shè)計分冊（文檔編碼：OM-BIDW-C008）（版本01.00.000）未經(jīng)許可，不得以任何形式抄襲xxxx權(quán)所有，翻板必究OM數(shù)倉短技部據(jù)年3月文檔變更歷變

發(fā)布日日期

版本

作者

修改內(nèi)

評審號

更控制號2009-04-27黃浩

建立初始版本

2009-04-27概述DSS（）調(diào)度監(jiān)控系統(tǒng)貫穿了個數(shù)據(jù)倉庫，是數(shù)據(jù)倉庫數(shù)據(jù)處理的控制中心是數(shù)據(jù)倉庫中粒度建立的技術(shù)支撐它控制著數(shù)據(jù)的流向，一切與數(shù)據(jù)處理有關(guān)的進(jìn)程（存儲過程）都將由來調(diào)度啟動。與其他業(yè)務(wù)型系統(tǒng)相比前者的絕大部分的進(jìn)程都是由系統(tǒng)用戶手工觸（比如點擊按鈕統(tǒng)顯式啟動對應(yīng)的預(yù)設(shè)進(jìn)程；而在數(shù)據(jù)倉庫中，尤其是數(shù)據(jù)處理過程中，絕大部分的進(jìn)程（存儲過程）都是DSS隱式啟動，不需要人工干預(yù)。1.1DSS功能模塊DSS系統(tǒng)主要包括調(diào)度模塊和監(jiān)控模塊三大功能模塊調(diào)度控及用戶權(quán)限管理序調(diào)度

監(jiān)控配置調(diào)度數(shù)據(jù)

調(diào)度實施

日常調(diào)度查詢

監(jiān)控例行報警后用戶權(quán)限管理度：調(diào)度模塊主要是完成調(diào)度數(shù)據(jù)的配置及調(diào)度的具體實施配置調(diào)度數(shù)據(jù)：錄入調(diào)度所必須的配置數(shù)據(jù)，比如程序名、參數(shù)、依賴關(guān)系等，該功能模塊通過WEB面錄入調(diào)度實施：調(diào)度實施是整個系統(tǒng)的核心模塊。它根據(jù)調(diào)度配置數(shù)據(jù)完成“生成程序參數(shù)”斷程序執(zhí)行條件”以及“執(zhí)行程序”三個步驟的功能。控：監(jiān)控模塊主要是負(fù)責(zé)對系統(tǒng)調(diào)度過程及結(jié)果的監(jiān)控日常調(diào)度查詢包括查“程序的完成情況”序依賴數(shù)據(jù)”“程序執(zhí)行的條件”等信息監(jiān)控例行報警：主要是將調(diào)度失敗的程度顯示出來，便于及時的處理失敗的調(diào)度。戶權(quán)限管理：因為調(diào)度監(jiān)控系統(tǒng)關(guān)系到整個數(shù)據(jù)倉庫的運作，因此在該模塊中必須要加強(qiáng)權(quán)限的管理，一旦調(diào)度關(guān)系紊亂，整個系統(tǒng)可能會崩潰。用戶權(quán)限主要是控制“調(diào)度配置數(shù)據(jù)”模塊中的權(quán)限1.2系統(tǒng)約定與假調(diào)度對象調(diào)度的對象是存儲過程因為調(diào)度實施是由業(yè)結(jié)合ORACLE儲過程來完成的因此我們將調(diào)度對象統(tǒng)一抽象為存儲過程即任何的執(zhí)行動作都必須要封裝在存儲過程中。事件我們約定，每個存儲過程每執(zhí)行一次，就完成了一次事件。周期在系統(tǒng)中，任何的調(diào)度都是周期性的，而不是任意的。即每個存儲過程都是按照固有周期來執(zhí)行每個周期執(zhí)行的參數(shù)值會隨著周期數(shù)而變化比如以天為周期的存儲過程每天都會被調(diào)度執(zhí)行每天執(zhí)行的參數(shù)值會不同目前DSS系統(tǒng)中的調(diào)度周期有：Day：天，以天為周期調(diào)度執(zhí)行存儲過程，每次執(zhí)行的參數(shù)值為對應(yīng)的周期值Mon：月，以月為周期調(diào)度執(zhí)行存儲過程，每次執(zhí)行的參數(shù)值為對應(yīng)的周期值Week周以周為周期調(diào)度執(zhí)行存儲過程每次執(zhí)行的參數(shù)值為對應(yīng)的周期值Qrt季度以季度為周期調(diào)度執(zhí)行存儲過程每次執(zhí)行的參數(shù)值為對應(yīng)的周期值表與存儲過程我們約定DW的所有表都有對應(yīng)的存儲過程，命名上也必須要符合一定的規(guī)則：存儲過程=PRO_+表主體名。表主體名即完整的表名省略掉_yyyymmdd或_等擴(kuò)展字符串一一對應(yīng)。每個表有且僅有一個對應(yīng)的存儲過程，每個存儲過程僅對應(yīng)唯一一個表對于通過加載數(shù)據(jù)的表在調(diào)度配置數(shù)據(jù)中也必須要存在一條對應(yīng)存儲過程的記錄因此，在DSS中，表與存儲過程在語義上是對等的。存儲過程參數(shù)根據(jù)DW中數(shù)據(jù)存放的方式，存儲過程存在兩個參數(shù)：時間型參數(shù)和通道型參數(shù)時間型參數(shù)。必選參數(shù)，任何存儲過程必須要有時間型參數(shù)，按照存儲以YYYYMMDD份（YYYYMM（WEEK度（）等通道型參數(shù)。可選參數(shù)，通道參數(shù)值是各個通道的拼音簡寫，而且必須是大寫，比如運博移動是YBYD，由此類推依賴依賴是調(diào)度之所以存在的原因。在數(shù)據(jù)倉庫中粒度是其中核心之一設(shè)計粒度的一個原因是使數(shù)據(jù)統(tǒng)計更加高效化也就是說當(dāng)我們要獲取某一個具體的統(tǒng)計指標(biāo)的時候我們其實并不是從最原始的數(shù)據(jù)開始的我們往往是在某個中間粒度的物理表中統(tǒng)計的這就構(gòu)成了一個依賴，即要統(tǒng)計指A，必須要依賴中間粒度物理B；也就是說只有在表B的數(shù)據(jù)生成的時候，我們才能進(jìn)行指標(biāo)A的統(tǒng)計。因此依賴有如下要素：依賴配置。即必須要配置調(diào)度對象（存儲過程）的依賴對象。其實，當(dāng)一個存儲過程完成的時候，其依賴的對象也就隨之明確了。依賴完成。判斷依賴對象是否完成，實際上就是判斷存儲過程指定參數(shù)（或參數(shù)集）是否完成。依賴關(guān)系間賴DW統(tǒng)中的周期有：日、周、月、季，各個周期間的依賴關(guān)系如下圖所示：自身依賴

滿足每周7天條件滿足每月30/31/28天件日

周依賴日數(shù)據(jù)月依賴日數(shù)據(jù)自身依賴月

季依賴日數(shù)據(jù)

自身依賴周滿足每季度個月條件

自身依賴

滿足每季度0/91/92天條季依賴月數(shù)據(jù)時間依賴關(guān)系圖

季從上圖我們可以看出各個時間周期之間的依賴類型：同周期依賴：即主存儲過程與依賴存儲過程的周期相同，比如都為日、月、周、季等。不同周期依賴：不同周期依賴必須滿足大周期依賴小周期，且不能跨周期（比如周跨月，因此月不能依賴周此不同周期的依賴類型有：依賴于日：當(dāng)主存儲過程的周期為月，依賴存儲過程的周期為日。此時，判斷依賴程序是否完成的時候，需要依賴存儲必須滿足當(dāng)月所有日（28\29\30\31完成季依賴于月：當(dāng)主存儲過程的周期為季，依賴存儲過程的周期為月。此時，判斷依賴程序是否完成的時候，需要依賴存儲必須滿足季度下的3個月全部完成季依賴于日：當(dāng)主存儲過程的周期為季，依賴存儲過程的周期為日。此時，判斷依賴程序是否完成的時候，需要依賴存儲必須滿足季度下的3個月的所有日全部完成周依賴于日：當(dāng)主存儲過程的周期為周，依賴存儲過程的周期為日。此時，判斷依賴程序是否完成的時候，需要依賴存儲必須滿足周下的7全部完成道賴與時間依賴相比通道依賴要簡單些只是通道間的對等依賴不會存在其他類型的依賴調(diào)度2.1整體流程程序監(jiān)控OB周期掃程序狀程序依判斷OB判斷執(zhí)隊列中依賴條是否滿程序執(zhí)行OB周期掃程序執(zhí)隊列

開始讀取程基本信生成程執(zhí)行參子流程讀取程執(zhí)行首數(shù)值列循環(huán)首數(shù)列表主程序賴判斷流程循環(huán)首數(shù)列表生成執(zhí)隊列讀取程執(zhí)行隊循環(huán)執(zhí)隊列執(zhí)行程子流程循環(huán)執(zhí)隊列退出DSS整體流程圖2.2調(diào)度數(shù)據(jù)配置數(shù)據(jù)錄入調(diào)度的對象是存儲過程調(diào)度的實質(zhì)就是執(zhí)行存儲過程因此調(diào)度數(shù)據(jù)配置實際上就是配置存儲過程的信息，與調(diào)度有關(guān)的基本信息有：儲過程名稱：唯一標(biāo)識調(diào)度對象，其命名滿足表主體名儲過程執(zhí)行周期：即存儲過程執(zhí)行的頻次，目前DSS支持的周期有“天狀態(tài)：標(biāo)識存儲過程的狀態(tài)，0：表示存儲過程處于失效狀態(tài)，即不再調(diào)度該存儲過程參數(shù)：參數(shù)分必選（時間）參數(shù)和可選（通道）參數(shù)兩種類型。時間參數(shù)格式為，其中YYYY代表年份，MM代表月份，代表周（兩位代表季度（位DD為可選項，代表天；時間參數(shù)的讀取必須要結(jié)合“存儲過程執(zhí)行周期，比如參數(shù)值為“”可以代表三種含義：年1月份、年第一季度及年第一周；而如果周期確定，參數(shù)值業(yè)就確定了，比如如果周期為周，則代表2009年第一周依賴程序：該項是多選的，即一個主存儲過程可以依賴多個存儲過程，這些依賴存儲過程是在編寫主存儲過程的時候就已經(jīng)確定依賴周期存儲過程的執(zhí)行周期與依賴周期兩者之間構(gòu)成了時間依賴關(guān)系，具體的參見調(diào)度配置數(shù)據(jù)關(guān)系到整個統(tǒng)的運作，因為實施調(diào)度就是根據(jù)上面的配置數(shù)據(jù)項進(jìn)行的，因此如果配置數(shù)據(jù)紊亂，則會導(dǎo)致整個系統(tǒng)崩潰。配置數(shù)據(jù)查詢數(shù)據(jù)查詢需要提供對錄入數(shù)據(jù)的全信息查詢，包括錄入的所有信息。2.3調(diào)度實施功能描述調(diào)度實施是系統(tǒng)的核心，DW中的所有存儲過程的運行都需要由來調(diào)度DSS實施的實質(zhì)就是什么時間運行什么存儲過程？而運行一個存儲過程就需要要有參數(shù)值，因此調(diào)度實施模塊大致可以分為三大子模塊：生成參數(shù)模塊，主要完成存儲過程執(zhí)行參數(shù)的動態(tài)生成依賴判斷模塊主要判斷主存儲過程所依賴的存儲過程在依賴周期下是否已經(jīng)完成？存儲過程執(zhí)行模塊，主要是從執(zhí)行隊列里面讀取執(zhí)行命令，并執(zhí)行存儲過程生成參數(shù)述在系統(tǒng)中，所有調(diào)度對象（存儲過程）的參數(shù)都是動態(tài)生成的，即存儲過程的執(zhí)行參數(shù)值不是一致性生成（靜態(tài)在執(zhí)行前動態(tài)生成參數(shù)的，這樣設(shè)計是基于以下考慮：在DSS系統(tǒng)中默認(rèn)每個存儲過程都至少存在時間周期參數(shù)而且某些存儲過程也會存在通道參數(shù)時間周期參數(shù)可以根據(jù)執(zhí)行周期一次性生成，但是通道參數(shù)會根據(jù)通道的實際情況而變化，因此為統(tǒng)一起見，所有的參數(shù)（時間周期參數(shù)和通道參數(shù)）都由系統(tǒng)動態(tài)生成周期性是DSS系統(tǒng)的第一要素即任何調(diào)度對（存儲過程都是按照一定的周期來調(diào)度執(zhí)行的。但是由于不可預(yù)計的原因，會導(dǎo)致某個周期值執(zhí)行失敗，這樣就不能簡單的用系統(tǒng)當(dāng)前時間（或格式化）作為存儲過程的執(zhí)行參數(shù)。成數(shù)程是

否+1

否依賴判斷述在DW系統(tǒng)中，粒度設(shè)計為數(shù)據(jù)共享提供了數(shù)據(jù)支持，而依賴則為數(shù)據(jù)共享提供了技術(shù)支撐。首先DSS調(diào)度對象執(zhí)行結(jié)果是將數(shù)據(jù)保存在對應(yīng)的物理表中既存儲過程同一個參數(shù)值只要執(zhí)行一次如果其他存儲過程需要調(diào)用該存儲過程其實是調(diào)用該存儲過程對應(yīng)表中的數(shù)據(jù)，而不是執(zhí)行存儲過程。這樣就會存在一個問題DSS如何知道訪問的物理表的數(shù)據(jù)是否已經(jīng)生成了？比如執(zhí)行存儲過程B（參數(shù)為需要訪表A中20090301數(shù)據(jù)，此時，執(zhí)行存儲過程B參數(shù)為20090301的先決條件之一就是表A對應(yīng)的存儲過程A參數(shù)為20090301已經(jīng)成功執(zhí)行。依賴判斷模塊的功能就是獲取主存儲過程所依賴的存儲過程在依賴周期下是否已經(jīng)成功完成。程依判開始讀取主序所依的全部序循環(huán)判子程序否

判斷主序的首數(shù)在子序中是完成是循環(huán)判子程序滿足執(zhí)條件，成執(zhí)行令串循環(huán)參值結(jié)束主程序依賴判斷斷序否成開始獲取程序自身執(zhí)行周期查詢月執(zhí)行情況：0未完成，其它標(biāo)示完成的天數(shù)

無

是否有通道參數(shù)

<

比較執(zhí)行周期與查詢周期

>

參數(shù)錯誤

指定通道查詢

=是否指定通道

是

日執(zhí)行情況：未完成，其它標(biāo)示指定通道完成的天數(shù)

判斷時間周期

日

是否有通道參數(shù)

無

查詢?nèi)請?zhí)行情況：-0未完成1：成

所有通道查詢月執(zhí)行情況：0未完成，其它標(biāo)示完成的通道個數(shù)（通道數(shù)*天數(shù)）

是否有通道參數(shù)

無

查詢月執(zhí)行情況：-1未完成，0：

是否指定通道

是

指定通道查詢?nèi)請?zhí)行情況：0未成，1完成是否指定通道所有通道查詢?nèi)請?zhí)行情況：0完成，其它標(biāo)示完成的通道個數(shù)

是

指定通道查詢月執(zhí)行情況：-1未完成，0：完成

所有通道查詢?nèi)請?zhí)行情況：0完成，其它標(biāo)示完成的通道個數(shù)判斷程序是否完成執(zhí)行存儲過程在經(jīng)過了“生成參數(shù)斷”后，存儲過程的執(zhí)行命令串基本上已經(jīng)形成執(zhí)行存儲過程模塊的內(nèi)容就是從執(zhí)行隊列里面讀取執(zhí)行相關(guān)數(shù)據(jù)拼湊成命令字符串，然后執(zhí)行該命令字符串，并更新相關(guān)的狀態(tài)。在目前的系統(tǒng)中，只有一個執(zhí)行隊列，在理想的情況下，執(zhí)行是串行的。但是由于執(zhí)行存儲過是周期性掃描執(zhí)行隊列，這樣就會存在一還沒有執(zhí)行完另外一個已經(jīng)啟動，這樣就可能會造成進(jìn)程堵塞CPU超負(fù)荷的后果。監(jiān)控調(diào)度系統(tǒng)關(guān)系到整個數(shù)據(jù)倉庫系統(tǒng)的正常運作此必須要提供一套完備的監(jiān)控系統(tǒng)對其進(jìn)行實時的全方位的掌控，以便對異常調(diào)度做出及時的調(diào)整修正。整個監(jiān)控模塊由WEB頁面支撐，主要完成“日常調(diào)度查詢”及調(diào)度異常報警”兩個功能。3.1日常調(diào)度查詢?nèi)粘Ｕ{(diào)度查詢包括：行日志查詢。輸入：程序名（或編號如果不輸入，則顯式全部日志數(shù)據(jù)日期參數(shù)值，如果不輸入日期參數(shù)，則顯式近半年的日志通道參數(shù)值，如果有通道參數(shù)，則輸入通道參數(shù)執(zhí)行狀態(tài)，下拉列表：成功、失敗、成功后被覆蓋輸出：程序編號、程序名、程序作者、日期參數(shù)、通道參數(shù)、執(zhí)行開始時間、執(zhí)行結(jié)束時間、執(zhí)行狀態(tài)行隊列查詢輸入：程序名（或編號如果不輸入，則顯式全部日志數(shù)據(jù)日期參數(shù)值，如果不輸入日期參數(shù)，則顯式近半年的日志通道參數(shù)值，如果有通道參數(shù)，則輸入通道參數(shù)執(zhí)行狀態(tài)，下拉列表：已執(zhí)行、未執(zhí)行、執(zhí)行中依賴狀態(tài)，下拉列表：滿足依賴，不滿足依賴輸出：程序編號、程序名、程序作者、日期參數(shù)、通道參數(shù)、執(zhí)行狀態(tài)、依賴狀態(tài)行進(jìn)度查詢輸入：詢方式。下拉列表：程序名、程序編號程序名（或編號必填項，與“查詢方式”結(jié)合日期參數(shù)值，必填項通道參數(shù)值，可選項查詢周期，下拉列表，默認(rèn)值為程序的執(zhí)行周期輸出：如果查詢結(jié)果為“完成則顯示一條記錄，否則顯示各個依賴存儲過程的完成情況。3.2調(diào)度異常報警失敗異常報警顯示所有執(zhí)行失敗的日志輸入：開始時間結(jié)束時間存儲過程作者失敗原因輸出：程序編號、程序名稱、程序作者、失敗原因時長異常報警顯示執(zhí)行時間超過一定時長的日志輸入：開始時間結(jié)束時間存儲過程作者執(zhí)行時長執(zhí)行狀態(tài)輸出程序編號程序名稱程序作者執(zhí)行開始時間執(zhí)行結(jié)束時間、執(zhí)行狀態(tài)延時異常報警顯示延時而未執(zhí)行的程序信息輸入：延時時長，單位為天輸出：程序編號、程序名稱、程序作者、依賴程序名稱、程序周期用戶權(quán)限管理4.1概述管理員用戶

普通用戶權(quán)集用戶管理新增用戶凍結(jié)用戶刪除用戶更改用戶分配權(quán)限

日常調(diào)度查詢配置數(shù)據(jù)查詢執(zhí)行日志查詢執(zhí)行隊列查詢執(zhí)行進(jìn)度查詢

調(diào)度異常報警失敗異常報警時長異常報警延時異常報警

修改數(shù)據(jù)修改調(diào)度配置補(bǔ)加調(diào)度事件

錄入數(shù)據(jù)錄入配置數(shù)據(jù)如上圖所示DSS

權(quán)限管理邏圖系統(tǒng)用戶用按權(quán)限分兩類：管理員用戶、普通用戶。在權(quán)限管理上分四大權(quán)限模塊：用戶管理、數(shù)據(jù)查詢、修改數(shù)據(jù)、錄入數(shù)據(jù)4.2權(quán)限管理用戶管理用戶管理主要包括：新增用戶。添加新的普通用戶凍結(jié)用戶。將正常用戶置為“凍結(jié)”狀態(tài)，即使用戶不可用除用戶。刪除正使用的用戶更改用