數(shù)據(jù)倉(cāng)庫(kù)總體設(shè)計(jì)報(bào)告

文檔編號(hào)產(chǎn)品版本密級(jí)1.0共87頁(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)總體設(shè)計(jì)文檔作者：______日期：2023/12/20項(xiàng)目經(jīng)理：______日期：2023/12/28部門(mén)經(jīng)理：____ 日期：2023/01/08總工辦：______日期：2023/01/08

目錄TOC\o"1-4"\h\z1 概述 71.1 背景 71.1.1 待開(kāi)發(fā)的軟件系統(tǒng)名稱(chēng) 81.1.2 系統(tǒng)的基本概念 81.1.3 項(xiàng)目組名稱(chēng) 81.1.4 項(xiàng)目代號(hào) 81.2 術(shù)語(yǔ)和縮寫(xiě)詞 81.3 設(shè)計(jì)目的 92 系統(tǒng)設(shè)計(jì) 92.1 設(shè)計(jì)原則 92.2 系統(tǒng)結(jié)構(gòu) 112.2.1 子系統(tǒng)劃分 112.3 系統(tǒng)數(shù)據(jù)結(jié)構(gòu) 172.3.1 邏輯結(jié)構(gòu) 122.3.2 層次結(jié)構(gòu) 132.3.3 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) 142.3.4 網(wǎng)絡(luò)層次結(jié)構(gòu) 162.4 行業(yè)特殊需求 172.5 底層數(shù)據(jù)庫(kù)（倉(cāng)庫(kù)）設(shè)計(jì) 192.5.1 設(shè)計(jì)原則 192.5.2 數(shù)據(jù)現(xiàn)狀 202.5.3 數(shù)據(jù)存儲(chǔ)整體規(guī)劃 212.6 ETL系統(tǒng) 242.6.1 需求規(guī)定 242.6.2 運(yùn)營(yíng)環(huán)境 242.6.3 設(shè)計(jì)思想 242.6.4 結(jié)構(gòu)說(shuō)明 252.6.5 解決流程 262.7 系統(tǒng)管理 272.7.1 需求規(guī)定 272.7.2 運(yùn)營(yíng)環(huán)境 282.7.3 設(shè)計(jì)思想 282.7.4 結(jié)構(gòu)說(shuō)明 282.7.5 解決流程 292.8 數(shù)據(jù)展現(xiàn) 302.8.1 需求規(guī)定 302.8.2 運(yùn)營(yíng)環(huán)境 322.8.3 設(shè)計(jì)思想 322.8.4 結(jié)構(gòu)說(shuō)明 322.8.5 解決流程 342.9 界面設(shè)計(jì) 342.9.1 需求規(guī)定 342.9.2 主程序界面 342.9.3 重要頁(yè)面設(shè)計(jì) 352.10 接口設(shè)計(jì) 382.10.1 外部接口 382.10.2 內(nèi)部接口 392.11 安全設(shè)計(jì) 392.11.1 網(wǎng)絡(luò)安全 392.11.2 數(shù)據(jù)庫(kù)安全 422.12 系統(tǒng)可靠性設(shè)計(jì) 432.12.1 可靠性 432.12.2 可維護(hù)性 432.12.3 可擴(kuò)展性 442.12.4 健壯性 442.12.5 性能保證 442.12.6 犯錯(cuò)解決 452.12.7 備份與恢復(fù) 452.13 運(yùn)營(yíng)設(shè)計(jì) 462.14 相關(guān)工具選擇 462.14.1 數(shù)據(jù)庫(kù)選擇 472.14.2 WEB服務(wù)器和應(yīng)用服務(wù)器 472.14.3 數(shù)據(jù)庫(kù)建模工具 482.14.4 分析型工具 482.14.5 OLAP工具介紹 492.14.6 ORACLE公司OLAP介紹 502.15 開(kāi)發(fā)環(huán)境 512.15.1 硬件環(huán)境 512.15.2 操作系統(tǒng) 512.15.3 開(kāi)發(fā)語(yǔ)言 522.15.4 數(shù)據(jù)庫(kù)系統(tǒng) 522.15.5 中間件系統(tǒng) 522.15.6 應(yīng)用系統(tǒng) 533 系統(tǒng)調(diào)試和測(cè)試 533.1 目的 533.2 基本規(guī)定 543.2.1 測(cè)試計(jì)劃 543.2.2 測(cè)試說(shuō)明 543.2.3 測(cè)試環(huán)境建立 543.2.4 測(cè)試報(bào)告 543.3 應(yīng)遵循的原則 543.4 測(cè)試方法 553.5 測(cè)試重點(diǎn) 554 項(xiàng)目進(jìn)度 564.1 項(xiàng)目資源計(jì)劃 564.1.1 項(xiàng)目組 564.1.2 數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)導(dǎo)小組辦公室 564.2 項(xiàng)目工期計(jì)劃 564.3 時(shí)間進(jìn)度計(jì)劃 564.3.1 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求調(diào)查與兩會(huì)系統(tǒng) 574.4 第一期開(kāi)發(fā)主題 574.5 第二期開(kāi)發(fā)主題 574.6 工作量分派計(jì)劃 575 小結(jié) 586 參考文獻(xiàn) 607 附錄 617.1 Oracle性能評(píng)估報(bào)告 617.2 主流WEB服務(wù)器比較 657.3 IBM小型機(jī)性能評(píng)估報(bào)告 767.4 具體網(wǎng)絡(luò)拓?fù)鋱D及設(shè)備清單 787.5 在多層體系結(jié)構(gòu)下建立數(shù)據(jù)倉(cāng)庫(kù) 83

摘要數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建立可以解決傳統(tǒng)數(shù)據(jù)庫(kù)不能很好提供分析決策功能的問(wèn)題，可以發(fā)掘歷史數(shù)據(jù)中隱含的大量有價(jià)值的信息，為國(guó)民經(jīng)濟(jì)的發(fā)展和宏觀(guān)決策提供大量有效的參考信息。系統(tǒng)數(shù)據(jù)來(lái)源復(fù)雜，在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中不能采用常規(guī)方法解決問(wèn)題；主題眾多且分析熱點(diǎn)會(huì)隨時(shí)間變化而變化，規(guī)定主題下所含的信息在一定范圍可變；主題下指標(biāo)也許需要調(diào)整等實(shí)際情況，這和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)的不可修改性有矛盾；等等。我們結(jié)合數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)和系統(tǒng)實(shí)際情況，提供了一套完整的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的解決方案。整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)從數(shù)據(jù)采集到數(shù)據(jù)展現(xiàn)共分為四部分：1、數(shù)據(jù)抽取、轉(zhuǎn)換、加載；2、系統(tǒng)管理（涉及數(shù)據(jù)庫(kù)維護(hù)）；3、數(shù)據(jù)展現(xiàn)；4、支撐整個(gè)系統(tǒng)的數(shù)據(jù)庫(kù)的設(shè)計(jì)(涉及ETL中間數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù))保證系統(tǒng)具有相稱(chēng)的靈活性。各個(gè)部分獨(dú)立完畢本部分功能，同時(shí)緊密協(xié)作組成數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)管理與數(shù)據(jù)導(dǎo)入部分采用C/S模式有針對(duì)性的開(kāi)發(fā)；數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)展現(xiàn)采用流行的B/S模式向用戶(hù)提供數(shù)據(jù)查詢(xún)、決策分析。關(guān)鍵詞：指標(biāo)，主題，數(shù)據(jù)倉(cāng)庫(kù)，聯(lián)機(jī)分析，數(shù)據(jù)挖掘，決策支持。

概述背景通過(guò)2個(gè)多月的需求分析調(diào)查，擬定了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)總體定位（省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)是以充足發(fā)揮信息的社會(huì)作用和經(jīng)濟(jì)效益為最終目的）和系統(tǒng)功能需求?，F(xiàn)根據(jù)需求分析規(guī)定和局具體情況，擬定數(shù)據(jù)倉(cāng)庫(kù)整體方案，以指導(dǎo)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)研究、開(kāi)發(fā)、實(shí)現(xiàn)。省政府局?jǐn)?shù)據(jù)具有建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基本條件：積累了大量歷史數(shù)據(jù)，這是數(shù)據(jù)倉(cāng)庫(kù)存在的必要條件；隨著市場(chǎng)經(jīng)濟(jì)的發(fā)展，社會(huì)各界（如金融投資等領(lǐng)域?yàn)榱艘?guī)避市場(chǎng)風(fēng)險(xiǎn)，提高決策的準(zhǔn)確度，開(kāi)發(fā)新的市場(chǎng)和利潤(rùn)增長(zhǎng)點(diǎn)，挖掘市場(chǎng)潛力）對(duì)數(shù)據(jù)的需求不斷增大，社會(huì)各界迫切需要運(yùn)用數(shù)據(jù)進(jìn)行決策分析，指導(dǎo)經(jīng)濟(jì)建設(shè)。省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)建設(shè)存在以下困難：當(dāng)前局各個(gè)處室沒(méi)有統(tǒng)一規(guī)劃的數(shù)據(jù)庫(kù)系統(tǒng)；只有少量數(shù)據(jù)以電子文獻(xiàn)形式存在，大部分歷史數(shù)據(jù)保存在紙介質(zhì)上，到目前為止，建國(guó)以來(lái)的數(shù)據(jù)有一般以上以紙介質(zhì)方式存儲(chǔ)；由于我國(guó)制度在不斷發(fā)展完善，指標(biāo)在不同的歷史時(shí)期的口徑不同，為了使同類(lèi)指標(biāo)具有可比性，要擬定不同時(shí)期各個(gè)指標(biāo)的調(diào)整規(guī)則，并對(duì)歷史數(shù)據(jù)按規(guī)則進(jìn)行調(diào)整，這種調(diào)整除了少數(shù)指標(biāo)可以按統(tǒng)一的算法進(jìn)行以外，大部分調(diào)整工作需要人工參與；因此，省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)的建設(shè)中數(shù)據(jù)的整理加載工作量極大，ETL（Extract、Transform、Cleaning、Load）工具開(kāi)發(fā)難度大；完善的、與數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)良好聯(lián)接的、統(tǒng)一規(guī)劃的各個(gè)處室的數(shù)據(jù)庫(kù)系統(tǒng)是據(jù)倉(cāng)庫(kù)系統(tǒng)的具有長(zhǎng)期生命力的基本保障，因此各處室數(shù)據(jù)庫(kù)的建設(shè)應(yīng)同步進(jìn)行。待開(kāi)發(fā)的軟件系統(tǒng)名稱(chēng)省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)系統(tǒng)的基本概念指標(biāo)：系統(tǒng)的數(shù)據(jù)以指標(biāo)為載體，所有的數(shù)據(jù)都是指標(biāo)在不同時(shí)間，不同地區(qū)上的取值，統(tǒng)一指標(biāo)也許有年度、月度、季度、半年、連續(xù)某幾個(gè)月等時(shí)間段的數(shù)據(jù)，也許有國(guó)家、省、地、市、縣、鄉(xiāng)、村的數(shù)據(jù)，甚至有居民戶(hù)、具體公司單位的明細(xì)數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)就是這些數(shù)據(jù)的有機(jī)集合。主題：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)按主題組織，這是由數(shù)據(jù)倉(cāng)庫(kù)以分析決策為重要目的決定的。主題是一個(gè)在較高層次上將數(shù)據(jù)歸類(lèi)的標(biāo)準(zhǔn)，每一個(gè)主題相應(yīng)一個(gè)宏觀(guān)的分析領(lǐng)域。省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)是將指標(biāo)數(shù)據(jù)按分析主題集成起來(lái)，供查詢(xún)、分析、輔助決策。項(xiàng)目組名稱(chēng)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目組項(xiàng)目代號(hào)XhnTJDW001-0019術(shù)語(yǔ)和縮寫(xiě)詞指標(biāo)：StatisticalParameter數(shù)據(jù)倉(cāng)庫(kù)：DW（DataWarehouse）主題：Subject數(shù)據(jù)集市：DataMart元數(shù)據(jù)：MetaData數(shù)據(jù)抽取、轉(zhuǎn)換、加載：ETL（Extract、Transform、Cleaning、Load）聯(lián)機(jī)分析解決：OLAP（On-LineAnalyticalProcessing）聯(lián)機(jī)事務(wù)解決：OLTP（On-LineTransactionProcessing）決策支持系統(tǒng)：DSS（DecisionSupportSystem）數(shù)據(jù)挖掘：DM（DataMining）應(yīng)用服務(wù)器：AS（ApplicationServer）Web服務(wù)器：WebServer設(shè)計(jì)目的省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是以充足發(fā)揮信息的社會(huì)效益和經(jīng)濟(jì)價(jià)值為最終目的。將大量事務(wù)解決數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行清理、抽取和轉(zhuǎn)換，并按決策主題進(jìn)行多維重組，在高效的網(wǎng)絡(luò)平臺(tái)上充足發(fā)揮系統(tǒng)作為社會(huì)“數(shù)據(jù)庫(kù)，信息庫(kù)，思想庫(kù)，智囊?guī)臁钡淖饔?，直接向黨政領(lǐng)導(dǎo)、社會(huì)各界提供數(shù)據(jù)、信息服務(wù)，為信息工程建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。為省政府局建立一套面向黨政領(lǐng)導(dǎo)、專(zhuān)業(yè)分析人員、廣大社會(huì)群眾對(duì)外發(fā)布信息的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。整個(gè)系統(tǒng)集數(shù)據(jù)采集、管理、維護(hù)、展現(xiàn)于一體，旨在建立數(shù)據(jù)倉(cāng)庫(kù)后既減輕局工作人員工作量，又能很好的為公眾服務(wù)。前端數(shù)據(jù)展現(xiàn)要有通用性，采用瀏覽器瀏覽數(shù)據(jù)，是瘦客戶(hù)端。后端維護(hù)系統(tǒng)要具有高效性，能及時(shí)、高效解決、管理數(shù)據(jù)，功能強(qiáng)大，是胖客戶(hù)端。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)重在建立一個(gè)適應(yīng)分析的系統(tǒng)環(huán)境，首期開(kāi)發(fā)“兩會(huì)”信息征詢(xún)，公司名錄、人口普查、字典、工業(yè)經(jīng)濟(jì)、農(nóng)業(yè)經(jīng)濟(jì)等主題。系統(tǒng)設(shè)計(jì)設(shè)計(jì)原則從充足發(fā)揮系統(tǒng)作為社會(huì)“數(shù)據(jù)庫(kù)，信息庫(kù)，思想庫(kù)，智囊?guī)臁钡淖饔?，直接向黨政領(lǐng)導(dǎo)、社會(huì)各界提供“快、精、準(zhǔn)”的信息服務(wù)的需要出發(fā)，采用當(dāng)今數(shù)據(jù)庫(kù)領(lǐng)域成熟穩(wěn)定的數(shù)據(jù)倉(cāng)庫(kù)、決策分析等技術(shù)，在高效的網(wǎng)絡(luò)平臺(tái)上為全省信息工程建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。系統(tǒng)采用多層體系結(jié)構(gòu)，建立一個(gè)良好開(kāi)放性的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)環(huán)境，適應(yīng)不斷增長(zhǎng)和變化的業(yè)務(wù)需求。多層體系結(jié)構(gòu)通過(guò)引入中間層組件，擴(kuò)大了傳統(tǒng)的客戶(hù)/服務(wù)器和兩層計(jì)算模式。多層結(jié)構(gòu)可由以下三類(lèi)分層來(lái)定義：前端的客戶(hù)層，負(fù)責(zé)提供可移植的表達(dá)邏輯；中間的應(yīng)用層，允許用戶(hù)通過(guò)將其與實(shí)際應(yīng)用隔離而共享和控制業(yè)務(wù)邏輯；后端的數(shù)據(jù)管理與服務(wù)層，提供對(duì)專(zhuān)門(mén)服務(wù)（例如數(shù)據(jù)庫(kù)服務(wù)器）的訪(fǎng)問(wèn)。多層結(jié)構(gòu)與傳統(tǒng)的客戶(hù)/服務(wù)器結(jié)構(gòu)的區(qū)別在于：在傳統(tǒng)的客戶(hù)/服務(wù)器兩層結(jié)構(gòu)中，用戶(hù)將實(shí)際的業(yè)務(wù)邏輯放置到客戶(hù)端(作為對(duì)表達(dá)邏輯的增補(bǔ))或放置到后端數(shù)據(jù)庫(kù)(作為數(shù)據(jù)邏輯的一部分包含在存儲(chǔ)過(guò)程中)。而在多層結(jié)構(gòu)中，用戶(hù)將業(yè)務(wù)邏輯放到中間層上。這種模塊化方法明確地劃分了表達(dá)邏輯、業(yè)務(wù)邏輯和數(shù)據(jù)存儲(chǔ)。多層結(jié)構(gòu)通過(guò)將應(yīng)用邏輯集中到中間層，開(kāi)發(fā)者可以迅速更新業(yè)務(wù)邏輯，而無(wú)需重新將應(yīng)用遞交到成千上萬(wàn)的桌面系統(tǒng)上。提高數(shù)據(jù)庫(kù)的性能、改善系統(tǒng)的開(kāi)放性、可擴(kuò)展性和數(shù)據(jù)的安全性，并減少管理的復(fù)雜性。結(jié)構(gòu)化、層次化、模塊化。采用面向?qū)ο蠹夹g(shù)，使系統(tǒng)高度結(jié)構(gòu)化、模塊化、層次化，整個(gè)系統(tǒng)由接口定義良好的多個(gè)模塊組成，每個(gè)模塊都有具體的功能說(shuō)明和設(shè)計(jì)文稿，每個(gè)模塊完畢相對(duì)獨(dú)立的功能，模塊之間的接口定義規(guī)范，使模塊功能的變化相對(duì)獨(dú)立，不影響整個(gè)系統(tǒng)的功能和結(jié)構(gòu)，便于系統(tǒng)升級(jí)，維護(hù)。具有良好的平臺(tái)移植性。選用支持多種操作平臺(tái)的數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用服務(wù)器、WEB服務(wù)器等服務(wù)器軟件系統(tǒng)，選用品有良好平臺(tái)移植性的B/S和C/S模式下的開(kāi)發(fā)語(yǔ)言開(kāi)發(fā)應(yīng)用程序和應(yīng)用中間件，提高應(yīng)用系統(tǒng)的平臺(tái)移植性；統(tǒng)一性和多樣性相結(jié)合。面向用戶(hù)的各個(gè)應(yīng)用系統(tǒng)，盡量保持統(tǒng)一風(fēng)格以適應(yīng)用戶(hù)的操作習(xí)慣，但各個(gè)系統(tǒng)根據(jù)內(nèi)容具有各自的特色，整個(gè)系統(tǒng)和諧統(tǒng)一，清新明了。自主開(kāi)發(fā)和運(yùn)用現(xiàn)有工具相結(jié)合。盡量運(yùn)用各成熟的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)軟件（工具）為數(shù)據(jù)倉(cāng)庫(kù)這個(gè)具有特殊性的項(xiàng)目服務(wù)，針對(duì)具有特殊性的需求，開(kāi)發(fā)特定的系統(tǒng)軟件，縮短數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)周期，減少開(kāi)發(fā)成本，保證系統(tǒng)正常開(kāi)發(fā)。安全性的考慮。系統(tǒng)安全和數(shù)據(jù)安全是一個(gè)網(wǎng)絡(luò)應(yīng)用系統(tǒng)應(yīng)當(dāng)一方面考慮的問(wèn)題，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的設(shè)計(jì)要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全等各個(gè)方面充足考慮，保障系統(tǒng)安全穩(wěn)定。分散與集中相結(jié)合。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)非常龐大的系統(tǒng)，所有數(shù)據(jù)集中存儲(chǔ)，但局各處室能分別維護(hù)本處室數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)根據(jù)需要能對(duì)系統(tǒng)管理分別設(shè)立權(quán)限，不同用戶(hù)維護(hù)不同數(shù)據(jù)。穩(wěn)定優(yōu)先，注重效率。數(shù)據(jù)倉(cāng)庫(kù)的海量數(shù)據(jù)存儲(chǔ)和高效查詢(xún)是一對(duì)矛盾，在當(dāng)今硬件技術(shù)不斷發(fā)展和成本不斷減少的形式下，我們優(yōu)先考慮系統(tǒng)效率，但是在系統(tǒng)穩(wěn)定性和效率不可兼顧時(shí)，以系統(tǒng)穩(wěn)定優(yōu)先。。例如在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方面，我們通過(guò)逆規(guī)范化（引進(jìn)適當(dāng)冗余）來(lái)提高系統(tǒng)查詢(xún)效率。以最簡(jiǎn)樸的方式實(shí)現(xiàn)復(fù)雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維護(hù)性，盡量采用簡(jiǎn)潔易懂的方式實(shí)現(xiàn)系統(tǒng)功能，不追求復(fù)雜、深?yuàn)W的算法。系統(tǒng)結(jié)構(gòu)子系統(tǒng)劃分整個(gè)系統(tǒng)按功能分為四大系統(tǒng)，各系統(tǒng)分別為：數(shù)據(jù)庫(kù)系統(tǒng)中間數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)ETL系統(tǒng)指標(biāo)數(shù)據(jù)抽取子系統(tǒng)指標(biāo)數(shù)據(jù)加載子系統(tǒng)系統(tǒng)管理系統(tǒng)ETL管理管理子系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)元數(shù)據(jù)管理子系統(tǒng)數(shù)據(jù)展現(xiàn)系統(tǒng)應(yīng)用服務(wù)器子系統(tǒng)WEB服務(wù)器子系統(tǒng)OLAP多維分析決策支持分析子系統(tǒng)數(shù)據(jù)挖掘子系統(tǒng)圖形展示子系統(tǒng)報(bào)表解決子系統(tǒng)數(shù)據(jù)導(dǎo)出子系統(tǒng)邏輯結(jié)構(gòu)層次結(jié)構(gòu)整個(gè)系統(tǒng)在邏輯上分為三層：原始數(shù)據(jù)層，中間邏輯層（業(yè)務(wù)邏輯層、WEB服務(wù)層、安全服務(wù)層），應(yīng)用層。原始數(shù)據(jù)層：以統(tǒng)一規(guī)范的方式存儲(chǔ)數(shù)據(jù)；中間邏輯層：解析應(yīng)用層的業(yè)務(wù)邏輯，使應(yīng)用層和原始數(shù)據(jù)互相獨(dú)立，提高應(yīng)用層系統(tǒng)（程序）的可擴(kuò)展性、可移植性；應(yīng)用層：面向最終用戶(hù)，提供和諧、簡(jiǎn)潔、方便的用戶(hù)界面，具有良好的業(yè)務(wù)無(wú)關(guān)性。網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)我們根據(jù)以下列出的幾點(diǎn)，擬定硬件系統(tǒng)結(jié)構(gòu)：系統(tǒng)已經(jīng)擁有比較完備的內(nèi)部網(wǎng)絡(luò)系統(tǒng)，此系統(tǒng)是全國(guó)系統(tǒng)的專(zhuān)用網(wǎng)絡(luò)。省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)、信息既可以在系統(tǒng)的網(wǎng)絡(luò)內(nèi)最大限度的實(shí)現(xiàn)數(shù)據(jù)共享，又能將可以對(duì)公眾發(fā)布的信息分不同的級(jí)別向外界發(fā)布。盡也許在網(wǎng)絡(luò)設(shè)計(jì)上考慮防止黑客襲擊、病毒傳播等破壞數(shù)據(jù)的手段和方式。盡也許運(yùn)用現(xiàn)有網(wǎng)絡(luò)系統(tǒng)，涉及系統(tǒng)專(zhuān)有網(wǎng)，公共Internet網(wǎng)，政府辦公局域網(wǎng)等。我們?cè)O(shè)計(jì)了一個(gè)在物理上可以隨時(shí)隔離或連接、由兩大部分組成的網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)，如下圖所示：說(shuō)明：出于網(wǎng)絡(luò)安全的因素，將整個(gè)網(wǎng)絡(luò)分為內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)兩部分。內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)的系統(tǒng)機(jī)構(gòu)基本相同。外部網(wǎng)絡(luò)基本上用在對(duì)外發(fā)布，不涉及保密信息。外部網(wǎng)絡(luò)需要的發(fā)布數(shù)據(jù)從內(nèi)部網(wǎng)絡(luò)中通過(guò)ETL工具獲得，存放在外部網(wǎng)絡(luò)的數(shù)據(jù)倉(cāng)庫(kù)中。外部網(wǎng)絡(luò)通過(guò)防火墻、路由器與Internet相連。為保證數(shù)據(jù)安全，只在外部網(wǎng)絡(luò)從內(nèi)部網(wǎng)絡(luò)抽取數(shù)據(jù)時(shí)，兩者才是連通的（且要通過(guò)防火墻），其余時(shí)間兩個(gè)網(wǎng)絡(luò)物理隔離。工作站分別為各個(gè)處室的個(gè)人PC機(jī)，也可以是單獨(dú)的工作站，功能為向ETL服務(wù)器提供倉(cāng)庫(kù)所需數(shù)據(jù)及通過(guò)瀏覽器訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)信息。ETL工具定期從各個(gè)處室的數(shù)據(jù)庫(kù)系統(tǒng)抽取數(shù)據(jù)，且ETL服務(wù)器兼中間數(shù)據(jù)庫(kù)服務(wù)器，抽取的數(shù)據(jù)暫時(shí)保存在ETL服務(wù)器上，在導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)之前允許修改?？紤]到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)決策分析時(shí)需要大量數(shù)據(jù)信息，所以規(guī)定互換機(jī)容量應(yīng)為1000M。OLAP服務(wù)器和應(yīng)用服務(wù)器結(jié)合比較緊密，在實(shí)際的應(yīng)用中共享一臺(tái)設(shè)備。入侵檢測(cè)系統(tǒng)是一臺(tái)單獨(dú)的設(shè)備，放在路由之后，起到防止非法入侵的作用。安全隱患掃描系統(tǒng)可以運(yùn)營(yíng)在一臺(tái)高性能的PC機(jī)上，提供及時(shí)的安全掃描，及早發(fā)現(xiàn)問(wèn)題。具體的硬件配置及全局網(wǎng)絡(luò)拓?fù)鋮⒁?jiàn)附件：HYPERLINK具體網(wǎng)絡(luò)拓?fù)鋱D及設(shè)備清單網(wǎng)絡(luò)層次結(jié)構(gòu)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)由內(nèi)而外分為四層： 1、系統(tǒng)內(nèi)核層：涉及數(shù)據(jù)倉(cāng)庫(kù)服務(wù)系統(tǒng)及應(yīng)用系統(tǒng)。 2、系統(tǒng)安全層： 使用網(wǎng)絡(luò)安全產(chǎn)品，與局現(xiàn)有網(wǎng)絡(luò)系統(tǒng)兼容，保護(hù)內(nèi)部數(shù)據(jù)安全，網(wǎng)上信息傳送安全、防止黑客破壞或惡意入侵。3、公共網(wǎng)絡(luò)層：基于TCP/IP的城域網(wǎng)和廣域網(wǎng)（省局目前開(kāi)通的幀中繼網(wǎng)），使用現(xiàn)在已經(jīng)建成的公共網(wǎng)絡(luò)將數(shù)據(jù)、信息、知識(shí)發(fā)布出去。4、外部應(yīng)用層：各種數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的客戶(hù)應(yīng)用系統(tǒng)，通過(guò)外部應(yīng)用系統(tǒng)用戶(hù)可以獲得系統(tǒng)提供的向外發(fā)布的各種信息。系統(tǒng)數(shù)據(jù)結(jié)構(gòu)省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是基于多維建模理論的關(guān)系型數(shù)據(jù)存儲(chǔ)方式，采用多星型結(jié)構(gòu)存儲(chǔ)維度和事實(shí)數(shù)據(jù)。行業(yè)特殊需求主題的增長(zhǎng)系統(tǒng)的分析方向眾多，涉及社會(huì)各界，且熱點(diǎn)每年都會(huì)發(fā)生變化，分析主題會(huì)隨著社會(huì)經(jīng)濟(jì)的發(fā)展不斷有所增長(zhǎng)，我們采用自頂向下的設(shè)計(jì)方法來(lái)設(shè)計(jì)局?jǐn)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，采用自底向上的方式實(shí)行，這樣每增長(zhǎng)一個(gè)主題就是建設(shè)一個(gè)新的數(shù)據(jù)集市，每個(gè)數(shù)據(jù)集市都是整體數(shù)據(jù)倉(cāng)庫(kù)的有機(jī)組成部分，分環(huán)節(jié)分階段建成完整的數(shù)據(jù)倉(cāng)庫(kù)，在完整的數(shù)據(jù)倉(cāng)庫(kù)建立起來(lái)以后，就可以更快的建立更多的數(shù)據(jù)集市，滿(mǎn)足系統(tǒng)不斷增長(zhǎng)的主題需求。主題所含指標(biāo)的修改主題的內(nèi)容是由指標(biāo)來(lái)體現(xiàn)，主題的分析目的也許在一定的范圍內(nèi)發(fā)生變化，起其所包含的指標(biāo)就會(huì)有相應(yīng)的增長(zhǎng)或減少，由于數(shù)據(jù)倉(cāng)庫(kù)采用的是多維方式的數(shù)據(jù)存儲(chǔ)方式，某個(gè)主題下指標(biāo)的增長(zhǎng)（減少），只需要在相應(yīng)的指標(biāo)維表、事實(shí)表中增長(zhǎng)（減少）新的數(shù)據(jù)即可；每個(gè)主題在數(shù)據(jù)庫(kù)相應(yīng)一個(gè)指標(biāo)代碼表，具體解釋主題下所含指標(biāo)。每個(gè)主題相關(guān)數(shù)據(jù)組成一個(gè)事實(shí)表。這樣主題可以很方便增長(zhǎng)，且效率比較高，主題下指標(biāo)可以適當(dāng)調(diào)整。指標(biāo)數(shù)據(jù)修改專(zhuān)業(yè)事實(shí)表（原始數(shù)據(jù)）專(zhuān)業(yè)事實(shí)表（原始數(shù)據(jù)）主題事實(shí)表（用戶(hù)使用數(shù)據(jù)）數(shù)據(jù)調(diào)整數(shù)據(jù)更新權(quán)限由于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)維護(hù)由分散的多個(gè)處室在不同的時(shí)間進(jìn)行，為了防止數(shù)據(jù)的異步操作給系統(tǒng)的數(shù)據(jù)一致性問(wèn)題。我們通過(guò)數(shù)據(jù)庫(kù)操作權(quán)限的控制，保證每個(gè)指標(biāo)數(shù)據(jù)只有唯一的用戶(hù)擁有更新（增長(zhǎng)、刪除、修改）權(quán)限，但可以有多個(gè)用戶(hù)有查詢(xún)權(quán)限。定期報(bào)警定期檢測(cè)各個(gè)處室的數(shù)據(jù)是否按設(shè)計(jì)規(guī)定及時(shí)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)，否則以適當(dāng)方式報(bào)警。決策算法的擴(kuò)展由系統(tǒng)結(jié)構(gòu)的高度模塊化實(shí)現(xiàn)。跨主題指標(biāo)的查詢(xún)通過(guò)調(diào)整主題指標(biāo)，減少跨主題指標(biāo)的查詢(xún)；臨時(shí)性的跨主題指標(biāo)查詢(xún)，運(yùn)用全局指標(biāo)庫(kù)，從不同的主題事實(shí)表中查詢(xún)。本地文獻(xiàn)讀寫(xiě)基于C/S模式的應(yīng)用，將查詢(xún)分析結(jié)果保存在本地是一件很容易的事情，但基于B/S模式的應(yīng)用，雖然基于安全角度上的考慮，IE限制了ActiveX、JavaScript,、JavaApplet等對(duì)本地文獻(xiàn)的讀寫(xiě)；但對(duì)于JavaScript，ActiveX，可以通過(guò)配置IE的安全屬性，來(lái)讀寫(xiě)本地文獻(xiàn)，當(dāng)然，這種配置也會(huì)帶來(lái)一些安全隱患，為一些惡意代碼對(duì)本地文獻(xiàn)系統(tǒng)導(dǎo)致破壞提供了機(jī)會(huì)，就JavaApplet而言，Java安全提供了API和工具集用于向應(yīng)用程序或JavaApplet“注入”安全。提供細(xì)粒度(fine-grained)和可配置的訪(fǎng)問(wèn)控制的架構(gòu)被內(nèi)置到核心Java安全體系結(jié)構(gòu)之中，這是通過(guò)使用Java2權(quán)限、策略文獻(xiàn)、訪(fǎng)問(wèn)控制器功能和數(shù)字署名實(shí)現(xiàn)的。高頻指標(biāo)智能維護(hù)系統(tǒng)實(shí)現(xiàn)高頻指標(biāo)自適應(yīng)功能：用戶(hù)每次查詢(xún)數(shù)據(jù)時(shí)，數(shù)據(jù)庫(kù)自動(dòng)指標(biāo)查詢(xún)次數(shù)，系統(tǒng)定期刷新高頻指標(biāo)表，完畢高頻指標(biāo)的自動(dòng)維護(hù)。底層數(shù)據(jù)庫(kù)（倉(cāng)庫(kù)）設(shè)計(jì)設(shè)計(jì)原則數(shù)據(jù)庫(kù)設(shè)計(jì)是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心，其設(shè)計(jì)的好壞關(guān)系著整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的成敗。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求及Oracle9i數(shù)據(jù)庫(kù)系統(tǒng)的特性，我們對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)應(yīng)遵循如下設(shè)計(jì)原則：規(guī)范化原則：數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)數(shù)據(jù)量大，開(kāi)發(fā)周期長(zhǎng)，投入資金大，涉及面廣的系統(tǒng)工程。為開(kāi)發(fā)和將來(lái)系統(tǒng)維護(hù)的方便我們對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的所有對(duì)象如表空間、數(shù)據(jù)文獻(xiàn)、日記文獻(xiàn)、表、視圖、索引、存儲(chǔ)過(guò)程、列，都規(guī)定有嚴(yán)格的命名規(guī)范簡(jiǎn)潔性原則：數(shù)據(jù)庫(kù)設(shè)計(jì)盡也許簡(jiǎn)潔和易理解，對(duì)常用的數(shù)據(jù)集可通過(guò)自定義數(shù)據(jù)類(lèi)型來(lái)實(shí)現(xiàn)。高效性原則：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)達(dá)成TB級(jí)別，對(duì)查詢(xún)速度的提高是我們考慮的重點(diǎn)，可通過(guò)建Index，Cluster，盡也許的用存儲(chǔ)過(guò)程，允許適當(dāng)?shù)臄?shù)據(jù)冗余等技術(shù)來(lái)保證查詢(xún)效率。靈活性原則：設(shè)計(jì)要充足考慮主題，指標(biāo)等的變化合理性原則：數(shù)據(jù)應(yīng)在源頭輸入。數(shù)據(jù)庫(kù)的生成和維護(hù)應(yīng)盡量靠近信息源和使用點(diǎn)，使信息按最短的途徑存取，以保證信息合理和快速流動(dòng)。獨(dú)立性原則：數(shù)據(jù)庫(kù)與應(yīng)用程序嚴(yán)格的互相獨(dú)立，保證數(shù)據(jù)的存貯相應(yīng)用程序的獨(dú)立性，它的改變不影響應(yīng)用程序。安全性原則：由于局是國(guó)家一級(jí)保密單位，其信息對(duì)特定的用戶(hù)有特定的保密規(guī)定，我們?cè)谠O(shè)計(jì)數(shù)據(jù)庫(kù)時(shí)要有必要的安全機(jī)制設(shè)計(jì)嚴(yán)格的數(shù)據(jù)操作權(quán)限和級(jí)別控制，保證數(shù)據(jù)不被非法用戶(hù)訪(fǎng)問(wèn)，數(shù)據(jù)庫(kù)不被黑客破壞，如在數(shù)據(jù)庫(kù)的主鍵中加入操作用戶(hù)的信息等等。數(shù)據(jù)現(xiàn)狀1、數(shù)據(jù)格式多種多樣，一致性較差，并存在數(shù)據(jù)冗余各個(gè)處室使用的數(shù)據(jù)格式均不相同，有Oracle，dbf，sarp，MITT，Excel，Word，Text格式，且各個(gè)系統(tǒng)相對(duì)獨(dú)立。2、數(shù)據(jù)來(lái)源多，但數(shù)據(jù)存放相對(duì)分散，缺少統(tǒng)一管理數(shù)據(jù)不僅來(lái)源于局內(nèi)部各個(gè)專(zhuān)業(yè)處室，并且大來(lái)源于直報(bào)公司和其他相關(guān)部門(mén)或外部單位的報(bào)送。這些數(shù)據(jù)一般分散存放在各個(gè)專(zhuān)業(yè)科室的數(shù)據(jù)庫(kù)中，缺少集中存放和管理3、數(shù)據(jù)量很大，但對(duì)數(shù)據(jù)資源的開(kāi)發(fā)運(yùn)用不充足業(yè)務(wù)涉及到各行各業(yè)和眾多公司，指標(biāo)很多，數(shù)據(jù)量很大，各級(jí)局只能做到將這些數(shù)據(jù)匯總成為報(bào)表、年鑒、縣卡，還不能對(duì)專(zhuān)業(yè)數(shù)據(jù)進(jìn)行各種深層次分析、綜合、提煉、挖掘。不便于分析、預(yù)測(cè)。4、偏重于上報(bào)報(bào)表 在計(jì)劃經(jīng)濟(jì)時(shí)期，局的職能重要是為上級(jí)機(jī)關(guān)報(bào)送報(bào)表；在市場(chǎng)經(jīng)濟(jì)時(shí)期，局不僅要為上級(jí)機(jī)關(guān)報(bào)送報(bào)表，并且還要更多地為輔助本級(jí)政府宏觀(guān)決策和公司微觀(guān)決策及時(shí)提供各種信息和情報(bào)。新時(shí)期對(duì)信息的質(zhì)量提出了更高的規(guī)定：為了對(duì)復(fù)雜的動(dòng)態(tài)環(huán)境做出及時(shí)響應(yīng)，現(xiàn)代管理規(guī)定在大量的數(shù)據(jù)中找出有價(jià)值的信息和情報(bào)作為決策時(shí)參考的依據(jù)；在決策過(guò)程中，一旦需要，決策人員可以不久得到方方面面詳盡的信息和情報(bào)支持，涉及歷史的、當(dāng)前的、未來(lái)的各種信息和情報(bào)資源；支持對(duì)分布在不同地點(diǎn)的數(shù)據(jù)或信息進(jìn)行操作，涉及內(nèi)部、外部或遠(yuǎn)程的數(shù)據(jù)和信息；支持對(duì)不同類(lèi)型和格式的數(shù)據(jù)或信息進(jìn)行操作；信息要為更廣大的社會(huì)用戶(hù)特別是公司的微觀(guān)決策提供支持；規(guī)定信息資源能實(shí)現(xiàn)充足共享與快速交流。數(shù)據(jù)存儲(chǔ)整體規(guī)劃根據(jù)省局?jǐn)?shù)據(jù)的特點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分為專(zhuān)業(yè)數(shù)據(jù)，主題數(shù)據(jù)和決策數(shù)據(jù)數(shù)據(jù)集市三個(gè)層次。這三個(gè)數(shù)據(jù)庫(kù)層次逐層濃縮，其層次結(jié)構(gòu)如下：各專(zhuān)業(yè)數(shù)據(jù)流專(zhuān)業(yè)數(shù)據(jù)層數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)集市數(shù)據(jù)庫(kù)模型專(zhuān)業(yè)數(shù)據(jù)是從局各處室的數(shù)據(jù)庫(kù)系統(tǒng)中抽取，轉(zhuǎn)換，清洗而來(lái)的數(shù)據(jù)；主題數(shù)據(jù)是從專(zhuān)業(yè)數(shù)據(jù)通過(guò)增長(zhǎng)一定的列或一定的數(shù)據(jù)運(yùn)算、修改等而得到的數(shù)據(jù)；決策數(shù)據(jù)各專(zhuān)業(yè)數(shù)據(jù)流專(zhuān)業(yè)數(shù)據(jù)層數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)集市數(shù)據(jù)庫(kù)模型專(zhuān)業(yè)數(shù)據(jù)層建立在相應(yīng)的子系統(tǒng)中，是為專(zhuān)業(yè)子系統(tǒng)服務(wù)的。其數(shù)據(jù)重要是與某專(zhuān)業(yè)子系統(tǒng)直接相關(guān)的數(shù)據(jù)。一般與其他專(zhuān)業(yè)子系統(tǒng)不發(fā)生頻繁的數(shù)據(jù)共享，它的物理位置可以設(shè)立在網(wǎng)絡(luò)服務(wù)器上，集中存儲(chǔ)，亦可設(shè)立在各專(zhuān)業(yè)子系統(tǒng)的微機(jī)上，呈分布式存儲(chǔ)。數(shù)據(jù)存儲(chǔ)層，其數(shù)據(jù)來(lái)源于專(zhuān)業(yè)數(shù)據(jù)層，但這些數(shù)據(jù)一般不限于某個(gè)專(zhuān)業(yè)子系統(tǒng)調(diào)用，而往往被其他專(zhuān)業(yè)子系統(tǒng)頻繁地共享，為若干個(gè)子系統(tǒng)和領(lǐng)導(dǎo)層提供信息服務(wù)。數(shù)據(jù)集市中存放對(duì)整個(gè)行業(yè)來(lái)說(shuō)，帶全局性的計(jì)劃、技術(shù)經(jīng)濟(jì)指標(biāo)，各種和實(shí)時(shí)數(shù)據(jù)分析，其數(shù)據(jù)除了來(lái)源于各主題數(shù)據(jù)庫(kù)以外，尚有模型庫(kù)和方法庫(kù)給予支持，作為領(lǐng)導(dǎo)提供預(yù)測(cè)和決策的支持。

能源能源工業(yè)工業(yè)經(jīng)濟(jì)決策交通郵電消費(fèi)生產(chǎn)價(jià)格居民家庭收入城市社會(huì)經(jīng)濟(jì)決策元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)組成示例

單個(gè)主題的數(shù)據(jù)庫(kù)邏輯設(shè)計(jì)地區(qū)維表地區(qū)維表地區(qū)編號(hào)地區(qū)名稱(chēng)…時(shí)間維表時(shí)間編號(hào)時(shí)間名稱(chēng)…專(zhuān)業(yè)事實(shí)表指標(biāo)編號(hào)時(shí)間編號(hào)地區(qū)編號(hào)數(shù)據(jù)…指標(biāo)維表指標(biāo)編號(hào)指標(biāo)名稱(chēng)…時(shí)間維表時(shí)間編碼時(shí)間名稱(chēng)…主題事實(shí)表指標(biāo)編碼時(shí)間編碼地區(qū)編碼數(shù)據(jù)…指標(biāo)維表指標(biāo)編號(hào)指標(biāo)名稱(chēng)…地區(qū)維表地區(qū)編號(hào)地區(qū)名稱(chēng)…主題所屬指標(biāo)主題編號(hào)指標(biāo)編號(hào)…主題表主題編碼主題描述…ETL系統(tǒng)需求規(guī)定采用自動(dòng)加手動(dòng)的方式導(dǎo)入數(shù)據(jù)。數(shù)據(jù)導(dǎo)入以定期自動(dòng)導(dǎo)入為主，設(shè)立到期自動(dòng)報(bào)警功能。各個(gè)處室可以在任何時(shí)候向ETL服務(wù)器導(dǎo)入數(shù)據(jù)，而只在擬定的時(shí)間從ETL服務(wù)器向數(shù)據(jù)倉(cāng)庫(kù)導(dǎo)入數(shù)據(jù)。提供導(dǎo)入數(shù)據(jù)的接口，直接與各個(gè)處室的數(shù)據(jù)庫(kù)連接，盡也許運(yùn)用現(xiàn)有系統(tǒng)數(shù)據(jù)，減輕各處室工作量。可以與通用的數(shù)據(jù)文獻(xiàn)進(jìn)行連接，適應(yīng)各專(zhuān)業(yè)處室也許的數(shù)據(jù)庫(kù)平臺(tái)的變更，能導(dǎo)入同種類(lèi)型的不同格式的數(shù)據(jù)。運(yùn)營(yíng)環(huán)境服務(wù)端指標(biāo)數(shù)據(jù)加載子系統(tǒng)運(yùn)營(yíng)于主流UNIX操作系統(tǒng)客戶(hù)端指標(biāo)數(shù)據(jù)抽取子系統(tǒng)運(yùn)營(yíng)在高性能PC上，Windows98以上版本操作系統(tǒng)，需要有Oracle客戶(hù)端支持。設(shè)計(jì)思想指標(biāo)數(shù)據(jù)抽取子系統(tǒng)建立靈活的數(shù)據(jù)導(dǎo)入方式，直接運(yùn)用中間件ODBC訪(fǎng)問(wèn)各種數(shù)據(jù)庫(kù)系統(tǒng)。建立統(tǒng)一的環(huán)境，各個(gè)處室在統(tǒng)一的環(huán)境下向中間數(shù)據(jù)庫(kù)導(dǎo)入數(shù)據(jù)。通過(guò)用戶(hù)權(quán)限區(qū)別各個(gè)處室應(yīng)當(dāng)導(dǎo)入的數(shù)據(jù)，讓不同用戶(hù)在導(dǎo)入數(shù)據(jù)時(shí)不會(huì)發(fā)生混亂。指標(biāo)數(shù)據(jù)加載子系統(tǒng)程序自動(dòng)運(yùn)營(yíng)的同時(shí)引進(jìn)人工干預(yù)，定期啟動(dòng)加載系統(tǒng)，自動(dòng)進(jìn)行中間數(shù)據(jù)庫(kù)向數(shù)據(jù)倉(cāng)庫(kù)導(dǎo)入數(shù)據(jù)的工作。建立一個(gè)數(shù)據(jù)導(dǎo)入的環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫(kù)模型庫(kù)中的規(guī)定執(zhí)行。結(jié)構(gòu)說(shuō)明局各種行業(yè)數(shù)據(jù)不是在統(tǒng)一的時(shí)間生成，數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前需要通過(guò)大量的運(yùn)算，為了不影響原有系統(tǒng)的正常運(yùn)營(yíng)和保證導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的對(duì)的性與有效性，設(shè)立中間數(shù)據(jù)庫(kù)。中間數(shù)據(jù)庫(kù)起所有數(shù)據(jù)從傳統(tǒng)數(shù)據(jù)庫(kù)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)渡作用。處室數(shù)據(jù)存放在不同媒介中，提供手動(dòng)輸入界面、程序自動(dòng)導(dǎo)入功能、半自動(dòng)導(dǎo)入等等。接受從局各個(gè)處室收集的指標(biāo)數(shù)據(jù)，通過(guò)抽取、清洗，存放在中間數(shù)據(jù)庫(kù)，在特定的時(shí)間檢查數(shù)據(jù)倉(cāng)庫(kù)需要的數(shù)據(jù)是否齊全，齊全后一次性加載到數(shù)據(jù)倉(cāng)庫(kù)的專(zhuān)業(yè)事實(shí)表中。人工輸入數(shù)據(jù)倉(cāng)庫(kù)中間數(shù)據(jù)庫(kù)自動(dòng)導(dǎo)入各個(gè)處室人工輸入數(shù)據(jù)倉(cāng)庫(kù)中間數(shù)據(jù)庫(kù)自動(dòng)導(dǎo)入各個(gè)處室數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載過(guò)程高度模塊化，ETL系統(tǒng)用數(shù)據(jù)抽取模型從各處室抽取數(shù)據(jù)、用數(shù)據(jù)清洗模型清洗數(shù)據(jù)、用轉(zhuǎn)換模型轉(zhuǎn)換不同類(lèi)型的數(shù)據(jù)、用加載模型加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)。ETL系統(tǒng)是一個(gè)體系環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫(kù)模型庫(kù)中的規(guī)定執(zhí)行。維護(hù)系統(tǒng)則通過(guò)維護(hù)中間數(shù)據(jù)庫(kù)的模型庫(kù)達(dá)成維護(hù)ETL服務(wù)器的目的。數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載有以下子系統(tǒng)：指標(biāo)數(shù)據(jù)抽取子系統(tǒng)。這個(gè)系統(tǒng)又可以稱(chēng)為數(shù)據(jù)導(dǎo)入。功能：數(shù)據(jù)抽取、數(shù)據(jù)清洗。把各個(gè)處室不同格式的數(shù)據(jù)按指標(biāo)進(jìn)行抽取、通過(guò)清洗后存入中間數(shù)據(jù)庫(kù)，允許數(shù)據(jù)修改。指標(biāo)數(shù)據(jù)抽取子系統(tǒng)能收集各種通用格式的數(shù)據(jù)，提供輸入界面手動(dòng)輸入數(shù)據(jù)。能轉(zhuǎn)換以下幾種數(shù)據(jù)格式：Sybase、Oracle、db2、dbf等可以通過(guò)odbc訪(fǎng)問(wèn)的數(shù)據(jù)庫(kù)，和Excel數(shù)據(jù)以及按順序排列數(shù)據(jù)的文本文獻(xiàn)。各種格式的數(shù)據(jù)都有相應(yīng)的模塊，這些模塊遵循統(tǒng)一數(shù)據(jù)接口，可以不斷增長(zhǎng)并辨認(rèn)新的數(shù)據(jù)格式。指標(biāo)數(shù)據(jù)加載子系統(tǒng)。功能：數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載。把中間數(shù)據(jù)庫(kù)所有指標(biāo)數(shù)據(jù)通過(guò)轉(zhuǎn)換后，加載到數(shù)據(jù)倉(cāng)庫(kù)中。解決流程指標(biāo)數(shù)據(jù)抽取子系統(tǒng)通過(guò)讀取ETL中間數(shù)據(jù)庫(kù)中的抽取模型和清洗模型，把各個(gè)處室的數(shù)據(jù)暫存到中間數(shù)據(jù)庫(kù)。指標(biāo)數(shù)據(jù)加載子系統(tǒng)讀取中間數(shù)據(jù)庫(kù)中的轉(zhuǎn)換模型與加載模型，把中間數(shù)據(jù)庫(kù)的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。系統(tǒng)管理需求規(guī)定數(shù)據(jù)的維護(hù)年度數(shù)據(jù)至少保存2023以上；進(jìn)度（月、季、半年度）數(shù)據(jù)至少保存5年以上；在條件允許的情況下，數(shù)據(jù)保存盡也許長(zhǎng)的時(shí)間。歷史數(shù)據(jù)的導(dǎo)出、導(dǎo)入功能。隨著指標(biāo)體系的變化，可以對(duì)數(shù)據(jù)進(jìn)行少量修改，插入、增長(zhǎng)新的數(shù)據(jù)。對(duì)時(shí)間跨度很大的普查數(shù)據(jù)等非時(shí)間累加數(shù)據(jù)按實(shí)際需要保存相應(yīng)年限。對(duì)數(shù)據(jù)要進(jìn)行備份。指標(biāo)的維護(hù)數(shù)據(jù)庫(kù)指標(biāo)管理、維護(hù)，隨時(shí)間的推移可增長(zhǎng)主題下涉及的指標(biāo)；能適應(yīng)制度的變化，指標(biāo)口徑（指標(biāo)含義）能進(jìn)行適當(dāng)調(diào)整。行政區(qū)劃代碼允許調(diào)整。系統(tǒng)的維護(hù)設(shè)立不同級(jí)別用戶(hù)的維護(hù)訪(fǎng)問(wèn)權(quán)限。各個(gè)處室只有維護(hù)本處室相應(yīng)主題部分的權(quán)限。外界用戶(hù)無(wú)權(quán)訪(fǎng)問(wèn)維護(hù)系統(tǒng)。系統(tǒng)管理具有日記功能。主題的維護(hù)隨著時(shí)間、形式的變化，主題可以增長(zhǎng)或減少。分析方法的維護(hù)對(duì)現(xiàn)有分析方法提供描述，可以對(duì)分析方法進(jìn)行修改?？梢栽鲩L(zhǎng)分析方法。備份數(shù)據(jù)倉(cāng)庫(kù)的備份與劫難恢復(fù)功能。運(yùn)營(yíng)環(huán)境系統(tǒng)運(yùn)營(yíng)在高性能PC機(jī)上，操作系統(tǒng)為Windows系統(tǒng)。設(shè)計(jì)思想系統(tǒng)管理系統(tǒng)自主開(kāi)發(fā)。在操作習(xí)慣、程序風(fēng)格上與Windows一致。結(jié)構(gòu)說(shuō)明系統(tǒng)管理是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的保障系統(tǒng)，保障數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)正常運(yùn)營(yíng)。系統(tǒng)管理分為兩大子系統(tǒng)：ETL管理子系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)，分別管理ETL服務(wù)器中間數(shù)據(jù)庫(kù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。ETL服務(wù)器ETL服務(wù)器系統(tǒng)管理指標(biāo)管理主題管理備份與維護(hù)權(quán)限管理元數(shù)據(jù)管理數(shù)據(jù)倉(cāng)庫(kù)ETL管理子系統(tǒng)所有轉(zhuǎn)換規(guī)則都存在數(shù)據(jù)庫(kù)中，ETL管理子系統(tǒng)通過(guò)維護(hù)數(shù)據(jù)庫(kù)中數(shù)據(jù)達(dá)成維護(hù)ETL服務(wù)器的目的。維護(hù)子系統(tǒng)通過(guò)各種可視化和諧界面提供應(yīng)用戶(hù)簡(jiǎn)潔明了維護(hù)方式。維護(hù)ETL服務(wù)器數(shù)據(jù)抽取模型庫(kù)，保證從局各處室收集對(duì)號(hào)入座；維護(hù)ETL服務(wù)器數(shù)據(jù)清洗模型，避免垃圾數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)；維護(hù)ETL服務(wù)器數(shù)據(jù)轉(zhuǎn)換模型，保證轉(zhuǎn)換的對(duì)的性；維護(hù)ETL服務(wù)器數(shù)據(jù)加載模型，保持ETL服務(wù)器中指標(biāo)與數(shù)據(jù)倉(cāng)庫(kù)指標(biāo)的統(tǒng)一。進(jìn)行ETL服務(wù)器數(shù)據(jù)維護(hù)，采用備份與恢復(fù)避免中間數(shù)據(jù)庫(kù)數(shù)據(jù)遺失。通過(guò)ETL加載子系統(tǒng)提供的接口，控制ETL加載子系統(tǒng)的運(yùn)營(yíng)。數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)元數(shù)據(jù)管理：管理關(guān)于數(shù)據(jù)的數(shù)據(jù)，它描述的是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)和環(huán)境。元數(shù)據(jù)分為兩類(lèi)：:一類(lèi)是管理元數(shù)據(jù)，它是對(duì)元數(shù)據(jù)及其內(nèi)容，數(shù)據(jù)倉(cāng)庫(kù)主題，數(shù)據(jù)轉(zhuǎn)換及各種操作信息的描述；另一類(lèi)是用戶(hù)元數(shù)據(jù)，它幫助用戶(hù)查詢(xún)信息，理解結(jié)果，了解數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)和組織等。決策模型庫(kù)維護(hù)主題庫(kù)維護(hù)數(shù)據(jù)備份與維護(hù)挖掘模型庫(kù)維護(hù)高頻數(shù)據(jù)維護(hù)解決流程數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)：對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)進(jìn)行定期的自動(dòng)或手動(dòng)維護(hù)，涉及備份與恢復(fù)。元數(shù)據(jù)分類(lèi)：技術(shù)元數(shù)據(jù)；商業(yè)元數(shù)據(jù)；數(shù)據(jù)倉(cāng)庫(kù)操作型信息。ETL管理子系統(tǒng)數(shù)據(jù)展現(xiàn)需求規(guī)定查詢(xún)可以方便的對(duì)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的所有數(shù)據(jù)進(jìn)行檢索、查詢(xún)。能進(jìn)行任意條件組合查詢(xún)，并支持模糊查詢(xún)等具有智能高頻指標(biāo)自適應(yīng)功能，能根據(jù)用戶(hù)使用的頻率，對(duì)高頻指標(biāo)表進(jìn)行自動(dòng)維護(hù)。提供關(guān)聯(lián)指標(biāo)的搜索功能。導(dǎo)出數(shù)據(jù)的展現(xiàn)能提供文字說(shuō)明、簡(jiǎn)樸圖表顯示、多種圖形（線(xiàn)圖、餅圖，方柱圖等）直觀(guān)顯示（達(dá)成兩會(huì)系統(tǒng)的圖形功能）。主欄、賓欄可以互換，可以顯示多層表格結(jié)構(gòu)。簡(jiǎn)樸的運(yùn)算功能：計(jì)算均值、最大值、最小值、求和、發(fā)展速度、比重、標(biāo)準(zhǔn)差，可以排序。提供經(jīng)濟(jì)地圖的直觀(guān)表達(dá)?？梢源蛴?bào)表、圖形。提供通用數(shù)據(jù)格式的查詢(xún)數(shù)據(jù)導(dǎo)出功能，涉及文本、dbf庫(kù)文獻(xiàn)、Word文檔、Excel表格。所查詢(xún)出來(lái)的表能保存或另存為其他格式文獻(xiàn)。提供簡(jiǎn)樸分析報(bào)告自動(dòng)生成功能。展現(xiàn)結(jié)果可通過(guò)用戶(hù)列表形式用E-mail向用戶(hù)發(fā)送，也可進(jìn)行功能設(shè)立，定期自動(dòng)發(fā)送。聯(lián)機(jī)分析（OLAP：On-LineAnalyticalProcessing）可以進(jìn)行時(shí)間序列分析和變量分析。時(shí)間序列分析：普通最小二乘法(Ls)帶有自回歸誤差校正項(xiàng)的最小二乘法兩階段最小二乘法加權(quán)最小二乘法加權(quán)兩階段最小二乘法非線(xiàn)性最小二乘法加權(quán)非線(xiàn)性最小二乘法變量分析：主成分分析相關(guān)分析判別分析因子分析聚類(lèi)分析數(shù)據(jù)挖掘決策支持、數(shù)據(jù)挖掘子系統(tǒng)可以進(jìn)行數(shù)據(jù)鉆取、挖掘?？梢詮姆治鼋Y(jié)果逐步查詢(xún)到更具體的數(shù)據(jù)。運(yùn)營(yíng)環(huán)境服務(wù)系統(tǒng)運(yùn)營(yíng)在UNIX操作系統(tǒng)下。瀏覽器運(yùn)營(yíng)在采用HTTP協(xié)議的任何操作系統(tǒng)下。設(shè)計(jì)思想盡量選用目前成熟的OLAP多維分析、數(shù)據(jù)挖掘工具。對(duì)有特殊規(guī)定的決策支持算法，采用在購(gòu)買(mǎi)的軟件包上進(jìn)行二次開(kāi)發(fā)。Web頁(yè)面采用以抽象畫(huà)為主格調(diào)的背景，高雅清新的頁(yè)面風(fēng)格。各個(gè)主題格調(diào)保持基本一致，但各個(gè)具體主題的用戶(hù)界面各有特色，突出各自主題特點(diǎn)。結(jié)構(gòu)說(shuō)明應(yīng)用服務(wù)器直接與數(shù)據(jù)倉(cāng)庫(kù)交互，解決外界查詢(xún)請(qǐng)求；WEB服務(wù)器完畢和用戶(hù)的交互，直接為用戶(hù)提供查詢(xún)、分析數(shù)據(jù)，接受用戶(hù)輸入；OLAP服務(wù)器與用服務(wù)器交互得到大量數(shù)據(jù)，將對(duì)大量數(shù)據(jù)進(jìn)行分析計(jì)算的結(jié)果返回給WEB服務(wù)器。提供應(yīng)用戶(hù)訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的接口，使數(shù)據(jù)倉(cāng)庫(kù)的訪(fǎng)問(wèn)對(duì)用戶(hù)透明，完畢數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中提取后通過(guò)運(yùn)算、分析，用直觀(guān)的方式展現(xiàn)給用戶(hù)。數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)展現(xiàn)報(bào)表解決查詢(xún)數(shù)據(jù)導(dǎo)出簡(jiǎn)樸分析報(bào)告生成即席查詢(xún)、排序多種圖表直觀(guān)顯示多種決策算法數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)展現(xiàn)報(bào)表解決查詢(xún)數(shù)據(jù)導(dǎo)出簡(jiǎn)樸分析報(bào)告生成即席查詢(xún)、排序多種圖表直觀(guān)顯示多種決策算法數(shù)據(jù)展現(xiàn)采用多種靈活的方式，比如客戶(hù)/服務(wù)器模式或?yàn)g覽器/服務(wù)器模式。我們分為以下子系統(tǒng)：應(yīng)用服務(wù)器是數(shù)據(jù)倉(cāng)庫(kù)與應(yīng)用系統(tǒng)的統(tǒng)一，使應(yīng)用系統(tǒng)訪(fǎng)問(wèn)數(shù)據(jù)不需了解數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)。OLAP決策分析子系統(tǒng)進(jìn)行多維分析、運(yùn)用決策模型進(jìn)行決策分析。按規(guī)定生成簡(jiǎn)樸文字分析報(bào)告。WEB服務(wù)器使用戶(hù)能通過(guò)瀏覽器訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)，其中還涉及協(xié)調(diào)控制數(shù)據(jù)展現(xiàn)系統(tǒng)的各子系統(tǒng)，為用戶(hù)提供與數(shù)據(jù)倉(cāng)庫(kù)交互界面，解決用戶(hù)的查詢(xún)分析請(qǐng)求。報(bào)表解決子系統(tǒng) 滿(mǎn)足用戶(hù)對(duì)報(bào)表的解決、打印請(qǐng)求。數(shù)據(jù)挖掘子系統(tǒng) 對(duì)數(shù)據(jù)進(jìn)行分析挖掘。圖形展示子系統(tǒng) 對(duì)輸入的數(shù)據(jù)進(jìn)行各種圖形展示，輸出數(shù)據(jù)表格、餅圖、柱狀圖、折線(xiàn)圖等等。數(shù)據(jù)導(dǎo)出子系統(tǒng)WEB服務(wù)器應(yīng)用服務(wù)器用戶(hù)瀏覽器圖形展示子系統(tǒng)OLAP決策分析子系統(tǒng)數(shù)據(jù)挖掘子系統(tǒng)數(shù)據(jù)導(dǎo)出子系統(tǒng)報(bào)表解決子系統(tǒng)WEB服務(wù)器應(yīng)用服務(wù)器用戶(hù)瀏覽器圖形展示子系統(tǒng)OLAP決策分析子系統(tǒng)數(shù)據(jù)挖掘子系統(tǒng)數(shù)據(jù)導(dǎo)出子系統(tǒng)報(bào)表解決子系統(tǒng)對(duì)用戶(hù)需要導(dǎo)出查詢(xún)數(shù)據(jù)時(shí)，將需要導(dǎo)出的數(shù)據(jù)按各種通用格式導(dǎo)出。解決流程數(shù)據(jù)展現(xiàn)系統(tǒng)采用J2EE技術(shù)平臺(tái)，解決用戶(hù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)訪(fǎng)問(wèn)、運(yùn)算、展現(xiàn)等問(wèn)題。接口設(shè)計(jì)外部接口用戶(hù)接口數(shù)據(jù)展現(xiàn)部分采用瀏覽器的模式與用戶(hù)交互信息。數(shù)據(jù)采集、原數(shù)據(jù)管理系統(tǒng)采用C/S模式與用戶(hù)交互硬件接口本系統(tǒng)沒(méi)有特定的硬件接口軟件接口ETL系統(tǒng)接口：ETL系統(tǒng)分為指標(biāo)數(shù)據(jù)加載子系統(tǒng)和指標(biāo)數(shù)據(jù)抽取子系統(tǒng)，指標(biāo)數(shù)據(jù)抽取子系統(tǒng)為指標(biāo)數(shù)據(jù)加載子系統(tǒng)提供原始數(shù)據(jù)。指標(biāo)數(shù)據(jù)抽取子系統(tǒng)是完全模塊化的。各模塊完全獨(dú)立，具有完整的數(shù)據(jù)抽取、清洗功能，根據(jù)不同的源數(shù)據(jù)類(lèi)型開(kāi)發(fā)相應(yīng)的模塊，保證現(xiàn)在數(shù)據(jù)格式有相應(yīng)的數(shù)據(jù)采集模塊、新增或更換了數(shù)據(jù)格式，只需添加或修改相應(yīng)的模塊即可，易于維護(hù)和升級(jí)。因此，指標(biāo)數(shù)據(jù)抽取子系統(tǒng)讀取數(shù)據(jù)（數(shù)據(jù)導(dǎo)入）時(shí)，通過(guò)ODBC標(biāo)準(zhǔn)接口獲得數(shù)據(jù)。指標(biāo)數(shù)據(jù)加載子系統(tǒng)檢測(cè)客戶(hù)端提交到中間數(shù)據(jù)庫(kù)的數(shù)據(jù)完整且合符規(guī)定期，允許將數(shù)據(jù)從中間數(shù)據(jù)庫(kù)加載到數(shù)據(jù)倉(cāng)庫(kù)專(zhuān)業(yè)事實(shí)表。系統(tǒng)管理系統(tǒng)接口：系統(tǒng)管理系統(tǒng)分為ETL管理子系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)，ETL管理子系統(tǒng)通過(guò)管理ETL中間數(shù)據(jù)庫(kù)的模型庫(kù)達(dá)成管理指標(biāo)數(shù)據(jù)抽取子系統(tǒng)和指標(biāo)數(shù)據(jù)加載子系統(tǒng)的目的。數(shù)據(jù)展現(xiàn)系統(tǒng)接口：數(shù)據(jù)展現(xiàn)有兩種形式，一種是靜態(tài)展現(xiàn)，即將事先定義好的結(jié)構(gòu)和模式將某種結(jié)果強(qiáng)制性的展現(xiàn)，另一種是交互式的展現(xiàn)，由用戶(hù)提出請(qǐng)求后，按用戶(hù)的實(shí)時(shí)規(guī)定進(jìn)行展現(xiàn)，數(shù)據(jù)展現(xiàn)的過(guò)程為，用戶(hù)通過(guò)WEB界面提交請(qǐng)求，WEB服務(wù)器，將接受的用戶(hù)請(qǐng)求提交給應(yīng)用服務(wù)器，應(yīng)用服務(wù)器按用戶(hù)請(qǐng)求，返回的相應(yīng)數(shù)據(jù)提交OLAP服務(wù)器按指定規(guī)定解決或直接送到WEB服務(wù)器，展現(xiàn)給用戶(hù)。因此，WEB服務(wù)器提供接受用戶(hù)請(qǐng)求接口，應(yīng)用服務(wù)器提供訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)接口，OLAP服務(wù)器提供接受數(shù)據(jù)倉(cāng)為返回?cái)?shù)據(jù)接口。其他接口以各個(gè)子系統(tǒng)之間的接口為準(zhǔn)。通訊接口以各個(gè)子系統(tǒng)的接口為準(zhǔn)。內(nèi)部接口以各個(gè)子系統(tǒng)的接口為準(zhǔn)。安全設(shè)計(jì)網(wǎng)絡(luò)安全針對(duì)省局內(nèi)部網(wǎng)的網(wǎng)絡(luò)、系統(tǒng)現(xiàn)狀，特別是因特網(wǎng)出口、數(shù)據(jù)庫(kù)服務(wù)器等安全薄弱環(huán)節(jié)，我們制訂了具有針對(duì)性的安全解決方案，以保證省局的內(nèi)部網(wǎng)絡(luò)及數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)更安全。防火墻黑客一般會(huì)運(yùn)用因特網(wǎng)出口來(lái)襲擊內(nèi)部網(wǎng)絡(luò)。為了將外網(wǎng)（Internet）和內(nèi)網(wǎng)進(jìn)行有效的安全隔離，保證內(nèi)網(wǎng)的安全，在與Internet連接的出口處應(yīng)安裝防火墻。在內(nèi)部網(wǎng)與Internet連接的出口處安裝防火墻有重要意義：（1）保護(hù)脆弱的服務(wù)：通過(guò)過(guò)濾不安全的服務(wù)，防火墻可以極大地提高網(wǎng)絡(luò)安全和減少子網(wǎng)中主機(jī)的風(fēng)險(xiǎn)。例如，防火墻可以嚴(yán)禁NIS、NFS服務(wù)通過(guò)，防火墻同時(shí)可以拒絕源路由和ICMP重定向封包等。（2）控制對(duì)系統(tǒng)的訪(fǎng)問(wèn)：防火墻可以提供對(duì)系統(tǒng)的訪(fǎng)問(wèn)控制。如允許從外部訪(fǎng)問(wèn)某些主機(jī)，同時(shí)嚴(yán)禁訪(fǎng)問(wèn)此外的主機(jī)。例如，防火墻允許外部訪(fǎng)問(wèn)特定的郵件服務(wù)器和Web服務(wù)器。（3）集中的安全管理：防火墻對(duì)公司內(nèi)部網(wǎng)實(shí)現(xiàn)集中的安全管理，在防火墻定義的安全規(guī)則可以運(yùn)用于整個(gè)內(nèi)部網(wǎng)絡(luò)系統(tǒng)，而無(wú)須在內(nèi)部網(wǎng)每臺(tái)機(jī)器上分別設(shè)立安全策略。如在防火墻可以定義不同的認(rèn)證方法，而不需在每臺(tái)機(jī)器上分別安裝特定的認(rèn)證軟件。外部用戶(hù)也只需要通過(guò)—次認(rèn)證即可訪(fǎng)問(wèn)內(nèi)部網(wǎng)。（4）增強(qiáng)的保密性：使用防火墻可以阻止襲擊者獲取襲擊網(wǎng)絡(luò)系統(tǒng)的有用信息，如Finger和DNS。（5）記錄和網(wǎng)絡(luò)運(yùn)用數(shù)據(jù)以及非法使用數(shù)據(jù)：防火墻可以記錄和通過(guò)防火墻的網(wǎng)絡(luò)通訊，提供關(guān)于網(wǎng)絡(luò)使用的數(shù)據(jù)，并且防火墻可以提供數(shù)據(jù)，來(lái)判斷也許的襲擊和探測(cè)。（6）策略執(zhí)行：防火墻提供了制定和執(zhí)行網(wǎng)絡(luò)安全策略的手段。未設(shè)立防火墻時(shí)，網(wǎng)絡(luò)安全取決于每臺(tái)主機(jī)的用戶(hù)。推薦產(chǎn)品：NetScreen公司NetScreen-100防火墻。入侵檢測(cè)運(yùn)用防火墻技術(shù)，通過(guò)仔細(xì)的配置，通常可以在內(nèi)外網(wǎng)之間提供安全的網(wǎng)絡(luò)保護(hù)，減少了網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。但是，僅僅使用防火墻、網(wǎng)絡(luò)安全還遠(yuǎn)遠(yuǎn)不夠：（1）入侵者可尋找防火墻背后也許敞開(kāi)的后門(mén)；（2）入侵者也許就在防火墻內(nèi)；（3）由于性能的限制，防火墻通常不能提供實(shí)時(shí)的入侵檢測(cè)能力。入侵檢測(cè)系統(tǒng)是近年出現(xiàn)的新型網(wǎng)絡(luò)安全技術(shù)，目的是提供實(shí)時(shí)的入侵檢測(cè)及采用相應(yīng)的防護(hù)手段，如記錄證據(jù)用于跟蹤和恢復(fù)、斷開(kāi)網(wǎng)絡(luò)連接等。實(shí)時(shí)入侵檢測(cè)能力之所以重要，一方面是它可以對(duì)付來(lái)自?xún)?nèi)部網(wǎng)絡(luò)的襲擊，另一方面它可以縮短黑客入侵的時(shí)間。入侵檢測(cè)系統(tǒng)通過(guò)監(jiān)控系統(tǒng)事件和傳輸?shù)木W(wǎng)絡(luò)數(shù)據(jù)，對(duì)可疑的行為進(jìn)行自動(dòng)監(jiān)測(cè)和安全響應(yīng)，使用戶(hù)的系統(tǒng)在受到危害之前即可截取并終止非法入侵的行為和內(nèi)部網(wǎng)絡(luò)的誤用，從而最大限度地減少安全風(fēng)險(xiǎn)，保護(hù)公司網(wǎng)絡(luò)的系統(tǒng)安全。推薦產(chǎn)品：網(wǎng)絡(luò)隱患掃描網(wǎng)絡(luò)隱患掃描重要是對(duì)被檢測(cè)網(wǎng)絡(luò)里的設(shè)備（比如主機(jī)、路由器和互換機(jī)等）進(jìn)行安全檢測(cè)，找出它們隱藏的安全漏洞，及時(shí)對(duì)這些漏洞進(jìn)行修補(bǔ)，從而消除安全隱患。它在網(wǎng)絡(luò)層掃描各種設(shè)備，檢查路由器、Web服務(wù)器、Unix服務(wù)器、WindowsNT服務(wù)器、桌面系統(tǒng)和防火墻的安全漏洞，它不僅給用戶(hù)提供網(wǎng)絡(luò)的安全狀況的清楚圖象，使用戶(hù)了解其網(wǎng)絡(luò)的安全狀況，并對(duì)存在的問(wèn)題和漏洞給予及時(shí)的排解和補(bǔ)救，同時(shí)還支持用戶(hù)建立適應(yīng)性的安全策略和有效地安全模式，為用戶(hù)提供專(zhuān)業(yè)的安全報(bào)告，涉及修改建議和專(zhuān)業(yè)知識(shí)庫(kù)等。推薦產(chǎn)品：。安全服務(wù)網(wǎng)絡(luò)是動(dòng)態(tài)的，網(wǎng)絡(luò)安全也是動(dòng)態(tài)的。因此，網(wǎng)絡(luò)安全并不是只依賴(lài)于某些安全產(chǎn)品就能解決的，不也許一勞永逸。它需要合理的安全保障體系和適當(dāng)?shù)陌踩a(chǎn)品組合，更需要根據(jù)網(wǎng)絡(luò)系統(tǒng)需求及網(wǎng)絡(luò)用戶(hù)的實(shí)際情況來(lái)規(guī)劃、設(shè)計(jì)和實(shí)行一定的安全策略，對(duì)網(wǎng)絡(luò)安全狀態(tài)進(jìn)行評(píng)估，找出公司網(wǎng)絡(luò)的安全缺陷，實(shí)行安全審計(jì)和操作，這些都屬于安全服務(wù)的范疇。安全產(chǎn)品和安全服務(wù)歷來(lái)都是密不可分的。這里指的服務(wù)并不僅僅是針對(duì)我們產(chǎn)品的售后服務(wù)。網(wǎng)絡(luò)安全服務(wù)是一個(gè)廣義的概念，它是針對(duì)服務(wù)對(duì)象的行業(yè)特點(diǎn)、網(wǎng)絡(luò)安全所面臨的威脅和特定的安全需求，為客戶(hù)量身定制的一攬子解決方案與具體實(shí)現(xiàn)，是一項(xiàng)從安全評(píng)估與技術(shù)征詢(xún)、方案設(shè)計(jì)、方案實(shí)行、驗(yàn)收到定期安全檢測(cè)、安全技術(shù)培訓(xùn)、應(yīng)急響應(yīng)支持的全面的、綜合的服務(wù)。公司作為一家專(zhuān)業(yè)的網(wǎng)絡(luò)安全服務(wù)商，長(zhǎng)期以來(lái)，一直致力于為客戶(hù)提供高質(zhì)量、高效率、高可靠性的解決方案、自主知識(shí)產(chǎn)權(quán)的安全產(chǎn)品和長(zhǎng)期、優(yōu)質(zhì)、全面的網(wǎng)絡(luò)安全服務(wù)。我們提供公司級(jí)的整體安全策略和解決方案，并基于您的具體需求來(lái)保障網(wǎng)絡(luò)的安全性，對(duì)安全事件進(jìn)行快速響應(yīng)。服務(wù)流程：安全評(píng)估與技術(shù)征詢(xún)安全評(píng)估與技術(shù)征詢(xún)方案設(shè)計(jì)客戶(hù)確認(rèn)方案實(shí)施驗(yàn)收安全技術(shù)培訓(xùn)應(yīng)急響應(yīng)支持定期安全檢測(cè)數(shù)據(jù)庫(kù)安全1、創(chuàng)建和管理用戶(hù)建立用戶(hù)表，設(shè)立用戶(hù)操作功能子系統(tǒng)的范圍，根據(jù)用戶(hù)的身份和級(jí)別，擬定哪些功能不能訪(fǎng)問(wèn)，哪些功能能訪(fǎng)問(wèn)（功能級(jí)限制），或是同一級(jí)功能下哪些數(shù)據(jù)可訪(fǎng)問(wèn)，哪些數(shù)據(jù)不可訪(fǎng)問(wèn)（信息級(jí)限制）；2、管理權(quán)限和角色運(yùn)用數(shù)據(jù)庫(kù)的用戶(hù)安全機(jī)制，如ORACLE數(shù)據(jù)庫(kù)中的數(shù)據(jù)庫(kù)管理員（DBA）特權(quán)、資源（Resource）特權(quán)、連接（Connect）特權(quán)等可以分別授予ORACLE用戶(hù)。(用系統(tǒng)權(quán)限來(lái)控制用戶(hù)能否對(duì)數(shù)據(jù)庫(kù)執(zhí)行操作。對(duì)象權(quán)限控制用戶(hù)能否對(duì)單個(gè)對(duì)象（例如表和視圖)執(zhí)行操作；角色通過(guò)將相關(guān)的權(quán)限集合在一個(gè)單一的角色下，使DBA和應(yīng)用程序開(kāi)發(fā)者能簡(jiǎn)化權(quán)限管理。）3、創(chuàng)建和分派用戶(hù)配置文獻(xiàn)制定用戶(hù)配置文獻(xiàn)Profile，限制用戶(hù)的行為。限制一組用戶(hù)可以使用的系統(tǒng)資源。例如，它可以使數(shù)據(jù)庫(kù)終止執(zhí)行了一個(gè)小時(shí)以上的查詢(xún)；用Profile可以限制用戶(hù)對(duì)CPU資源的消耗，并且能增強(qiáng)口令的復(fù)雜性。Profile也可以定義口令多長(zhǎng)時(shí)間需要被更新一次等。4、其他數(shù)據(jù)庫(kù)內(nèi)部執(zhí)行級(jí)安全管理，重要有下面幾點(diǎn)的結(jié)合：用視圖限制用戶(hù)可以查看的數(shù)據(jù)用觸發(fā)器阻止越權(quán)更新表用存儲(chǔ)過(guò)程作為管理更新和刪除的工具5、數(shù)據(jù)庫(kù)掃描數(shù)據(jù)倉(cāng)庫(kù)是省局?jǐn)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中最重要的保護(hù)對(duì)象，數(shù)據(jù)庫(kù)服務(wù)器存儲(chǔ)了大量敏感的機(jī)密數(shù)據(jù)，是黑客襲擊的重點(diǎn)，其安全性至關(guān)重要。因此，為數(shù)據(jù)倉(cāng)庫(kù)建立嚴(yán)格的安全防范措施非常必要。數(shù)據(jù)庫(kù)掃描是一個(gè)針對(duì)數(shù)據(jù)庫(kù)管理系統(tǒng)風(fēng)險(xiǎn)評(píng)估的檢測(cè)工具。運(yùn)用它可以建立數(shù)據(jù)庫(kù)的安全規(guī)則，通過(guò)運(yùn)營(yíng)審核程序來(lái)提供有關(guān)安全風(fēng)險(xiǎn)和位置的簡(jiǎn)明報(bào)告。運(yùn)用數(shù)據(jù)庫(kù)掃描器對(duì)數(shù)據(jù)庫(kù)進(jìn)行定期的安全檢查能大大提高數(shù)據(jù)庫(kù)的安全。推薦產(chǎn)品：ISS公司的數(shù)據(jù)庫(kù)掃描器（DatabaseScanner）。系統(tǒng)可靠性設(shè)計(jì)可靠性數(shù)據(jù)庫(kù)系統(tǒng)運(yùn)營(yíng)在具有高可靠性的UNIX操作系統(tǒng)平臺(tái)下，保障了系統(tǒng)運(yùn)營(yíng)的高可靠性和長(zhǎng)期運(yùn)營(yíng)的高穩(wěn)定性；最終數(shù)據(jù)使用用戶(hù)通過(guò)瀏覽器獲取數(shù)據(jù)，瀏覽器自身的可靠性保證了用戶(hù)軟件的可靠性；可維護(hù)性數(shù)據(jù)展現(xiàn)部分采用了B/S模式，只要瀏覽器正常工作，數(shù)據(jù)查詢(xún)用戶(hù)不需要進(jìn)行維護(hù)，后臺(tái)系統(tǒng)的維護(hù)升級(jí)對(duì)用戶(hù)上透明的。數(shù)據(jù)采集、元數(shù)據(jù)管理部分功能規(guī)定強(qiáng)大，且具有針對(duì)性。采用C/S模式，其用戶(hù)量少，系統(tǒng)維護(hù)量相對(duì)較小?？蓴U(kuò)展性可導(dǎo)入源數(shù)據(jù)類(lèi)型的可擴(kuò)展性：ETL抽取子系統(tǒng)是完全模塊化的，增長(zhǎng)新的源數(shù)據(jù)類(lèi)型只需要開(kāi)發(fā)相應(yīng)的功能模塊，在理論上具有無(wú)限擴(kuò)展性。主題的擴(kuò)展性和主題下指標(biāo)的擴(kuò)展性：參見(jiàn)技術(shù)分析部分OLAP分析模式、決策算法的擴(kuò)展性：采用組件技術(shù)和動(dòng)態(tài)聯(lián)接庫(kù)。健壯性B/S模式客戶(hù)端（Browser）的健壯性：IE等瀏覽器為通用程序，其健壯性由開(kāi)發(fā)商保證C/S模式客戶(hù)端(Client)的健壯性：通過(guò)充足調(diào)試、嚴(yán)格測(cè)試提高其健壯性數(shù)據(jù)庫(kù)系統(tǒng)的健壯性：保障數(shù)據(jù)庫(kù)系統(tǒng)的軟硬件環(huán)境，其健壯性由數(shù)據(jù)庫(kù)廠(chǎng)商產(chǎn)品保證中間件系統(tǒng)的健壯性：應(yīng)用服務(wù)器和WEB服務(wù)器的健壯性由系統(tǒng)軟件生產(chǎn)商產(chǎn)品保證，自主開(kāi)發(fā)的中間件通過(guò)精心調(diào)試和嚴(yán)格測(cè)試來(lái)保證性能保證B/S模式速度：優(yōu)化中間件程序設(shè)計(jì)，提高其性能、效率；優(yōu)化數(shù)據(jù)庫(kù)設(shè)計(jì)，提高后臺(tái)數(shù)據(jù)庫(kù)的性能并發(fā)性能：中間件產(chǎn)品和數(shù)據(jù)庫(kù)系統(tǒng)都有良好的并發(fā)控制性能。數(shù)據(jù)流量控制：限制最多同時(shí)使用用戶(hù)數(shù)，適當(dāng)配置網(wǎng)絡(luò)參數(shù)穩(wěn)定性：嚴(yán)格單元測(cè)試，長(zhǎng)時(shí)間高負(fù)荷系統(tǒng)性能測(cè)試犯錯(cuò)解決犯錯(cuò)類(lèi)別網(wǎng)絡(luò)連接故障：整個(gè)系統(tǒng)由于網(wǎng)絡(luò)環(huán)境的因素，導(dǎo)致不能正常通信。系統(tǒng)連接故障由于系統(tǒng)的問(wèn)題，或者是人為的操作故障導(dǎo)致各個(gè)子系統(tǒng)無(wú)法正常聯(lián)系。ETL系統(tǒng)問(wèn)題由于人為的制造無(wú)效字符、無(wú)效數(shù)據(jù)到臨時(shí)數(shù)據(jù)庫(kù)，導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)時(shí)發(fā)生的故障。系統(tǒng)崩潰由于人為的錯(cuò)誤、外界因素、系統(tǒng)自身的不完整性等導(dǎo)致數(shù)據(jù)庫(kù)系統(tǒng)、應(yīng)用服務(wù)器/WEB服務(wù)器發(fā)生致命的錯(cuò)誤，而影響整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的正常運(yùn)營(yíng)。犯錯(cuò)解決自動(dòng)報(bào)警技術(shù)，系統(tǒng)定期檢測(cè)網(wǎng)絡(luò)系統(tǒng)和自身系統(tǒng)，一旦發(fā)生自身能檢測(cè)到的錯(cuò)誤則發(fā)出報(bào)警，報(bào)警的方式有圖象提醒，聲音提醒、日記提醒；按備份方案進(jìn)行系統(tǒng)備份，系統(tǒng)犯錯(cuò)或崩潰后迅速將系統(tǒng)恢復(fù)；各個(gè)系統(tǒng)保存系統(tǒng)運(yùn)營(yíng)日記，保存錯(cuò)誤信息，方便解決問(wèn)題；疑難問(wèn)題可以從Oracle公司獲得征詢(xún)幫助。備份與恢復(fù)建立完善的備份制度明確說(shuō)明天天的備份以什么方式、使用什么備份介質(zhì)進(jìn)行，是系統(tǒng)備份方案的具體實(shí)行細(xì)則。在制訂完畢后，應(yīng)嚴(yán)格按照制度進(jìn)行平常備份，否則將無(wú)法達(dá)成備份方案的目的。數(shù)據(jù)備份方式備份：備份系統(tǒng)中所有的數(shù)據(jù)。全備份所需時(shí)間最長(zhǎng)，但恢復(fù)時(shí)間最短，操作最方便，當(dāng)系統(tǒng)中數(shù)據(jù)量不大時(shí)，采用全備份最可靠。量備份：只備份上次完全備份以后增長(zhǎng)的數(shù)據(jù)。分備份：只備份上次完全備份以后有變化的數(shù)據(jù)。按需備份：根據(jù)臨時(shí)需要有選擇地進(jìn)行數(shù)據(jù)備份。數(shù)據(jù)恢復(fù)方式劫難恢復(fù)：劫難恢復(fù)措施在整個(gè)備份制度中占有相稱(chēng)重要的地位。由于它關(guān)系到系統(tǒng)在經(jīng)歷劫難后能否迅速恢復(fù)。劫難恢復(fù)操作通?？梢苑譃閮深?lèi)。第一類(lèi)是全盤(pán)恢復(fù)，第二類(lèi)是個(gè)別文獻(xiàn)恢復(fù)。全盤(pán)恢復(fù)：全盤(pán)恢復(fù)一般應(yīng)用在服務(wù)器發(fā)生意外劫難導(dǎo)致數(shù)據(jù)所有丟失、系統(tǒng)崩潰或是有計(jì)劃的系統(tǒng)升級(jí)、系統(tǒng)重組等，也稱(chēng)為系統(tǒng)恢復(fù)。個(gè)別文獻(xiàn)恢復(fù)：個(gè)別文獻(xiàn)恢復(fù)也許要比全盤(pán)恢復(fù)常見(jiàn)得多，運(yùn)用網(wǎng)絡(luò)備份系統(tǒng)的恢復(fù)功能，我們很容易恢復(fù)受損的個(gè)別文獻(xiàn)。運(yùn)營(yíng)設(shè)計(jì)一方面運(yùn)營(yíng)數(shù)據(jù)庫(kù)服務(wù)器，建立后臺(tái)數(shù)據(jù)環(huán)境；運(yùn)營(yíng)應(yīng)用服務(wù)器，提供用戶(hù)程序訪(fǎng)問(wèn)數(shù)據(jù)的公共通道；運(yùn)營(yíng)WEB服務(wù)器，提供瀏覽器用戶(hù)程序服務(wù)環(huán)境；運(yùn)營(yíng)（B/S或C/S）客戶(hù)端程序，完畢數(shù)據(jù)操作與維護(hù)。相關(guān)工具選擇數(shù)年來(lái)，系統(tǒng)花大力氣建立了數(shù)據(jù)庫(kù)，使系統(tǒng)走向信息化道路。目前，已有越來(lái)越多的關(guān)鍵性數(shù)據(jù)存入了數(shù)據(jù)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量是巨大的，其中數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中數(shù)據(jù)導(dǎo)入工作占整個(gè)數(shù)據(jù)倉(cāng)庫(kù)維護(hù)工作量的80％以上。據(jù)調(diào)查，現(xiàn)有省局每年大約產(chǎn)生1000M左右的數(shù)據(jù)，其中700M左右的數(shù)據(jù)需要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，要把這700M數(shù)據(jù)從1000M中分離，且導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)，這些工作沒(méi)有高效的工具是無(wú)法實(shí)現(xiàn)的。由于至少需要存放2023以上的數(shù)據(jù)才干滿(mǎn)足分析規(guī)定，這樣數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)隨時(shí)間倍增，數(shù)據(jù)在短時(shí)間內(nèi)勢(shì)必達(dá)成50G以上。數(shù)據(jù)倉(cāng)庫(kù)需要建立在一個(gè)環(huán)境之上，由各種功能強(qiáng)大的工具匯集而成。針對(duì)省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)，從其自身特點(diǎn)出發(fā)我們重要選擇市面上成熟、具有通用性、對(duì)我們項(xiàng)目開(kāi)發(fā)有利的產(chǎn)品。對(duì)市面上沒(méi)有相關(guān)通用性的產(chǎn)品，則要有針對(duì)性開(kāi)發(fā)。運(yùn)用現(xiàn)有成熟系統(tǒng)開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，保障系統(tǒng)穩(wěn)定性，使系統(tǒng)具有良好的開(kāi)放型，縮短開(kāi)發(fā)周期，及早見(jiàn)到成效。特別是在數(shù)據(jù)倉(cāng)庫(kù)、應(yīng)用服務(wù)器、WEB服務(wù)器選擇方面顯得尤為重要。在數(shù)據(jù)倉(cāng)庫(kù)最終應(yīng)用上，決策支持和數(shù)據(jù)挖掘工具的選擇也非常重要，畢竟要在短時(shí)間內(nèi)完畢許多相關(guān)算法是非常不容易的，我們可以有選擇的使用其他成熟的分析型工具，然后在其他分析工具中集成自己開(kāi)發(fā)的一部分與相關(guān)的分析型算法。其數(shù)據(jù)展現(xiàn)中圖形展示改造現(xiàn)有免費(fèi)源代碼，移植到數(shù)據(jù)倉(cāng)庫(kù)中來(lái)。數(shù)據(jù)庫(kù)選擇數(shù)據(jù)倉(cāng)庫(kù)是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心，如何選擇數(shù)據(jù)倉(cāng)庫(kù)、選擇如何的數(shù)據(jù)倉(cāng)庫(kù)是我們的第一任務(wù)。各個(gè)大的數(shù)據(jù)庫(kù)廠(chǎng)商都提出了自己的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)解決方案，也有自己的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品。最終我們選擇了Oracle9i為數(shù)據(jù)倉(cāng)庫(kù)，選擇的理由是：（具體介紹參見(jiàn)附錄：Oracle性能評(píng)估報(bào)告）我國(guó)行業(yè)一直使用Oracle作為其數(shù)據(jù)庫(kù)系統(tǒng)；Oracle公司的數(shù)據(jù)庫(kù)在全球占有率最高；Oracle9i是Oracle公司最新產(chǎn)品，全面支持internet，集成了最新數(shù)據(jù)倉(cāng)庫(kù)技術(shù)；Oracle公司應(yīng)用工具齊全，選擇Oracle9i可以運(yùn)用Oracle公司現(xiàn)有工具，縮短數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)開(kāi)發(fā)周期，并且保證系統(tǒng)間見(jiàn)的無(wú)縫連接。WEB服務(wù)器和應(yīng)用服務(wù)器幾乎所有的web服務(wù)器的內(nèi)核都是Apache，也許它有些過(guò)于龐大、歷史悠久，但是其有優(yōu)秀的性能和大量用戶(hù)群。Apache源代碼是公開(kāi)的，可以自由使用，它已經(jīng)成為Web服務(wù)器的事實(shí)測(cè)試標(biāo)準(zhǔn)。Apache以"補(bǔ)丁服務(wù)器"而聞名，Apache的初期開(kāi)發(fā)是通過(guò)對(duì)NCSA的http代碼添加補(bǔ)丁程序來(lái)進(jìn)行的。Apache被看做是"補(bǔ)丁服務(wù)器"還由于它的模塊化特性，該特性實(shí)現(xiàn)了Apache的靈活性和可擴(kuò)展性，并且開(kāi)發(fā)者可以運(yùn)用該特性很容易地添加第三方功能模塊，通過(guò)模塊開(kāi)發(fā)人員可以添加任何功能，模塊是很多內(nèi)容管理系統(tǒng)的功能基礎(chǔ)，如Midgard，Zope等。Apache并不是最快的Web服務(wù)器，但具有優(yōu)秀的功能和穩(wěn)定性，在很多負(fù)載很大的站點(diǎn)中運(yùn)營(yíng)非常正常。在使用Webstone進(jìn)行性能測(cè)試中，Apache的吞吐量位居第一，并且犯錯(cuò)最少，在測(cè)試中雖然Apache的可擴(kuò)展性不是最強(qiáng)，但是仍然是提供了如此多特性的服務(wù)器中速度最快的。Oracle公司的InternetApplicationServer集成了ApacheWEB服務(wù)器，也可以單獨(dú)使用數(shù)據(jù)庫(kù)建模工具我們選擇用CA公司的ERWIN位數(shù)據(jù)建模工具。ERWIN曾多次獲得大獎(jiǎng)，使用方便、功能強(qiáng)大。ERwin可以方便地構(gòu)造實(shí)體和聯(lián)系，表達(dá)實(shí)體間的各種約束關(guān)系，并根據(jù)模板創(chuàng)建相應(yīng)的存儲(chǔ)過(guò)程、包、觸發(fā)器、角色等，還可編寫(xiě)相應(yīng)的PB擴(kuò)展屬性，如編輯樣式、顯示風(fēng)格、有效性驗(yàn)證規(guī)則等。ERwin可以實(shí)現(xiàn)將已建好的ER模型到數(shù)據(jù)庫(kù)物理設(shè)計(jì)的轉(zhuǎn)換，即可在多種數(shù)據(jù)庫(kù)服務(wù)器（如Oracle，SqlServer，Watcom等）上自動(dòng)生成庫(kù)結(jié)構(gòu)，提高了數(shù)據(jù)庫(kù)的開(kāi)發(fā)效率。分析型工具根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的定義和用途，它面向的用戶(hù)是中高層領(lǐng)導(dǎo)，重要執(zhí)行決策和趨勢(shì)分析類(lèi)應(yīng)用。但是目前的存儲(chǔ)和檢索系統(tǒng)與用戶(hù)對(duì)高層次信息的需求之間存在著巨大的鴻溝，原有的DBTOOL對(duì)此是無(wú)能為力的。解決之道唯有功能強(qiáng)大的分析工具。用戶(hù)從數(shù)據(jù)倉(cāng)庫(kù)采掘信息時(shí)也許有多種不同的方式，但大體可以提成兩種模式，即驗(yàn)證型(Verification)和發(fā)掘型(Discovery)。驗(yàn)證型重要具有以下工具：可視化工具，可視化工具以圖形化的方式展示數(shù)據(jù)，以便充足運(yùn)用人類(lèi)的視覺(jué)能力，更方便地發(fā)掘數(shù)據(jù)間的潛在關(guān)系。通過(guò)可視化工具，人們可以進(jìn)一步到數(shù)據(jù)的結(jié)構(gòu)中，了解數(shù)據(jù)的復(fù)雜性和動(dòng)態(tài)性。多維分析工具，聯(lián)機(jī)分析（OLAP），通過(guò)OLAP服務(wù)器，將來(lái)源于關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)換和抽取為一種新型的數(shù)據(jù)：多維數(shù)據(jù)，以反映用戶(hù)所能理解的公司的真實(shí)的維。多維數(shù)據(jù)的每一個(gè)維代表著對(duì)數(shù)據(jù)的一個(gè)特定的觀(guān)測(cè)視角，如時(shí)間、地區(qū)、業(yè)務(wù)等。發(fā)掘型發(fā)掘型工具就是在用戶(hù)不知道會(huì)有什么結(jié)果的情況下給用戶(hù)提供一些分析結(jié)果，通過(guò)可視化工具展現(xiàn)數(shù)據(jù)，使復(fù)雜的數(shù)據(jù)關(guān)系簡(jiǎn)樸化。發(fā)掘型分析工具重要是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘一般有以下算法：人工神經(jīng)網(wǎng)絡(luò)：仿照生理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的非線(xiàn)形預(yù)測(cè)模型，通過(guò)學(xué)習(xí)進(jìn)行模式辨認(rèn)。決策樹(shù)：代表著決策集的樹(shù)形結(jié)構(gòu)。遺傳算法：基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。近鄰算法：將數(shù)據(jù)集合中每一個(gè)記錄進(jìn)行分類(lèi)的方法。規(guī)則推導(dǎo)：從意義上對(duì)數(shù)據(jù)中的“假如-那么”規(guī)則進(jìn)行尋找和推導(dǎo)。OLAP工具介紹目前對(duì)OLAP工具并沒(méi)有統(tǒng)一的分類(lèi)標(biāo)準(zhǔn)。大體上，我們可以把OLAP工具提成多維數(shù)據(jù)庫(kù)工具（multidimensionaldatabase，簡(jiǎn)稱(chēng)MOLAP）和關(guān)系型OLAP工具（relationalOLAP，簡(jiǎn)稱(chēng)ROLAP）兩大類(lèi)。多維數(shù)據(jù)庫(kù)工具的數(shù)據(jù)存儲(chǔ)不采用傳統(tǒng)關(guān)系模型所使用的記錄、表等方式，而采用矩陣（也許是多維的矩陣）的方式來(lái)存儲(chǔ)數(shù)據(jù)。因此需要建設(shè)物理存在的多維數(shù)據(jù)庫(kù)，由于訪(fǎng)問(wèn)MOLAP的多維數(shù)據(jù)庫(kù)時(shí)，不再是SQL語(yǔ)句了，因此必須采用新的數(shù)據(jù)接口。如NCR，SAS，ORACLE公司的產(chǎn)品。ROLAP工具使用關(guān)系型數(shù)據(jù)庫(kù)來(lái)進(jìn)行多維分析，數(shù)據(jù)庫(kù)中的關(guān)系表采用數(shù)據(jù)倉(cāng)庫(kù)思想建設(shè)。它只需要在本來(lái)的數(shù)據(jù)庫(kù)中重組關(guān)系表，采用數(shù)據(jù)倉(cāng)庫(kù)的思想形成邏輯上的多維，查詢(xún)速度提高依靠數(shù)據(jù)整理和概要表、聚合表。ROLAP既可以是與其前臺(tái)有數(shù)據(jù)接口也可以直接通過(guò)SQL語(yǔ)句訪(fǎng)問(wèn)后臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)。與多維數(shù)據(jù)庫(kù)工具相比，關(guān)系型的OLAP工具在數(shù)據(jù)庫(kù)層次上有標(biāo)準(zhǔn)的關(guān)系模型，有標(biāo)準(zhǔn)的數(shù)據(jù)訪(fǎng)問(wèn)方式（SQL）及其編程接口，工具與數(shù)據(jù)庫(kù)的可互聯(lián)性比較好。如SYBASE，SQLSERVER，INFORMIX公司的產(chǎn)品。NCR的Teradata是高端數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)最有力的競(jìng)爭(zhēng)者，重要運(yùn)營(yíng)在NCRWorldMarkSMP硬件的Unix操作系統(tǒng)平臺(tái)上，提供交互分析、標(biāo)準(zhǔn)報(bào)告和多維度分析。為了開(kāi)拓?cái)?shù)據(jù)集市（DataMart）市場(chǎng)1998年，該公司也提供了基于WindowsNT的Teradata?？偟膩?lái)看NCR的產(chǎn)品性能很好，但是，NCR產(chǎn)品的價(jià)格相對(duì)較高，中小公司用戶(hù)難以接受。SAS/MDDB是SAS用于在線(xiàn)分析的多維數(shù)據(jù)庫(kù)服務(wù)器；SAS/AF提供了屏幕設(shè)計(jì)功能和用于開(kāi)發(fā)的SCL（屏幕控制語(yǔ)言）；SAS/ITSV（ITServiceVision）是IT服務(wù)的性能評(píng)估和管理的軟件，這些IT服務(wù)涉及計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、Web服務(wù)器和電話(huà)系統(tǒng)等?？偟膩?lái)說(shuō)，SAS系統(tǒng)的優(yōu)點(diǎn)是功能強(qiáng)、性能高、專(zhuān)長(zhǎng)突出，缺陷是系統(tǒng)比較復(fù)雜，軟件投資較高，并且每年都需交納License費(fèi)。ORACLE公司OLAP介紹通過(guò)使用OracleExpressObjects、OracleExpressAnalyzer和OracleDiscoverer，公司可以迅速建立和實(shí)行數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。預(yù)制的OLAP應(yīng)用，即OracleFinancialAnalyzer，OracleFinancialController和OracleSalesAnalyzer，則進(jìn)一步減少了實(shí)行時(shí)間和費(fèi)用。Oracle及其解決方案合作伙伴提供的預(yù)置OLAP應(yīng)用，在財(cái)務(wù)合并和預(yù)算編制這樣的領(lǐng)域以及在電信業(yè)這樣的行業(yè)，都能帶來(lái)立竿見(jiàn)影的效果。無(wú)論公司自行開(kāi)發(fā)還是購(gòu)買(mǎi)用于公司或者工作組OLAP應(yīng)用，Oracle的Express工具和應(yīng)用都提供解決方案。支持Web應(yīng)用的OracleExpressServer是一個(gè)先進(jìn)的計(jì)算引擎和數(shù)據(jù)高速緩存，可以集成來(lái)自獨(dú)立系統(tǒng)的數(shù)據(jù)，這些系統(tǒng)也許是關(guān)系型的、傳統(tǒng)的或者外部的。它使用多維模型，多維模型最能反映用戶(hù)對(duì)其業(yè)務(wù)的思考方法。多維模型將電子表格的行和列擴(kuò)展三維或者更多的維。用戶(hù)可以很自然地把類(lèi)別數(shù)據(jù)(維)看作是一個(gè)數(shù)組的列(edges)。維可以是時(shí)間、產(chǎn)品、產(chǎn)品系列、地區(qū)，用戶(hù)分析的對(duì)象可以是像單位銷(xiāo)售額這樣的綜合數(shù)據(jù)。對(duì)于多維模型的查詢(xún)是很迅速的。這些查詢(xún)是對(duì)數(shù)組中的某一部分的算術(shù)計(jì)算。因此，這個(gè)數(shù)組支持最大、最復(fù)雜的OLAP應(yīng)用。OracleExpressServer不僅支持多維數(shù)據(jù)模型，并且具有分析、預(yù)測(cè)、建模，以及對(duì)數(shù)據(jù)進(jìn)行假設(shè)分析(what－if)的能力。該服務(wù)器具有用于數(shù)學(xué)、財(cái)務(wù)、和時(shí)間序列管理等方面的內(nèi)置功能。ExpressServer可以存儲(chǔ)和管理多維數(shù)組，或者通過(guò)一種只需很少、甚至不需索引的復(fù)雜的多維高速緩存方案，提供直接面向關(guān)系數(shù)據(jù)的分析。該服務(wù)器具有伸縮性、強(qiáng)健性和基于應(yīng)用的特性，支持多個(gè)用戶(hù)訪(fǎng)問(wèn)，并且為大型數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)完整性控制。同時(shí)，Oracle的開(kāi)放策略允許實(shí)行公司OLAP的公司自由選擇所需的關(guān)系型數(shù)據(jù)庫(kù)、開(kāi)發(fā)工具和用戶(hù)界面，其中涉及用戶(hù)化的Windows前端、電子表格和WWW，從而獲得最大限度的靈活性。OracleExpressAnalyzer是通用的、面向最終用戶(hù)的報(bào)告和分析工具，它采用面向?qū)ο蠹夹g(shù)，在OracleExpressAnalyzer中能運(yùn)營(yíng)任何OracleExpressObjects應(yīng)用。事實(shí)上，OracleExpressAnalyzer的用戶(hù)可以擴(kuò)展和發(fā)布在OracleExpressObjects中開(kāi)發(fā)的應(yīng)用。ExpressObjects和ExpressAnalyzer的集成使得信息系統(tǒng)人員和用戶(hù)群體在建立和共享應(yīng)用和對(duì)象方面擁有廣泛的選擇余地。開(kāi)發(fā)環(huán)境數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是一個(gè)跨平臺(tái)、綜合的大型應(yīng)用系統(tǒng)。綜合用戶(hù)習(xí)慣與系統(tǒng)效率等方面的考慮，整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的各子系統(tǒng)將分別運(yùn)營(yíng)在不同的操作平臺(tái)下，這些子系統(tǒng)密切合作，形成一個(gè)緊密結(jié)合、高效的整體。硬件環(huán)境基于高速網(wǎng)絡(luò)環(huán)境。服務(wù)器采用高檔小型機(jī)。客戶(hù)端為高性能客戶(hù)端。操作系統(tǒng)服務(wù)系統(tǒng)運(yùn)營(yíng)于UNIX操作系統(tǒng)。UNIX以其較小的內(nèi)核、較高的運(yùn)營(yíng)效率著名，獲得了服務(wù)器上主流操作系統(tǒng)的地位。全球著名的硬件產(chǎn)商都有與自身服務(wù)器緊密結(jié)合的UNIX操作系統(tǒng)（如IBM的AIX和SUN公司的Solaries，HP的HP_UX），能充足發(fā)揮系統(tǒng)的最大性能。客戶(hù)端系統(tǒng)運(yùn)營(yíng)在Windows操作系統(tǒng)下。全世界90％的PC用的是Windows操作系統(tǒng)，廣大用戶(hù)已經(jīng)習(xí)慣了Windows操作系統(tǒng)的界面、風(fēng)格。局幾乎所有PC都是運(yùn)營(yíng)在Windows系統(tǒng)下的，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的客戶(hù)端系統(tǒng)（涉及系統(tǒng)管理、ETL工具客戶(hù)端等）運(yùn)營(yíng)在Windows系統(tǒng)下能滿(mǎn)足用戶(hù)需要，縮短系統(tǒng)投入使用的培訓(xùn)時(shí)間。開(kāi)發(fā)語(yǔ)言JAVA語(yǔ)言最先由網(wǎng)景公司運(yùn)用在WEB上，是最佳的跨平臺(tái)開(kāi)發(fā)語(yǔ)言，是當(dāng)前B/S模式的首選開(kāi)發(fā)語(yǔ)言；C語(yǔ)言最先在UNIX系統(tǒng)下使用，是一種執(zhí)行效率非常高的高級(jí)開(kāi)發(fā)語(yǔ)言，C++的出現(xiàn)使C語(yǔ)言包含了面向?qū)ο蟾拍?，C++語(yǔ)言也得到了日益廣泛的應(yīng)用，是C/S模式的首選開(kāi)發(fā)語(yǔ)言。數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)采用Oracle9i，Oracle9i是Oracle公司對(duì)數(shù)據(jù)倉(cāng)庫(kù)支持最佳的數(shù)據(jù)庫(kù)系統(tǒng)，它的復(fù)合索引，物化視圖等技術(shù)可以使數(shù)據(jù)的查詢(xún)效率有很大提高。中間件系統(tǒng)中間件系統(tǒng)涉及應(yīng)用服務(wù)器、WEB服務(wù)器和自主開(kāi)發(fā)的業(yè)務(wù)邏輯服務(wù)系統(tǒng)等。應(yīng)用服務(wù)器需要解決大量的數(shù)據(jù)信息，業(yè)務(wù)邏輯，效率規(guī)定高，系統(tǒng)資源占用大，需要在UNIX系統(tǒng)下運(yùn)營(yíng)。WEB服務(wù)器直接面向大量的用戶(hù)群，解決用戶(hù)的請(qǐng)求，多種方式展示查詢(xún)結(jié)果，靈活的查詢(xún)方式，動(dòng)態(tài)生成頁(yè)面。Oracle公司的WEB服務(wù)器與應(yīng)用服務(wù)器是完全集成的，我們選擇與Oracle9i配套的具有強(qiáng)大數(shù)據(jù)倉(cāng)庫(kù)功能的IAS作為省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)的應(yīng)用服務(wù)器和WEN服務(wù)器，Oracle公司的IAS（InternetApplicationServer）由于同屬Oracle公司的產(chǎn)品，可以和Oracle9i數(shù)據(jù)庫(kù)無(wú)縫連接，保證系統(tǒng)效率，此外Oracle9i全面支持J2EE體系結(jié)構(gòu)，比同類(lèi)型的產(chǎn)品，例如WebSphere快2－4倍。自主開(kāi)發(fā)的中間件系統(tǒng)采用品有良好平臺(tái)移植性的開(kāi)發(fā)語(yǔ)言JAVA來(lái)開(kāi)發(fā)。應(yīng)用系統(tǒng)1、系統(tǒng)管理工具的運(yùn)營(yíng)環(huán)境是Windows系統(tǒng)，采用C++作為開(kāi)發(fā)語(yǔ)言。元數(shù)據(jù)管理工具是直接面對(duì)有一定技術(shù)基礎(chǔ)的維護(hù)人員，需要有高度的專(zhuān)業(yè)性、高效性、靈活性。選用C++作為開(kāi)發(fā)語(yǔ)言，有針對(duì)性的開(kāi)發(fā)C/S模式的系統(tǒng)，高效的管理數(shù)據(jù)庫(kù)，并且使數(shù)據(jù)倉(cāng)庫(kù)具有一定的開(kāi)放性。2、ETL數(shù)據(jù)抽取工具運(yùn)營(yíng)環(huán)境是Windows系統(tǒng)，采用C++作為開(kāi)發(fā)語(yǔ)言。通過(guò)客戶(hù)服務(wù)器模式從各個(gè)處室抽取數(shù)據(jù)，直接面對(duì)用戶(hù)，界面和諧，有選擇性的從各處室的系統(tǒng)中抽取數(shù)據(jù)，因此要運(yùn)用C++開(kāi)發(fā)高效率的、有針對(duì)性的系統(tǒng)。用JAVA開(kāi)發(fā)ETL數(shù)據(jù)加載工具，直接運(yùn)營(yíng)在UNIX系統(tǒng)下，直接從中間數(shù)據(jù)庫(kù)向數(shù)據(jù)倉(cāng)庫(kù)加載數(shù)據(jù)。聯(lián)機(jī)分析（決策支持、數(shù)據(jù)挖掘系統(tǒng)）是基于應(yīng)用服務(wù)器之上的應(yīng)用，采用的開(kāi)發(fā)語(yǔ)言是基于JAVA。報(bào)表系統(tǒng)基于WEB頁(yè)面，采用JAVA開(kāi)發(fā)。系統(tǒng)調(diào)試和測(cè)試目的通過(guò)測(cè)試，發(fā)現(xiàn)湖南省記錄局省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的存在的問(wèn)題，驗(yàn)證其是否滿(mǎn)足總體需求分析和總體設(shè)計(jì)書(shū)，提供改善意見(jiàn)和修改報(bào)告，保證“湖南省記錄局省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)”順利實(shí)現(xiàn)?；疽?guī)定測(cè)試計(jì)劃對(duì)測(cè)試的每一階段都有測(cè)試人員分工、責(zé)任范圍、測(cè)試時(shí)間表、進(jìn)度安排以及與其它系統(tǒng)有關(guān)的配套測(cè)試工作安排。測(cè)試說(shuō)明測(cè)試說(shuō)明包含一個(gè)完整的、文檔化的、用于每個(gè)組件測(cè)試特定的測(cè)試用例集，并給出具體的測(cè)試腳本。測(cè)試環(huán)境建立為保證測(cè)試不影響正常的開(kāi)發(fā)工作，需建立專(zhuān)門(mén)用于省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)測(cè)試的測(cè)試環(huán)境。要保證測(cè)試環(huán)境的對(duì)的性和可靠性。測(cè)試報(bào)告每一階段的測(cè)試都要給出符合規(guī)范的測(cè)試報(bào)告（參見(jiàn)公司《測(cè)試報(bào)告書(shū)寫(xiě)規(guī)范》）應(yīng)遵循的原則測(cè)試貫穿于整過(guò)項(xiàng)目開(kāi)發(fā)周期中的所有過(guò)程。除項(xiàng)目測(cè)試其自己設(shè)計(jì)的程序外，有專(zhuān)門(mén)獨(dú)立與于項(xiàng)目組的測(cè)試部對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行測(cè)試；測(cè)試用例既要有擬定的輸入，也要有擬定的輸出；測(cè)試用例既要有合理的輸入，也要有不合理的輸入；測(cè)試既要檢查系統(tǒng)是否實(shí)現(xiàn)應(yīng)有的功能，也要檢查是否包含不應(yīng)當(dāng)具有的功能；所有測(cè)試用例應(yīng)當(dāng)作為軟件組成部分之一保存并交付；在程序中錯(cuò)誤的概率與在該程序段中已經(jīng)發(fā)現(xiàn)的錯(cuò)誤數(shù)成正比。測(cè)試方法靜態(tài)分析（staticanalysis）：不運(yùn)營(yíng)被測(cè)程序而對(duì)其進(jìn)行分析。單元測(cè)試（unittesting）：對(duì)可以單獨(dú)測(cè)試的軟件部分即單元所進(jìn)行的測(cè)試。集成測(cè)試（integratedtesting）：對(duì)模塊之間的互相接口關(guān)系的測(cè)試，一般有增式和非增式兩種方式，即一次將所有模塊集成起來(lái)還是逐步集成。系統(tǒng)測(cè)試（systemtesting）：按照功能需求驗(yàn)證系統(tǒng)是否滿(mǎn)足所規(guī)定的功能。內(nèi)部測(cè)試：由開(kāi)發(fā)人員組織完畢的測(cè)試活動(dòng)，具體涉及靜態(tài)分析、單元測(cè)試、集成測(cè)試和構(gòu)造測(cè)試。外部測(cè)試：由測(cè)試人員組織完畢的測(cè)試活動(dòng)，具體涉及系統(tǒng)測(cè)試和交付測(cè)試。結(jié)構(gòu)測(cè)試（structuraltesting）：基于程序的測(cè)試方法，通常也被稱(chēng)為白盒測(cè)試。功能測(cè)試（functionaltesting）：基于需求說(shuō)明/設(shè)計(jì)說(shuō)明書(shū)的測(cè)試方法，通常也被稱(chēng)為黑盒測(cè)試或行為測(cè)試。在具體實(shí)行中我們將根據(jù)實(shí)際情況在不同的階段重點(diǎn)采用不同的測(cè)試方法。測(cè)試重點(diǎn)數(shù)據(jù)抽取時(shí)的對(duì)的性，效率測(cè)試。存儲(chǔ)過(guò)程，觸發(fā)器的功能測(cè)試和算法的靜態(tài)分析。大量用戶(hù)同時(shí)訪(fǎng)問(wèn)時(shí)數(shù)據(jù)庫(kù)服務(wù)器的性能。5個(gè)以上部門(mén)同時(shí)用ETL裝載數(shù)據(jù)時(shí)倉(cāng)庫(kù)的性能測(cè)試。指標(biāo)口徑發(fā)生變化，對(duì)數(shù)據(jù)進(jìn)行調(diào)整時(shí)，系統(tǒng)效率和穩(wěn)定性測(cè)試。指標(biāo)數(shù)據(jù)調(diào)整后，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)展現(xiàn)的結(jié)果的對(duì)的性測(cè)試。用戶(hù)權(quán)限設(shè)立是否對(duì)的。各階段的設(shè)計(jì)文檔資料與系統(tǒng)是否一致且資料符合公司規(guī)范。項(xiàng)目進(jìn)度項(xiàng)目資源計(jì)劃項(xiàng)目組項(xiàng)目組由公司組建，由16人組成的開(kāi)發(fā)小組，重要工作是對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行需求調(diào)查與分析、設(shè)計(jì)、開(kāi)發(fā)、測(cè)試。省政府局?jǐn)?shù)據(jù)倉(cāng)庫(kù)領(lǐng)導(dǎo)小組辦公室省政府局?jǐn)?shù)據(jù)倉(cāng)庫(kù)領(lǐng)導(dǎo)小組辦公室由省局組建，重要工作配合項(xiàng)目組進(jìn)行需求調(diào)查、協(xié)調(diào)工作。項(xiàng)目工期計(jì)劃項(xiàng)目工期為2023年9月26日——2023年3月14日時(shí)間進(jìn)度計(jì)劃本系統(tǒng)的開(kāi)發(fā)過(guò)程中，我們按開(kāi)發(fā)主題控制開(kāi)發(fā)進(jìn)度，一方面完畢數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的需求調(diào)查、總體設(shè)計(jì)與兩會(huì)系統(tǒng)的開(kāi)發(fā)工作，緊接著進(jìn)行第一期主題和第二期主題的開(kāi)發(fā)。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求調(diào)查與兩會(huì)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)需求調(diào)查與兩會(huì)系統(tǒng)開(kāi)發(fā)同時(shí)進(jìn)行，在此期間完畢的重要工作有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求調(diào)查、兩會(huì)系統(tǒng)需求調(diào)查、兩會(huì)系統(tǒng)編碼、測(cè)試、數(shù)據(jù)倉(cāng)庫(kù)總體設(shè)計(jì)，計(jì)劃開(kāi)始時(shí)間為2023年9月26日，完畢時(shí)間為2023年1月15日。第一期開(kāi)發(fā)主題第一期主題開(kāi)發(fā)的重要任務(wù)是人口普查、公司名錄庫(kù)、字典查詢(xún)、工業(yè)經(jīng)濟(jì)、農(nóng)業(yè)經(jīng)濟(jì)的開(kāi)發(fā)工作。計(jì)劃開(kāi)始時(shí)間為2023年1月15日，完畢時(shí)間為2023年7月臺(tái)15日。第二期開(kāi)發(fā)主題在完畢第一期主題開(kāi)發(fā)任務(wù)后，進(jìn)行第二期主題的開(kāi)發(fā)，重要涉及固定產(chǎn)投資與建筑業(yè)、貿(mào)易經(jīng)濟(jì)、國(guó)民經(jīng)濟(jì)、城市社會(huì)經(jīng)濟(jì)、經(jīng)濟(jì)景氣。計(jì)劃開(kāi)始時(shí)間為2023年7月16日，計(jì)劃竣工時(shí)間為2023年3月14日。工工作量時(shí)分派計(jì)劃總工作量：（61+140+174）*16/30=200人月注：涉及系統(tǒng)設(shè)計(jì)和開(kāi)發(fā)工作量系統(tǒng)開(kāi)發(fā)工作量：144人月各部分計(jì)劃工時(shí)計(jì)劃工作量如下：子系統(tǒng)名稱(chēng)計(jì)劃工作量備注需求調(diào)查與設(shè)計(jì)320人日16*20兩會(huì)信息征詢(xún)服務(wù)系統(tǒng)448人日11*5+32*14+11*2數(shù)據(jù)庫(kù)系統(tǒng)40人日10*4中間數(shù)據(jù)庫(kù)設(shè)計(jì)20人日10*2數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)20人日10*2ETL系統(tǒng)552人日69*8指標(biāo)數(shù)據(jù)抽取子系統(tǒng)226人日69*4指標(biāo)數(shù)據(jù)裝載子系統(tǒng)226人日69*4系統(tǒng)管理258.75人日69*3.75ETL管理子系統(tǒng)86.25人日69*1.25數(shù)據(jù)倉(cāng)庫(kù)管理子系統(tǒng)172.5人日69*2.5數(shù)據(jù)展現(xiàn)2700人日135*8OLAP決策分析子系統(tǒng)540人日135*4數(shù)據(jù)挖掘子系統(tǒng)540人日135*4報(bào)表解決子系統(tǒng)540人日135*4圖形展示子系統(tǒng)540人日135*4數(shù)據(jù)導(dǎo)出子系統(tǒng)540人日135*4小結(jié)數(shù)據(jù)倉(cāng)庫(kù)充足發(fā)揮系統(tǒng)作為社會(huì)“數(shù)據(jù)庫(kù)、信息庫(kù)、思想庫(kù)、智囊?guī)臁钡淖饔?，直接向黨政領(lǐng)導(dǎo)、社會(huì)各界提供“快、精、準(zhǔn)”的信息服務(wù)的需要出發(fā)，采用當(dāng)今數(shù)據(jù)庫(kù)領(lǐng)域成熟穩(wěn)定的數(shù)據(jù)倉(cāng)庫(kù)、決策分析等技術(shù)，在高效的網(wǎng)絡(luò)平臺(tái)上為全省信息工程建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)具有以下特點(diǎn)：1、適應(yīng)行業(yè)的特點(diǎn) 我國(guó)制度在不斷發(fā)展和完善中，使得以主題儲(chǔ)存的數(shù)據(jù)在不同時(shí)期需要進(jìn)行適當(dāng)調(diào)整才干合用于決策分析，且分析熱點(diǎn)也會(huì)隨著社會(huì)及經(jīng)濟(jì)的發(fā)展發(fā)生變更，這對(duì)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)提出了更高的規(guī)定，為更好地適應(yīng)這一特點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)設(shè)計(jì)著重考慮以下方面：a、根據(jù)實(shí)際需求，主題指標(biāo)數(shù)據(jù)在一定范圍內(nèi)可調(diào)整，專(zhuān)業(yè)事實(shí)數(shù)據(jù)存放在數(shù)據(jù)倉(cāng)庫(kù)中，具有不可修改性；調(diào)整后的數(shù)據(jù)存放在主題事實(shí)表，供用戶(hù)進(jìn)行進(jìn)一步解決；b、多維數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)；c、主題所含指標(biāo)根據(jù)實(shí)際需求可以進(jìn)行調(diào)整2、C/S與B/S相結(jié)合 現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)重要以C/S為主，在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中，我們從系統(tǒng)可靠性、可維護(hù)性、用戶(hù)使用的簡(jiǎn)潔性、易用性及安全性、高效性等多方面考慮，采用C/S與B/S相結(jié)合方式。 B/S的優(yōu)點(diǎn)： A、解決瀏覽數(shù)據(jù)客戶(hù)端安裝、更新、維護(hù)的問(wèn)題，方便面向全社會(huì)開(kāi)放。 B、更符合用戶(hù)的操作習(xí)慣。 C、提高客戶(hù)端安全性、避免誤操作。 C/S的優(yōu)點(diǎn)： A、運(yùn)營(yíng)的高效性。 B、成熟的系統(tǒng)模式、功能強(qiáng)大。 C、能非常靈活的開(kāi)發(fā)有針對(duì)性的系統(tǒng)。3、分散與集中相結(jié)合 局現(xiàn)狀：數(shù)據(jù)量大、數(shù)據(jù)分散存放、各處室數(shù)據(jù)彼此獨(dú)立性強(qiáng)。 數(shù)據(jù)倉(cāng)庫(kù)采用集中與分散相結(jié)合，各處室分散維護(hù)各自數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)集中管理。4、數(shù)據(jù)抽取與加載分開(kāi) 現(xiàn)有ETL工具的數(shù)據(jù)抽取、加載過(guò)程同時(shí)進(jìn)行，ETL工具完全集成。局特點(diǎn)：各處室數(shù)據(jù)獨(dú)立性強(qiáng)、報(bào)告時(shí)間不統(tǒng)一、誤操作的也許性較大。數(shù)據(jù)倉(cāng)庫(kù)ETL工具的設(shè)計(jì)將數(shù)據(jù)抽取、加載過(guò)程分開(kāi)，解決局現(xiàn)有的問(wèn)題。參考文獻(xiàn)省政府?dāng)?shù)據(jù)倉(cāng)庫(kù)需求分析報(bào)告《數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與聯(lián)機(jī)分析解決》王珊1998年6月《Oracle8數(shù)據(jù)倉(cāng)庫(kù)分析、構(gòu)建實(shí)用指南》美MichaelJ.Corey，MichaelAbbey，IanAbramson，BenTaub著陳越，郭淵博，張紅旗等譯2023年1月第一版機(jī)械工業(yè)出版社《數(shù)據(jù)倉(cāng)庫(kù)技術(shù)簡(jiǎn)介》周永鑾2023年7月（網(wǎng)絡(luò)文獻(xiàn)）經(jīng)濟(jì)50年省年鑒《“兩會(huì)”系統(tǒng)整體設(shè)計(jì)報(bào)