數(shù)據(jù)倉庫總體設計報告

{管理信息化數(shù)據(jù)倉}數(shù)據(jù)倉庫總體設計報告目錄1概述71.1背景71.1.1待開發(fā)的軟件系統(tǒng)名稱81.1.2系統(tǒng)的基本概念81.1.3項目組名稱81.1.4項目代號81.2術語和縮寫詞81.3設計目標92系統(tǒng)設計92.1設計原則92.2系統(tǒng)結構112.2.1子系統(tǒng)劃分112.3系統(tǒng)數(shù)據(jù)結構172.3.1邏輯結構122.3.2層次結構132.3.3網(wǎng)絡拓撲結構142.3.4網(wǎng)絡層次結構162.4行業(yè)特殊需求172.5底層數(shù)據(jù)庫（倉庫）設計192.5.1設計原則192.5.2數(shù)據(jù)現(xiàn)狀202.5.3數(shù)據(jù)存儲整體規(guī)劃212.6ETL系統(tǒng)242.6.1需求規(guī)定242.6.2運行環(huán)境242.6.3設計思想242.6.4結構說明252.6.5處理流程262.7系統(tǒng)管理272.7.1需求規(guī)定272.7.2運行環(huán)境282.7.3設計思想282.7.4結構說明282.7.5處理流程292.8數(shù)據(jù)展現(xiàn)302.8.1需求規(guī)定302.8.2運行環(huán)境322.8.3設計思想322.8.4結構說明322.8.5處理流程342.9界面設計342.9.1需求規(guī)定342.9.2主程序界面342.9.3主要頁面設計352.10接口設計382.10.1外部接口382.10.2內部接口392.11安全設計392.11.1網(wǎng)絡安全392.11.2數(shù)據(jù)庫安全422.12系統(tǒng)可靠性設計432.12.1可靠性432.12.2可維護性432.12.3可擴展性442.12.4健壯性442.12.5性能保證442.12.6出錯處理452.12.7備份與恢復452.13運行設計462.14相關工具選擇462.14.1數(shù)據(jù)庫選擇472.14.2WEB服務器和應用服務器472.14.3數(shù)據(jù)庫建模工具482.14.4分析型工具482.14.5OLAP工具介紹492.14.6ORACLE公司OLAP介紹50精品文檔放心下載2.15開發(fā)環(huán)境512.15.1硬件環(huán)境512.15.2操作系統(tǒng)512.15.3開發(fā)語言522.15.4數(shù)據(jù)庫系統(tǒng)522.15.5中間件系統(tǒng)522.15.6應用系統(tǒng)533系統(tǒng)調試和測試533.1目的533.2基本要求543.2.1測試計劃543.2.2測試說明543.2.3測試環(huán)境建立543.2.4測試報告543.3應遵循的原則543.4測試方法553.5測試重點554項目進度564.1項目資源計劃564.1.1項目組564.1.2數(shù)據(jù)倉庫領導小組辦公室564.2項目工期計劃564.3時間進度計劃564.3.1數(shù)據(jù)倉庫系統(tǒng)需求調查與兩會系統(tǒng)574.4第一期開發(fā)主題574.5第二期開發(fā)主題574.6工作量分配計劃575小結586參考文獻607附錄617.1Oracle性能評估報告617.2主流WEB服務器比較657.3IBM小型機性能評估報告767.4詳細網(wǎng)絡拓撲圖及設備清單787.5在多層體系結構下建立數(shù)據(jù)倉庫83摘要數(shù)據(jù)倉庫系統(tǒng)的建立可以解決傳統(tǒng)數(shù)據(jù)庫不能很好提供分析決策功能的問題，精品文檔放心下載感謝閱讀謝謝閱讀謝謝閱讀謝謝閱讀精品文檔放心下載感謝閱讀分為四部分：1、數(shù)據(jù)抽取、轉換、加載；23、精品文檔放心下載數(shù)據(jù)展現(xiàn)；4、支撐整個系統(tǒng)的數(shù)據(jù)庫的設計(包括ETL中間數(shù)據(jù)庫和數(shù)據(jù)倉庫)感謝閱讀精品文檔放心下載C/S精品文檔放心下載數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)展現(xiàn)采用流行的B/S模式向用戶提供數(shù)據(jù)查詢、決策分析。謝謝閱讀關鍵詞：指標，主題，數(shù)據(jù)倉庫，聯(lián)機分析，數(shù)據(jù)挖掘，決策支持。感謝閱讀1概述1.1背景經(jīng)過2謝謝閱讀謝謝閱讀精品文檔放心下載開發(fā)、實現(xiàn)。省政府局數(shù)據(jù)具有建立數(shù)據(jù)倉庫系統(tǒng)的基本條件：積累了大量歷史數(shù)據(jù)，這是數(shù)據(jù)倉庫存在的必要條件；感謝閱讀謝謝閱讀精品文檔放心下載需求不斷增大，社會各界迫切需要利用數(shù)據(jù)進行決策分析，指導經(jīng)濟建設。謝謝閱讀省政府數(shù)據(jù)倉庫建設存在以下困難：當前局各個處室沒有統(tǒng)一規(guī)劃的數(shù)據(jù)庫系統(tǒng)；謝謝閱讀質上，到目前為止，建國以來的數(shù)據(jù)有一般以上以紙介質方式存儲；精品文檔放心下載謝謝閱讀謝謝閱讀謝謝閱讀部分調整工作需要人工參與；因此，省政府數(shù)據(jù)倉庫的建設中數(shù)據(jù)的整理加載工作量極大，ETL（Extract、精品文檔放心下載Transform、Cleaning、Load）工具開發(fā)難度大；完善的、與數(shù)據(jù)倉庫系統(tǒng)良好感謝閱讀謝謝閱讀本保障，因此各處室數(shù)據(jù)庫的建設應同步進行。1.1.1待開發(fā)的軟件系統(tǒng)名稱省政府數(shù)據(jù)倉庫系統(tǒng)1.1.2系統(tǒng)的基本概念感謝閱讀精品文檔放心下載謝謝閱讀位的明細數(shù)據(jù)，數(shù)據(jù)倉庫中的數(shù)據(jù)就是這些數(shù)據(jù)的有機集合。感謝閱讀感謝閱讀感謝閱讀分析領域。省政府數(shù)據(jù)倉庫是將指標數(shù)據(jù)按分析主題集成起來，供查詢、分析、感謝閱讀輔助決策。1.1.3項目組名稱數(shù)據(jù)倉庫項目組1.1.4項目代號XhnTJDW001-00191.2術語和縮寫詞指標：StatisticalParameter數(shù)據(jù)倉庫：DW（DataWarehouse）主題：Subject數(shù)據(jù)集市：DataMart元數(shù)據(jù)：MetaData數(shù)據(jù)抽取、轉換、加載：ETL（Extract、Transform、Cleaning、Load）謝謝閱讀聯(lián)機分析處理：OLAP（On-LineAnalyticalProcessing）感謝閱讀聯(lián)機事務處理：OLTP（On-LineTransactionProcessing）謝謝閱讀決策支持系統(tǒng)：DSS（DecisionSupportSystem）精品文檔放心下載數(shù)據(jù)挖掘：DM（DataMining）應用服務器：AS（ApplicationServer）感謝閱讀Web服務器：WebServer1.3設計目標省政府數(shù)據(jù)倉庫系統(tǒng)是以充分發(fā)揮信息的社會效益和經(jīng)濟價值為最終目的。感謝閱讀感謝閱讀重組，在高效的網(wǎng)絡平臺上充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，謝謝閱讀智囊?guī)斓淖饔?，直接向黨政領導、社會各界提供數(shù)據(jù)、信息服務，為信息工程感謝閱讀建設提供一個“決策數(shù)據(jù)管理與分析中心”的基本解決方案。謝謝閱讀感謝閱讀精品文檔放心下載謝謝閱讀謝謝閱讀時、高效處理、管理數(shù)據(jù)，功能強大，是胖客戶端。數(shù)據(jù)倉庫系統(tǒng)重在建立一個適應分析的系統(tǒng)環(huán)境，首期開發(fā)“兩會”信息咨詢，謝謝閱讀企業(yè)名錄、人口普查、字典、工業(yè)經(jīng)濟、農(nóng)業(yè)經(jīng)濟等主題。感謝閱讀2系統(tǒng)設計2.1設計原則從充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)斓淖饔?，直接向感謝閱讀黨政領導、社會各界提供“快、精、準的信息服務的需要出發(fā)，采用當今數(shù)據(jù)感謝閱讀精品文檔放心下載工程建設提供一個“決策數(shù)據(jù)管理與分析中心”的基本解決方案。精品文檔放心下載1、謝謝閱讀謝謝閱讀客戶/服務器和兩層計算模式。多層結構可由以下三類分層來定義：前端的客戶精品文檔放心下載感謝閱讀謝謝閱讀數(shù)據(jù)庫服務器）的訪問。多層結構與傳統(tǒng)的客戶/服務器結構的區(qū)別在于：在傳謝謝閱讀統(tǒng)的客戶/(作為對表達感謝閱讀邏輯的增補)或放置到后端數(shù)據(jù)庫(作為數(shù)據(jù)邏輯的一部分包含在存儲過程中)。感謝閱讀精品文檔放心下載謝謝閱讀精品文檔放心下載謝謝閱讀復雜性。2、感謝閱讀謝謝閱讀能說明和設計文稿，每個模塊完成相對獨立的功能，模塊之間的接口定義規(guī)范，謝謝閱讀精品文檔放心下載護。3、感謝閱讀務器、WEB服務器等服務器軟件系統(tǒng)，選用具有良好平臺移植性的B/S和C/S模感謝閱讀式下的開發(fā)語言開發(fā)應用程序和應用中間件，提高應用系統(tǒng)的平臺移植性；精品文檔放心下載4、精品文檔放心下載精品文檔放心下載清新明了。5、自主開發(fā)和利用現(xiàn)有工具相結合。盡量利用各成熟的數(shù)據(jù)倉庫系統(tǒng)軟件精品文檔放心下載感謝閱讀特定的系統(tǒng)軟件，縮短數(shù)據(jù)倉庫開發(fā)周期，降低開發(fā)成本，保證系統(tǒng)正常開發(fā)。謝謝閱讀6、感謝閱讀謝謝閱讀考慮，保障系統(tǒng)安全穩(wěn)定。7、感謝閱讀精品文檔放心下載設置權限，不同用戶維護不同數(shù)據(jù)。8、穩(wěn)定優(yōu)先，注重效率。數(shù)據(jù)倉庫的海量數(shù)據(jù)存儲和高效查詢是一對矛盾，感謝閱讀謝謝閱讀感謝閱讀面，我們通過逆規(guī)范化（引進適當冗余）來提高系統(tǒng)查詢效率。感謝閱讀9、謝謝閱讀性，盡量采用簡潔易懂的方式實現(xiàn)系統(tǒng)功能，不追求復雜、深奧的算法。感謝閱讀2.2系統(tǒng)結構2.2.1子系統(tǒng)劃分整個系統(tǒng)按功能分為四大系統(tǒng)，各系統(tǒng)分別為：1.數(shù)據(jù)庫系統(tǒng)中間數(shù)據(jù)庫數(shù)據(jù)倉庫2.ETL系統(tǒng)指標數(shù)據(jù)抽取子系統(tǒng)指標數(shù)據(jù)加載子系統(tǒng)3.系統(tǒng)管理系統(tǒng)ETL管理管理子系統(tǒng)數(shù)據(jù)倉庫管理子系統(tǒng)元數(shù)據(jù)管理子系統(tǒng)4.數(shù)據(jù)展現(xiàn)系統(tǒng)應用服務器子系統(tǒng)WEB服務器子系統(tǒng)OLAP多維分析決策支持分析子系統(tǒng)數(shù)據(jù)挖掘子系統(tǒng)圖形展示子系統(tǒng)報表處理子系統(tǒng)數(shù)據(jù)導出子系統(tǒng)2.2.2邏輯結構2.2.3層次結構整個系統(tǒng)在邏輯上分為三層：原始數(shù)據(jù)層，中間邏輯層（業(yè)務邏輯層、WEB服務謝謝閱讀原始數(shù)據(jù)層：以統(tǒng)一規(guī)范的方式存儲數(shù)據(jù)；感謝閱讀層系統(tǒng)（程序）的可擴展性、可移植性；精品文檔放心下載關性。2.2.4網(wǎng)絡拓撲結構我們根據(jù)以下列出的幾點，確定硬件系統(tǒng)結構：1.謝謝閱讀絡。2.謝謝閱讀實現(xiàn)數(shù)據(jù)共享，又能將可以對公眾發(fā)布的信息分不同的級別向外界發(fā)布。謝謝閱讀3.謝謝閱讀和方式。4.盡可能利用現(xiàn)有網(wǎng)絡系統(tǒng)，包括系統(tǒng)專有網(wǎng)，公共Internet網(wǎng)，政謝謝閱讀府辦公局域網(wǎng)等。感謝閱讀如下圖所示：說明：1、出于網(wǎng)絡安全的原因，將整個網(wǎng)絡分為內部網(wǎng)絡和外部網(wǎng)絡兩部分。精品文檔放心下載2、內部網(wǎng)絡與外部網(wǎng)絡的系統(tǒng)機構基本相同。外部網(wǎng)絡基本上用在對外發(fā)布，謝謝閱讀不包括保密信息。3、外部網(wǎng)絡需要的發(fā)布數(shù)據(jù)從內部網(wǎng)絡中通過ETL工具獲得，存放在外部網(wǎng)絡感謝閱讀的數(shù)據(jù)倉庫中。4、外部網(wǎng)絡經(jīng)過防火墻、路由器與Internet相連。感謝閱讀5、精品文檔放心下載6、工作站分別為各個處室的個人PCETL謝謝閱讀服務器提供倉庫所需數(shù)據(jù)及通過瀏覽器訪問數(shù)據(jù)倉庫數(shù)據(jù)信息。感謝閱讀7、ETL工具定期從各個處室的數(shù)據(jù)庫系統(tǒng)抽取數(shù)據(jù)，且ETL服務器兼中間數(shù)據(jù)謝謝閱讀ETL精品文檔放心下載8、考慮到數(shù)據(jù)倉庫系統(tǒng)決策分析時需要大量數(shù)據(jù)信息，所以要求交換機容量應感謝閱讀為1000M。9、OLAP服務器和應用服務器結合比較緊密，在實際的應用中共享一臺設備。精品文檔放心下載10、感謝閱讀11、安全隱患掃描系統(tǒng)可以運行在一臺高性能的PC感謝閱讀及早發(fā)現(xiàn)問題。詳細的硬件配置及全局網(wǎng)絡拓撲參見附件：詳細網(wǎng)絡拓撲圖及設備清單感謝閱讀2.2.5網(wǎng)絡層次結構整個數(shù)據(jù)倉庫系統(tǒng)由內而外分為四層：1、系統(tǒng)內核層：包括數(shù)據(jù)倉庫服務系統(tǒng)及應用系統(tǒng)。2、系統(tǒng)安全層：謝謝閱讀安全、防止黑客破壞或惡意入侵。3、公共網(wǎng)絡層：基于TCP/IP謝謝閱讀經(jīng)建成的公共網(wǎng)絡將數(shù)據(jù)、信息、知識發(fā)布出去。4、外部應用層：謝謝閱讀向外發(fā)布的各種信息。2.3系統(tǒng)數(shù)據(jù)結構省政府精品文檔放心下載結構存儲維度和事實數(shù)據(jù)。2.4行業(yè)特殊需求主題的增加謝謝閱讀局數(shù)感謝閱讀感謝閱讀精品文檔放心下載精品文檔放心下載據(jù)集市，滿足系統(tǒng)不斷增加的主題需求。主題所含指標的修改起感謝閱讀謝謝閱讀感謝閱讀感謝閱讀精品文檔放心下載增加，且效率比較高，主題下指標可以適當調整。指標數(shù)據(jù)修改感謝閱讀精品文檔放心下載精品文檔放心下載精品文檔放心下載感謝閱讀精品文檔放心下載謝謝閱讀丟失，保持歷史的真實性。數(shù)據(jù)更新權限由于數(shù)據(jù)倉庫的數(shù)據(jù)維護由分散的多個處室在不同的時間進行，為了防止數(shù)謝謝閱讀感謝閱讀精品文檔放心下載個用戶有查詢權限。定時報警定時檢測各個處室的數(shù)據(jù)是否按設計要求及時導入數(shù)據(jù)倉庫，否則以適當方謝謝閱讀式報警。決策算法的擴展由系統(tǒng)結構的高度模塊化實現(xiàn)?？缰黝}指標的查詢通過調整主題指標，減少跨主題指標的查詢；臨時性的跨主題指標查詢，利用全局指標庫，從不同的主題事實表中查詢。精品文檔放心下載本地文件讀寫基于C/S感謝閱讀基于B/S模式的應用，雖然基于安全角度上的考慮，IE限制了ActiveX、精品文檔放心下載JavaScript,、JavaAppletJavaScript，ActiveX，精品文檔放心下載可以通過配置IE的安全屬性，來讀寫本地文件，當然，這種配置也會帶來一些感謝閱讀JavaApplet精品文檔放心下載而言，Java安全提供了API和工具集用于向應用程序或JavaApplet“注入”安感謝閱讀全。提供細粒度(fine-grained)和可配置的訪問控制的架構被內置到核心Java謝謝閱讀安全體系結構之中，這是通過使用Java2感謝閱讀字簽名實現(xiàn)的。高頻指標智能維護謝謝閱讀系統(tǒng)定時刷新高頻指標表，完成高頻指標的自動維護。2.5底層數(shù)據(jù)庫（倉庫）設計2.5.1設計原則精品文檔放心下載庫系統(tǒng)建設的成敗。根據(jù)數(shù)據(jù)倉庫系統(tǒng)需求及Oracle9i數(shù)據(jù)庫系統(tǒng)的特性，謝謝閱讀我們對數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)庫設計應遵循如下設計原則：1、謝謝閱讀精品文檔放心下載的所有對象如表空間、數(shù)據(jù)文件、日志文件、表、視圖、索引、存儲過程、精品文檔放心下載列，都要求有嚴格的命名規(guī)范2、謝謝閱讀過自定義數(shù)據(jù)類型來實現(xiàn)。3、高效性原則：數(shù)據(jù)倉庫中的數(shù)據(jù)達到TB級別，對查詢速度的提高是精品文檔放心下載我們考慮的重點，可通過建Index，Cluster，盡可能的用存儲過程，允許感謝閱讀適當?shù)臄?shù)據(jù)冗余等技術來保證查詢效率。4、靈活性原則：設計要充分考慮主題，指標等的變化5、感謝閱讀息源和使用點，使信息按最短的路徑存取，以確保信息合理和快速流動。精品文檔放心下載6、謝謝閱讀應用程序的獨立性，它的改變不影響應用程序。7、精品文檔放心下載謝謝閱讀謝謝閱讀在數(shù)據(jù)庫的主鍵中加入操作用戶的信息等等。2.5.2數(shù)據(jù)現(xiàn)狀----1、數(shù)據(jù)格式多種多樣，一致性較差，并存在數(shù)據(jù)冗余感謝閱讀各個處室使用的數(shù)據(jù)格式均不相同，有Oracle，dbf，sarp，MITT，Excel，精品文檔放心下載Word，Text格式，且各個系統(tǒng)相對獨立。----2、數(shù)據(jù)來源多，但數(shù)據(jù)存放相對分散，缺乏統(tǒng)一管理謝謝閱讀謝謝閱讀精品文檔放心下載存放和管理----3、數(shù)據(jù)量很大，但對數(shù)據(jù)資源的開發(fā)利用不充分謝謝閱讀謝謝閱讀感謝閱讀合、提煉、挖掘。不便于分析、預測。----4、偏重于上報報表在計劃經(jīng)濟時期，局的職能主要是為上級機關報送報表；在市場經(jīng)濟時期，感謝閱讀局不僅要為上級機關報送報表，而且還要更多地為輔助本級政府宏觀決策和謝謝閱讀企業(yè)微觀決策及時提供各種信息和情報。新時期對信息的質量提出了更高的精品文檔放心下載要求：謝謝閱讀有價值的信息和情報作為決策時參考的依據(jù)；感謝閱讀情報支持，包括歷史的、當前的、未來的各種信息和情報資源；感謝閱讀感謝閱讀數(shù)據(jù)和信息；支持對不同類型和格式的數(shù)據(jù)或信息進行操作；信息要為更廣大的社會用戶尤其是企業(yè)的微觀決策提供支持；感謝閱讀要求信息資源能實現(xiàn)充分共享與快速交流。2.5.3數(shù)據(jù)存儲整體規(guī)劃決策數(shù)據(jù)數(shù)據(jù)精品文檔放心下載集市三個層次。這三個數(shù)據(jù)庫層次逐層濃縮，其層次結構如下：感謝閱讀謝謝閱讀決策謝謝閱讀數(shù)據(jù)數(shù)據(jù)集市謝謝閱讀倉庫的描述數(shù)據(jù)即元數(shù)據(jù)，包括主題描述表，主題指標描述表等。精品文檔放心下載感謝閱讀謝謝閱讀感謝閱讀機上，呈分布式存儲。謝謝閱讀精品文檔放心下載服務。謝謝閱讀精品文檔放心下載作為領導提供預測和決策的支持。工業(yè)經(jīng)濟決策元數(shù)據(jù)消費生產(chǎn)價格城市社會經(jīng)濟決策居民家庭收入單個主題的數(shù)據(jù)庫邏輯設計2.6ETL系統(tǒng)2.6.1需求規(guī)定采用自動加手動的方式導入數(shù)據(jù)。數(shù)據(jù)導入以定期自動導入為主，設立到期自動報警功能。感謝閱讀各個處室可以在任何時候向ETL服務器導入數(shù)據(jù)，而只在確定的時間從謝謝閱讀ETL服務器向數(shù)據(jù)倉庫導入數(shù)據(jù)。提供導入數(shù)據(jù)的接口，直接與各個處室的數(shù)據(jù)庫連接，盡可能利用現(xiàn)有謝謝閱讀系統(tǒng)數(shù)據(jù)，減輕各處室工作量。能夠與通用的數(shù)據(jù)文件進行連接，適應各專業(yè)處室可能的數(shù)據(jù)庫平臺的感謝閱讀變更，能導入同種類型的不同格式的數(shù)據(jù)。2.6.2運行環(huán)境服務端指標數(shù)據(jù)加載子系統(tǒng)運行于主流UNIX操作系統(tǒng)感謝閱讀客戶端指標數(shù)據(jù)抽取子系統(tǒng)運行在高性能PC上，Windows98以上版本操作系統(tǒng)，謝謝閱讀需要有Oracle客戶端支持。2.6.3設計思想指標數(shù)據(jù)抽取子系統(tǒng)1、建立靈活的數(shù)據(jù)導入方式，直接利用中間件ODBC訪問各種數(shù)據(jù)庫系統(tǒng)。感謝閱讀2、建立統(tǒng)一的環(huán)境，各個處室在統(tǒng)一的環(huán)境下向中間數(shù)據(jù)庫導入數(shù)據(jù)。謝謝閱讀3、通過用戶權限區(qū)別各個處室應該導入的數(shù)據(jù)，讓不同用戶在導入數(shù)據(jù)時不會精品文檔放心下載發(fā)生混亂。指標數(shù)據(jù)加載子系統(tǒng)1、程序自動運行的同時引進人工干預，定時啟動加載系統(tǒng)，自動進行中間數(shù)據(jù)精品文檔放心下載庫向數(shù)據(jù)倉庫導入數(shù)據(jù)的工作。2感謝閱讀2.6.4結構說明精品文檔放心下載感謝閱讀精品文檔放心下載感謝閱讀感謝閱讀感謝閱讀載到數(shù)據(jù)倉庫的專業(yè)事實表中。人工輸入中間數(shù)據(jù)庫數(shù)據(jù)抽取、清洗、轉換、加載過程高度模塊化，ETL系統(tǒng)用數(shù)據(jù)抽取模精品文檔放心下載型從各處室抽取數(shù)據(jù)、用數(shù)據(jù)清洗模型清洗數(shù)據(jù)、用轉換模型轉換不同類型精品文檔放心下載的數(shù)據(jù)、用加載模型加載數(shù)據(jù)到數(shù)據(jù)倉庫。ETL系統(tǒng)是一個體系環(huán)境，各種數(shù)據(jù)操作按中間數(shù)據(jù)庫模型庫中的規(guī)定感謝閱讀ETL服務器的目的。謝謝閱讀數(shù)據(jù)抽取、清洗、轉換、加載有以下子系統(tǒng)：1.指標數(shù)據(jù)抽取子系統(tǒng)。這個系統(tǒng)又可以稱為數(shù)據(jù)導入。功能：數(shù)據(jù)抽取、數(shù)據(jù)清洗。把各個處室不同格式的數(shù)據(jù)按指標進行抽精品文檔放心下載取、經(jīng)過清洗后存入中間數(shù)據(jù)庫，容許數(shù)據(jù)修改。指標數(shù)據(jù)抽取子系統(tǒng)能收集各種通用格式的數(shù)據(jù)，提供輸入界面手動輸感謝閱讀入數(shù)據(jù)。Sybase、Oracle、db2、dbf等可以通過odbc感謝閱讀訪問的數(shù)據(jù)庫，和Excel數(shù)據(jù)以及按順序排列數(shù)據(jù)的文本文件。精品文檔放心下載各種格式的數(shù)據(jù)都有對應的模塊，這些模塊遵循統(tǒng)一數(shù)據(jù)接口，能夠不精品文檔放心下載斷增加并識別新的數(shù)據(jù)格式。2.指標數(shù)據(jù)加載子系統(tǒng)。功能：數(shù)據(jù)轉換、數(shù)據(jù)加載。把中間數(shù)據(jù)庫所有指標數(shù)據(jù)經(jīng)過轉換后，感謝閱讀加載到數(shù)據(jù)倉庫中。2.6.5處理流程指標數(shù)據(jù)抽取子系統(tǒng)通過讀取ETL精品文檔放心下載各個處室的數(shù)據(jù)暫存到中間數(shù)據(jù)庫。精品文檔放心下載庫的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。2.7系統(tǒng)管理2.7.1需求規(guī)定數(shù)據(jù)的維護1、年度數(shù)據(jù)至少保存10年以上；進度（月、季、半年度）數(shù)據(jù)至少保精品文檔放心下載存5年以上；在條件容許的情況下，數(shù)據(jù)保存盡可能長的時間。精品文檔放心下載2、歷史數(shù)據(jù)的導出、導入功能。3、感謝閱讀據(jù)。4、對時間跨度很大的普查數(shù)據(jù)等非時間累加數(shù)據(jù)按實際需要保存相應謝謝閱讀年限。5、對數(shù)據(jù)要進行備份。指標的維護1.數(shù)據(jù)庫指標管理、維護，隨時間的推移可增加主題下包括的指標；謝謝閱讀2.能適應制度的變化，指標口徑（指標含義）能進行適當調整。精品文檔放心下載3.行政區(qū)劃代碼允許調整。系統(tǒng)的維護1.設置不同級別用戶的維護訪問權限。2.感謝閱讀護系統(tǒng)。3.系統(tǒng)管理具備日志功能。主題的維護隨著時間、形式的變化，主題能夠增加或減少。分析方法的維護1.對現(xiàn)有分析方法提供描述，能夠對分析方法進行修改。精品文檔放心下載2.能夠增加分析方法。備份數(shù)據(jù)倉庫的備份與災難恢復功能。2.7.2運行環(huán)境系統(tǒng)運行在高性能PC機上，操作系統(tǒng)為Windows系統(tǒng)。精品文檔放心下載2.7.3設計思想1、系統(tǒng)管理系統(tǒng)自主開發(fā)。2、在操作習慣、程序風格上與Windows一致。謝謝閱讀2.7.4結構說明系統(tǒng)管理是整個數(shù)據(jù)倉庫系統(tǒng)的保障系統(tǒng)，保障數(shù)據(jù)倉庫系統(tǒng)正常運行。感謝閱讀系統(tǒng)管理分為兩大子系統(tǒng)：ETL管理子系統(tǒng)、數(shù)據(jù)倉庫管理子系統(tǒng)，分別管謝謝閱讀理ETL服務器中間數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)。指標管理ETL服務器系統(tǒng)管理主題管理備份與維護數(shù)據(jù)倉庫

權限管理元數(shù)據(jù)管理1、ETL管理子系統(tǒng)所有轉換規(guī)則都存在數(shù)據(jù)庫中，ETL管理子系統(tǒng)通過維護數(shù)據(jù)庫中數(shù)據(jù)達感謝閱讀到維護ETL服務器的目的。維護子系統(tǒng)通過各種可視化友好界面提供給感謝閱讀用戶簡潔明了維護方式。維護ETL精品文檔放心下載護ETL服務器數(shù)據(jù)清洗模型，避免垃圾數(shù)據(jù)進入數(shù)據(jù)倉庫；精品文檔放心下載維護ETL服務器數(shù)據(jù)轉換模型，保證轉換的正確性；謝謝閱讀維護ETLETL服務器中指標與數(shù)據(jù)倉庫指精品文檔放心下載標的統(tǒng)一。進行ETL精品文檔放心下載通過ETL加載子系統(tǒng)提供的接口，控制ETL加載子系統(tǒng)的運行。感謝閱讀2、數(shù)據(jù)倉庫管理子系統(tǒng)精品文檔放心下載:一類是管理元數(shù)據(jù)，它是對元數(shù)據(jù)及其內容，數(shù)謝謝閱讀據(jù)倉庫主題，數(shù)據(jù)轉換及各種操作信息的描述；另一類是用戶元數(shù)據(jù)，精品文檔放心下載它幫助用戶查詢信息，理解結果，了解數(shù)據(jù)倉庫中的數(shù)據(jù)和組織等。謝謝閱讀決策模型庫維護主題庫維護數(shù)據(jù)備份與維護挖掘模型庫維護高頻數(shù)據(jù)維護2.7.5處理流程數(shù)據(jù)倉庫管理子系統(tǒng)：對數(shù)據(jù)倉庫的數(shù)據(jù)進行定期的自動或手動維護，包括備份與恢復。謝謝閱讀元數(shù)據(jù)分類：技術元數(shù)據(jù)；商業(yè)元數(shù)據(jù)；數(shù)據(jù)倉庫操作型信息。感謝閱讀ETL管理子系統(tǒng)2.8數(shù)據(jù)展現(xiàn)2.8.1需求規(guī)定查詢1.感謝閱讀件組合查詢，并支持模糊查詢等2.精品文檔放心下載表進行自動維護。3.提供關聯(lián)指標的搜索功能。導出1.數(shù)據(jù)的展現(xiàn)能提供文字說明、簡單圖表顯示、多種圖形（線圖、餅圖，方柱感謝閱讀2.主欄、賓欄能夠互換，能夠顯示多層表格結構。3.精品文檔放心下載重、標準差，能夠排序。4.提供經(jīng)濟地圖的直觀表示。5.能夠打印報表、圖形。6.dbf庫文件、Word謝謝閱讀文檔、Excel表格。7.所查詢出來的表能保存或另存為其他格式文件。8.提供簡單分析報告自動生成功能。9.展現(xiàn)結果可通過用戶列表形式用E-mail向用戶發(fā)送，也可進行功能精品文檔放心下載設置，定時自動發(fā)送。聯(lián)機分析（OLAP：On-LineAnalyticalProcessing）精品文檔放心下載能夠進行時間序列分析和變量分析。A.時間序列分析：普通最小二乘法(Ls)帶有自回歸誤差校正項的最小二乘法兩階段最小二乘法加權最小二乘法加權兩階段最小二乘法非線性最小二乘法加權非線性最小二乘法B.變量分析：主成分分析相關分析判別分析因子分析聚類分析數(shù)據(jù)挖掘感謝閱讀到更詳細的數(shù)據(jù)。2.8.2運行環(huán)境服務系統(tǒng)運行在UNIX操作系統(tǒng)下。瀏覽器運行在采用HTTP協(xié)議的任何操作系統(tǒng)下。2.8.3設計思想1、盡量選用目前成熟的OLAP多維分析、數(shù)據(jù)挖掘工具。感謝閱讀2、對有特殊要求的決策支持算法，采用在購買的軟件包上進行二次開發(fā)。精品文檔放心下載3、Web頁面采用以抽象畫為主格調的背景，高雅清新的頁面風格。精品文檔放心下載4、各個主題格調保持基本一致，但各個具體主題的用戶界面各有特色，突出各精品文檔放心下載自主題特點。2.8.4結構說明應用服務器直接與數(shù)據(jù)倉庫交互，處理外界查詢請求；WEB服務器完成和用戶的謝謝閱讀OLAP服務器與用服務器謝謝閱讀交互得到大量數(shù)據(jù)，將對大量數(shù)據(jù)進行分析計算的結果返回給WEB服務器。感謝閱讀感謝閱讀據(jù)倉庫中提取后通過運算、分析，用直觀的方式展現(xiàn)給用戶。感謝閱讀數(shù)據(jù)倉庫簡單分析報告生成/服務器模式或瀏覽器/服務器模式。感謝閱讀我們分為以下子系統(tǒng)：1、應用服務器感謝閱讀庫設計。2、OLAP決策分析子系統(tǒng)進行多維分析、利用決策模型進行決策分析。按要求生成簡單文字分感謝閱讀析報告。3、WEB服務器精品文檔放心下載統(tǒng)，為用戶提供與數(shù)據(jù)倉庫交互界面，處理用戶的查詢分析請求。謝謝閱讀4、報表處理子系統(tǒng)滿足用戶對報表的處理、打印請求。5、數(shù)據(jù)挖掘子系統(tǒng)對數(shù)據(jù)進行分析挖掘。6、圖形展示子系統(tǒng)對輸入的數(shù)據(jù)進行各種圖形展示，輸出數(shù)據(jù)表格、餅圖、柱狀圖、折線圖等等。感謝閱讀7、數(shù)據(jù)導出子系統(tǒng)謝謝閱讀數(shù)據(jù)挖掘子系統(tǒng)用戶

瀏

覽

器2.8.5處理流程數(shù)據(jù)展現(xiàn)系統(tǒng)采用J2EE技術平臺，解決用戶對數(shù)據(jù)倉庫的數(shù)據(jù)訪問、運算、展精品文檔放心下載現(xiàn)等問題。2.9接口設計2.9.1外部接口1、用戶接口數(shù)據(jù)展現(xiàn)部分采用瀏覽器的模式與用戶交互信息。數(shù)據(jù)采集、原數(shù)據(jù)管理系統(tǒng)采用C/S模式與用戶交互謝謝閱讀2、硬件接口本系統(tǒng)沒有特定的硬件接口3、軟件接口ETL系統(tǒng)接口：ETL系統(tǒng)分為指標數(shù)據(jù)加載子系統(tǒng)和指標數(shù)據(jù)抽取子系統(tǒng)，指標數(shù)據(jù)抽取子系感謝閱讀統(tǒng)為指標數(shù)據(jù)加載子系統(tǒng)提供原始數(shù)據(jù)。感謝閱讀精品文檔放心下載的數(shù)據(jù)采集模塊、新增或更換了數(shù)據(jù)格式，只需添加或修改相應的模塊即可，謝謝閱讀精品文檔放心下載ODBC標準接口獲得數(shù)據(jù)。指標數(shù)據(jù)加載子系統(tǒng)檢測客戶端提交到中間數(shù)據(jù)庫的數(shù)據(jù)完整且合符要求時，謝謝閱讀容許將數(shù)據(jù)從中間數(shù)據(jù)庫加載到數(shù)據(jù)倉庫專業(yè)事實表。系統(tǒng)管理系統(tǒng)接口：系統(tǒng)管理系統(tǒng)分為ETL管理子系統(tǒng)和數(shù)據(jù)倉庫管理子系統(tǒng)，ETL管理子系統(tǒng)通謝謝閱讀過管理ETL中間數(shù)據(jù)庫的模型庫達到管理指標數(shù)據(jù)抽取子系統(tǒng)和指標數(shù)據(jù)加精品文檔放心下載載子系統(tǒng)的目的。數(shù)據(jù)展現(xiàn)系統(tǒng)接口：精品文檔放心下載謝謝閱讀時要求進行展現(xiàn)，數(shù)據(jù)展現(xiàn)的過程為，用戶通過WEB界面提交請求，WEB服務謝謝閱讀感謝閱讀應數(shù)據(jù)提交OLAP服務器按指定要求處理或直接送到WEB感謝閱讀因此，WEB精品文檔放心下載OLAP服務器提供接收數(shù)據(jù)倉為返回數(shù)據(jù)接口。其他接口以各個子系統(tǒng)之間的接口為準。4、通訊接口以各個子系統(tǒng)的接口為準。2.9.2內部接口以各個子系統(tǒng)的接口為準。2.10安全設計2.10.1網(wǎng)絡安全感謝閱讀精品文檔放心下載倉庫系統(tǒng)更安全。1、防火墻黑客一般會利用因特網(wǎng)出口來攻擊內部網(wǎng)絡。為了將外網(wǎng)（Internet謝謝閱讀行有效的安全隔離，確保內網(wǎng)的安全，在與Internet連接的出口處應安裝防火精品文檔放心下載墻。在內部網(wǎng)與Internet連接的出口處安裝防火墻有重要意義：精品文檔放心下載（1）保護脆弱的服務：精品文檔放心下載的風險。例如，防火墻可以禁止NIS、NFS服務通過，防火墻同時可以拒絕源路謝謝閱讀由和ICMP重定向封包等。（2）控制對系統(tǒng)的訪問：精品文檔放心下載訪問另外的主機。例如，防火墻允許外部訪問特定的郵件服務器和Web服務器。精品文檔放心下載（3）集中的安全管理：謝謝閱讀精品文檔放心下載火墻可以定義不同的認證方法，而不需在每臺機器上分別安裝特定的認證軟件。謝謝閱讀外部用戶也只需要經(jīng)過—次認證即可訪問內部網(wǎng)。（4）增強的保密性：Finger和DNS。謝謝閱讀（5）記錄和網(wǎng)絡利用數(shù)據(jù)以及非法使用數(shù)據(jù)：感謝閱讀防火墻可以提供數(shù)據(jù)，來判斷可能的攻擊和探測。（6）策略執(zhí)行：感謝閱讀于每臺主機的用戶。推薦產(chǎn)品：NetScreen公司NetScreen-100防火墻。謝謝閱讀2、入侵檢測感謝閱讀護，降低了網(wǎng)絡安全風險。但是，僅僅使用防火墻、網(wǎng)絡安全還遠遠不夠：謝謝閱讀（1）入侵者可尋找防火墻背后可能敞開的后門；（2）入侵者可能就在防火墻內；（3）由于性能的限制，防火墻通常不能提供實時的入侵檢測能力。謝謝閱讀感謝閱讀謝謝閱讀感謝閱讀精品文檔放心下載謝謝閱讀謝謝閱讀系統(tǒng)安全。推薦產(chǎn)品：網(wǎng)絡隱患掃描感謝閱讀感謝閱讀全隱患。它在網(wǎng)絡層掃描各種設備，檢查路由器、Web服務器、Unix服務器、感謝閱讀WindowsNT服務器、桌面系統(tǒng)和防火墻的安全漏洞，它不僅給用戶提供網(wǎng)絡的安精品文檔放心下載謝謝閱讀及時的排解和補救，同時還支持用戶建立適應性的安全策略和有效地安全模式，謝謝閱讀為用戶提供專業(yè)的安全報告，包括修改建議和專業(yè)知識庫等。精品文檔放心下載推薦產(chǎn)品：。3、安全服務感謝閱讀感謝閱讀精品文檔放心下載感謝閱讀安全審計和操作，這些都屬于安全服務的范疇。精品文檔放心下載精品文檔放心下載謝謝閱讀感謝閱讀定期安全檢測、安全技術培訓、應急響應支持的全面的、綜合的服務。感謝閱讀感謝閱讀謝謝閱讀精品文檔放心下載求來保障網(wǎng)絡的安全性，對安全事件進行快速響應。服務流程：2.10.2數(shù)據(jù)庫安全1、創(chuàng)建和管理用戶謝謝閱讀感謝閱讀2、管理權限和角色ORACLEDBA感謝閱讀ResourceConnectORACLE用戶。精品文檔放心下載(用系統(tǒng)權限來控制用戶能否對數(shù)據(jù)庫執(zhí)行操作。對象權限控制用戶能否對單個感謝閱讀對象（例如表和視圖)執(zhí)行操作；角色通過將相關的權限集合在一個單一的角色感謝閱讀下，使DBA3、創(chuàng)建和分配用戶配置文件制定用戶配置文件Profile感謝閱讀Profile可謝謝閱讀以限制用戶對CPU資源的消耗，并且能增強口令的復雜性。Profile也可以定義謝謝閱讀口令多長時間需要被更新一次等。4、其他數(shù)據(jù)庫內部執(zhí)行級安全管理，主要有下面幾點的結合：精品文檔放心下載用視圖限制用戶可以查看的數(shù)據(jù)用觸發(fā)器阻止越權更新表用存儲過程作為管理更新和刪除的工具5、數(shù)據(jù)庫掃描謝謝閱讀感謝閱讀感謝閱讀精品文檔放心下載感謝閱讀查能大大提高數(shù)據(jù)庫的安全。推薦產(chǎn)品：ISS公司的數(shù)據(jù)庫掃描器（DatabaseScanner精品文檔放心下載2.11系統(tǒng)可靠性設計2.11.1可靠性1)數(shù)據(jù)庫系統(tǒng)運行在具有高可靠性的UNIX感謝閱讀行的高可靠性和長期運行的高穩(wěn)定性；2)最終數(shù)據(jù)使用用戶通過瀏覽器獲取數(shù)據(jù)，瀏覽器本身的可靠性保證了用謝謝閱讀戶軟件的可靠性；2.11.2可維護性1、數(shù)據(jù)展現(xiàn)部分采用了B/S謝謝閱讀要進行維護，后臺系統(tǒng)的維護升級對用戶上透明的。2、C/S模式，精品文檔放心下載其用戶量少，系統(tǒng)維護量相對較小。2.11.3可擴展性1、ETL抽取子系統(tǒng)是完全模塊化的，增加新謝謝閱讀的源數(shù)據(jù)類型只需要開發(fā)相應的功能模塊，在理論上具有無限擴展性。精品文檔放心下載2、主題的擴展性和主題下指標的擴展性：參見技術分析部分精品文檔放心下載3、OLAP分析模式、決策算法的擴展性：采用組件技術和動態(tài)聯(lián)接庫。感謝閱讀2.11.4健壯性1、B/S模式客戶端（Browser）的健壯性：感謝閱讀IE等瀏覽器為通用程序，其健壯性由開發(fā)商保證2、C/S模式客戶端(Client)的健壯性：通過充分調試、嚴格測試提高其健壯性3、數(shù)據(jù)庫系統(tǒng)的健壯性：保障數(shù)據(jù)庫系統(tǒng)的軟硬件環(huán)境，其健壯性由數(shù)據(jù)庫廠商產(chǎn)品保證謝謝閱讀4、中間件系統(tǒng)的健壯性：應用服務器和WEB精品文檔放心下載件經(jīng)過精心調試和嚴格測試來保證2.11.5性能保證1.B/S模式速度：謝謝閱讀性能2.并發(fā)性能：中間件產(chǎn)品和數(shù)據(jù)庫系統(tǒng)都有良好的并發(fā)控制性能。3.數(shù)據(jù)流量控制：限制最多同時使用用戶數(shù)，適當配置網(wǎng)絡參數(shù)4.穩(wěn)定性：嚴格單元測試，長時間高負荷系統(tǒng)性能測試2.11.6出錯處理1.出錯類別網(wǎng)絡連接故障：整個系統(tǒng)由于網(wǎng)絡環(huán)境的原因，導致不能正常通信。系統(tǒng)連接故障由于系統(tǒng)的問題，或者是人為的操作故障導致各個子系統(tǒng)無法正常聯(lián)系。精品文檔放心下載ETL系統(tǒng)問題由于人為的制造無效字符、無效數(shù)據(jù)到臨時數(shù)據(jù)庫，導入數(shù)據(jù)倉庫時發(fā)生的感謝閱讀故障。系統(tǒng)崩潰由于人為的錯誤、外界原因、系統(tǒng)本身的不完整性等導致數(shù)據(jù)庫系統(tǒng)、應用感謝閱讀服務器/WEB服務器發(fā)生致命的錯誤，而影響整個數(shù)據(jù)倉庫系統(tǒng)的正常運行。精品文檔放心下載2.出錯處理自動報警技術，系統(tǒng)定時檢測網(wǎng)絡系統(tǒng)和自身系統(tǒng)，一旦發(fā)生自身能檢謝謝閱讀測到的錯誤則發(fā)出報警，報警的方式有圖象提示，聲音提示、日志提示；謝謝閱讀按備份方案進行系統(tǒng)備份，系統(tǒng)出錯或崩潰后迅速將系統(tǒng)恢復；感謝閱讀各個系統(tǒng)保存系統(tǒng)運行日志，保存錯誤信息，方便解決問題；謝謝閱讀疑難問題可以從Oracle公司獲得咨詢幫助。精品文檔放心下載2.11.7備份與恢復1、建立完善的備份制度謝謝閱讀精品文檔放心下載份方案的目標。2、數(shù)據(jù)備份方式感謝閱讀短，操作最方便，當系統(tǒng)中數(shù)據(jù)量不大時，采用全備份最可靠。謝謝閱讀量備份：只備份上次完全備份以后增加的數(shù)據(jù)。分備份：只備份上次完全備份以后有變化的數(shù)據(jù)。按需備份：根據(jù)臨時需要有選擇地進行數(shù)據(jù)備份。3、數(shù)據(jù)恢復方式精品文檔放心下載為它關系到系統(tǒng)在經(jīng)歷災難后能否迅速恢復。災難恢復操作通?？梢苑譃閮深?。感謝閱讀第一類是全盤恢復，第二類是個別文件恢復。精品文檔放心下載失、系統(tǒng)崩潰或是有計劃的系統(tǒng)升級、系統(tǒng)重組等，也稱為系統(tǒng)恢復。感謝閱讀感謝閱讀備份系統(tǒng)的恢復功能，我們很容易恢復受損的個別文件。2.12運行設計首先運行數(shù)據(jù)庫服務器，建立后臺數(shù)據(jù)環(huán)境；運行應用服務器，提供用戶程序訪問數(shù)據(jù)的公共通道；謝謝閱讀運行WEB服務器，提供瀏覽器用戶程序服務環(huán)境；精品文檔放心下載運行（B/S或C/S）客戶端程序，完成數(shù)據(jù)操作與維護。感謝閱讀2.13相關工具選擇精品文檔放心下載感謝閱讀統(tǒng)中數(shù)據(jù)導入工作占整個數(shù)據(jù)倉庫維護工作量的80感謝閱讀年大約產(chǎn)生1000M左右的數(shù)據(jù)，其中700M左右的數(shù)據(jù)需要進入數(shù)據(jù)倉庫，要把精品文檔放心下載這700M數(shù)據(jù)從1000M中分離，且導入數(shù)據(jù)倉庫，這些工作沒有高效的工具是無精品文檔放心下載法實現(xiàn)的。由于至少需要存放10年以上的數(shù)據(jù)才能滿足分析要求，這樣數(shù)據(jù)倉謝謝閱讀庫中的數(shù)據(jù)隨時間倍增，數(shù)據(jù)在短時間內勢必達到50G精品文檔放心下載感謝閱讀感謝閱讀品。對市面上沒有相關通用性的產(chǎn)品，則要有針對性開發(fā)。精品文檔放心下載感謝閱讀型，縮短開發(fā)周期，及早見到成效。特別是在數(shù)據(jù)倉庫、應用服務器、WEB服務謝謝閱讀精品文檔放心下載謝謝閱讀謝謝閱讀感謝閱讀到數(shù)據(jù)倉庫中來。2.13.1數(shù)據(jù)庫選擇謝謝閱讀謝謝閱讀也有自己的數(shù)據(jù)倉庫產(chǎn)品。最終我們選擇了Oracle9i為數(shù)據(jù)倉庫，選擇的理由感謝閱讀是：（詳細介紹參見附錄：Oracle性能評估報告）謝謝閱讀我國行業(yè)一直使用Oracle作為其數(shù)據(jù)庫系統(tǒng)；謝謝閱讀Oracle公司的數(shù)據(jù)庫在全球占有率最高；Oracle9i是Oracle公司最新產(chǎn)品，全面支持internet，集成了最新數(shù)精品文檔放心下載據(jù)倉庫技術；Oracle公司應用工具齊全，選擇Oracle9i可以利用Oracle公司現(xiàn)有工感謝閱讀具，縮短數(shù)據(jù)倉庫系統(tǒng)開發(fā)周期，并且保證系統(tǒng)間見的無縫連接。精品文檔放心下載2.13.2WEB服務器和應用服務器幾乎所有的web服務器的內核都是Apache感謝閱讀Apache精品文檔放心下載經(jīng)成為Web服務器的事實測試標準。Apache以"補丁服務器"而聞名，Apache的謝謝閱讀早期開發(fā)是通過對NCSA的http代碼添加補丁程序來進行的。Apache被看做是"感謝閱讀補丁服務器"Apache的靈活性和可擴展性，謝謝閱讀謝謝閱讀以添加任何功能，模塊是很多內容管理系統(tǒng)的功能基礎，如Midgard，Zope等。謝謝閱讀Apache并不是最快的Web精品文檔放心下載的站點中運行非常正常。在使用Webstone進行性能測試中，Apache的吞吐量位感謝閱讀居第一，并且出錯最少，在測試中雖然Apache的可擴展性不是最強，但是仍然精品文檔放心下載是提供了如此多特性的服務器中速度最快的。Oracle公司的InternetApplicationServer集成了ApacheWEB感謝閱讀獨使用2.13.3數(shù)據(jù)庫建模工具我們選擇用CA公司的ERWIN位數(shù)據(jù)建模工具。ERWIN謝謝閱讀功能強大。ERwin可以方便地構造實體和聯(lián)系，表達實體間的各種約束關系，并謝謝閱讀根據(jù)模板創(chuàng)建相應的存儲過程、包、觸發(fā)器、角色等，還可編寫相應的PB擴展精品文檔放心下載ERwin可以實現(xiàn)將已建好的ER感謝閱讀模型到數(shù)據(jù)庫物理設計的轉換，即可在多種數(shù)據(jù)庫服務器（如Oracle，精品文檔放心下載SqlServer，Wat等）上自動生成庫結構，提高了數(shù)據(jù)庫的開發(fā)效率。感謝閱讀2.13.4分析型工具根據(jù)數(shù)據(jù)倉庫的定義和用途，它面向的用戶是中高層領導，主要執(zhí)行決策和感謝閱讀感謝閱讀在著巨大的鴻溝，原有的DBTOOL對此是無能為力的。解決之道唯有功能強大的謝謝閱讀分析工具。用戶從數(shù)據(jù)倉庫采掘信息時可能有多種不同的方式，但大體可以分成兩種模式，謝謝閱讀即驗證型(Verification)和發(fā)掘型(Discovery)。感謝閱讀1、驗證型主要含有以下工具：可視化工具，可視化工具以圖形化的方式展示數(shù)據(jù)，以便充精品文檔放心下載謝謝閱讀們可以深入到數(shù)據(jù)的結構中，了解數(shù)據(jù)的復雜性和動態(tài)性。感謝閱讀OLAPOLAP服務器，將來源于關系型數(shù)據(jù)庫的感謝閱讀謝謝閱讀精品文檔放心下載域、業(yè)務等。2、發(fā)掘型發(fā)掘型工具就是在用戶不知道會有什么結果的情況下給用戶提供一些分析結果，精品文檔放心下載通過可視化工具展現(xiàn)數(shù)據(jù)，使復雜的數(shù)據(jù)關系簡單化。發(fā)掘型分析工具主要是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘一般有以下算法：精品文檔放心下載謝謝閱讀別。決策樹：代表著決策集的樹形結構。精品文檔放心下載法的優(yōu)化技術。近鄰算法：將數(shù)據(jù)集合中每一個記錄進行分類的方法。規(guī)則推導：從意義上對數(shù)據(jù)中的“如果-那么”規(guī)則進行尋找和推導。精品文檔放心下載2.13.5OLAP工具介紹目前對OLAPOLAP工具分感謝閱讀multidimensionaldatabaseMOLAPOLAP工感謝閱讀具（relationalOLAP，簡稱ROLAP）兩大類。謝謝閱讀多維數(shù)據(jù)庫工具的數(shù)據(jù)存儲不采用傳統(tǒng)關系模型所使用的記錄、表等方式，精品文檔放心下載謝謝閱讀MOLAPSQL精品文檔放心下載用新的數(shù)據(jù)接口。如NCR，SAS，ORACLE公司的產(chǎn)品。精品文檔放心下載ROLAP謝謝閱讀精品文檔放心下載成邏輯上的多維，查詢速度提高依靠數(shù)據(jù)整理和概要表、聚合表。ROLAP既可以感謝閱讀是與其前臺有數(shù)據(jù)接口也可以直接通過SQL感謝閱讀據(jù)庫工具相比，關系型的OLAP工具在數(shù)據(jù)庫層次上有標準的關系模型，有標準感謝閱讀的數(shù)據(jù)訪問方式（SQL）及其編程接口，工具與數(shù)據(jù)庫的可互聯(lián)性比較好。如謝謝閱讀SYBASE，SQLSERVER，INFORMIX公司的產(chǎn)品。感謝閱讀NCR的Teradata是高端數(shù)據(jù)倉庫市場最有力的競爭者，主要運行在感謝閱讀NCRWorldMarkSMP硬件的Unix精品文檔放心下載度分析。為了開拓數(shù)據(jù)集市（DataMart）市場1998年，該公司也提供了基于謝謝閱讀WindowsNT的Teradata?？偟膩砜碞CR的產(chǎn)品性能很好，但是，NCR產(chǎn)品的價格感謝閱讀相對較高，中小企業(yè)用戶難以接受。SAS/MDDB是SAS用于在線分析的多維數(shù)據(jù)庫服務器；SAS/AF提供了屏幕設謝謝閱讀計功能和用于開發(fā)的SCLSAS/ITSV（ITServiceVisionIT謝謝閱讀ITWeb服精品文檔放心下載務器和電話系統(tǒng)等?？偟膩碚f，SAS系統(tǒng)的優(yōu)點是功能強、性能高、特長突出，謝謝閱讀缺點是系統(tǒng)比較復雜，軟件投資較高，而且每年都需交納License費。謝謝閱讀2.13.6ORACLE公司OLAP介紹通過使用OracleExpressObjectsOracleExpressAnalyzer和OracleDiscoverer，精品文檔放心下載企業(yè)能夠迅速建立和實施數(shù)據(jù)倉庫應用。預制的OLAP應用，即感謝閱讀OracleFinancialAnalyzer，OracleFinancialController和感謝閱讀OracleSalesAnalyzer，則進一步減少了實施時間和費用。Oracle及其解決方案謝謝閱讀合作伙伴提供的預置OLAP應用，在財務合并和預算編制這樣的領域以及在電信謝謝閱讀感謝閱讀或者工作組OLAP應用，Oracle的Express工具和應用都提供解決方案。謝謝閱讀支持Web應用的OracleExpressServer是一個先進的計算引擎和數(shù)據(jù)高速緩存，謝謝閱讀能夠集成來自獨立系統(tǒng)的數(shù)據(jù)，這些系統(tǒng)可能是關系型的、傳統(tǒng)的或者外部的。精品文檔放心下載它使用多維模型，多維模型最能反應用戶對其業(yè)務的思考方法。感謝閱讀精品文檔放心下載數(shù)據(jù)(維)看作是一個數(shù)組的列(edges)謝謝閱讀精品文檔放心下載精品文檔放心下載最復雜的OLAP應用。OracleExpressServer不僅支持多維數(shù)據(jù)模型，而且具有分析、預測、建模，以謝謝閱讀及對數(shù)據(jù)進行假設分析(what－if)謝謝閱讀間序列管理等方面的內置功能。ExpressServer能夠存儲和管理多維數(shù)組，或者通過一種只需很少、甚至不需索感謝閱讀精品文檔放心下載謝謝閱讀據(jù)完整性控制。同時，Oracle的開放策略允許實施企業(yè)OLAP的公司自由選擇所謝謝閱讀Windows精品文檔放心下載子表格和WWW，從而獲得最大限度的靈活性。OracleExpressAnalyzer是通用的、面向最終用戶的報告和分析工具，它采用面感謝閱讀向對象技術，在OracleExpressAnalyzer中能運行任何OracleExpressObjects精品文檔放心下載應用。實際上，OracleExpressAnalyzer的用戶能夠擴展和發(fā)布在感謝閱讀OracleExpressObjects中開發(fā)的應用。ExpressObjects和ExpressAnalyzer的精品文檔放心下載集成使得信息系統(tǒng)人員和用戶群體在建立和共享應用和對象方面擁有廣泛的選感謝閱讀擇余地。2.14開發(fā)環(huán)境感謝閱讀感謝閱讀些子系統(tǒng)密切合作，形成一個緊密結合、高效的整體。2.14.1硬件環(huán)境基于高速網(wǎng)絡環(huán)境。服務器采用高檔小型機?？蛻舳藶楦咝阅芸蛻舳?。2.14.2操作系統(tǒng)服務系統(tǒng)運行于UNIX操作系統(tǒng)。UNIX以其較小的內核、較高的運行效率精品文檔放心下載著名，獲得了服務器上主流操作系統(tǒng)的地位。全球著名的硬件產(chǎn)商都有與自身謝謝閱讀服務器緊密結合的UNIX操作系統(tǒng)（如IBM的AIX和SUN公司的Solaries，HP精品文檔放心下載的HP_UX客戶端系統(tǒng)運行在Windows操作系統(tǒng)下。全世界90％的PC用的是感謝閱讀Windows操作系統(tǒng)，廣大用戶已經(jīng)習慣了Windows操作系統(tǒng)的界面、風格。局感謝閱讀幾乎所有PC都是運行在Windows精品文檔放心下載系統(tǒng)管理、ETL工具客戶端等）運行在Windows系統(tǒng)下能滿足用戶需要，縮短精品文檔放心下載系統(tǒng)投入使用的培訓時間。2.14.3開發(fā)語言JAVA語言最先由網(wǎng)景公司利用在WEB上，是最好的跨平臺開發(fā)語言，是當精品文檔放心下載前B/SC語言最先在UNIX系統(tǒng)下使用，是一種執(zhí)行效率非精品文檔放心下載C++的出現(xiàn)使CC++語言也得到感謝閱讀了日益廣泛的應用，是C/S模式的首選開發(fā)語言。2.14.4數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)庫系統(tǒng)采用Oracle9iOracle9i是Oracle公司對數(shù)據(jù)倉庫支持最好的精品文檔放心下載感謝閱讀2.14.5中間件系統(tǒng)中間件系統(tǒng)包括應用服務器、WEB服務器和自主開發(fā)的業(yè)務邏輯服務系統(tǒng)等。應謝謝閱讀用服務器需要處理大量的數(shù)據(jù)信息，業(yè)務邏輯，效率要求高，系統(tǒng)資源占用大，謝謝閱讀需要在UNIX系統(tǒng)下運行。WEB服務器直接面向大量的用戶群，處理用戶的請求，多種方式展示查詢結果，精品文檔放心下載Oracle公司的WEB服務器與應用服務器是完全感謝閱讀集成的，我們選擇與Oracle9i配套的具有強大數(shù)據(jù)倉庫功能的IAS作為省政府謝謝閱讀數(shù)據(jù)倉庫的應用服務器和WEN服務器，Oracle公司的IAS精品文檔放心下載（InternetApplicationServerOracleOracle9i精品文檔放心下載Oracle9i全面支持J2EE精品文檔放心下載類型的產(chǎn)品，例如WebSphere快2－4倍。精品文檔放心下載自主開發(fā)的中間件系統(tǒng)采用具有良好平臺移植性的開發(fā)語言JAVA來開發(fā)。精品文檔放心下載2.14.6應用系統(tǒng)1、系統(tǒng)管理工具的運行環(huán)境是Windows系統(tǒng)，采用C++作為開發(fā)語言。精品文檔放心下載元數(shù)據(jù)管理工具是直接面對有一定技術基礎的維護人員，需要有高度的感謝閱讀C++C/S精品文檔放心下載模式的系統(tǒng)，高效的管理數(shù)據(jù)庫，并且使數(shù)據(jù)倉庫具有一定的開放性。感謝閱讀2、ETL數(shù)據(jù)抽取工具運行環(huán)境是Windows系統(tǒng)，采用C++作為開發(fā)語言。精品文檔放心下載通過客戶服務器模式從各個處室抽取數(shù)據(jù)，直接面對用戶，界面友好，感謝閱讀有選擇性的從各處室的系統(tǒng)中抽取數(shù)據(jù)，因此要利用C++開發(fā)高效率的、謝謝閱讀有針對性的系統(tǒng)。3、用JAVA開發(fā)ETLUNIX感謝閱讀據(jù)庫向數(shù)據(jù)倉庫加載數(shù)據(jù)。4精品文檔放心下載用的開發(fā)語言是基于JAVA。5、報表系統(tǒng)基于WEB頁面，采用JAVA開發(fā)。謝謝閱讀3系統(tǒng)調試和測試3.1目的湖南省統(tǒng)計局省政府謝謝閱讀“湖南省統(tǒng)精品文檔放心下載計局省政府數(shù)據(jù)倉庫”順利實現(xiàn)。3.2基本要求3.2.1測試計劃謝謝閱讀其它系統(tǒng)有關的配套測試工作安排。3.2.2測試說明謝謝閱讀給出詳細的測試腳本。3.2.3測試環(huán)境建立省政府數(shù)據(jù)倉庫系統(tǒng)測試的精品文檔放心下載測試環(huán)境。要保證測試環(huán)境的正確性和可靠性。3.2.4測試報告每一階段的測試都要給出符合規(guī)范的測試報告（參見公司《測試報告書寫規(guī)感謝閱讀范》）3.3應遵循的原則測試貫穿于整過項目開發(fā)周期中的全部過程。與于項目組的測試部對數(shù)據(jù)精品文檔放心下載倉庫系統(tǒng)進行測試；測試用例既要有確定的輸入，也要有確定的輸出；測試用例既要有合理的輸入，也要有不合理的輸入；謝謝閱讀功能；全部測試用例應當作為軟件組成部分之一保存并交付；精品文檔放心下載在程序中錯誤的概率與在該程序段中已經(jīng)發(fā)現(xiàn)的錯誤數(shù)成正比。謝謝閱讀3.4測試方法a)靜態(tài)分析（staticanalysis）：不運行被測程序而對其進行分析。感謝閱讀b)單元測試（unittesting）：對可以單獨測試的軟件部分即單元所進謝謝閱讀行的測試。c)集成測試（integratedtesting）：對模塊之間的相互接口關系的測謝謝閱讀試，一般有增式和非增式兩種方式，即一次將所有模塊集成起來還是逐步集成。精品文檔放心下載d)系統(tǒng)測試（systemtesting）：按照功能需求驗證系統(tǒng)是否滿足所規(guī)感謝閱讀定的功能。e)精品文檔放心下載元測試、集成測試和構造測試。f)謝謝閱讀付測試。g)結構測試（structuraltesting）：基于程序的測試方法，通常也被感謝閱讀稱為白盒測試。h)功能測試（functionaltesting/設計說明書的測試謝謝閱讀方法，通常也被稱為黑盒測試或行為測試。在具體實施中我們將根據(jù)實際情況在不同的階段重點采用不同的測試方法。謝謝閱讀3.5測試重點1.數(shù)據(jù)抽取時的正確性，效率測試。2.存儲過程，觸發(fā)器的功能測試和算法的靜態(tài)分析。3.大量用戶同時訪問時數(shù)據(jù)庫服務器的性能。4.5個以上部門同時用ETL裝載數(shù)據(jù)時倉庫的性能測試。感謝閱讀5.指標口徑發(fā)生變化，對數(shù)據(jù)進行調整時，系統(tǒng)效率和穩(wěn)定性測試。感謝閱讀6.指標數(shù)據(jù)調整后，數(shù)據(jù)倉庫系統(tǒng)展現(xiàn)的結果的正確性測試。謝謝閱讀7.用戶權限設置是否正確。8.各階段的設計文檔資料與系統(tǒng)是否一致且資料符合公司規(guī)范。謝謝閱讀4項目進度4.1項目資源計劃4.1.1項目組項目組由公司組建，由16人組成的開發(fā)小組，主要工作是對數(shù)據(jù)倉庫系統(tǒng)精品文檔放心下載進行需求調查與分析、設計、開發(fā)、測試。4.1.2省政府局數(shù)據(jù)倉庫領導小組辦公室感謝閱讀求調查、協(xié)調工作。4.2項目工期計劃項目工期為2001年9月26日——2003年3月14日感謝閱讀4.3時間進度計劃感謝閱讀精品文檔放心下載期主題的開發(fā)。4.3.1數(shù)據(jù)倉庫系統(tǒng)需求調查與兩會系統(tǒng)謝謝閱讀感謝閱讀設計，計劃開始時間為2001年9月26日，完成時間為2002年1月15日。謝謝閱讀4.4第一期開發(fā)主題謝謝閱讀2002年1月152002年7謝謝閱讀月臺15日。4.5第二期開發(fā)主題精品文檔放心下載精品文檔放心下載2002年7月16日，計劃完工時間為2003年3月14日。感謝閱讀4.6工工作量時分配計劃總工作量：（61+140+174）*16/30=200人月感謝閱讀注：包括系統(tǒng)設計和開發(fā)工作量系統(tǒng)開發(fā)工作量：144人月各部分計劃工時計劃工作量如下：子系統(tǒng)名稱計劃工作量備注需求調查與設計320人日16*20兩會信息咨詢服務系統(tǒng)448人日11*5+32*14+11*2感謝閱讀數(shù)據(jù)庫系統(tǒng)40人日10*4中間數(shù)據(jù)庫設計20人日10*2數(shù)據(jù)倉庫設計20人日10*2ETL系統(tǒng)552人日69*8指標數(shù)據(jù)抽取子系統(tǒng)226人日69*4指標數(shù)據(jù)裝載子系統(tǒng)226人日69*4系統(tǒng)管理258.75人69*3.75日ETL管理子系統(tǒng)86.25人日69*1.25感謝閱讀數(shù)據(jù)倉庫管理子系統(tǒng)172.5人日69*2.5數(shù)據(jù)展現(xiàn)2700人日135*8OLAP決策分析子系統(tǒng)540人日135*4數(shù)據(jù)挖掘子系統(tǒng)540人日135*4報表處理子系統(tǒng)540人日135*4圖形展示子系統(tǒng)540人日135*4數(shù)據(jù)導出子系統(tǒng)540人日135*45小結數(shù)據(jù)倉庫充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫、信息庫、思想庫、智囊?guī)臁钡淖饔?，感謝閱讀直接向黨政領導、社會各界提供“快、精、準的信息服務的需要出發(fā)，采用當精品文檔放心下載感謝閱讀省信息工程建設提供一個“決策數(shù)據(jù)管理與分析中心”的基本解決方案。精品文檔放心下載數(shù)據(jù)倉庫設計具有以下特點：1、適應行業(yè)的特點感謝閱讀感謝閱讀感謝閱讀著重考慮以下方面：a、根據(jù)實際需求，主題指標數(shù)據(jù)在一定范圍內可調整，專業(yè)事實數(shù)據(jù)存放在數(shù)謝謝閱讀謝謝閱讀步處理；b、多維數(shù)據(jù)結構設計；c、主題所含指標根據(jù)實際需求可以進行調整2、C/S與B/S相結合現(xiàn)有數(shù)據(jù)倉庫系統(tǒng)主要以C/S精品文檔放心下載維護性、用戶使用的簡潔性、易用性及安全性、高效性等多方面考慮，采用C/S謝謝閱讀與B/S相結合方式。B/S的優(yōu)點：A、解決瀏覽數(shù)據(jù)客戶端安裝、更新、維護的問題，方便面向全社會開放。感謝閱讀B、更符合用戶的操作習慣。C、提高客戶端安全性、避免誤操作。C/S的優(yōu)點：A、運行的高效性。B、成熟的系統(tǒng)模式、功能強大。C、能非常靈活的開發(fā)有針對性的系統(tǒng)。3、分散與集中相結合局現(xiàn)狀：數(shù)據(jù)量大、數(shù)據(jù)分散存放、各處室數(shù)據(jù)彼此獨立性強。感謝閱讀謝謝閱讀4、數(shù)據(jù)抽取與加載分開現(xiàn)有ETL工具的數(shù)據(jù)抽取、加載過程同時進行，ETL工具完全集成。精品文檔放心下載局特點：各處室數(shù)據(jù)獨立性強、報告時間不統(tǒng)一、誤操作的可能性較大。精品文檔放心下載數(shù)據(jù)倉庫ETL工具的設計將數(shù)據(jù)抽取、加載過程分開，解決局現(xiàn)有的問題。謝謝閱讀6參考文獻1、省政府數(shù)據(jù)倉庫需求分析報告2、《數(shù)據(jù)倉庫技術與聯(lián)機分析處理》王珊1998年6月感謝閱讀3、《Oracle8數(shù)據(jù)倉庫分析、構建實用指南》美MichaelJ.Corey，謝謝閱讀MichaelAbbey，IanAbramson，BenTaub著陳越，郭淵博，張紅旗等譯2000年1感謝閱讀月第一版機械工業(yè)出版社4、《數(shù)據(jù)倉庫技術簡介》周永鑾2001年7月（網(wǎng)絡文獻）謝謝閱讀5、經(jīng)濟50年6、省年鑒7、《“兩會”系統(tǒng)整體設計報告》8、dataemook)(或n層)謝謝閱讀謝謝閱讀感謝閱讀精品文檔放心下載謝謝閱讀謝謝閱讀題。如俗語所說的:良好的開始是成功的一半。作為完整的解決方案的一部分，選擇適當?shù)募夹g和實施手段感謝閱讀精品文檔放心下載和一個完整的配置方案。一、多層體系結構的概念與劃分多層體系結構通過引入中間層組件，擴大了傳統(tǒng)的客戶/服務器和兩層計算模式。多層結構可由以下三類分

層來定義:;共享和控制業(yè)務邏輯;后端的數(shù)據(jù)管理與服務層，提供對專門服務(例如數(shù)據(jù)庫服務器)的訪問。

多層結構與傳統(tǒng)的客戶/服務器結構的區(qū)別在于:在傳統(tǒng)的客戶/服務器兩層結構中，用戶將實際的業(yè)務邏輯

放置到客戶端(作為對表達邏輯的增補)或放置到后端數(shù)據(jù)庫(作為數(shù)據(jù)邏輯的一部分包含在存儲過程中)儲。多層計算結構變得越來越重要，是因為企業(yè)業(yè)務環(huán)境的變化速度在逐漸加快，而新技術不斷出現(xiàn)在市場上，

謝謝閱讀"感謝閱讀厚