數(shù)據(jù)倉(cāng)庫(kù)解決方案

1、數(shù)據(jù)倉(cāng)庫(kù)解決方案深圳太極云軟技術(shù)股份有限公司2016 年 1 月目錄（一）概述 3一 .國(guó)內(nèi)信息化的現(xiàn)狀 3二 .以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)由后向前規(guī)劃 3三 .“想大做小”（整體設(shè)計(jì)、分布實(shí)施） 4（二 ）系統(tǒng)架構(gòu) 5數(shù)據(jù)倉(cāng)庫(kù)架構(gòu) 6系統(tǒng)功能架構(gòu) 7（三 ）數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法 8數(shù)據(jù)倉(cāng)庫(kù)建設(shè)8 大步驟 91. 系統(tǒng)分析，確定主題 92. 選擇滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái) 103. 建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型 104. 邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型 115. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化 126. 數(shù)據(jù)清洗轉(zhuǎn)換和傳輸 137. 開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用 148. 數(shù)據(jù)倉(cāng)庫(kù)的管理 15（四 ）系統(tǒng)功能詳

2、細(xì)介紹 16企業(yè)數(shù)據(jù)門(mén)戶(hù) 16主題分析 18即席查詢(xún) 18多維分析工具 19ETL工具20報(bào)表工具 21（一）概述一. 國(guó)內(nèi)信息化的現(xiàn)狀1. 信息化建設(shè)的發(fā)展歷史： 在國(guó)內(nèi)信息化建設(shè)過(guò)程中，基本上是按照當(dāng)時(shí)業(yè)務(wù)系統(tǒng)的需求進(jìn) 行建設(shè)，過(guò)一段時(shí)間， 如果有新的業(yè)務(wù)推出， 就再建設(shè)一個(gè)新的系統(tǒng)， 或在原系統(tǒng)的基礎(chǔ)上增加新的業(yè)務(wù)處理。 這樣的結(jié)果使每個(gè)系統(tǒng)和系 統(tǒng)之間缺少真正的信息溝通和信息交換。2. 為何要建立數(shù)據(jù)倉(cāng)庫(kù)：根據(jù)現(xiàn)狀業(yè)務(wù)系統(tǒng)各自為政， 相互獨(dú)立。當(dāng)很多業(yè)務(wù)系統(tǒng)建立后， 由于領(lǐng)導(dǎo)的要求和決策的需求， 需要一些指標(biāo)的分析， 在相應(yīng)的業(yè)務(wù) 系統(tǒng)基礎(chǔ)上再增加分析和相應(yīng)的報(bào)表功能， 這樣每個(gè)系統(tǒng)就

3、增加了報(bào) 表和分析功能。 但是，由于數(shù)據(jù)源不統(tǒng)一導(dǎo)致了對(duì)同一個(gè)指標(biāo)分析的 結(jié)果不相同。為了解決該問(wèn)題，為了分析和決策的需要，將相互分離 的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起， 可以為領(lǐng)導(dǎo)和決策層提供分析和輔 助決策。二. 以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)由后向前規(guī)劃數(shù)據(jù)倉(cāng)庫(kù)到底應(yīng)該怎么建設(shè) ?我一貫的主張是應(yīng)用驅(qū)動(dòng)。什么樣 的應(yīng)用呢？應(yīng)用是應(yīng)考慮政府管理的現(xiàn)狀和決策層最關(guān)心的問(wèn)題入 手。分利用現(xiàn)有信息系統(tǒng)資源，進(jìn)一步細(xì)化、量化權(quán)力清單，固化權(quán)力運(yùn)行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個(gè)體行為、記錄執(zhí) 法誠(chéng)信、科學(xué)考核評(píng)價(jià)和提升管理精度， 最終使群眾的合法權(quán)益得到 保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。通過(guò)

4、分析經(jīng)濟(jì)發(fā)展、衛(wèi)生 健康、教育科技、道路交通、機(jī)構(gòu)團(tuán)體、生活服務(wù)、文體娛樂(lè)、安全 避險(xiǎn)、資源環(huán)境、社保就業(yè)、財(cái)稅金融、法律服務(wù)等這些主題的分析 是否可行，應(yīng)該先進(jìn)行評(píng)估。這樣從應(yīng)用主題入手，就可以知道需要 什么樣的數(shù)據(jù)， 來(lái)自那些業(yè)務(wù)系統(tǒng)和數(shù)據(jù)源， 這些數(shù)據(jù)的全體進(jìn)行一 定的整合，按照分析的要求存儲(chǔ)就組成了一個(gè)個(gè)數(shù)據(jù)集市( Data Mart )。三. “想大做小”(整體設(shè)計(jì)、分布實(shí)施)為了避免原有業(yè)務(wù)系統(tǒng)相對(duì)獨(dú)立而形成的一個(gè)個(gè)信息孤島，以應(yīng) 用驅(qū)動(dòng)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)， 往往會(huì)造成新的信息孤島。 這是因?yàn)閼?yīng)用往往 是部門(mén)級(jí)的或者是某一方面的應(yīng)用，不能完全覆蓋企業(yè)級(jí)的所有應(yīng) 用。當(dāng)然我們這里不提倡一次

5、建設(shè)的應(yīng)用。如何避免這個(gè)問(wèn)題，是我 這里著重要要強(qiáng)調(diào)的。這里分兩種情形進(jìn)行設(shè)計(jì)，系統(tǒng)作用1. 整合業(yè)務(wù)數(shù)據(jù) 在各業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)不流通，形成信息孤島，商業(yè)智能解決方 案建立統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)，整合業(yè)務(wù)數(shù)據(jù)，給管理者提供統(tǒng)一視圖，統(tǒng)一 決策界面。2. 支撐決策從數(shù)據(jù)中分析企業(yè)發(fā)展趨勢(shì)， 挖掘新的機(jī)會(huì)方法， 根據(jù)數(shù)據(jù)決策，提高決策的及時(shí)性及準(zhǔn)確率。3. 提供管理效能，量化辦事效率基于系統(tǒng)分析內(nèi)容，管理者能了解細(xì)化、量化權(quán)力清單，固化權(quán)力運(yùn)行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個(gè)體行為、記錄執(zhí) 法誠(chéng)信、科學(xué)考核評(píng)價(jià)和提升管理精度，最終使群眾的合法權(quán)益得到 保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。（二）系統(tǒng)

6、架構(gòu)|離線(xiàn)報(bào)表多維分析即席查詢(xún)數(shù)報(bào)表統(tǒng)十?dāng)?shù)據(jù)挖掘決策管理 |預(yù)測(cè)分析數(shù)據(jù)管理層元 數(shù) 據(jù) 管 理數(shù)據(jù)清洗、轉(zhuǎn)換、加載數(shù)據(jù)交換I相關(guān)業(yè)務(wù)單位系統(tǒng)架構(gòu)圖在建立數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)按主題域存儲(chǔ)各業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)來(lái)源主要是政府 管理結(jié)構(gòu)的不同業(yè)務(wù)管理系統(tǒng)。 通過(guò)數(shù)據(jù)交換平臺(tái)定期采集各管理機(jī)構(gòu)的業(yè)務(wù)數(shù) 據(jù)，后臺(tái)數(shù)據(jù)處理工具 ETL 抽取、清洗數(shù)據(jù)，并加載入數(shù)據(jù)倉(cāng)庫(kù)中。架構(gòu)于數(shù)據(jù)倉(cāng)庫(kù)上的系統(tǒng)功能主要包括大數(shù)據(jù)門(mén)戶(hù)、 專(zhuān)題主題分析、 即系查 詢(xún)、多維分析、 自助報(bào)表的功能模塊， 通過(guò)這些功能模塊為管理者獲取數(shù)據(jù)和分 析數(shù)據(jù)提供簡(jiǎn)單易用、 功能強(qiáng)大的方法， 為管理者決策及提升管理精度， 最終實(shí) 現(xiàn)權(quán)力有效監(jiān)督和提

7、升政府效能。數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)建設(shè)過(guò)程，而不是產(chǎn)品。數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)對(duì)來(lái)自 不同的數(shù)據(jù)源進(jìn)行統(tǒng)一的處理及管理， 通過(guò)靈活的展示方法來(lái)幫助決 策支持。數(shù)據(jù)獲取層 實(shí)現(xiàn)如何從所有源系統(tǒng)中獲得原始的業(yè)務(wù)數(shù)據(jù)，并對(duì)其進(jìn)行一定 的數(shù)據(jù)處理， 按主題進(jìn)行數(shù)據(jù)重組和格式轉(zhuǎn)換， 然后傳送并裝載到數(shù) 據(jù)倉(cāng)庫(kù)系統(tǒng)中。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需要從多個(gè)源數(shù)據(jù)系統(tǒng)中抽取和匯總各個(gè)業(yè)務(wù)數(shù) 據(jù)，這些數(shù)據(jù)源系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)來(lái)源。把上述數(shù)據(jù)源系統(tǒng)中的數(shù)據(jù)按照主題進(jìn)行劃分和組織，然后抽取 并裝載到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。數(shù)據(jù)需要經(jīng)過(guò)三個(gè)過(guò)程：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載。這三 個(gè)過(guò)程是在保證各個(gè)數(shù)據(jù)源系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)能夠成功連接

8、（包括 網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)的轉(zhuǎn)換、不同平臺(tái)之間的接口）的前提下實(shí)現(xiàn)的。保證 把來(lái)自不同的源數(shù)據(jù)系統(tǒng)的同類(lèi)數(shù)據(jù)的一致性和完整性， 轉(zhuǎn)換完成的 數(shù)據(jù)裝載到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。數(shù)據(jù)管理層 把數(shù)據(jù)存儲(chǔ)到企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中進(jìn)行集中管理。在數(shù)據(jù)存 儲(chǔ)層，數(shù)據(jù)是存放在兩類(lèi)數(shù)據(jù)庫(kù)中：關(guān)系型數(shù)據(jù)庫(kù)和多維數(shù)據(jù)庫(kù)。數(shù) 據(jù)存儲(chǔ)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的中心。 取自多個(gè)數(shù)據(jù)源系統(tǒng)的明細(xì)數(shù)據(jù)， 以 及用于分析的集成匯總數(shù)據(jù)都存儲(chǔ)在這個(gè)中心。 它在邏輯上是一個(gè)完 整的庫(kù)。數(shù)據(jù)使用層 把數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的數(shù)據(jù)和分析結(jié)果提供給最終用戶(hù)。按照用 戶(hù)的分析需求、使用報(bào)表、隨即查詢(xún)、多維度分析和數(shù)據(jù)挖掘進(jìn)行數(shù) 據(jù)展現(xiàn)。數(shù)據(jù)輸出層的功能是使最終用戶(hù)通過(guò)報(bào)

9、表、圖形和其他分析工具 的方式簡(jiǎn)便、快捷地訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的各種數(shù)據(jù)， 得到分析結(jié)果。提供多種數(shù)據(jù)分析方法，包括標(biāo)準(zhǔn)報(bào)表、即席查詢(xún)報(bào)表、 動(dòng)態(tài)分 析報(bào)表、多維分析、趨勢(shì)預(yù)測(cè)、假設(shè)分析和數(shù)據(jù)挖掘等。 系統(tǒng)功能架構(gòu)多維分析 OLDP 多角度、 立體化、靈活動(dòng)態(tài)的分析業(yè)務(wù)數(shù)據(jù)。 產(chǎn) 品簡(jiǎn)單易用， 無(wú)需編寫(xiě)任何的代碼， 用戶(hù)只需要通過(guò)語(yǔ)義層的定義就 可以輕松搭建自己的多維數(shù)據(jù)模型。即席查詢(xún) 統(tǒng)計(jì)報(bào)表、指標(biāo)的快速檢索，幫助業(yè)務(wù)分析人員快速獲 得所需要的數(shù)據(jù)和統(tǒng)計(jì)信息。數(shù)據(jù)門(mén)戶(hù) Data Portal 進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方式包括儀表盤(pán)、表 格、報(bào)表、日歷等內(nèi)容，并支持用戶(hù)個(gè)性化定制內(nèi)容、指標(biāo)等功能， 實(shí)

10、現(xiàn)真正的個(gè)性化服務(wù)。 數(shù)據(jù)門(mén)戶(hù)中展現(xiàn)的內(nèi)容是管理者及業(yè)務(wù)人員 最關(guān)注的指標(biāo)，通過(guò)門(mén)戶(hù)為他們獲取數(shù)據(jù)提供最簡(jiǎn)單容易的方式。主題分析 根據(jù)資源的組織，支持?jǐn)?shù)據(jù)的深入挖掘和分析應(yīng)用，跟 蹤、監(jiān)控政策的執(zhí)行情況及實(shí)施效果，讓管理層了解細(xì)化、量化權(quán)力 清單，固化權(quán)力運(yùn)行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個(gè)體 行為、記錄執(zhí)法誠(chéng)信、科學(xué)考核評(píng)價(jià)和提升管理精度，最終使群眾的 合法權(quán)益得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。報(bào)表業(yè)商業(yè)智能系統(tǒng)建設(shè)的重要組成部分，主要對(duì)企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 中整合的各主題域業(yè)務(wù)數(shù)據(jù)，按照監(jiān)督管理要求，面向各級(jí)部門(mén)，快 速提供準(zhǔn)確、全面、靈活的體現(xiàn)政府管理效能等方面實(shí)際的數(shù)據(jù)信息，

11、為決策支持、業(yè)務(wù)管理提供有效的數(shù)據(jù)信息支撐。ETL工具：ETL是數(shù)據(jù)倉(cāng)庫(kù)最核心的后臺(tái)組件，通過(guò)對(duì)及匯總來(lái) 的不同來(lái)源數(shù)據(jù)的抽取、 清洗、加載實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的更新及流 轉(zhuǎn)。ETL工具（橋接器），實(shí)現(xiàn)了圖形化及自動(dòng)化的方式來(lái)配置 ETL 流程，極大的減輕了數(shù)據(jù)加工的工作量， 提高了數(shù)據(jù)準(zhǔn)確性及處理效 率。（三）數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法數(shù)據(jù)倉(cāng)庫(kù)決策分析的業(yè)務(wù)處理流程主要分為四個(gè)階段。1）數(shù)據(jù)集中： 各級(jí)政府部門(mén)業(yè)務(wù)數(shù)據(jù)統(tǒng)一匯總數(shù)據(jù)中心臨時(shí)數(shù)據(jù)存儲(chǔ)；2) 數(shù)據(jù)整理和轉(zhuǎn)換：匯總后的業(yè)務(wù)數(shù)據(jù)經(jīng)過(guò)ETL抽取、轉(zhuǎn)換、 加載到數(shù)據(jù)倉(cāng)庫(kù)中；3) 數(shù)據(jù)存儲(chǔ)和管理：對(duì)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)進(jìn)行集中存儲(chǔ)和管理、 備份和維護(hù)；4) 數(shù)

12、據(jù)挖掘和展現(xiàn)：用戶(hù)通過(guò)前端的展現(xiàn)工具對(duì)數(shù)據(jù)倉(cāng)庫(kù)中 數(shù)據(jù)進(jìn)行挖掘、鉆取和分析，在數(shù)據(jù)門(mén)戶(hù)展現(xiàn)；各委辦局業(yè)務(wù)系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)8大步驟1. 系統(tǒng)分析，確定主題確定一下幾個(gè)因素：操作出現(xiàn)的頻率，即業(yè)務(wù)部門(mén)每隔多長(zhǎng)時(shí)間做一次查詢(xún)分析。在系統(tǒng)中需要保存多久的數(shù)據(jù)，是一年、兩年還是五年、十年。用戶(hù)查詢(xún)數(shù)據(jù)的主要方式，如在時(shí)間維度上是按照自然年，還是財(cái)政年。用戶(hù)所能接受的響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘，還是幾小時(shí)。2. 選擇滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)選擇合適的軟件平臺(tái)，包括數(shù)據(jù)庫(kù)、建模工具、分析工具等。有許多因素要考慮，如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功能的要求等，以下 是一些公認(rèn)的選擇標(biāo)準(zhǔn)：廠(chǎng)商的背景和支持能力

13、，能否提供全方位的技術(shù)支持和咨詢(xún)服務(wù)。數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量（ TB 級(jí)）的支持能力。數(shù)據(jù)庫(kù)是否支持并行操作。能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具，是否支持對(duì)元數(shù)據(jù)的管理。能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具（ ETT）。能否提供完整的決策支持工具集，滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)中各類(lèi)用戶(hù)的需要。3. 建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型具體步驟如下：（1）確定建立數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基本方法。（2）基于主題視圖， 把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中(3) 識(shí)別主題之間的關(guān)系(4) 分解多對(duì)多的關(guān)系銷(xiāo)售銷(xiāo)普記祿鎮(zhèn)號(hào) <pi> Num価fl 切日時(shí)總姓名<ai> Chireeteft(10)由址Char

14、ectef*(40J電怎Characters(15)積分Number (6)VIPBoolean主標(biāo)不將£ pQ 決標(biāo)識(shí)哥<ci> Lona Inteacr <M>日嗣|可Dale & Time預(yù)忖聿頂Deal (6.2)Daumal 血2)¥強(qiáng)記錄娟號(hào)Number (1Q)王標(biāo)識(shí)帯<pi>Arrz-K-=Lq“£1 1門(mén)1：己心已TextLong charaders (20) Date & TimeNumber (6.2)(5) 用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。(6) 由用戶(hù)審核邏輯數(shù)據(jù)模型。4. 邏輯數(shù)據(jù)模型轉(zhuǎn)化

15、為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型具體步驟如下：(1) 刪除非戰(zhàn)略性數(shù)據(jù)：數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型 中的全部數(shù)據(jù)項(xiàng)，某些用于操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除。(2) 增加時(shí)間主鍵：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一定是時(shí)間的快照，因此必 須增加時(shí)間主鍵。(3) 增加派生數(shù)據(jù)：對(duì)于用戶(hù)經(jīng)常需要分析的數(shù)據(jù)，或者為了提高 性能，可以增加派生數(shù)據(jù)。(4) 加入不同級(jí)別粒度的匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度， 粒度越大，數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要因 素，它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢(xún)類(lèi) 型。顯然，粒度級(jí)別越低，貝卩支持的查詢(xún)?cè)蕉?；反之，能支持的查?xún) 就有限。idiU9-嚴(yán)q楞F-K嚴(yán)戶(hù)M

16、淘申 宀A&KfE*>#C. FK3 f>iKPFIC5mFioJSLflW隹村至HEPKrar* idm嚴(yán)更？a Fii r- eMt-里 fd it?stIHMHi tits F=-Jjui3i5. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)，性能是一項(xiàng)主要考慮因素。在數(shù)據(jù)倉(cāng)庫(kù)建成后，也 需要經(jīng)常對(duì)其性能進(jìn)行監(jiān)控，并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要方法是:-合并不同的數(shù)據(jù)表。-通過(guò)增加匯總表避免數(shù)據(jù)的動(dòng)態(tài)匯總。通過(guò)冗余字段減少表連接的數(shù)量，不要超過(guò) 35個(gè)用ID代碼而不是描述信息作為鍵值-對(duì)數(shù)據(jù)表做分區(qū)。致皓集BE數(shù)1®吏嶺數(shù)據(jù)歸約TLT2T3T

17、ZOOO-232a 100 59, 48Al A2 A3 Al 26-Ok 02>32 U 00* . 59 * 48Al A3：Al 15T1j|:.T3 iT14566. 數(shù)據(jù)清洗轉(zhuǎn)換和傳輸由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺(tái)不同， 編碼方法不同，業(yè)務(wù)系統(tǒng)中 的數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前，必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換，保證數(shù) 據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一致性。在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載方案時(shí)，必須考慮以下幾項(xiàng)要求：加載方案必須能夠支持訪(fǎng)問(wèn)不同的數(shù)據(jù)庫(kù)和文件系統(tǒng)。數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿(mǎn)足時(shí)間要求，能夠在規(guī)定的時(shí)間范圍內(nèi)完成。支持各種轉(zhuǎn)換方法，各種轉(zhuǎn)換方法可以構(gòu)成一個(gè)工作流。支持增量加載，只把自上一次加載以

18、來(lái)變化的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)7. 開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用建立數(shù)據(jù)倉(cāng)庫(kù)的最終目的是為業(yè)務(wù)部門(mén)提供決策支持能力， 必須為業(yè) 務(wù)部門(mén)選擇合適的工具實(shí)現(xiàn)其對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行分析的要求。信息部門(mén)所選擇的開(kāi)發(fā)工具必須能夠：滿(mǎn)足用戶(hù)的全部分析功能要求。數(shù)據(jù)倉(cāng)庫(kù)中的用戶(hù)包括了企業(yè)中各 個(gè)業(yè)務(wù)部門(mén)，他們的業(yè)務(wù)不同，要求的分析功能也不同。如有的用戶(hù) 只是簡(jiǎn)單的分析報(bào)表，有些用戶(hù)則要求做預(yù)測(cè)和趨勢(shì)分析。提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表 現(xiàn)，支持復(fù)雜的圖表。使用方式上，可以是客戶(hù)機(jī) /服務(wù)器方式，也 可以是瀏覽器方式。事實(shí)上，沒(méi)有一種工具能夠滿(mǎn)足數(shù)據(jù)倉(cāng)庫(kù)的全部分析功能需求， 一個(gè) 完整的數(shù)據(jù)

19、倉(cāng)庫(kù)系統(tǒng)的功能可能是由多種工具來(lái)實(shí)現(xiàn)，因此必須考慮 多個(gè)工具之間的接口和集成性問(wèn)題， 對(duì)于用戶(hù)來(lái)說(shuō)，希望看到的是一 致的界面。8. 數(shù)據(jù)倉(cāng)庫(kù)的管理只重視數(shù)據(jù)倉(cāng)庫(kù)的建立，而忽視數(shù)據(jù)倉(cāng)庫(kù)的管理必然導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)項(xiàng) 目的失敗。數(shù)據(jù)倉(cāng)庫(kù)管理主要包括數(shù)據(jù)庫(kù)管理和元數(shù)據(jù)管理。數(shù)據(jù)庫(kù)管理需要考以下幾個(gè)方面：安全性管理。數(shù)據(jù)倉(cāng)庫(kù)中的用戶(hù)只能訪(fǎng)問(wèn)到他的授權(quán)范圍內(nèi)的數(shù)據(jù)，數(shù)據(jù)在傳輸過(guò)程中的加密策略。數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)。數(shù)據(jù)倉(cāng)庫(kù)的大小和備份的頻率直接影響到 備份策略。如何保證數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的可用性，硬件還是軟件方法。數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存放時(shí)間周期和對(duì)過(guò)期數(shù)據(jù)的老 化方法，如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)，當(dāng)年數(shù)據(jù)

20、保存詳細(xì)記錄。然而，元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)的建設(shè)過(guò)程中， 元數(shù)據(jù)是描述數(shù)據(jù) 的數(shù)據(jù)。在數(shù)據(jù)采集階段，元數(shù)據(jù)主要包括下列信息：源數(shù)據(jù)的描述定義：類(lèi)型、位置、結(jié)構(gòu)。數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的模型描述：星型/雪花模型定義，維/事實(shí)結(jié)構(gòu)定義。源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系：函數(shù)/表達(dá)式定義。 代碼：生成轉(zhuǎn)換程序、自動(dòng)加載程序等。在數(shù)據(jù)管理階段，元數(shù)據(jù)主要包括下列信息：匯總數(shù)據(jù)的描述：匯總 /聚合層次、物化視圖結(jié)構(gòu)定義。歷史數(shù)據(jù)存儲(chǔ)規(guī)則：位置、存儲(chǔ)粒度。多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義等。在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)主要包括以下信息：報(bào)表的描述：報(bào)表結(jié)構(gòu)的定義。

21、統(tǒng)計(jì)函數(shù)的描述：各類(lèi)統(tǒng)計(jì)分析函數(shù)的定義。結(jié)果輸出的描述：圖、表輸出的定義。元數(shù)據(jù)不但是獨(dú)立存放， 而且對(duì)用戶(hù)是透明的， 標(biāo)準(zhǔn)元數(shù)據(jù)之間可以 互相轉(zhuǎn)換（四）系統(tǒng)功能詳細(xì)介紹企業(yè)數(shù)據(jù)門(mén)戶(hù)企業(yè)實(shí)施商業(yè)智能、數(shù)據(jù)倉(cāng)庫(kù)的目的之一為整合各系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，統(tǒng)一指標(biāo)口徑，實(shí)現(xiàn)統(tǒng)一視圖、統(tǒng)一決策界面。企業(yè)數(shù)據(jù)門(mén)戶(hù)功 能主要對(duì)整合的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方式包括儀表盤(pán)、表格、 日歷等內(nèi)容。數(shù)據(jù)門(mén)戶(hù)中展現(xiàn)的內(nèi)容是管理者及業(yè)務(wù)人員最關(guān)注的指 標(biāo)，通過(guò)門(mén)戶(hù)為他們獲取數(shù)據(jù)提供最簡(jiǎn)單容易的方式。數(shù)據(jù)門(mén)戶(hù)中展現(xiàn)的內(nèi)容根據(jù)用戶(hù)角色不同而有所差異， 每個(gè)用戶(hù)都可以定制自己 關(guān)注的內(nèi)容，實(shí)現(xiàn)真正的個(gè)性化服務(wù)。系統(tǒng)截圖:比笛業(yè)U

22、K廠(chǎng)1F*Mum恥計(jì)創(chuàng)宣薊1弋*評(píng)比nvatilfl*I "F4-10 昕*"乩主ft 冷-id m、測(cè)xu北2 2MJL12«2 2«lain£ttftJ4*JZE"解Z4珈£fiEW杯e.m9 MW)43-11 (4*gigAim1404-i& <$*ISttnrii尊業(yè)收人縱問(wèn)對(duì)ttXi2fH23AI34KM5W3«JK7JiiU1MWB17*?awt N5l.5«V.W專(zhuān)1112IS1：415714161?182021222324252627<ndi： £O2930吹

23、善業(yè)收"卿刼即范注|卅】1日 J 豊比 ； > 3 m> * TJ1 如m t o OOlM > 4 W I軸< X.ttfX-B耳耳! d主題分析數(shù)據(jù)倉(cāng)庫(kù)中的業(yè)務(wù)數(shù)據(jù)通常是面向主題進(jìn)行組織的。主題分析是 在較高層次上將企業(yè)信息系統(tǒng)的數(shù)據(jù)進(jìn)行歸并、 抽象，形成對(duì)分析對(duì) 象的一個(gè)完整的描述， 體現(xiàn)分析數(shù)據(jù)之間的相互關(guān)系， 揭示數(shù)據(jù)規(guī)律 和問(wèn)題。主題分析模塊從主題域的角度入手，支撐數(shù)據(jù)資源的組織，支持 數(shù)據(jù)的深入挖掘和分析應(yīng)用， 跟蹤、監(jiān)控政策的執(zhí)行情況及實(shí)施效果， 倒逼行政權(quán)力部門(mén)認(rèn)真履職、規(guī)范執(zhí)法、優(yōu)化服務(wù) , 努力提高政府效 能。考慮到國(guó)情特點(diǎn)和現(xiàn)狀，主題分

24、析涵蓋了經(jīng)濟(jì)發(fā)展、衛(wèi)生健康、 教育科技、道路交通、機(jī)構(gòu)團(tuán)體、生活服務(wù)、文體娛樂(lè)、安全避險(xiǎn)、 資源環(huán)境、社保就業(yè)、財(cái)稅金融、法律服務(wù)量等八個(gè)主題域相關(guān)的主 題分析功能。即席查詢(xún)即席查詢(xún)針對(duì)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的各主題數(shù)據(jù)、 統(tǒng)計(jì)報(bào)表、 指標(biāo)的快 速檢索，幫助分析人員快速獲得所需要的數(shù)據(jù)和統(tǒng)計(jì)信息。 即席查詢(xún) 工具通過(guò)提供各種向?qū)浇缑?、圖形查詢(xún)生成器、聯(lián)機(jī)幫助等功能， 為系統(tǒng)使用人員提供細(xì)粒度數(shù)據(jù)。即席查詢(xún)是分析人員的重要的輔助工具，它是在數(shù)據(jù)倉(cāng)庫(kù)的信息 組織基礎(chǔ)上，盡可能多的在后臺(tái)按照分析人員關(guān)心的分析角度沉淀業(yè) 務(wù)知識(shí)，在前端功能上屏蔽后臺(tái)查詢(xún)技術(shù)細(xì)節(jié)， 為分析人員提供靈活 的業(yè)務(wù)分析查詢(xún)角度定制和結(jié)

25、果定制功能， 使分析人員在分析匯總數(shù) 據(jù)的同時(shí)能夠通過(guò)即席查詢(xún)進(jìn)一步深入到自己感興趣的細(xì)節(jié)數(shù)據(jù)中， 以便更全面地反映情況，做出正確決策。多維分析工具多維分析是商業(yè)智能的核心技術(shù)，可以幫助用戶(hù)進(jìn)行多角度、立 體化、靈活動(dòng)態(tài)的分析。多維分析報(bào)表由“維” （影響因素）和 “指 標(biāo)”（衡量因素）組成，能夠真正為用戶(hù)所理解、并真實(shí)的反映國(guó)情 特性信息。BI- 多維分析工具簡(jiǎn)單易用，無(wú)需編寫(xiě)任何的代碼，用戶(hù)只 需要通過(guò)語(yǔ)義層的定義就可以輕松搭建自己的多維數(shù)據(jù)模型。 同時(shí)具 有靈活的分析功能、 直觀的數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu) 點(diǎn)，從而使用戶(hù)對(duì)基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效， 以利于 迅速做

26、出正確判斷。 它可用于證實(shí)人們提出的復(fù)雜的假設(shè)， 以圖形或 者表格的形式來(lái)表示的對(duì)信息的總結(jié)。多維分析工具專(zhuān)門(mén)設(shè)計(jì)用于支持復(fù)雜的分析操作，側(cè)重對(duì)決策人 員和高層管理人員的決策支持， 可以根據(jù)分析人員的要求快速、 靈活 地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢(xún)處理， 并且以一種直觀而易懂的形式將查 詢(xún)結(jié)果提供給決策人員， 以便他們準(zhǔn)確掌握企業(yè) （公司）的經(jīng)營(yíng)狀況， 了解對(duì)象的需求，制定正確的方案。ETL工具ETL負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù) 文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù) 倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。ETL是數(shù)據(jù)倉(cāng)庫(kù)中的非常重要的一環(huán)

27、，它是承前啟后的必要的一步。ETL工具純java編寫(xiě)，可以在 Window Linux、Unix上運(yùn)行，綠色無(wú)需安裝，數(shù)據(jù)抽取高效穩(wěn)定。功能強(qiáng)大、靈活，使用簡(jiǎn)單。1進(jìn)理（ETL平臺(tái)架構(gòu)）數(shù)據(jù)抽取就是從數(shù)據(jù)源抽取出所需的數(shù)據(jù)的過(guò)程。數(shù)據(jù)抽取后，再經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù) 據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。數(shù)據(jù)轉(zhuǎn)換主要用于解決數(shù)據(jù)不一致性問(wèn)題， 數(shù)據(jù)加載就是將從數(shù)據(jù)源系統(tǒng)中抽取、 轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù) 系統(tǒng)中。ETL流程管理調(diào)度是ETL過(guò)程中的統(tǒng)一調(diào)度者和指揮者，它 把復(fù)雜的數(shù)據(jù)處理過(guò)程中各個(gè)步驟整合成一個(gè)整體。異常數(shù)據(jù)處理機(jī) 制指源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)本身出錯(cuò)并發(fā)生變更后，對(duì)于正在抽取、已經(jīng)抽取、已經(jīng)處理、已經(jīng)匯總等各個(gè)環(huán)節(jié)，如何進(jìn)行回退處理的一套 機(jī)制。系統(tǒng)截圖：.V"wim鈕抖斤遢!日It町忻稱(chēng)世卑f箕?壯也*壬測(cè)>£電_二-一桑佻勺n打¥（ETL界面切圖）產(chǎn)品特色：（1）支持 MYSQL/0RACLE/MSSQLSERVER/DB2/ACC夢(mèng)等多種 數(shù)據(jù)庫(kù)；（2）