數(shù)據(jù)倉庫與數(shù)據(jù)挖掘課件

數(shù)據(jù)倉庫

----SQLserver2000AnalysisServices

1.面向主題：按主題進(jìn)行組織，為按主題進(jìn)行決策的過程提供信息2.集成：經(jīng)過系統(tǒng)加工、匯總和整理3.穩(wěn)定：長期保留，插入和查詢4.包含歷史數(shù)據(jù)：過去某一時(shí)點(diǎn)到目前的信息，發(fā)展歷程和未來趨勢

利用數(shù)據(jù)倉庫解決四種類型的問題:

1.2005年10月25日肝臟外科的住院人次數(shù)是多少?2.呼吸內(nèi)科明年的就診情況如何？(科室應(yīng)作何相應(yīng)調(diào)整？)

3.2005年1－10月份經(jīng)消化內(nèi)科某醫(yī)師診治的十二指腸球部潰瘍患者的平均住院天數(shù)及藥品費(fèi)用構(gòu)成比是多少？

4.影響患者住院費(fèi)用高低的因素是哪些？其中哪個(gè)是最關(guān)鍵因素？數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)的一般過程：1．任務(wù)和環(huán)境的評估2．需求的收集和分析3．設(shè)計(jì)數(shù)據(jù)倉庫4．創(chuàng)建數(shù)據(jù)準(zhǔn)備區(qū)5．創(chuàng)建數(shù)據(jù)倉庫數(shù)據(jù)庫6．從聯(lián)機(jī)事務(wù)處理系統(tǒng)中析取數(shù)據(jù)7．清理和轉(zhuǎn)換數(shù)據(jù)8.向數(shù)據(jù)倉庫數(shù)據(jù)庫中加載數(shù)據(jù)9.向數(shù)據(jù)集市發(fā)布數(shù)據(jù)10．創(chuàng)建多維數(shù)據(jù)集11．進(jìn)行數(shù)據(jù)挖掘12．設(shè)計(jì)并實(shí)現(xiàn)終端用戶的應(yīng)用程序13．將數(shù)據(jù)倉庫和基于它的應(yīng)用投入使用☆

數(shù)據(jù)倉庫的數(shù)據(jù)模型結(jié)構(gòu)1．星型模型星型模型由一個(gè)事實(shí)表和維表組成，事實(shí)表是星型模型的核心表，包含兩種類型的列，第一種列是維度表的索引列，這些列中存儲(chǔ)了各維表的主鍵值，它們組合成事實(shí)表的主鍵；而其他非主屬性的列則稱為事實(shí)列，其中包含了用于計(jì)算的信息，即多維數(shù)據(jù)集中的度量值。事實(shí)表中的每個(gè)事實(shí)指向每個(gè)維表中的一個(gè)元組。2．雪花模型雪花模型是對星型模型的一個(gè)擴(kuò)展，每個(gè)維表都可以向外連接多個(gè)維表。雪花模型是對星型模型的維表進(jìn)一步標(biāo)準(zhǔn)化，維表分解成與事實(shí)表直接關(guān)聯(lián)的主維表和與主維表關(guān)聯(lián)的次維表。它的優(yōu)點(diǎn)是通過最大限度的減少存儲(chǔ)量以及將較小的標(biāo)準(zhǔn)化表而不是較大的非標(biāo)準(zhǔn)化表聯(lián)合在一起來改善查詢性能。由于采用標(biāo)準(zhǔn)化及維的較低粒度，雪花模型增加了應(yīng)用程序的靈活性，但由于雪花模型增加了連接操作的次數(shù)，因而也增加了查詢的復(fù)雜性。度量值：主要是數(shù)值型字段，如：費(fèi)用金額、住院天數(shù)等

衍生度量值：就診人次數(shù)等

計(jì)算成員：均值、百分比、率等

性別維表年齡維表身份維表時(shí)間維表科室維表病種維表轉(zhuǎn)歸維表住院事實(shí)表星型模型

性別維表年齡維表身份維表時(shí)間維表患者代碼住院科室代碼病種維表轉(zhuǎn)歸維表住院事實(shí)表雪花模型科室維表患者維表SQLserver2000數(shù)據(jù)挖掘2005年11月10日分析問題數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)倉庫多維數(shù)據(jù)集創(chuàng)建和訓(xùn)練模型校驗(yàn)數(shù)據(jù)數(shù)據(jù)挖掘模型維護(hù)數(shù)據(jù)挖掘數(shù)據(jù)清洗和轉(zhuǎn)換查詢數(shù)據(jù)客戶端數(shù)據(jù)查詢OLAP數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘結(jié)果解釋查詢數(shù)據(jù)數(shù)據(jù)挖掘（datamining，DM）就是通過對大型數(shù)據(jù)庫和數(shù)據(jù)倉庫中大量似乎無關(guān)的數(shù)據(jù)進(jìn)行分析，以便發(fā)現(xiàn)并提取隱藏在數(shù)據(jù)深處的、人們事先不知道的、但是潛在有用的信息、知識(shí)和規(guī)律的過程。數(shù)據(jù)挖掘是一種基于發(fā)現(xiàn)的方法，它能夠自動(dòng)分析數(shù)據(jù)并進(jìn)行歸納性的推理，從中挖掘出潛在的規(guī)律或模式，以幫助管理決策者建立新的模型。目前應(yīng)用比較廣泛的數(shù)據(jù)挖掘模型和方法主要有基于規(guī)則的系統(tǒng)（決策樹）、統(tǒng)計(jì)方法（聚類）、神經(jīng)網(wǎng)絡(luò)、基于事例的推理、機(jī)器學(xué)習(xí)等。在AnalysisServices中系統(tǒng)內(nèi)置了決策樹和聚類分析兩種挖掘模型。決策樹模型是通過一系列的數(shù)據(jù)細(xì)分來實(shí)現(xiàn)最終的數(shù)據(jù)分析，適合于商業(yè)預(yù)測；而聚類分析模型常用于對比較類似的數(shù)據(jù)進(jìn)行集成，適合于商業(yè)中的市場劃分。決策樹模型AnalysisServices中的決策樹模型是一種基于條件和概率的決策方法。它首先選擇數(shù)據(jù)中的顯著特征，然后根據(jù)這些特征不斷的對數(shù)據(jù)進(jìn)行分類，縮小數(shù)據(jù)集，把數(shù)據(jù)逐步組織成樹的形式，直到建立起清晰的相關(guān)性，它能夠準(zhǔn)確的預(yù)測事務(wù)的發(fā)展趨勢。10000名循環(huán)系統(tǒng)疾病患者男性80％女性20％年齡>4895％年齡<=485％男性52％女性48％司機(jī)33％醫(yī)生31％律師28％其他8％子女?dāng)?shù)>=285％子女?dāng)?shù)<215％其他12％醫(yī)生43％律師45％居住地為省會(huì)城市或直轄市82%居住地非省會(huì)城市或直轄市18%決策樹分析模型聚類模型

聚類分析是一種間接的數(shù)據(jù)挖掘方法，它是用來查找多維空間中的自然分組，通過提取數(shù)據(jù)之間的共同點(diǎn)來發(fā)現(xiàn)隱藏在數(shù)據(jù)中的規(guī)律。

女男152535455565司機(jī)醫(yī)生律師其他聚類分析模型SQLserver2000中并不是只能使用上述兩種模型，分析人員還可以通過SQLserver2000提供的編程接口將其他算法引入到系統(tǒng)中，比如神經(jīng)網(wǎng)絡(luò)算法和遺傳算法。使用挖掘向?qū)?chuàng)建數(shù)據(jù)挖掘模型的過程如下：選擇數(shù)據(jù)源的類型兩種數(shù)據(jù)源：（1）關(guān)系數(shù)據(jù)源：基于關(guān)系型數(shù)據(jù)源的挖掘模型（2）OLAP數(shù)據(jù)源：基于多維數(shù)據(jù)集的挖掘模型選擇實(shí)例表或數(shù)據(jù)挖掘模型表選擇數(shù)據(jù)挖掘模型