第6章數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘

1決策支持系統(tǒng)

主講：彭柳芬公共郵箱：tpenglf@163.com

密碼：peng123第六章數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用的局限性數(shù)據(jù)倉(cāng)庫(kù)聯(lián)機(jī)分析處理數(shù)據(jù)挖掘Weka數(shù)據(jù)挖掘軟件傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用的局限性企業(yè)在其業(yè)務(wù)活動(dòng)中，積累了大量的關(guān)于客戶、產(chǎn)品、銷(xiāo)售、庫(kù)存、供應(yīng)商等方面的數(shù)據(jù)，也可以收集到來(lái)自于企業(yè)所處行業(yè)和競(jìng)爭(zhēng)對(duì)手以及外部環(huán)境中的數(shù)據(jù)，為了支持企業(yè)或組織管理人員的決策分析，必須把日益龐大的數(shù)據(jù)轉(zhuǎn)化為知識(shí)，這就需要對(duì)數(shù)據(jù)進(jìn)行聯(lián)機(jī)分析處理OLAP（OnlineAnalyticalProcessing）。傳統(tǒng)的數(shù)據(jù)庫(kù)應(yīng)用主要是針對(duì)數(shù)據(jù)的聯(lián)機(jī)事務(wù)處理OLTP（OnlineTransactionProcessing），包括定期的數(shù)據(jù)查詢、插入、刪除和更新操作，以及基本的統(tǒng)計(jì)分析如使用交叉表、圖表或圖形進(jìn)行報(bào)表的展示。要在一個(gè)系統(tǒng)中同時(shí)滿足OLTP和OLAP這兩種需求是有問(wèn)題的。一、決策支持系統(tǒng)決策支持系統(tǒng)（DSS）中“決策”就是決策者根據(jù)所掌握的信息為決策對(duì)象選擇行為的思維過(guò)程。為決策者提供支持的信息成為決策支持信息，相應(yīng)的信息系統(tǒng)稱為決策支持系統(tǒng)，我們將決策支持領(lǐng)域分成OLTP、MIS、LDSS及HDSS四個(gè)層次：OLTPMISLDSSHDSSDWOLAPDM1、

OLTP（聯(lián)機(jī)事物處理）最基本的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)，是更高級(jí)的MIS系統(tǒng)和DSS系統(tǒng)的基礎(chǔ)，OLTP系統(tǒng)一般具有底層信息采集（數(shù)據(jù)錄入功能）、一定的信息查詢以及信息庫(kù)更新維護(hù)功能，OLTP面向的是操作人員和低層管理人員其主要功能在于對(duì)數(shù)據(jù)庫(kù)中的信息進(jìn)行錄入、存儲(chǔ)、更新、刪除等操作，是最基本的管理細(xì)節(jié)信息的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)。6OLAP定義1.OLAP理事會(huì)給出的定義聯(lián)機(jī)分析處理（OLAP）是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個(gè)方面（多維）觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)轉(zhuǎn)換過(guò)來(lái)的，按照用戶的理解，它反映了企業(yè)真實(shí)的方方面面。7OLAP的簡(jiǎn)單定義

聯(lián)機(jī)分析處理是共享多維信息的快速分析。它體現(xiàn)了四個(gè)特征：（1）快速性：用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。（2）可分析性：OLAP系統(tǒng)應(yīng)能處理任何邏輯分析和統(tǒng)計(jì)分析。（3）多維性：系統(tǒng)必須提供對(duì)數(shù)據(jù)分析的多維視圖和分析。（4）信息性：OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量的信息。

8OLAP的數(shù)據(jù)模型

MOLAP數(shù)據(jù)模型——MOLAP是基于多維數(shù)據(jù)庫(kù)存儲(chǔ)方式建立的OLAP；表現(xiàn)為“超立方”結(jié)構(gòu)，采用類(lèi)似于多維數(shù)組的結(jié)構(gòu)。ROLAP數(shù)據(jù)模型——ROLAP是基于關(guān)系數(shù)據(jù)庫(kù)的OLAP。它是一個(gè)平面結(jié)構(gòu)，用關(guān)系數(shù)據(jù)庫(kù)表示多維數(shù)據(jù)時(shí)，采用星型模型。MOLAP與ROLAP的比較HOLAP數(shù)據(jù)模型——即混和OLAP介于MOLAP和ROLAP之間。在HOLAP中，對(duì)最常用的維度和維層次，使用多維數(shù)據(jù)表來(lái)存儲(chǔ)，對(duì)于用戶不常用的維度和數(shù)據(jù)，采用ROLAP星型結(jié)構(gòu)來(lái)存儲(chǔ)。9MDDB（二維）數(shù)據(jù)組織北京上海廣州衣服600700500鞋800900700帽子1002008010產(chǎn)品名地區(qū)銷(xiāo)售量衣服北京600衣服上海700衣服廣州500鞋北京800鞋上海900鞋廣州700帽子北京100帽子上海200帽子廣州80關(guān)系數(shù)據(jù)庫(kù)RDBMS數(shù)據(jù)組織2、基于OLTP的MIS系統(tǒng)這是較高一級(jí)的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)，這類(lèi)系統(tǒng)在OUP的基礎(chǔ)上進(jìn)一步擴(kuò)展，包括提高信息訪問(wèn)功能，報(bào)表生成能力等。MIS系統(tǒng)由若干個(gè)功能相對(duì)獨(dú)立的OLTP系統(tǒng)集成而成，當(dāng)前的信息服務(wù)系統(tǒng)基本屬于MIS系統(tǒng)。3、LDSS（低級(jí)決策支持系統(tǒng)）

LDSS處于比MIS更高一層的位置，直接為決策者提供決策支持服務(wù)，它的關(guān)鍵在于信息的有效提取并加以分析而不在于信息的收集與更新（這些操作由基礎(chǔ)層的OLTP系統(tǒng)完成）。目前決策支持系統(tǒng)絕大部分屬于LDSS的層次，它存在著如下功能局限：（1）隨機(jī)性的綜合信息提取功能較弱；（2）對(duì)查詢得到的信息的分析功能較弱；（3）不是基于海量數(shù)據(jù)庫(kù)。4、HDSS〔高級(jí)決策支持系統(tǒng)）

HDSS是決策支持系統(tǒng)的最高形式，能夠真正使用戶利用DSS工具直接從企業(yè)信息池中隨機(jī)地提取、分析數(shù)據(jù)，有效地服務(wù)于企業(yè)的全方位決策。它由三個(gè)主要部件構(gòu)成：數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（DW，DataWarehousing）聯(lián)機(jī)分析處理技術(shù)（OLAP，On-lineAnalyticalProcessing）數(shù)據(jù)挖掘技術(shù)（DM，DataMining）二數(shù)據(jù)挖掘數(shù)據(jù)挖掘是從大型數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中發(fā)現(xiàn)并提取隱藏在其中的信息或知識(shí)的過(guò)程，目的是幫助分析人員尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)忽略的要素，而這些信息對(duì)預(yù)測(cè)趨勢(shì)和決策行為是十分有用的，所以它屬于決策支持系統(tǒng)的范疇。

1預(yù)處理數(shù)據(jù)通過(guò)消除噪聲、推導(dǎo)計(jì)算缺值數(shù)據(jù)、消除重復(fù)記錄、完成數(shù)據(jù)類(lèi)型轉(zhuǎn)換（如把連續(xù)值數(shù)據(jù)轉(zhuǎn)換為離散型的數(shù)據(jù)，或是把離散型的數(shù)據(jù)轉(zhuǎn)換為連續(xù)值數(shù)據(jù)）等來(lái)收集和凈化來(lái)自數(shù)據(jù)源的信息，并加以存儲(chǔ)，一般是將其存放在數(shù)據(jù)倉(cāng)庫(kù)中。

2模型搜索利用數(shù)據(jù)挖掘工具在數(shù)據(jù)中查找模型，這個(gè)搜尋過(guò)程可以由系統(tǒng)自動(dòng)執(zhí)行，自底向上搜尋原始事實(shí)以發(fā)現(xiàn)它們之間的某種聯(lián)系，也可以加入用戶交互過(guò)程，由分析人員主動(dòng)發(fā)問(wèn)，從上到下地找尋以驗(yàn)證假定的正確性，對(duì)于一個(gè)問(wèn)題的搜尋過(guò)程可能用到許多工具，例如神經(jīng)網(wǎng)絡(luò)、基于規(guī)則的系統(tǒng)、基于實(shí)例的推理、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)方法等。3評(píng)價(jià)輸出結(jié)果數(shù)據(jù)挖掘階段發(fā)現(xiàn)出來(lái)的模式，經(jīng)過(guò)用戶或機(jī)器的評(píng)估，可能存在冗余、價(jià)值不大的或無(wú)關(guān)的模式，這時(shí)需要將其剔除，把重要的模式形成知識(shí)存儲(chǔ)到知識(shí)庫(kù)中，也有可能模式未能滿足用戶要求，這時(shí)則需要整個(gè)發(fā)現(xiàn)過(guò)程回到發(fā)現(xiàn)階段之前，如重新選取數(shù)據(jù)、采用新的數(shù)據(jù)變換方法、設(shè)定新的數(shù)據(jù)挖掘參數(shù)值，甚至換一種挖掘算法?？梢?jiàn)數(shù)據(jù)發(fā)掘的搜尋過(guò)程一般需要反復(fù)多次，因?yàn)楫?dāng)分析人員評(píng)價(jià)輸出結(jié)果后，他們可能會(huì)形成一些新的問(wèn)題或要求對(duì)某一方面作更精細(xì)的查詢。

4生成最后的結(jié)果報(bào)告

DM由于最終是面向人類(lèi)用戶的，因此可能要對(duì)發(fā)現(xiàn)的模式進(jìn)行可視化，或者把結(jié)果轉(zhuǎn)換為用戶易懂的另一種表示。

5解釋結(jié)果報(bào)告對(duì)結(jié)果進(jìn)行解釋?zhuān)罁?jù)此結(jié)果采取相應(yīng)的商業(yè)措施，這是一個(gè)人工過(guò)程。數(shù)據(jù)挖掘的相關(guān)技術(shù)：為了簡(jiǎn)化和加快數(shù)據(jù)挖掘過(guò)程，使數(shù)據(jù)挖掘真正方便、實(shí)用，還需其他的技術(shù)支持，如數(shù)據(jù)凈化、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、強(qiáng)大的平行處理技術(shù)和存儲(chǔ)技術(shù)。三、數(shù)據(jù)挖掘與決策支持系統(tǒng)的聯(lián)系傳統(tǒng)的DSS系統(tǒng)通常是在某個(gè)假設(shè)的前提下通過(guò)數(shù)據(jù)查詢和分析來(lái)驗(yàn)證或否定這個(gè)假設(shè)，而數(shù)據(jù)挖掘技術(shù)則能夠自動(dòng)分析數(shù)據(jù)，進(jìn)行歸納整理，從中發(fā)現(xiàn)潛在的模式，或產(chǎn)生聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場(chǎng)策略，并找出正確的決策。例如在銷(xiāo)售業(yè)數(shù)據(jù)庫(kù)中，數(shù)據(jù)挖掘工具回答“哪些客戶最可能對(duì)促銷(xiāo)作出反應(yīng)，為什么他會(huì)這樣？”、“哪些商品之間具有潛在的聯(lián)系？”、“下一個(gè)月，在天津的銷(xiāo)售部門(mén)的情況將會(huì)如何？為什么？”等。而DSS系統(tǒng)回答“今年銷(xiāo)售總量比去年多多少？從而預(yù)測(cè)明年銷(xiāo)售總量”、“三月份中，在天津的銷(xiāo)售部門(mén)的情況如何？從而推測(cè)在北京的銷(xiāo)售部門(mén)情況”，所以，數(shù)據(jù)挖掘的出現(xiàn)使決策支持工具跨人了一個(gè)新階段。數(shù)據(jù)挖掘技術(shù)能夠幫助用戶從歷史性數(shù)據(jù)中挖掘知識(shí)，進(jìn)而支持決策，極大地吸引用戶，而用戶造就的數(shù)十億美元的市場(chǎng)又極大地吸引了數(shù)據(jù)庫(kù)廠商，各大公司紛紛開(kāi)始了自己的數(shù)據(jù)挖掘工具產(chǎn)品的研制工作。四、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)的用戶： 1數(shù)據(jù)倉(cāng)庫(kù)的信息使用者 2數(shù)據(jù)倉(cāng)庫(kù)的探索者——探索者要做的工作有：概括分析、抽取、建模和分類(lèi)。數(shù)據(jù)倉(cāng)庫(kù)的用戶有兩類(lèi)：信息使用者和探索者信息使用者是使用數(shù)據(jù)倉(cāng)庫(kù)的大量用戶。

信息使用者以一種可預(yù)測(cè)的、重發(fā)性的方式使用