物流信息系統(tǒng)第5-6講決策支持與商業(yè)智能

1、物流信息系統(tǒng)第5-6講 決策支持與商業(yè)智能July 22本講的主要內(nèi)容決策與決策支持系統(tǒng)DSS的結(jié)構(gòu)與工作原理多維數(shù)據(jù)模型數(shù)據(jù)倉庫OLAP、EIS與數(shù)據(jù)可視化數(shù)據(jù)挖掘商業(yè)智能決策決策決策就是評價(jià)和選擇，是一個(gè)提出問題，分析問題和解決問題的過程管理就是決策西蒙經(jīng)濟(jì)學(xué)、管理學(xué)等學(xué)科所研究的課題，實(shí)際上都是“人的決策過程和問題求解過程”。要想真正理解組織內(nèi)的決策過程，就必須深刻了解人的思維過程。 “從某種意義上來說，一切決策都是折中的問題。最終選擇的方案，只不過是在當(dāng)時(shí)的情況下可以選擇的最佳行動(dòng)方案而已，不可能盡善盡美地實(shí)現(xiàn)各種目標(biāo)”決策的過程決策模型決策模型用以描述決策者如何做決策的工具決策模型的

2、作用是將原始信息經(jīng)定性分析和定量處理，轉(zhuǎn)化成直接與決策有關(guān)的信息，決策者掌握了這些信息之后，就明確了決策問題的狀態(tài)和決策目標(biāo)，以便采取滿意的決策輔助決策決策問題的分類（1）三種決策問題根據(jù)問題的結(jié)構(gòu)程度，分成結(jié)構(gòu)化問題、半結(jié)構(gòu)化問題和非結(jié)構(gòu)化問題結(jié)構(gòu)化程度：對某一問題在不同環(huán)境下的發(fā)展規(guī)律與結(jié)果，能否用明確的語言（數(shù)學(xué)的或邏輯學(xué)的、形式的或非形式的，定量的或推理的）給予清晰的說明或描述結(jié)構(gòu)化問題是指常規(guī)的、重復(fù)的問題，對于這些問題有著標(biāo)準(zhǔn)的解決方法。非結(jié)構(gòu)化的問題是指模糊的、復(fù)雜的問題，沒有一刀切的、標(biāo)準(zhǔn)的答案。決策問題的分類（2）結(jié)構(gòu)化決策采用專門的方法處理確定的信息，所以總能得到準(zhǔn)確的答案

3、，沒有必要靠“感覺”或“直覺。這是一類可編程的決策。也就是說如果你輸人確定的信急并用精確的方法處理這些輸人信息，就能得到準(zhǔn)確的結(jié)果。 如，產(chǎn)品成本核算，固定資產(chǎn)折舊，零件訂貨在一個(gè)結(jié)構(gòu)化的問題里，情報(bào)、設(shè)計(jì)和選擇都是結(jié)構(gòu)性的，獲得最佳答案的過程是清楚的。IT/IS可獲得滿意的解決決策問題的分類（2）非結(jié)構(gòu)化決策可能存在若干正確的解決方案，但沒有一種精確的方法計(jì)算出最優(yōu)方案，也沒有一組規(guī)則或標(biāo)準(zhǔn)能保證得到最佳的解決方案。 只能憑直覺和經(jīng)驗(yàn)作出判斷，IT/IS本身并不能解決，其作用是提供信息給決策者。如雜志封面選取半結(jié)構(gòu)問題介于上述二者之間決策問題的分類（2）半結(jié)構(gòu)決策介于上述二者之間對于半結(jié)構(gòu)化

4、的問題，其部分階段是結(jié)構(gòu)性的需要將標(biāo)準(zhǔn)化解決程序與個(gè)人判斷相結(jié)合。 IT/IS與人相結(jié)合來解決。各層次決策的比較三類決策問題的解決手段Decision FrequencyHighLowDecision StructureHighLowRoutine, programmable decisionNon-routine decisionDecision AutomationDecision Support SystemsSpecial studies決策支持系統(tǒng)1970s, Scott Morton “管理決策系統(tǒng)”一種“交互式的計(jì)算機(jī)系統(tǒng)，可以幫助決策者使用其數(shù)據(jù)及模型來解決非結(jié)構(gòu)化的問題”。

5、1980s，DSS的主要特征數(shù)據(jù)和模型是 DSS 的主要資源；DSS 是用來支持用戶作決策，而不是代替用戶作決策DSS 主要用來解決半結(jié)構(gòu)化及非結(jié)構(gòu)化問題DSS 的目的在于提高決策的有效性而不是提高決策的效率。 Turban 管理支持系統(tǒng)MIS與DSS的比較本講的主要內(nèi)容決策與決策支持系統(tǒng)DSS的結(jié)構(gòu)與工作原理多維數(shù)據(jù)模型數(shù)據(jù)倉庫OLAP、EIS與數(shù)據(jù)可視化數(shù)據(jù)挖掘商業(yè)智能DSS的結(jié)構(gòu)（1）DSS的結(jié)構(gòu)（2）數(shù)據(jù)庫子系統(tǒng)DSS中的數(shù)據(jù)通常是預(yù)先從相關(guān)的數(shù)據(jù)庫中抽取出來的，而不是MIS中龐大的數(shù)據(jù)。DSS的DB中的數(shù)據(jù)來源組織內(nèi)部現(xiàn)有的IS，如MIS、TPS來自組織外部，為分析和決策服務(wù)DSS并

6、不直接存取修改現(xiàn)有的IS的數(shù)據(jù)，因?yàn)镸IS、TPS的數(shù)據(jù)不滿足DSS的要求安全性和速度的考慮數(shù)據(jù)庫子系統(tǒng)的作用為決策模型提供數(shù)據(jù)DSS的結(jié)構(gòu)（3）模型庫子系統(tǒng)模型從層次的角度來說，模型庫中的模型主要?jiǎng)澐譃樗姆N類型：戰(zhàn)略的、戰(zhàn)術(shù)的、操作的和分析的。 有四種模型分析功能在 DSS 中是最常用：因果分析（ what -if analysis ) ，目標(biāo)追尋，風(fēng)險(xiǎn)分析和仿真。 模型庫許多模型、模型構(gòu)建模塊 、編程語言DSS的結(jié)構(gòu)（4）模型庫管理系統(tǒng)（MBMS）模型庫管理系統(tǒng)是為生成模型和管理模型提供一個(gè)用戶友好環(huán)境的計(jì)算機(jī)軟件系統(tǒng)。用戶可以通過MBMS靈活地訪問、更新、生成和運(yùn)行模型。MBMS使模型的

7、適用范圍拓寬，從而使決策者能方便地使用模型；同時(shí)它還要為決策者提供將現(xiàn)實(shí)問題抽象成模型的工具。所以可以說模型管理系統(tǒng)是聯(lián)系決策問題、數(shù)據(jù)與模型的橋梁。DSS的結(jié)構(gòu)（5）模型庫管理系統(tǒng)的主要功能模型構(gòu)建幫助用戶迅速、方便地構(gòu)建模型。構(gòu)建的模型可以是全新的，也可以是在某個(gè)模型基礎(chǔ)上修改加工的模型庫維護(hù)對模型的登記、分類、刪除、拷貝，對模型目錄的修改、建立、刪除等模型操作模型與模型的連接生成新模型對模型執(zhí)行情況進(jìn)行跟蹤 模型與數(shù)據(jù)的連接模型結(jié)果分析DSS的結(jié)構(gòu)（6）會話子系統(tǒng)會話子系統(tǒng)是 DSS 人機(jī)接口界面提供用戶表達(dá)和描述決策問題的窗口提供用戶干預(yù)和影響問題求解過程DSS 的決策過程是人機(jī)交互的

8、啟發(fā)式過程，問題的解決過程往往要分解成若干階段。一個(gè)階段得到階段結(jié)果及某些啟示，然后進(jìn)入下一階段的人機(jī)會話，如此反復(fù)。DSS 由不了解系統(tǒng)內(nèi)部的人使用，因此會話子系統(tǒng)的好壞標(biāo)志著 DSS 的實(shí)用水平會話形式以菜單、窗口、選擇表等圖形方式為主，也可以用自然語言的形式三種結(jié)構(gòu)的DSS 三庫結(jié)構(gòu)數(shù)據(jù)庫模型庫對 話子 系 統(tǒng)數(shù) 據(jù) 庫管理系 統(tǒng)模 型 庫管理 系 統(tǒng)用戶數(shù)據(jù)庫模型庫對 話子 系 統(tǒng)數(shù) 據(jù) 庫管理系 統(tǒng)模 型 庫管理 系 統(tǒng)用戶方法庫知識庫方 法 庫管理系 統(tǒng)知 識 庫管理系 統(tǒng)數(shù)據(jù)庫模型庫對話子系統(tǒng)方法庫管理系統(tǒng)模型庫管理系統(tǒng)用戶數(shù)據(jù)庫管理系統(tǒng)方法庫四庫結(jié)構(gòu)兩庫結(jié)構(gòu)DSS案例：Carg

9、oProf收益管理系統(tǒng)（1）1254xxx乘客訂位代理人乘客訂位系統(tǒng)乘客預(yù)測數(shù)據(jù)航班調(diào)度服務(wù)器可運(yùn)輸貨物容量預(yù)測貨物訂艙代理人要求要求接受/拒絕貨運(yùn)定艙系統(tǒng)貨物尺寸費(fèi)率數(shù)據(jù)可用容量/最低價(jià)格CargoProf收益管理系統(tǒng)3DSS案例：CargoProf收益管理系統(tǒng)（2）模型與模型庫管理系統(tǒng)模型1：乘客數(shù)量預(yù)測模型模型2：乘客行李預(yù)測模型-可運(yùn)輸貨物容量預(yù)測主模型模型3：收益管理決策模型背包問題：有限容量，收益最大化模型庫管理系統(tǒng)：確定模型的調(diào)用關(guān)系數(shù)據(jù)庫子系統(tǒng)乘客數(shù)量分布規(guī)律 乘客歷史數(shù)據(jù)乘客行李的分布規(guī)律乘客行李歷史數(shù)據(jù)利潤目標(biāo)數(shù)據(jù)會話子系統(tǒng)問題111422仿真：決策支持的利器假如你是銀行的

10、經(jīng)理各類業(yè)務(wù)分別配置多少人力？這一決策考慮哪些因素？服務(wù)水平、成本、可操作性怎么定量地解決？Demo何謂仿真（1）一個(gè)計(jì)算機(jī)化的模型，模仿（再現(xiàn)）真實(shí)系統(tǒng)的運(yùn)行過程仿真是靜態(tài)的還是動(dòng)態(tài)的？仿真時(shí)鐘仿真能得到什么？用什么來刻畫運(yùn)行過程？聚焦于關(guān)心的管理問題：服務(wù)水平、成本隊(duì)長、等待時(shí)間、員工的數(shù)量、忙閑系統(tǒng)的狀態(tài)變量運(yùn)行過程 = 狀態(tài)變量隨時(shí)間的變化過程 何謂仿真（2）怎么模仿？模仿的其實(shí)是系統(tǒng)中實(shí)體的行為（動(dòng)作）顧客的到來、離去；員工的服務(wù)行為對系統(tǒng)的狀態(tài)有什么影響？行為改變狀態(tài)理解仿真時(shí)間在推進(jìn)，實(shí)體在行動(dòng)，狀態(tài)在改變行為、狀態(tài)、時(shí)間是仿真的三要素仿真是如何支持決策的模仿了系統(tǒng)的運(yùn)行過程之后

11、？評估了解系統(tǒng)的運(yùn)行過程，評估系統(tǒng)在目前狀態(tài)下的性能What-if 分析得到不同配置 (if) 下，系統(tǒng)的性能（What）通過比較，得到優(yōu)選方案實(shí)驗(yàn)的思想！為什么要仿真直接在實(shí)際系統(tǒng)之上做實(shí)驗(yàn)，成本太高、太過危險(xiǎn)，或會造成太大干擾社會經(jīng)濟(jì)系統(tǒng)，經(jīng)濟(jì)政策、股票市場工程，火箭、危險(xiǎn)品系統(tǒng)相當(dāng)復(fù)雜，數(shù)學(xué)模型無法提供分析或數(shù)值解如果模型足夠簡單，采用數(shù)學(xué)工具求解理解、分析或預(yù)測一些復(fù)雜系統(tǒng)的行為股票泡沫、崩跌DSS案例：公交線路車輛調(diào)度（1）問題描述一條公交線路總共配置多少輛車？不同的時(shí)間段，發(fā)車間隔多長時(shí)間？管理目標(biāo)顧客滿意度顧客在站臺等待時(shí)間不能太長，如多數(shù)不超過5分鐘車內(nèi)不能太擁擠，如人數(shù)不能超

12、過額定人數(shù)的120%成本固定成本（買車，基本工資），可變成本（燃料，獎(jiǎng)金）DSS案例：公交線路車輛調(diào)度（2）模型庫與模型管理子系統(tǒng)問題抽象：服務(wù)臺移動(dòng)的單級多服務(wù)臺排隊(duì)系統(tǒng)特殊性，服務(wù)臺移動(dòng)解決這類問題可以采用的模型的類型數(shù)學(xué)模型：運(yùn)籌學(xué)中的排隊(duì)模型仿真模型（離散事件系統(tǒng)仿真），枚舉，仿真設(shè)計(jì)模型庫（仿真）主模型：公汽運(yùn)行仿真模型子模型1：乘客到來（到車站）模擬模型子模型2：乘客上車模擬模型子模型3：乘客下車模擬模型模型管理子系統(tǒng)選擇那種類型的模型能有效解決問題？數(shù)學(xué)、仿真枚舉、仿真設(shè)計(jì)模型調(diào)用關(guān)系仿真：決策支持的利器系統(tǒng)仿真在計(jì)算機(jī)上模擬真實(shí)系統(tǒng)的運(yùn)行過程，從而對系統(tǒng)的性能進(jìn)行評價(jià)（已知結(jié)構(gòu)

13、、評價(jià)性能）或?qū)ο到y(tǒng)的結(jié)構(gòu)進(jìn)行設(shè)計(jì)（逆向問題、設(shè)計(jì)問題）仿真方法設(shè)計(jì)系統(tǒng)結(jié)構(gòu)的兩種方案枚舉法，假定配置方案，運(yùn)行模型，進(jìn)行比較。 缺點(diǎn)是組合數(shù)太多，逐一仿真的工作量極大 仿真設(shè)計(jì)，一次運(yùn)行模型，得到配置結(jié)果。配置在運(yùn)行過程中不斷變化，得到滿意解模型停止運(yùn)行。可能需要結(jié)合遺傳算法等優(yōu)化算法DSS案例：公交線路車輛調(diào)度（3）數(shù)據(jù)抽取子系統(tǒng)與數(shù)據(jù)庫子系統(tǒng)需要那些數(shù)據(jù)？車輛運(yùn)行時(shí)間的概率分布、顧客上車的概率分布、顧客下車的概率分布、顧客在站臺等待時(shí)間的概率分布現(xiàn)有那些數(shù)據(jù)？車輛運(yùn)行數(shù)據(jù)：車載系統(tǒng)，車輛管理MIS可提供車輛在各個(gè)區(qū)間運(yùn)行時(shí)間的數(shù)據(jù)顧客上車的數(shù)據(jù)：車上的刷卡投幣系統(tǒng)可以提供不同時(shí)間段乘客的

14、數(shù)據(jù)顧客下車的數(shù)據(jù)：車輛上有設(shè)備，自動(dòng)獲取顧客下車數(shù)據(jù)從內(nèi)外部OLTP中抽取DSS需要的數(shù)據(jù)從現(xiàn)有的系統(tǒng)中，統(tǒng)計(jì)分析得到前三項(xiàng)概率分布這些數(shù)據(jù)足夠么？不夠的話怎么解決？DSS案例：公交線路車輛調(diào)度（4）數(shù)據(jù)抽取子系統(tǒng)與數(shù)據(jù)庫子系統(tǒng)（續(xù)）這些數(shù)據(jù)足夠么？不夠的話怎么解決？難以獲得顧客在站臺等待時(shí)間的概率分布解決方案外部數(shù)據(jù)，調(diào)查調(diào)整管理目標(biāo)如何決策（工作原理）數(shù)據(jù)庫子系統(tǒng)得到模型的初始參數(shù)運(yùn)行模型庫子系統(tǒng)的模型，得到結(jié)果通過會話子系統(tǒng)與人交流，不斷調(diào)整，得到方案調(diào)整目標(biāo)、調(diào)整參數(shù)（數(shù)據(jù)庫子系統(tǒng)）、調(diào)整模型（運(yùn)行后隨著數(shù)據(jù)更新，不斷修正方案；考慮季節(jié)性因素，推出特殊方案DSS案例：公交線路車輛調(diào)度

15、（5）問題的拓展公交線路規(guī)劃。開辟哪些線路？每條線路發(fā)車計(jì)劃是什么？鐵路、地鐵、航空等類似的問題超市、銀行等服務(wù)臺設(shè)置、醫(yī)院病床設(shè)置，標(biāo)準(zhǔn)排隊(duì)系統(tǒng)問題，比公交簡單思考這種模型導(dǎo)向的DSS的核心是什么？能否得到DSS需要的數(shù)據(jù)DSS與一般的管理科學(xué)模型的區(qū)別之一抽象現(xiàn)實(shí)問題，選擇合適的模型存在什么弊端專用系統(tǒng)、相對獨(dú)立模型合理性、可信度?某些現(xiàn)實(shí)問題建模困難案例：現(xiàn)實(shí)世界中人是如何做決策的出租司機(jī)給我上的MBA課要用科學(xué)的方法，統(tǒng)計(jì)學(xué)來做生意 從現(xiàn)實(shí)數(shù)據(jù)中，總結(jié)分析得到客戶行為的規(guī)律總結(jié)出來的規(guī)律用于支持決策兩類DSSModel-driven DSS ，模型導(dǎo)向決策支持系統(tǒng)Primarily s

16、tand-alone Uses model to perform “what-if” and other kinds of analysisData-driven DSS，數(shù)據(jù)導(dǎo)向決策支持系統(tǒng)Allows users to extract and analyze useful information from large databases數(shù)據(jù)倉庫、OLAP、數(shù)據(jù)挖掘數(shù)據(jù)導(dǎo)向決策支持系統(tǒng)的結(jié)構(gòu)GDSS群決策支持系統(tǒng) 人機(jī)交互的計(jì)算機(jī)系統(tǒng) 解決半結(jié)構(gòu)化問題支持群體（團(tuán)隊(duì)/多人）一起工作硬件：通信軟件：由個(gè)人意見形成群體決策結(jié)果： Electronic questionnaires, brains

17、torming tools, voting tools, etc本講的主要內(nèi)容決策與決策支持系統(tǒng)DSS的結(jié)構(gòu)與工作原理多維數(shù)據(jù)模型數(shù)據(jù)倉庫OLAP、EIS與數(shù)據(jù)可視化數(shù)據(jù)挖掘商業(yè)智能問題選擇、連接、匯總、計(jì)算銷售單（銷售單號，銷售時(shí)間，門店號）銷售明細(xì)（銷售單號，產(chǎn)品編號，銷售量）產(chǎn)品（產(chǎn)品編號，產(chǎn)品名稱，產(chǎn)品類別，單價(jià)）門店（門店號，門店名，地址）背景OLTP進(jìn)出倉登錄與記賬增加一條新的生產(chǎn)線，更改產(chǎn)品單價(jià)更改顧客信用銷售訂單錄入產(chǎn)品數(shù)據(jù)庫存數(shù)據(jù)銷售數(shù)據(jù)數(shù)據(jù)庫：面向業(yè)務(wù)的數(shù)據(jù)組織事務(wù)處理OLAP產(chǎn)品數(shù)據(jù)顧客數(shù)據(jù)供應(yīng)商數(shù)據(jù)數(shù)據(jù)倉庫：面向主題的數(shù)據(jù)組織每種物料保持多少安全庫存最佳？上個(gè)月有多少產(chǎn)

18、品的銷售額超過10000元？決策支持多維模型空調(diào)4季度華中地區(qū)銷售收入100萬元時(shí)間維產(chǎn)品維門店維100銷售收入A型1.5匹變頻空調(diào)4季度街道口店銷售收入10萬元多維模型的概念（1）多維數(shù)據(jù)模型用多維結(jié)構(gòu)來組織數(shù)據(jù)和表示數(shù)據(jù)之間的關(guān)系立方里面是銷售數(shù)據(jù)，即數(shù)據(jù)測量值，稱之為度量坐標(biāo)軸是維，維提供了測量值的上下文關(guān)系。其目的就是為了分析（決策）多維圖形表示是邏輯模型，物理上有多種實(shí)現(xiàn)方法此維非彼維RDB中的維：一行數(shù)據(jù)表示一個(gè)實(shí)體（縱軸），一列數(shù)據(jù)表示實(shí)體的一個(gè)屬性（橫軸）多維DB中的維表示看問題（數(shù)據(jù)）的角度多維模型的一個(gè)切面（二維），其含義也與RDB不同多維模型的概念（2）維度觀察數(shù)據(jù)的特定

19、角度：時(shí)間、地理、產(chǎn)品維的層次 某個(gè)特定角度（維）在細(xì)節(jié)程度上有不同的描述時(shí)間維：日期、月份、季度、年是數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級別。維的成員維的一個(gè)取值稱為該維的一個(gè)成員。不同維層次上的取值的組合：某年某月某日度量不同維在某一取值下的交叉點(diǎn)，有數(shù)據(jù)有單位事實(shí)維和度量的組合，可用多維數(shù)組來表示。 星型模型（1）Employee_DimEmployeeKeyEmployeeID.EmployeeKeyTime_DimTimeKey年月季度日期TimeKeyProduct_DimProductKeyProductID產(chǎn)品描述產(chǎn)品目錄目錄描述ProductKeyCustomer_DimC

20、ustomerKeyCustomerID.CustomerKeyShipper_DimShipperKeyShipperID.ShipperKeySales_FactTimeKeyEmployeeKeyProductKeyCustomerKeyShipperKey單位（元）金額.TimeKeyCustomerKeyShipperKeyProductKeyEmployeeKeyMultipart KeyMeasuresDimensional Keys事實(shí)表維表星型模型（2）GeographicProductTimeUnits$DimensionTablesGeographicProductTim

21、eFact TableMeasuresFactsDimension星型模型實(shí)例星型模型（1） Facts Month_nrStore_nrSKU_nrSales_revenue. Product SKU_nrSKU_descCategoryLine Time Month_nrMonth_descQuarterYear Geography Store_nr Store_nameCityStateRegion本講的主要內(nèi)容決策與決策支持系統(tǒng)DSS的結(jié)構(gòu)與工作原理多維數(shù)據(jù)模型數(shù)據(jù)倉庫OLAP、EIS與數(shù)據(jù)可視化數(shù)據(jù)挖掘商業(yè)智能數(shù)據(jù)倉庫的定義 一個(gè)面向主題的、集成的、非易失的且隨時(shí)間變化的數(shù)據(jù)集合，用

22、來支持管理人員做出決策。 數(shù)據(jù)倉庫之父WHInmon是什么？數(shù)據(jù)的集合與數(shù)據(jù)庫有什么區(qū)別？有什么特點(diǎn)？目的是什么？數(shù)據(jù)倉庫的特征（1） 面向主題(Subject Oriented)的數(shù)據(jù)集合數(shù)據(jù)倉庫中的數(shù)據(jù)如何組織？面向主題的,指的是它將依據(jù)一定的主題, 匯總各個(gè)OLTP系統(tǒng)的數(shù)據(jù)。 主題是什么關(guān)心的管理問題，關(guān)心的領(lǐng)域顧客、供應(yīng)商、產(chǎn)品、銷售 主題要從多個(gè)角度去描述主題的確定是管理上的問題，而不僅僅是技術(shù)上的問題主題的確定最好要知道客戶需求，否則可能是白忙活怎么組織多維數(shù)據(jù)模型SalesFinancialInventoryOperational SystemsData WarehouseCu

23、stomerGeographyProductOrganized by processesor tasksOrganized by subjectA subject oriented approach to corporate memorySource: 數(shù)據(jù)倉庫的特征（2）集成(Integrated)的數(shù)據(jù)集合 數(shù)據(jù)倉庫中的數(shù)據(jù)從哪里來？多個(gè)異種數(shù)據(jù)源構(gòu)成的，可能包括關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、文本數(shù)據(jù)庫、Web數(shù)據(jù)庫、一般文件等有什么問題？格式不統(tǒng)一、數(shù)據(jù)不一致要求對各個(gè)系統(tǒng)數(shù)據(jù)表示進(jìn)行轉(zhuǎn)換, 用統(tǒng)一編碼表示,比如, A系統(tǒng)用001表示退貨, 而B系統(tǒng)用999表示退貨,在數(shù)據(jù)倉庫中必須統(tǒng)一成

24、一個(gè)編碼。數(shù)據(jù)的抽取/轉(zhuǎn)換/加載（ETL）數(shù)據(jù)倉庫的特征（3）非易失的(Nonvolatile)的數(shù)據(jù)集合指的是數(shù)據(jù)被裝載入以后，系統(tǒng)用戶只讀數(shù)據(jù),不得修改數(shù)據(jù)。時(shí)變(Time Variant)的數(shù)據(jù)集合數(shù)據(jù)倉庫中包含時(shí)間元素，它所提供的信息總是與時(shí)間相關(guān)聯(lián)的。數(shù)掘倉庫中存儲的是一個(gè)時(shí)間段的數(shù)據(jù)，而不僅僅是某一個(gè)時(shí)刻的數(shù)據(jù)。數(shù)據(jù)倉庫完整地記錄了各個(gè)歷史時(shí)期的數(shù)據(jù),而OLTP系統(tǒng)不會保留全部的歷史記錄。數(shù)據(jù)比較DB 操作型數(shù)據(jù)（OLTP） DW分析型數(shù)據(jù)（ OLAP）原始數(shù)據(jù) 導(dǎo)出數(shù)據(jù)細(xì)節(jié)數(shù)據(jù) 細(xì)節(jié)+綜合性或提煉性數(shù)據(jù)當(dāng)前數(shù)據(jù) 歷史數(shù)據(jù)可更新 不可更新，但周期性刷新一次處理的數(shù)據(jù)量小 一次處理的

25、數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動(dòng) 面向分析，分析驅(qū)動(dòng)面向操作人員，支持日常操作 面向決策人員， 支持管理需要 理解數(shù)據(jù)倉庫數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別？數(shù)據(jù)庫和數(shù)據(jù)倉庫當(dāng)然都是裝數(shù)據(jù)的地方，關(guān)鍵的區(qū)別是裝的什么樣的數(shù)據(jù)。數(shù)據(jù)庫裝的原始數(shù)據(jù)，沒經(jīng)過任何加工；而數(shù)據(jù)倉庫是為了滿足分析需要，對源數(shù)據(jù)進(jìn)行了轉(zhuǎn)換過程，具體是怎樣一個(gè)處理過程，可以從Bill Inmon的倉庫定義四個(gè)特性進(jìn)行理解。數(shù)據(jù)倉庫在物理上也是數(shù)據(jù)庫，只不過是多維的為什么要建立數(shù)據(jù)倉庫DB vs. DWH數(shù)據(jù)倉庫的組成部分與流程 1 源數(shù)據(jù) 2 數(shù)據(jù)準(zhǔn)備區(qū)（Staging Area） 3 數(shù)據(jù)倉庫（存儲） 4 決策支持Application D

26、atabasesPackaged application/ERP DataDesktop DataExternal DataWeb-based DataAdapted from SunExpert Magazine, October 1998._INCOME ANNUAL REPORT_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 報(bào)表/查詢EISOLAP數(shù)據(jù)挖掘抽取轉(zhuǎn)換清洗數(shù)據(jù)倉庫數(shù)據(jù)集市元數(shù)據(jù)加 載數(shù)據(jù)準(zhǔn)備部分（1） 源數(shù)據(jù)部分 內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)多來源，數(shù)據(jù)庫（面向業(yè)務(wù)、ER）數(shù)據(jù)準(zhǔn)備部分 把不同數(shù)據(jù)源得到的數(shù)據(jù)修改、轉(zhuǎn)換成適合數(shù)據(jù)分析的格式存儲面向主題、多維、一

27、致抽取、轉(zhuǎn)換和裝載，簡稱為ETL流程 數(shù)據(jù)抽取(data extraction)數(shù)據(jù)抽取是數(shù)據(jù)倉庫按分析主題從業(yè)務(wù)數(shù)據(jù)庫抽取相關(guān)數(shù)據(jù)的過程。 抽取全部數(shù)據(jù)么？數(shù)據(jù)準(zhǔn)備部分（2） 數(shù)據(jù)清洗(data cleaning)將錯(cuò)誤的、不一致的數(shù)據(jù)予以更正或刪除。得到準(zhǔn)確的數(shù)據(jù)！數(shù)據(jù)轉(zhuǎn)換(data transformation)將不同格式的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)格式不同的數(shù)據(jù)庫產(chǎn)品，數(shù)據(jù)類型可能不同。eg.時(shí)間格式。得到統(tǒng)一格式的數(shù)據(jù)。數(shù)據(jù)加載(data load)指把清洗后的數(shù)據(jù)裝入數(shù)據(jù)倉庫的過程。數(shù)據(jù)加載策略包括數(shù)據(jù)加載周期和數(shù)據(jù)追加策略。數(shù)據(jù)存儲部分 （1）3部分：數(shù)據(jù)倉庫、數(shù)據(jù)集市、元數(shù)據(jù)數(shù)據(jù)倉庫

28、的數(shù)據(jù)組織結(jié)構(gòu) 粒度：分析過程由粗到細(xì)OLAP鉆取、時(shí)間數(shù)據(jù)存儲部分 （2）數(shù)據(jù)集市（ data mart ）面向企業(yè)中的某個(gè)部門（主題）而在邏輯上或物理上劃分出來的數(shù)據(jù)倉庫中的數(shù)據(jù)子集稱為數(shù)據(jù)集市數(shù)據(jù)倉庫面向整個(gè)企業(yè)，而數(shù)據(jù)集市則面向企業(yè)中的某個(gè)部門目的是減少數(shù)據(jù)處理量，提高處理效率兩種數(shù)據(jù)集市：獨(dú)立的、非獨(dú)立的非獨(dú)立的 （復(fù)制的）數(shù)據(jù)集市數(shù)據(jù)倉庫某部分主題的復(fù)制品。目的：提高效率、易訪問數(shù)據(jù)源于數(shù)據(jù)倉庫，要首先建立數(shù)據(jù)倉庫。數(shù)據(jù)存儲部分 （3）獨(dú)立的數(shù)據(jù)集市出發(fā)點(diǎn)：成本、時(shí)間直接從操作型環(huán)境獲取數(shù)據(jù)每個(gè)數(shù)據(jù)集市都負(fù)責(zé)某個(gè)特定領(lǐng)域的信息集合難點(diǎn)：各集市的數(shù)據(jù)一致性問題，需要集成元數(shù)據(jù)的規(guī)則Q

29、：多個(gè)獨(dú)立的數(shù)據(jù)集市能代替數(shù)據(jù)倉庫么？Ralph Kimball：數(shù)據(jù)倉庫只不過是一些數(shù)據(jù)集市的集合而已 Inmon：你可以在大海中捕到很多的小魚并堆積起來,但它們?nèi)匀徊皇泅L 數(shù)據(jù)存儲部分 （4）數(shù)據(jù)集市具有如下一些優(yōu)點(diǎn) 其成本和企業(yè)數(shù)據(jù)倉庫相比較低(通常在10萬-100萬美元左右)。實(shí)施的時(shí)間短，通常少于90天。數(shù)據(jù)集市可以在局部進(jìn)行控制而不需要在企業(yè)范圍集中控制，用戶就有了更多的權(quán)力。數(shù)據(jù)集市比數(shù)據(jù)倉庫包含更少的信息，因此比企業(yè)級數(shù)據(jù)倉庫更容易被瀏覽。數(shù)據(jù)集市允許業(yè)務(wù)單元建立自己的決策支持系統(tǒng)而不需要依靠公司的信息系統(tǒng)部門。獨(dú)立的數(shù)據(jù)集市可以用于驗(yàn)證開發(fā)全面的企業(yè)數(shù)據(jù)倉庫所需資源，這能夠快

30、速實(shí)現(xiàn)收益，投資回報(bào)更快。數(shù)據(jù)存儲部分 （5）元數(shù)據(jù)元數(shù)據(jù)部分是數(shù)據(jù)倉庫數(shù)據(jù)本身信息的數(shù)據(jù)。 從哪里來？操作型元數(shù)據(jù)。建立數(shù)據(jù)倉庫中的數(shù)據(jù)與操作型數(shù)據(jù)源的原始數(shù)據(jù)間的聯(lián)系。怎么來？抽取和轉(zhuǎn)換元數(shù)據(jù)。包含了源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)抽取信息，即抽取頻率、抽取方法和數(shù)據(jù)抽取的商業(yè)規(guī)則。 怎么用？最終用戶元數(shù)據(jù)。是數(shù)據(jù)倉庫的導(dǎo)航圖，它使最終用戶可以從數(shù)據(jù)倉庫中找到自己需要的信息。 本講的主要內(nèi)容決策與決策支持系統(tǒng)DSS的結(jié)構(gòu)與工作原理多維數(shù)據(jù)模型數(shù)據(jù)倉庫OLAP、EIS與數(shù)據(jù)可視化數(shù)據(jù)挖掘商業(yè)智能OLAPOLAP：聯(lián)機(jī)分析處理由關(guān)系數(shù)據(jù)庫之父E.F.Codd于1993年提出的。OLAP理事會的定義：OLAP是

31、一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)直接轉(zhuǎn)換過來的，它們以用戶容易理解的方式反映企業(yè)的真實(shí)狀況。理解OL：OLAP vs. OLTP，復(fù)雜查詢、快理解分析：OLA P的一個(gè)主要特點(diǎn)是多維數(shù)據(jù)分析OLAP的數(shù)據(jù)源從哪里來？是什么樣的數(shù)據(jù)？OLAP的12條準(zhǔn)則Codd提出OLAP的12條準(zhǔn)則來描述OLAP系統(tǒng)準(zhǔn)則1 OLAP模型必須提供多維概念視圖準(zhǔn)則2 透明性準(zhǔn)則準(zhǔn)則3 存取能力推測準(zhǔn)則4 穩(wěn)定的報(bào)表能力準(zhǔn)則5 客戶/服務(wù)器體系結(jié)構(gòu)準(zhǔn)則6 維的等同性準(zhǔn)則準(zhǔn)則7 動(dòng)態(tài)的稀疏矩陣處理準(zhǔn)則準(zhǔn)則8 多用戶支持能力準(zhǔn)則準(zhǔn)則9 非

32、受限的跨維操作準(zhǔn)則10 直觀的數(shù)據(jù)操縱準(zhǔn)則11 靈活的報(bào)表生成準(zhǔn)則12 不受限的維與聚集層次Q4時(shí)間Q1Q2Q3ProductGrapesApplesMelonsCherriesPearsLocationAtlantaDenverDetroitSales Introduction to CubesProductGrapesApplesMelonsCherriesPears產(chǎn)品空調(diào)冰箱洗衣機(jī)彩電小家電地區(qū)華北華中華南SalesOLAP的基本多維分析操作（1） 切片（slice）多維數(shù)據(jù)是由多個(gè)維度組成的，如果在某一維度上選定一個(gè)值，則多維數(shù)據(jù)就從n維下降至n -1維，稱多維數(shù)據(jù)的子集(維l，維2

33、，維i-1，維i+1，維n，度量變量)是多維數(shù)據(jù)在維i上切片。 切片操作在給定的數(shù)據(jù)多維模型的一個(gè)維度上進(jìn)行選擇，導(dǎo)致一個(gè)子方（Cube）。比如：可以對時(shí)間維度按時(shí)間=2002年1月進(jìn)行切片，得到一個(gè)含產(chǎn)品和門店兩個(gè)緯度的片狀圖。OLAP的基本多維分析操作（2） 切塊（dice）選定多維數(shù)組(維1，維2，維n，度量變量)中的若干維度(圖形顯示最多只能做到3維)的取值范圍，從而形成多維數(shù)據(jù)的子集(維1，維2，a1維i b1，a2 維j b2，a3維k Y 的規(guī)則，其中 X 和 Y 分別代表屬性集合（稱為項(xiàng)集），并且 X和Y的交集為空。規(guī)則的支持度表示 X 和 Y 同時(shí)出現(xiàn)的概率，用來描述該規(guī)則是

34、否具有代表性，即：支持度=P(X, Y)。置信度表示在出現(xiàn) X 的前提下出現(xiàn) Y 的概率，描述規(guī)則成立的可信度。即：置信度= P(Y|X) = P(X, Y)/P(X)age(X,“20-29”) income(X, “20K-30K”) = buys(X,”MP3”)support=2%,confidence=60%數(shù)據(jù)挖掘分類（4）關(guān)聯(lián)分析（association analysis）t1: (,面包,牛奶,)t2: (,面包,.)t3: (,面包,牛奶,)t4: ()“面包=牛奶”的支持度=P（面包，牛奶）= 1 / 2 置信度= P（面包，牛奶）/ P（面包）=2/3。 數(shù)據(jù)挖掘分類（5

35、）序列模式分析(sequence)序列模式分析和關(guān)聯(lián)分析相似，但側(cè)重點(diǎn)在于分析數(shù)據(jù)間的前后（因果）序列關(guān)系。它能發(fā)現(xiàn)數(shù)據(jù)庫中形如“在某一段時(shí)間內(nèi)，顧客購買商品A，接著購買商品B，而后購買商品C，即序列ABC出現(xiàn)的頻度較高”之類的知識顧客購房之后，2周內(nèi)有65%的可能性購買一臺新冰箱，一個(gè)月內(nèi)有45%的可能購買一臺新烤箱。在所有購買了激光打印機(jī)的人中，半年后80%的人再購買新硒鼓，20%的人用舊硒鼓裝碳粉；在所有購買了彩色電視機(jī)的人中，有60%的人再購買DCD產(chǎn)品數(shù)據(jù)挖掘分類（6）序列模式分析(sequence)數(shù)據(jù)挖掘分類（7）分類分析兩階段：首先給定已有的數(shù)據(jù)和類別，通過分類算法得到描述和區(qū)

36、分?jǐn)?shù)據(jù)類或概念的分類模型。然后，將此分類模型應(yīng)用到要進(jìn)行測試的數(shù)據(jù)上，把未來或者未知的數(shù)據(jù)劃分到若干已經(jīng)類別之中。 銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應(yīng)的貸款方案。方法：分類規(guī)則（IF-THEN）、決策樹（decision trees）、數(shù)學(xué)公式（mathematical formula）和神經(jīng)網(wǎng)絡(luò)等。 應(yīng)用：Call Center數(shù)據(jù)挖掘分類（8）聚類分析(clustering)按照“物以類聚”的原則把一個(gè)數(shù)據(jù)集合按照某個(gè)標(biāo)準(zhǔn)分成幾個(gè)簇的過程。其結(jié)果使得在每個(gè)簇內(nèi)部的數(shù)據(jù)按照該標(biāo)準(zhǔn)具有很高的相似性，而簇與簇之間的數(shù)據(jù)的相似性很低。

37、 應(yīng)用：顧客定位，然后根據(jù)顧客群特點(diǎn)推出相應(yīng)的產(chǎn)品。如，找出可能會接受某銀行卡的群體，數(shù)據(jù)挖掘分類（9）分類和聚類的區(qū)別分類是指將數(shù)據(jù)歸于一系列已知類別之中的某個(gè)類的分類過程; 分類是有指導(dǎo)的類別劃分，在若干先驗(yàn)標(biāo)準(zhǔn)的指導(dǎo)下進(jìn)行，效果好壞取決于標(biāo)準(zhǔn)選取的好壞。 聚類是無監(jiān)督學(xué)習(xí)，根據(jù)客體屬性對一系列未分類的客體進(jìn)行類別的識別, 把一組個(gè)體按照相似性歸成若干類。數(shù)據(jù)挖掘分類（10）異常檢測（anomaly detection，偏差分析）從數(shù)據(jù)分析中發(fā)現(xiàn)異常情況信用卡欺詐檢測演化分析對隨時(shí)間變化的數(shù)據(jù)對象的變化規(guī)律和趨勢進(jìn)行建模描述。 利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并用此模型來預(yù)測未來數(shù)據(jù)的

38、種類，特征等 典型方法就是回歸分析。數(shù)據(jù)挖掘解決的應(yīng)用數(shù)據(jù)挖掘技術(shù)從一開始就是面向應(yīng)用的尤其是在如銀行、電信、保險(xiǎn)、交通、零售（如超級市場）等商業(yè)領(lǐng)域應(yīng)用廣泛。數(shù)據(jù)挖掘所能解決的典型商業(yè)問題包括數(shù)據(jù)庫營銷（Database Marketing）客戶群體劃分(Customer Segmentation & Classification)背景分析（Pro）交叉銷售（Cross-selling）等市場分析行為以及客戶流失性分析(Churn Analysis)客戶信用記分(Credit Scoring)欺詐發(fā)現(xiàn)(Fraud Detection)典型案例哪些商品放在一起比較好賣？庫存預(yù)測 預(yù)測在未來一周

39、內(nèi)一本書是否將脫銷股票分析 通過相關(guān)分析，可以找出一支股票的走勢與另一只股票走勢的潛在規(guī)律 “如果微軟的股票下跌4%，那么IBM的股票將在兩周內(nèi)下跌5%”體育競技：NBA教練如何布陣以提升獲勝機(jī)會？ 出了一個(gè)新成品，哪些老客戶最可能購買？電子商務(wù)網(wǎng)站公共頁面該放哪些內(nèi)容最可能產(chǎn)生購買行為？ 登錄網(wǎng)站的當(dāng)前用戶現(xiàn)在最可能購買什么東西？典型案例（1）：哪些商品放在一起比較好賣？這是沃爾瑪?shù)慕?jīng)典案例：一般看來，啤酒和尿布是顧客群完全不同的商品。但是沃爾瑪一年內(nèi)數(shù)據(jù)挖掘的結(jié)果顯示在居民區(qū)中尿布賣得好的店面啤酒也賣得很好原因其實(shí)很簡單，一般太太讓先生下樓買尿布的時(shí)候，先生們一般都會犒勞自己兩聽啤酒。因此

40、啤酒和尿布一起購買的機(jī)會是最多的。這是一個(gè)現(xiàn)代商場智能化信息分析系統(tǒng)發(fā)現(xiàn)的秘密。這個(gè)故事被公認(rèn)是商業(yè)領(lǐng)域數(shù)據(jù)挖掘的誕生。另外，大家都知道在沃爾瑪牙膏的旁邊通常配備牙刷，在貨價(jià)上這樣放置，牙膏和牙刷才能都賣的很好。關(guān)聯(lián)分析典型案例（2）：庫存預(yù)測過去零售商依靠供應(yīng)鏈軟件、內(nèi)部分析軟件甚至直覺來預(yù)測庫存需求。隨著競爭壓力的一天天增大，很多零售商（從主要財(cái)務(wù)主管到庫存管理員）都開始致力于找到一些更準(zhǔn)確的方法來預(yù)測其連鎖商店應(yīng)保有的庫存。預(yù)測分析是一種解決方案。它能夠準(zhǔn)確預(yù)測哪些商店位置應(yīng)該保持哪些產(chǎn)品使用 Microsoft(R) SQL Server(TM) 2005 中的 Analysis Se

41、rvices 以及 SQL Server 數(shù)據(jù)倉庫，采用數(shù)據(jù)挖掘技術(shù)可以為產(chǎn)品存儲決策提供準(zhǔn)確及時(shí)的信息。SQL Server 2005 Analysis Services 獲得的數(shù)據(jù)挖掘模型可以預(yù)測在未來一周內(nèi)一本書是否將脫銷，準(zhǔn)確性為 98.52%。平均來說，預(yù)測該書是否將在未來兩周內(nèi)脫銷的準(zhǔn)確性為 86.45%。詳情見 典型案例（3）：股票預(yù)設(shè)預(yù)測一支股票的走勢幾乎是不可能，但是通過相關(guān)分析，可以找出一支股票的走勢與另一只股票走勢的潛在規(guī)律，比如數(shù)據(jù)挖掘曾經(jīng)得到過這個(gè)結(jié)論：“如果微軟的股票下跌4%，那么IBM的股票將在兩周內(nèi)下跌5%”。 典型案例（4）：NBA教練如何布陣以提升獲勝機(jī)會？

42、大約20個(gè)NBA球隊(duì)使用了IBM公司開發(fā)的數(shù)據(jù)挖掘應(yīng)用軟件Advanced Scout系統(tǒng)來優(yōu)化他們的戰(zhàn)術(shù)組合。 教練們可以完全沒有統(tǒng)計(jì)學(xué)的培訓(xùn)，但他們可以利用數(shù)據(jù)挖掘制定策略。例如Scout就因?yàn)檠芯苛四g(shù)隊(duì)隊(duì)員不同的布陣安排，在與邁阿密熱隊(duì)的比賽中找到了獲勝的機(jī)會。系統(tǒng)分析顯示魔術(shù)隊(duì)先發(fā)陣容中的兩個(gè)后衛(wèi)安佛尼.哈德衛(wèi)和伯蘭.紹在前兩場中被評為-17分,這意味著他倆在場上，本隊(duì)輸?shù)舻姆謹(jǐn)?shù)比得到的分?jǐn)?shù)多17分。然而，當(dāng)哈德衛(wèi)與替補(bǔ)后衛(wèi)達(dá)利爾.阿姆斯創(chuàng)組合時(shí)，魔術(shù)隊(duì)得分為正14分。在下一場中，魔術(shù)隊(duì)增加了阿姆斯創(chuàng)的上場時(shí)間。此著果然見效：阿姆斯創(chuàng)得了21分，哈德衛(wèi)得了42分，魔術(shù)隊(duì)以88比79獲

43、勝。魔術(shù)隊(duì)在第四場讓阿姆斯創(chuàng)進(jìn)入先發(fā)陣容，再一次打敗了熱隊(duì)。在第五場比賽中，這個(gè)靠數(shù)據(jù)挖掘支持的陣容沒能拖住熱隊(duì)，但Advanced Scout畢竟幫助了魔術(shù)隊(duì)贏得了打滿5場，直到最后才決出勝負(fù)的機(jī)會。 典型案例（5）：出了一個(gè)新產(chǎn)品，哪些老客戶最可能購買？加拿大蒙特利爾銀行采用 IBM DB2 Intelligent Miner Scoring，基于銀行賬戶余額、客戶已擁有的銀行產(chǎn)品以及所處地點(diǎn)和信貸風(fēng)險(xiǎn)等標(biāo)準(zhǔn)來評價(jià)記錄檔案。這些評價(jià)可用于確定客戶購買某一具體產(chǎn)品的可能性。我們對客戶的財(cái)務(wù)行為習(xí)慣及其對銀行收益率的影響有了更深入的了解?，F(xiàn)在，當(dāng)進(jìn)行更具針對性的營銷活動(dòng)時(shí)，銀行能夠區(qū)別對待不同的客戶群，以提升產(chǎn)品和服務(wù)質(zhì)量，同時(shí)還能制訂適當(dāng)?shù)膬r(jià)格和設(shè)計(jì)各種獎(jiǎng)勵(lì)方案，甚至確定利息費(fèi)用。“蒙特利爾銀行的數(shù)據(jù)挖掘工具為管理人員提供了大量信息，從而幫助他們對于從營銷到產(chǎn)品設(shè)計(jì)的任何事情進(jìn)行決策。典型案例（7）：登錄網(wǎng)站的當(dāng)前用戶現(xiàn)在最可能購買什么東西空調(diào)制造廠商開利(Carrier)公司-聲稱，僅僅通過利用郵政編碼數(shù)據(jù)，其升級版 B2C 網(wǎng)站的每位訪問者所產(chǎn)生的平均收益在一個(gè)月內(nèi)從 1.47 美元提高到了 37.42 美元。當(dāng)客戶登錄網(wǎng)站時(shí)，系統(tǒng)將指示他們提供郵政編碼。這些郵政編碼信息將被發(fā)送到數(shù)據(jù)挖掘WebMiner 服務(wù)器。然后，WebMiner