第三章 信息處理技術(shù)與方法(下)

第四節(jié)商務(wù)智能與數(shù)據(jù)挖掘商務(wù)智能的起源數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)挖掘數(shù)據(jù)挖掘在商業(yè)中的應(yīng)用第三章信息處理技術(shù)與方法市場的競爭發(fā)展趨勢從“大眾化營銷”到“差異化營銷”的競爭；從“規(guī)模效益”到“深度效益”的競爭；從“單一銷售”到“產(chǎn)業(yè)價值鏈營銷”的競爭；企業(yè)領(lǐng)導(dǎo)人如何面對激烈市場競爭帶來的挑戰(zhàn)？完善組織結(jié)構(gòu)培養(yǎng)客戶忠誠度拓大客戶群增加產(chǎn)品、渠道品種加強成本控制提高營運效率防范風(fēng)險………提高形象增加利潤增加/保留客戶增加市場占有率減低風(fēng)險增加服務(wù)/提高質(zhì)素減低經(jīng)營成本其他管理運營數(shù)據(jù)競爭優(yōu)勢？數(shù)據(jù)能直接帶來競爭優(yōu)勢嗎？現(xiàn)在企業(yè)的問題不是數(shù)據(jù)太少，而是數(shù)據(jù)太多了現(xiàn)有的數(shù)據(jù)狀況傳統(tǒng)的信息系統(tǒng)中數(shù)據(jù)受限于其應(yīng)用面，最終出來的效果所表達的信息是割裂的，零碎的，如果不加處理與整合，甚至是自相矛盾的，因此這種數(shù)據(jù)積累的作用事實上只是一種備份。備份數(shù)據(jù)變成了“數(shù)據(jù)監(jiān)獄”，數(shù)據(jù)一進去就十有八九成了“囚犯”，而數(shù)據(jù)一旦過時，要么就被束之高閣，無情地被判了無期徒刑，要么就象碎成紙片的機要文件一樣被銷毀了。

企業(yè)是個嚴密運作的復(fù)雜系統(tǒng)，每個細小環(huán)節(jié)的活動是彼此互相關(guān)聯(lián)的；從零碎的、片段的企業(yè)局部化信息難以看清企業(yè)整體的變化；同時企業(yè)需要一種協(xié)同思考的能力；在這種背景下，商務(wù)智能應(yīng)運而生！什么是商業(yè)智能商業(yè)智能是用來實現(xiàn)數(shù)據(jù)向信息轉(zhuǎn)變，信息向知識轉(zhuǎn)變，知識向價值轉(zhuǎn)變的這么一個過程，以及這個過程中所使用到的種種技術(shù)和工具。

數(shù)據(jù)信息知識價值個性化的界面商業(yè)智能工具的分析和提煉收集整理其他管理運營數(shù)據(jù)信息和知識分析數(shù)據(jù)采集數(shù)據(jù)

使業(yè)務(wù)更加高效

更大的效益企業(yè)信息門戶正確的決策和行動分析人員銀行領(lǐng)導(dǎo)員工IBM認為商務(wù)智能是指一種能力：通過智能的使用你的數(shù)據(jù)財產(chǎn)來制定更好的商務(wù)決策。它的意思是說各種企業(yè)的決策人員以企業(yè)中的數(shù)據(jù)倉庫(DataWarehouse)為本，經(jīng)由各式各樣的查詢分析工具(Query/ReportTools)、聯(lián)機分析處理(OnlineAnalyticalProcessing簡稱OLAP)工具、或是數(shù)據(jù)挖掘(DataMining)工具加上決策規(guī)劃人員的行業(yè)知識(IndustryKnowledge)，從數(shù)據(jù)倉儲中獲得有利的信息，進而幫助企業(yè)提高獲利，增加生產(chǎn)力與競爭力。

學(xué)術(shù)界的觀點是：BI實際上是幫助企業(yè)提高決策能力和運營能力的概念、方法、過程以及軟件的集合，其主要目標是將企業(yè)所掌握的信息轉(zhuǎn)換成競爭優(yōu)勢，提高企業(yè)決策能力、決策效率、決策準確性。根據(jù)國際數(shù)據(jù)公司（IDC）的一個關(guān)于65個公司的案例研究顯示，在過去2、3年里，商務(wù)智能投資的平均回報超過了400%。根據(jù)商務(wù)智能的當前應(yīng)用情況，發(fā)現(xiàn)商務(wù)智能廣泛應(yīng)用在零售、電信和保險、銀行等行業(yè)。這些行業(yè)一般具有以下特征：（1）大量的顧客；這樣才能產(chǎn)生足夠多的可供分析的數(shù)據(jù)。（2）非常激烈的競爭并有差異化的需要；這些行業(yè)一般提供的都是差異化很小的產(chǎn)品，同時行業(yè)內(nèi)的競爭又非常激烈，從而使差異化的服務(wù)成為企業(yè)必然選擇。（3）能容易地收集到大量的電子數(shù)據(jù)。這些行業(yè)一般都有較完善的電子交易記錄系統(tǒng)，可以很方便的收集到大量的電子交易數(shù)據(jù)。數(shù)據(jù)倉庫1.數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫是一種為信息分析提供了良好的基礎(chǔ)并支持管理決策活動的分析環(huán)境，是面向主題的、集成的、穩(wěn)定的、隨時間變化的、分層次的多維的集成數(shù)據(jù)集合。它為不同層次的管理者提供敏捷性和實用性的決策支持。數(shù)據(jù)倉庫具有兩個主要作用：一是從各信息源提取決策需要的數(shù)據(jù)，加工處理后，存儲到數(shù)據(jù)倉庫中；二是用戶的查詢和決策分析的基礎(chǔ)。2.數(shù)據(jù)倉庫特征1）面向主題(subjectoriented)

在傳統(tǒng)的信息系統(tǒng)中，對數(shù)據(jù)的處理是面向過程的或者是面向功能的。而面向過程的數(shù)據(jù)包括滿足某種功能需求的數(shù)據(jù)，它們可能與決策問題有關(guān)也可能無關(guān)。

采購子系統(tǒng):

訂單（訂單號，供應(yīng)商號，商品號，類別，單價。數(shù)量，總金額，日期，…

）供應(yīng)商（供應(yīng)商號，供應(yīng)商名，地址，電話，…）銷售子系統(tǒng)：客戶（客戶號，姓名，地址，電話，…

）銷售（客戶號，商品號，數(shù)量，單價，日期，…

）庫存子系統(tǒng)：進庫單（編號，商品號，數(shù)量，單價，日期，…

）出庫單（編號，商品號，數(shù)量，單價，日期，…

）庫存（商品號，庫房號，類別，單價，庫存數(shù)量，總金額，日期，…

）

商品固有信息：商品號，類別，單價，顏色，…

商品采購信息：商品號，類別，供應(yīng)商號，供應(yīng)日期，單價，數(shù)量，…

商品銷售信息：商品號，客戶號，數(shù)量，單價，銷售日期，…

商品庫存信息：商品號，庫房號，庫存數(shù)量，日期，…

）商品主題域：采購子系統(tǒng)銷售子系統(tǒng)庫存子系統(tǒng)從信息管理的角度看，主題就是在一個較高的管理層次上對信息系統(tǒng)的數(shù)據(jù)按照某一具體的管理對象進行綜合、歸類所形成的分析對象。從數(shù)據(jù)組織的角度看，主題是一些數(shù)據(jù)集合，這些數(shù)據(jù)集合對分析對象作了比較完整的、一致的描述，這種描述不僅涉及到數(shù)據(jù)自身，而且涉及到數(shù)據(jù)之間的關(guān)系。2）集成化(integrated)

數(shù)據(jù)倉庫在從業(yè)務(wù)處理系統(tǒng)那里獲取數(shù)據(jù)時，并不能將源數(shù)據(jù)庫中的數(shù)據(jù)直接加載到數(shù)據(jù)倉庫中，而是需要進行一系列的數(shù)據(jù)預(yù)處理，即數(shù)據(jù)的抽取、篩選、清理、綜合等集成工作。

也就是說，首先要從源數(shù)據(jù)庫中挑選出數(shù)據(jù)倉庫所需要的數(shù)據(jù)，然后將這些來自不同數(shù)據(jù)庫中的數(shù)據(jù)按照某一標準進行統(tǒng)一，即將不同數(shù)據(jù)源中的數(shù)據(jù)的單位、字長與內(nèi)容按照數(shù)據(jù)倉庫的要求統(tǒng)一起來，消除源數(shù)據(jù)中字段的同名異義、異名同義現(xiàn)象，這些工作稱為數(shù)據(jù)的清理(clean)，把數(shù)據(jù)倉庫的數(shù)據(jù)呈現(xiàn)給用戶一個一致統(tǒng)一的視圖。

數(shù)據(jù)倉庫中的數(shù)據(jù)分為四個級別：早期細節(jié)級，當前細節(jié)級，輕度綜合級，高度綜合級。1985~1998年銷售明細表1998~2003年銷售明細表1998~2003年每月銷售表1998~2003年每季度銷售表3）相對穩(wěn)定的：數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的加載、刷新。

4）反映歷史變化：數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。

DW中數(shù)據(jù)量很大：通常的DW的數(shù)據(jù)量為10GB級，大型DW是一個TB（1000GB）級數(shù)據(jù)量。DB一般為幾兆至100兆B。DW軟硬件要求較高：需要一個巨大的硬件平臺與一個并行的數(shù)據(jù)庫系統(tǒng)（PDBS）。整個數(shù)據(jù)倉庫系統(tǒng)是一個包含四個層次的體系結(jié)構(gòu)，具體由下圖表示。3.OLAPOLAP的基本術(shù)語

E.F.Codd的定義為：OLAP是共享多維信息的、針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析的快速軟件技術(shù)，OLAP具有靈活的分析功能、直觀的數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu)點，從而使用戶對基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效，以利迅速做出正確判斷。

OLAP的基本分析方法

1)維

維是人們觀察數(shù)據(jù)的特定角度。

2)維的層次

一個維往往具有多個層次，如描述時間維，可以從日期、月份、季度、年等不同層次來捕述，那么日期、月份、季度、年等就是時間維的層次；同樣，城市、地區(qū)、國家等構(gòu)成了一個地理維的多個層次。

(1)維成員。維的一個取值稱為該維的一個維成員。如果一個維是多層次的，那么，該維的維成員是在不同維層次的取值的組合。

(2)多維數(shù)組。一個多維數(shù)組可以表示為：(維1，維2，…，維n，變量)。例如，日用品銷售數(shù)據(jù)是按時間、地區(qū)和銷售渠道組織起來的三維立方體，加上變量"銷售額”，就組成了一個多維數(shù)組(地區(qū)，時間，銷售渠道，銷售額)。

(3)數(shù)據(jù)單元。多維數(shù)組的取值稱為數(shù)據(jù)單元。OLAP的基本分析方法

多維分析是指對以多維形式組織起來的數(shù)據(jù)采取切片、切塊、旋轉(zhuǎn)等各種分析方法，以求剖析數(shù)據(jù)，使最終用戶能從多個角度、多側(cè)面地觀察數(shù)據(jù)庫中的數(shù)據(jù)，從而深入地了解包含在數(shù)據(jù)中的信息、內(nèi)涵。切片

選定多維數(shù)組的一個二維子集的方法叫做切片，即選定多維數(shù)組（維1，維2，……，維n，變量）中的兩個維：維I和維J，在這兩個維上取某一區(qū)間或任意維成員，而將其余的維都取定一個維成員，則得到的就是多維數(shù)組在維I和j上一個二維子集，稱這個二維子集為多維數(shù)在維I和維J上的一個切片，表示為；（維I，維j，變量）。

例如，選定多維數(shù)組(地區(qū)，時間，產(chǎn)品，銷售額)中的地區(qū)維與產(chǎn)品維，在另外一維：時間維，選取一個維成員(如“2006年1月”)，就得到了多維數(shù)組(地區(qū)，時間，產(chǎn)品，銷售額)在產(chǎn)品和地區(qū)兩維上的一個切片(客戶，地區(qū)，銷售額)。這個切片表示2006年1月各地區(qū)、各產(chǎn)品的銷售情況。

產(chǎn)品銷售情況2006.1產(chǎn)品銷售情況選定兩個維：產(chǎn)品維和地區(qū)維時間維數(shù)據(jù)切片產(chǎn)品維地區(qū)維產(chǎn)品維地區(qū)維切塊

選定多維數(shù)的一個三維子集的方法稱切塊。即選定多維數(shù)組（維1，維2，……，維n，變量）中的三個維：維I、維j和維r，在這三個維上取某一區(qū)間或任意的維成員，而將其余的維都取定一個維成員，則得到的就是多維數(shù)組在維I、維j和維r上一個三維子集，我們稱這個三維子集為多維數(shù)組在維I、維j和r上的一個切塊，表示為：（維I，維j，維r，變量）。切塊與切片的作用與目的是相似的。美國中國手機電腦圖8-3三維立方體切塊（Slice）旋轉(zhuǎn)

旋轉(zhuǎn)即是改變一個報告或面顯示的維方向。例如，旋轉(zhuǎn)可能包含了交換行和列；或是把某一個行維移到列維中去，或是把頁面顯示中的一個維和頁面的維進行交換（令其成為新一行或列中的一個）把一個橫向為時間、縱向為產(chǎn)品的報表旋轉(zhuǎn)成為橫向為產(chǎn)品、維向為時間的報表。2005年2006年部門1季度2季度3季度4季度1季度2季度3季度4季度部門一2012182722161929部門二2311241722311234部門三26213433212326321季度2季度3季度4季度部門2005年2006年2005年2006年2005年2006年2005年2006年部門一2022121618192729部門二2322113124121734部門三2621212334263332旋轉(zhuǎn)前的有關(guān)數(shù)據(jù)描述旋轉(zhuǎn)后的有關(guān)數(shù)據(jù)描述鉆取按時間維向下鉆取按時間維向上鉆取604.數(shù)據(jù)挖掘數(shù)據(jù)的爆炸性增長:從TB到PB數(shù)據(jù)收集和數(shù)據(jù)可用性自動的數(shù)據(jù)收集工具,數(shù)據(jù)庫系統(tǒng),Web,計算化的社會2003年，法國電信的呼叫數(shù)據(jù)為30TB，AT&T以26TB的數(shù)據(jù)量位居第二，如此多的呼叫數(shù)據(jù)以致于AT&T無法全部保存，對數(shù)據(jù)的分析也只能是“粗略”的Google，40億以上的頁面（2004年4月統(tǒng)計），數(shù)據(jù)量為nTB據(jù)加州大學(xué)伯克利分校的研究人員統(tǒng)計，2002年新產(chǎn)生數(shù)據(jù)為1999年的2倍，而且數(shù)據(jù)的膨脹在不斷加速我們正淹沒在數(shù)據(jù)洪水中,但卻渴望知識!

數(shù)據(jù)挖掘(從數(shù)據(jù)中發(fā)現(xiàn)知識)從海量數(shù)據(jù)中提取感興趣(重要的,

隱含的,以前未知的

和潛在有用的)模式或知識數(shù)據(jù)挖掘:用詞不當?其他的名稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)(挖掘)(KDD),知識提取,數(shù)據(jù)/模式分析,數(shù)據(jù)考古學(xué),數(shù)據(jù)捕撈,信息收獲,商業(yè)智能等.當心:所有的都是“數(shù)據(jù)挖掘”么?簡單的搜索和查詢處理(演繹的)專家系統(tǒng)4.數(shù)據(jù)挖掘為什么要數(shù)據(jù)挖掘?—潛在的應(yīng)用數(shù)據(jù)分析和決策支持市場分析和管理目標市場定位,客戶關(guān)系管理(CRM),購物籃分析,交叉銷售風(fēng)險分析和管理預(yù)測,客戶保持,質(zhì)量控制,競爭分析欺詐檢測和不尋常模式的檢測(離群點)其他的應(yīng)用文本挖掘(新聞組,email,文檔)和Web挖掘流數(shù)據(jù)挖掘生物信息學(xué)和生物數(shù)據(jù)分析現(xiàn)實世界中的數(shù)據(jù)挖掘可以用來干什么？

——搜索制造爆炸的恐怖分子美國聯(lián)邦調(diào)查局（FBI）對地區(qū)調(diào)查員提交的大量報告進行審查，尋找和爆炸事件的聯(lián)系。.使用鏈路分析，聚類和規(guī)則歸納等分析方法來識別可能的線索。數(shù)據(jù)挖掘的其他應(yīng)用知識發(fā)現(xiàn)(KDD)過程數(shù)據(jù)挖掘—知識發(fā)現(xiàn)過程的核心數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)庫數(shù)據(jù)倉庫知識任務(wù)相關(guān)的數(shù)據(jù)選擇數(shù)據(jù)挖掘模式評估5.DM與OLAP的區(qū)別

用戶可能會提出這樣一個典型的OLAP問題：去年哪里的用戶的購買了更多的轎車，是上海還是北京(請注意，在這個問題中已經(jīng)隱含了用戶的一些前提條件)?面對這樣的問題，OLAP可能會回答：在去年，上海地區(qū)的用戶購買了12000輛轎車，而北京的用戶購買了10000輛。相比之下，一個典型的DM問題可能會是：給出一個模式來預(yù)測人們購買轎車的情況。通過對數(shù)據(jù)庫中數(shù)據(jù)的挖掘，DM可能這樣回答：在北京地區(qū)處于A年齡段、收入在X、y之間的用戶比上海地區(qū)相同的用戶會購買更多的轎車。6.數(shù)據(jù)挖掘在商業(yè)中的應(yīng)用關(guān)聯(lián)分析

關(guān)聯(lián)分析主要用于發(fā)現(xiàn)不同事件之間的關(guān)聯(lián)性，即一個事件發(fā)生的同時，另一個事件也經(jīng)常發(fā)生。關(guān)聯(lián)分析的重點在于快速發(fā)現(xiàn)那些有實用價值的關(guān)聯(lián)發(fā)生的事件。其主要依據(jù)是事件發(fā)生的概率和條件概率應(yīng)該符合一定的統(tǒng)計意義。動機:尋找數(shù)據(jù)中固有的規(guī)律什么產(chǎn)品會經(jīng)常在一起購買?—

啤酒和尿布?!買了一臺電腦之后接著會買什么?哪種DNA對新藥是敏感的?我們能夠自動分類Web文檔嗎?應(yīng)用購物籃分析,交叉銷售,分類設(shè)計,銷售活動分析,Web日志(點擊流)分析,以及DNA序列分析.購物籃分析商店的經(jīng)理想了解顧客的購物習(xí)慣“什么商品組或集合顧客多半會在一次購物時同時購買”

可以幫助制定營銷策略:有選擇地安排貨架按比例進貨案例：金融交叉銷售什么是交叉銷售？簡單說來，就是向擁有本公司A產(chǎn)品的客戶推銷本公司B產(chǎn)品。它有兩大功能：其一，可以增強客戶忠誠度。如果客戶購買本公司的產(chǎn)品和服務(wù)越多，客戶流失的可能性就越小。來自銀行的數(shù)據(jù)顯示：購買兩種產(chǎn)品的客戶的流失率是55%，而擁有4個或更多產(chǎn)品或服務(wù)的流失率幾乎是0。其二，交叉銷售也可以增加利潤。實踐證明，將一種產(chǎn)品和服務(wù)推銷給一個現(xiàn)有客戶的成本遠低于吸收一個新客戶的成本。

下表便是一個采用IBMIntelligentMiner進行數(shù)據(jù)挖掘的案例：

這個準則說明：有28.5%的VISA金卡用戶購買了房屋貸款，它的購買率是平均的10.7倍。這個準則的客戶數(shù)目占總客戶群的85%(關(guān)于準則的詳細定義請參考IBMIntelligentMiner的說明書)。根據(jù)這個準則我們可以知道，將房屋貸款交叉銷售給VISA金卡用戶是一個很好的選擇。置信度支持度類型提升度規(guī)則0.85％28.5％＋10.7VISA金卡＝>房屋貸款序列分析

序列分析技術(shù)主要用于發(fā)現(xiàn)一定時間間隔內(nèi)接連發(fā)生的事件。這些事件構(gòu)成一個序列，發(fā)現(xiàn)的序列應(yīng)該具有普遍意義，其依據(jù)除了統(tǒng)計上的概率之外，還要加上時間的約束。分類分析分類分析通過分析具有類別的樣本的特點，得到?jīng)Q定樣本屬于各種類別的規(guī)則或方法。利用分類技術(shù)，可以根據(jù)顧客的消費水平和基本特征對顧客進行分類，找出對商家有較大利益貢獻的重要客戶的特征，通過對其進行個性化服務(wù)，提高他們的忠誠度。案例：中移動客戶保留案例分析

國內(nèi)移動通信市場的價格戰(zhàn)是當前困擾運營商的主要問題，很多客戶從一個移動運營商轉(zhuǎn)向另一個移動運營商只是為了得到更低的費用及其他額外的優(yōu)惠條件（如贈機）。因此需要通過對轉(zhuǎn)網(wǎng)客戶群的特征進行深入分析，然后根據(jù)分析結(jié)果到現(xiàn)有客戶資料中找出可能轉(zhuǎn)網(wǎng)的客戶群，有針對性地設(shè)計一些客戶保持計劃來預(yù)防現(xiàn)有客戶的流失。聚類分析聚類分析是根據(jù)物以類聚的原理，將本身沒有類別的樣本聚集成不同的組，并且對每一個這樣的組進行描述的過程。其主要依據(jù)是聚到同一個組中的樣本應(yīng)該彼此相似，而屬于不同組的樣本應(yīng)該足夠不相似。

在客戶關(guān)系管理中，利用聚類技術(shù)，根據(jù)客戶的個人特征以及消費數(shù)據(jù)，可以將客戶群體進行細分。例如，可以得到這樣的一個消費群體：女性占91%，全部無子女、年齡在31到40歲占70%，高消費級別的占64%，買過針織品的占91%，買過廚房用品的占89%，買過園藝用品的占79%。針對不同的客戶群，可以實施不同的營銷和服務(wù)方式，從而提高客戶的滿意度。

對于空間數(shù)據(jù)，根據(jù)地理位置以及障礙物的存在情況可以自動進行區(qū)域劃分。例如，根據(jù)分布在不同地理位置的ATM機的情況將居民進行區(qū)域劃分，？？？？？

根據(jù)這一信息，可以有效地進行ATM機的設(shè)置規(guī)劃，避免浪費，同時也避免失掉每一個商機。預(yù)測預(yù)測與分類類似，但預(yù)測是根據(jù)樣本的已知特征估算某個連續(xù)類型的變