商務智能平臺應用研究

1、商務智能平臺應用研究楊志蓉（經濟管理學院 指導教師：顧忠偉）摘 要：商務智能在中國的發(fā)展方興為艾，競爭也日趨激烈。如何更多的了解商務信息，并將這種信息轉變?yōu)椤爸R”，從而為管理人員方便，迅速地提供更準確，高質的信息以支持商務智能，已經成為企業(yè)商務決策的一個緊迫的課題。 Pentaho是一個完整的開源BI平臺。Pentaho BI項目提供了企業(yè)級的報表、多維分析、儀表盤、數據挖掘和工作功能、幫助組織更加有效率的運營 本文是基于Pentaho 平臺進行BI研究，分析了零售業(yè)所處的競爭環(huán)境和自身的特點，然后提出了完整的針對零售業(yè)的商務智能解決方案。該解決方案的主要特點是：提供一體化的商務智能解決方案

2、包括查詢、報表、分析、儀表盤 、數據整合及數據挖掘等各方面完善的功能關鍵詞：商務智能；Pentaho；數據倉庫；數據挖掘Abstract：Business intelligence (BI) has a very good prospect in China, but the competition will become fiercer and fiercer. The problem how to understand further business information and transfer them into the knowledge, so as convenient an

3、d rapid to provide managers with better accurate and high quality information to support valuable business decision, has become a very urgent project which the business decision of enterprises are facing. Pentaho is a integrated BI platform in Open Source Business Intelligence. The Pentaho BI Projec

4、t provides enterprise-class reporting, analysis, dashboard, data mining and workflow capabilities that help organizations operate more efficiently and effectively.This paper based on the pentaho BI platform for research, analyzes the competition environment and characteristics of the retail industry

5、, and then puts forward complete BI solutions. The main characteristic of pentaho BI solution is to provide the perfect functions of Query、RePorting、Analyze、Dashboard、Data Integration and Data mining for the integration of business intelligence solutions.Key words：BI； Pentaho； Data Warehouse；Data mi

6、ning 第一章 緒論第一節(jié) 引言隨著全球信息化的發(fā)展，現代企業(yè)信息化進程得到巨大發(fā)展和廣泛應用，各種業(yè)務系統(tǒng)的廣泛應用以及互聯網的蓬勃發(fā)展，為計算機應用系統(tǒng)的運行積累了大量的歷史數據。但在很多情況下，這些海量數據在原有的作業(yè)系統(tǒng)中是無法提煉并升華為有用的信息并提供給業(yè)務分析人員與管理決策者。現在，大多數企業(yè)并不缺少數據，而是苦惱于海量數據而總嫌知識不夠。無怪乎未來學家奈斯比特（John Naisbitt）驚呼：“人類正被信息淹沒，卻饑渴于知識?！?林杰斌 劉明德 陳湘 編著數據挖掘與OLAP理論與實務清華大學出版社面臨浩瀚無邊的數據，人們呼喚從數據的汪洋大海中去蕪存精，去偽存真。如何才能不被

7、信息的汪洋大海所淹沒，解決企業(yè)中普遍存在的“數據監(jiān)獄”和“數據貧窮”現象，為企業(yè)決策分析人員方便、迅速地提供更準確、高質的信息，已成為企業(yè)當前迫切需要解決的問題，而傳統(tǒng)的數據分析工具、方法對海量數據的處理和及時、準確的商務分析力不從心，因此商務智能技術就是在這樣的背景下應運而生和蓬勃發(fā)展，并越來越顯示出強大的生命力 。本文就是要探討如何針對企業(yè)現存的問題，通過收集、整理和分析企業(yè)內外部的各種海量數據，轉換成更有價值的商用信息，以便用于支持決策，提出可行性商務智能應用解決方案。第二節(jié) 論文背景及意義信息時代，對信息處理和利用能力的強弱成為決定企業(yè)興衰成敗的關鍵?，F今功能強大的以交易為基礎的信息系

8、統(tǒng)已經在各個主導工業(yè)領域變得越來越普遍。這一趨勢極大地改變了中國乃至全球的市場架構，并迫使每個企業(yè)不得不全力以赴來獲得競爭中的優(yōu)勢地位，包括使用大量的商務智能系統(tǒng)。因為商務智能系統(tǒng)使得企業(yè)能對數據進行二次開發(fā)和利用，將數據轉為信息，信息轉為知識，再將知識轉為企業(yè)的競爭優(yōu)勢。作為當今企業(yè)業(yè)務主管或者信息主管，您會認識到無論您身處于哪一個行業(yè)，我們都面臨著知識經濟時代的挑戰(zhàn)。您是否能夠最大限度地使用信息資源來管理和影響企業(yè)決策流程，將決定企業(yè)是否能擁有最大程度的競爭優(yōu)勢。舉例來說：在超級市場通過條碼掃描，把每一宗商品交易輸入數據庫中，一個中型超市買賣的商品就數萬種，每天的交易量上萬筆，如此大量的數

9、據，傳統(tǒng)的數據庫不能很好的回答老板所關心的問題：商品在不同季節(jié)或一天的不同時間中銷售量有何變化規(guī)律？商品A銷售量的增加是否會同時帶動商品B的銷售？如何調整商品的資金比例以達到最佳的資源調配？各種商品的銷售之間是否存在一定的關聯（如美國Wall Mart 超市通過“知識發(fā)現”技術意外地發(fā)現，尿布和啤酒常常擺在一起銷售，原來先生們?yōu)樾『①I尿布時又隨手帶回啤酒，而WalMart將尿布和啤酒放在同一貨架，使得銷售量雙雙增長）？這些問題，一方面是希望對當前情況進行更加深入的了解，比如哪個商品銷售創(chuàng)造的利潤最可觀，另一個方面是希望能夠預測未來可能發(fā)生的情況，比如預測未來六個月內顧客可能希望購買的商品?！傲?/p>

10、解現在，預測未來”，這正是商務智能可以完成的工作。 林杰斌 劉明德 陳湘 編著數據挖掘與OLAP理論與實務清華大學出版社那么，在商務智能系統(tǒng)中所有這些寶貴信息是從何得出呢？令人吃驚的是，幾乎所有的企業(yè)都已經具備了回答以上問題的原始數據。事實上，企業(yè)的信息生產系統(tǒng)每天都在產生并儲存大量的產品市場和客戶信息，也許信息來自于銷售，預定，客戶服務以及技術支持系統(tǒng)。而企業(yè)面臨的真正挑戰(zhàn)是如何從中發(fā)掘出全部的潛在商機。大多數企業(yè)只利用了很少比例的數據資源用于戰(zhàn)略分析，而余下的數據資源（經常與其他一些外部資源混雜在一起，像各種政府報告，研究成果，銷售記錄等等）將作為一座金礦等待被發(fā)掘，被篩選。在過去的幾年里

11、，幾乎每個企業(yè)都建立了自己的信息中心，收集和整理了大量的歷史數據。但是這些數據數量之大遠遠超出了可以控制和理解的范圍，數據庫變成了“數據監(jiān)獄”，數據成了數據監(jiān)獄中的“囚犯”，有些數據成為了歷史數據，等于被判處了無期徒刑。怎樣將這些“數據囚犯”變成有價值的生產力要素，就是使用商務智能的目的所在。第三節(jié) 國內外研究現狀企業(yè)大量的數據帶來巨大的動力，為企業(yè)BI舞臺上實現商務解決方案提供了競爭優(yōu)勢。支持商務決策，數據須從整個企業(yè)中集合起來，以便分析和解釋。商務在如今的快節(jié)奏世界中尋找自身優(yōu)勢，它們欣賞信息被快速傳輸到BI中的方式，因此，BI在快速發(fā)展.根據國際數據公司（IDC，Internationa

12、lDataCompany）預計，2007年至2008年，由于“商業(yè)智能大眾化”的需求不斷增長，因此在商業(yè)智能應用軟件領域將出現下一波投資熱潮，人們需要可擴展性更高、界面更易于使用的應用軟件。國內外都重視商務智能BI的價值，以下是IDC預測，從現在到2007年，BI將以20.3年復合增長率發(fā)展，屆時將達到108億美元。圖1-1 IDC 商務智能預測2006-2007年中國商業(yè)智能發(fā)展報告中闡述：從全球范圍來看，商業(yè)智能(BI)已經成為最重要的信息系統(tǒng)。從國內來看，商業(yè)智能已經被越來越多的企業(yè)管理者所認識，其中包括金融、電信、保險、能源、零售等行業(yè)的決策者。商業(yè)智能已經成為這些行業(yè)信息化建設的重中

13、之重。據China BI統(tǒng)計，2006年中國大陸地區(qū)的BI產品許可證市場容量約為8億元人民幣，同比2005年增長33%；BI系統(tǒng)集成（BI軟件系統(tǒng)，但不包括許可證）市場容量約為6億元人民幣，共計14億元。BI市場帶動相關軟硬件銷售額為5億元人民幣。在未來幾年內商業(yè)智能市場需求旺盛，市場規(guī)模增長迅速。一、國外BI廠商簡介按照起源來分，有專門做商業(yè)智能的廠商和原來的數據庫廠商。第一類專門做商業(yè)智能的廠商，技術先進、產品擴展性好，已經占領了中國商業(yè)職能的大部分市場份額，主要軟件廠商有SAS，Business Objects等。例如：SAS商業(yè)智能解決方案主要用于快速做出明智的決策及促使企業(yè)或組織進步

14、，SAS行業(yè)解決方案可以幫助客戶更好、更準確地傳達決策信息，提升決策能力和決策水平，從戰(zhàn)略管理和運營管理兩個層面同時推動企業(yè)發(fā)展。第二類是從原來的數據廠商發(fā)展而來的，主要有Sybase、IBM、Oracle等，它們通常提供完整的解決方案，產品各具特色，集成度高，也占有一部分市場份額。二、國內BI廠商簡介國內知名的BI獨立軟件開發(fā)商數量較少，規(guī)模仍然較小，但是發(fā)展迅速，基本都處于良性循環(huán)。例如：廣州尚南、潤乾軟件、奧威智動等都是國內知名的BI獨立軟件開發(fā)商。例如：北京潤乾軟件技術有限公司主要從事企業(yè)級報表工具產品的研發(fā)和推廣，一直致力于在平臺產品領域的探索，其自主獨創(chuàng)的數據統(tǒng)計模型是迄今為止唯一

15、能零編碼處理復雜非線性報表的軟件，成為報表領域的新一代革命性產品，潤乾曾榮膺“2006中國商業(yè)智能最佳報表軟件廠商”稱號。三、國內BI發(fā)展的地區(qū)分布國內不同地區(qū)的BI發(fā)展水平差異巨大，根據China BI網站訪問者所在地計算出各地區(qū)的BI發(fā)展指數。圖1-2 中國重要省市的BI發(fā)展指數四、國內BI行業(yè)發(fā)展隨著中國商業(yè)智能市場逐步走向成熟，用戶日趨理性，傳統(tǒng)行業(yè)中精通BI技術的人越來越多，因此BI發(fā)展更加務實。根據China BI掌握的需求情況，各行業(yè)的BI發(fā)展水平參差不齊。 2006-2007年中國商業(yè)智能發(fā)展報告 httP:/圖1-3 中國BI各行業(yè)發(fā)展比例第四節(jié) 論文的框架本論文的總體研究框

16、架可以表示為下圖： 圖1-4論文技術走勢圖本論文共分為七章。第一章為緒論部分，主要介紹了論文的背景及意義，國內外的研究現狀，論文的框架、創(chuàng)新點及研究方法。首先討論了“知識經濟”時代激烈市場競爭環(huán)境中，企業(yè)普遍存在的“數據監(jiān)獄”和“數據貧窮”現象，由此給出本文研究商務智能企業(yè)應用解決方案的現實意義。圍繞本論文研究的宗旨和前提，緒論給出了本論文擬解決的幾個問題，并圍繞這些問題組織本論文的總體研究框架。最后，緒論部分還指出了本論文的主要創(chuàng)新點以及采用的研究方法，同時為了本論文研究的科學、順利開展，對論文的進度安排做了個規(guī)劃，以保證論文研究的整體進展。第二章是本論文研究的理論基礎，主要通過文獻研究，首

17、先給出了商務智能的綜述，進而介紹了傳統(tǒng)信息系統(tǒng)的不足，商務智能的歷史發(fā)展，商務智能系統(tǒng)處理流程和框架，并闡明商務智能業(yè)務應用價值。本章一方面為后面的研究做了理論鋪墊，另一方面也有助于我們發(fā)現當前研究的不足之處，表明了本論文研究的理論意義。第三章通過循序漸進的不斷學習研究Pentaho理論和技術，并以此思路闡述Pentaho 項目概況，設計思想，基于Pentaho平臺的BI開發(fā)，Pentaho BI平臺的總體架構，Pentaho BI的特征及Pentaho BI是如何解決商務問題的。因而展示Pentaho BI開發(fā)的技術層面和Pentaho平臺整體解決方案的框架。第四章介紹了基于Pentaho平

18、臺的BI開發(fā)，闡述Pentaho BI開發(fā)的特點，開發(fā)的方法，開發(fā)的流程以及開發(fā)的工具，并提出Pentaho BI開發(fā)系統(tǒng)的效益評估。第五章是本文的實踐研究分析，也是本文研究的重點。通過Pentaho BI 應用平臺的實踐，闡述Pentaho項目的技術路線，項目開發(fā)工具以及步驟和方法。第六章重點介紹了Pentaho BI 零售行業(yè)實例應用分析。通過了解國內零售行業(yè)的市場現狀和競爭環(huán)境分析，業(yè)務需求分析，實踐應用 Pentaho BI解決方案，提供數據處理、OLAP應用、儀表盤應用、數據挖掘應用、報表應用等一體化應用功能。其中重點包括零售業(yè)務中的銷售分析、產品退貨分析、庫存分析、客戶結構分析、促

19、銷效果分析、商品價格分析等分析模型。作為論文的最后一部分，第七章給出了本論文的總結，指出了本論文研究的不足之處，以及未來研究的新視角探討。 SHAPE * MERGEFORMAT 第五節(jié) 論文的創(chuàng)新點和研究方法本論文研究的指導性目標是：(1)、突出集成性。即將數據倉庫、OLAP、數據挖掘及決策支持等多種技術融于一體，以決策支持為核心，為企業(yè)管理層提供多種決策服務為目的。(2)、突出實用性。針對零售行業(yè)的競爭分析，業(yè)務需求分析提出Pentaho BI可行性解決方案。(3)、突出工程性。從Pentaho的設計思想、運行環(huán)境、平臺的總體架構方面展示Pentaho項目開發(fā)和系統(tǒng)的實施應用。本論文研究方

20、法：在論文研究過程中特別注重關注多種研究方法的綜合應用，以獲得較好的研究效果，這主要體現在一下幾個方面：理論研究與實踐應用研究相結合本論文屬于商務智能平臺具體業(yè)務中的應用研究，理論研究主要涉及商務智能理論研究，數據倉庫研究，數據挖掘研究，OLAP研究等，本論文理論研究部分主要采取文獻研究形式，通過廣泛閱讀相關領域文獻和專業(yè)網站上的技術文檔構建論文的理論框架。理論研究必須在實踐應用研究的驗證下才能體現其價值性，因此本論文同樣關注應用研究部分。和大多數商務智能技術行業(yè)應用文章一樣，本文實踐應用部分也以某具體零售超市為研究單位，提出Pentaho BI可行性解決方案。通過Pentaho平臺的接口引擎

21、集成的案例，實踐應用選擇KETTLE工具進行數據篩選、過濾、轉換；選擇WEKA工具進行數據挖掘；選擇BIRT報表工具設計自定義個性化中國式報表，展示了Pentaho BI平臺應用技術層面和路線，提出完整性實用可行解決方案。定性研究與定量研究相結合本論文采取在定性研究的基礎上進行定量研究的研究方法。第二章 商務智能研究概述第一節(jié) 商務智能基本概念商務智能(Business Intelligence，簡稱BI)的概念最早是由Gartner Group于1996年提出的。從不同的角度，BI可以有不同的定義，如果從IT技術的角度來定義BI，可以認為BI是運用了數據倉庫、聯機在線分析和數據挖掘技術來處理

22、和分析數據的技術，它允許用戶查詢和分析數據庫或數據倉庫，進而得出影響商業(yè)活動的關鍵因素，最終幫助用戶做出更好、更合理的決策；Data Warehouse Institute組織認為“BI是將數據轉換成知識并將知識應用到商業(yè)行為上的一個過程”；Gartner Group 則認為“BI是將數據轉換成信息的過程，然后通過發(fā)現將信息轉化為知識”。 王茁、顧潔 編著 三位一體的商務智能（BI）管理、技術與應用 電子工業(yè)出版社確切地講，BI并不是一項新技術，它將數據倉庫(DW)、聯機分析處理(OLAP)、數據挖掘(DM)等技術與客戶關系管理（CRM）等結合起來應用于商業(yè)活動實際過程當中，實現了技術服務于決

23、策的目的；Mark Hammond從管理的角度看待BI，認為BI是從“根本上幫助你把公司的運營數據轉化成為高價值的可以獲取的信息（或者知識），并且在恰當的時間通過恰當的手段把恰當的信息傳遞給恰當的人”。 在總結商務智能定義的眾多版本，針對國內市場王茁在三位一體的商務智能（BI）管理、技術與應用 中提出的BI定義 安淑芝等 編著 數據倉庫與數據挖掘 清華大學出版社：指企業(yè)利用現代信息技術收集、管理和分析結構化和非結構化的商務數據和信息，創(chuàng)造和累計商務知識和見解，改善商務決策水平，采取有效的商務行動，完善各種商務流程，提升各方面商務績效，增強綜合競爭力的智慧和能力。第二節(jié) 傳統(tǒng)信息系統(tǒng)的不足傳統(tǒng)的

24、信息系統(tǒng)是在面向業(yè)務操作的在線事務處理系統(tǒng)，在日常事務處理中，用戶對系統(tǒng)和數據庫的要求是數據存取頻率要高，操作時間要短；而分析型系統(tǒng)則面向企業(yè)的決策分析，在決策分析中，有的決策問題請求可能導致系統(tǒng)長達數小時的運行，有的決策分析問題的解決需要遍歷數據庫中大部分的數據，這些是日常事務處理系統(tǒng)所無法承擔的。因此操作型數據和決策分析型數據應該分離。 張云濤 龔玲著 數據挖掘原理與技術 電子工業(yè)出版社這兩類處理在目標、所處理的數據及所涉及的技術上都有很大的不同。因此傳統(tǒng)的信息系統(tǒng)不適用于分析處理，主要表現在以下方面：無法保證一致性靈活性不足信息孤島無法滿足決策分析的需要第三節(jié) 商務智能是什么商業(yè)智能是什

25、么?簡而言之，它是能夠幫助用戶對自身業(yè)務經營做出正確明智決策的工具。如何利用企業(yè)積累的數據增進對業(yè)務情況的了解，幫助我們在業(yè)務管理及發(fā)展上作出及時、正確的判斷，然后采用明智的行動-這就是商業(yè)智能。從本質上說，商務智能并不是一門新技術，它是已有的技術的組合和集成。IDC將商務智能定義為下列軟件工具的集合。 于宗民 劉義寧 祈國輝 編著 數據倉庫項目管理實踐人民郵電出版社終端用戶查詢和報告工具。專門用來支持初級用戶的原始數據訪問，不包括適用于專業(yè)人士的成品報告生成工具。OLAP工具。提供多維數據管理環(huán)境，其典型的應用是對商業(yè)問題的建模與商業(yè)數據分析。OLAP也被稱為多維分析。數據挖掘（Data M

26、ining）軟件.使用諸如神經網絡、規(guī)則歸納等技術，用來發(fā)現數據之間的關系，做出基于數據的推斷。數據集市（Data Mart）和數據倉庫（Data Warehouse）產品。包括數據轉換、管理和存取等方面的預配置軟件，通常還包括一些業(yè)務模型，如財務分析模型。主管信息系統(tǒng)（EIS，Executive Information System）。企業(yè)機構利用上述軟件工具在統(tǒng)一的BI平臺上建立所需要的企業(yè)范圍內的商業(yè)分析，因此BI的本質就是解決方案。第四節(jié) 商務智能系統(tǒng)處理流程和框架商務智能的一般過程是：1、從不同的數據源（交易系統(tǒng)或其他內容儲存系統(tǒng)）收集的數據中提取有用的數據2、對數據進行清理以保證數

27、據的質量3、將數據經轉換、重構后存入數據倉庫或數據集市（這時數據變?yōu)樾畔ⅲ?、尋找合適的查詢、報告和分析工具和數據挖掘工具對信息進行處理（這時信息變?yōu)檩o助決策的知識）5、最后將知識呈現于用戶面前，轉變?yōu)闆Q策整個處理流程如下圖： 圖2-1 BI系統(tǒng)處理流程BI系統(tǒng)從結構上分三層，第一層是數據采集整合層，第二層是數據存儲管理層，第三層是應用展現層。 數據采集整合層數據存儲管理層應用展現層圖2-2 BI系統(tǒng)層次框架第五節(jié) 商務智能業(yè)務應用價值“將數據作為企業(yè)戰(zhàn)略資產并在數據質量方面繼續(xù)投資，是使企業(yè)成為行業(yè)先鋒的重要保證?！?摘自2001年全球數據管理高峰會發(fā)表的技術的白皮書。 于宗民 劉義寧 祈國

28、輝 編著 數據倉庫項目管理實踐 人民郵電出版社這段話向所有企業(yè)展示了兩個重要的信息：一方面，數據是企業(yè)的重要戰(zhàn)略資產，已經成為企業(yè)制定和執(zhí)行商務活動的重要驅動之一；另一個方面，數據資產也使得企業(yè)的市場定位發(fā)生了重大的變化，它使企業(yè)可以從一個貿易驅動型企業(yè)轉化為信息驅動型企業(yè)。比如，由于商務智能能夠回答諸如客戶關系、地區(qū)性差異、資源充足率、產品生命周期、提高物流速度的方法以及產品定價等多個關系到企業(yè)生存與發(fā)展的問題，所以，它可以幫助企業(yè)更理智地做出關系到企業(yè)長期生存的行為決策，也就體現商務智能業(yè)務應用的真正價值所在。第三章 Pentaho BI應用解決方案第一節(jié) Pentaho項目概況Penta

29、ho是一個強大的開源BI產品。它擁有一個很有抱負的核心管理團隊。夢想將來Pentaho可以挑戰(zhàn)BI業(yè)界的領先者。Pentaho是最被看好的開源商業(yè)智能BI項目之一，也是專家建議關注的開源商業(yè)智能項目之一。 Pentaho Home 產品信息 http:/www.P/Pentaho的核心團隊是由具有成功創(chuàng)建過商業(yè)智能系統(tǒng)的技術專家組成的，他們大多來自頂級的商業(yè)廠商，例如Business Objects、Cognos、Hyperion、IBM、甲骨文和SAS等。目前，Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等。這些組件通過J2EE、Web Service、SOAP、H

30、TTP、Java、JavaScript、Portals等技術集成到Pentaho平臺中來。Pentaho BI項目提供了企業(yè)級的報表、多維分析、儀表盤、數據挖掘和工作流功能，幫助組織更加有效率的運營。第二節(jié) Pentaho設計思想Pentaho的設計思想主要體現在三個方面，一是“集成化”，二是“面向解決方案”，三是“以流程為中心”。所謂集成化，是指將眾多不同的BI產品集成到一個統(tǒng)一的框架中來，使之可以相互協作。以往的BI產品，往往只專注于BI的某一特定領域，如Jfree主要關注表表的生成，Quartz主要關注日程的管理等等。然而一個完整的BI應用往往需要這些BI產品能夠相互協作。Pentaho

31、通過引入“Action”的概念，提供了一個讓多種BI產品協作的機制。“Action”是Pentaho平臺提供的最基本的操作單元，它類似于一種編程語言的基本語句。所有完成具體功能的BI產品作為“插件”集成到Pentaho平臺中，每種插件為Pentaho平臺提供一種或幾種“Action”，每個Action有自己的輸入和輸出，多個Action連接起來就構成了Action序列，完成一個較復雜的功能。Pentaho平臺負責在各個Action之間傳遞參數，這樣多種不同的BI產品便能夠協同工作了。所謂解決方案（Solution），是基于Pentaho平臺的一個具體的BI應用。Solution與Pentaho

32、平臺的關系和Web應用與應用服務器之間的關系十分類似。如 REF _Ref144106553 h * MERGEFORMAT 圖 所示，Pentaho平臺本身作為一個Web應用部署在應用服務器上，而Solution又作為一個“Pentaho應用”，部屬在Pentaho平臺上。Solution本身實質上是一系列Action序列的集合，這些序列在網頁上如何顯示，如何被調用，功能如何實現完全由Pentaho平臺來管理，這使得Solution的開發(fā)者，也就是Pentaho的使用者，可以將開發(fā)工作集中于具體的BI業(yè)務邏輯的開發(fā)上，而不用去關心網頁的設計、服務器的部署等等細節(jié)。圖 3-1 Pentaho平

33、臺層次關系圖流程即Action序列，是Solution的基本組成單位，它由多個以某種順序執(zhí)行的Action組成。Action是Pentaho平臺所提供的最基本的BI操作，大到生成一個報表，小到打印一行字，都可以是一個Action。Action之間可以順序執(zhí)行，也可以有分支或循環(huán)。Pentaho平臺的“以流程為中心”是指整個平臺的工作核心就是如何解釋執(zhí)行一個個Action序列的描述文件。用戶在做具體的BI應用開發(fā)時，也應當把精力集中在描述Action序列上。Pentaho平臺將BI業(yè)務邏輯的開發(fā)以Solution的形式與系統(tǒng)的其它部分獨立開來，使得用戶可以隨心所欲的綜合運用各種不同的BI產品為自

34、己服務，其設計理念十分值得稱道。第三節(jié) Pentaho BI平臺的開發(fā)Pentaho BI平臺包括一個 BI 框架、BI 組件、一個 BI 工作臺和桌面收件箱。BI 工作臺是一套設計和管理工具，集成到Eclipse環(huán)境。基于Pentaho平臺的BI開發(fā)十分簡便，開發(fā)者只需要進行Solution的開發(fā)即可，而開發(fā)Solution，只需給出Solution中所包含的所有Action序列的描述文件即可。為了方便基于Pentaho平臺的BI應用開發(fā)，Pentaho項目組提供了一個基于Eclipse的集成開發(fā)環(huán)境：Pentaho Design Studio。用戶僅需要以一種圖形化的形式輸入Action序

35、列的描述，而由該開發(fā)工具產生相應的Action序列描述文件，十分方便。 曾坤 吳大愚 張百達著Pentaho源代碼閱讀報告Pentaho中國社區(qū)http:/www.biP/Pentaho BI 平臺構建于服務器、引擎和組件的基礎之上，包括J2EE 服務器、安全與權限控制、Portal、工作流、規(guī)則引擎、圖表、協作、內容管理、數據集成、多維分析和系統(tǒng)建模等功能。這些組件的大部分是基于標準的，可使用其他產品替換之。其Pentaho BI開發(fā)的技術目標：提供審計構件 提供安全和單點登錄 提供日志構件 為組件和視圖提供通用存儲 提供完整的行程安排組件 提供規(guī)則引擎集成 提供解答引擎（報表、多維分析、儀

36、表盤和數據挖掘組件） 提供工作流集成 暴露所有的平臺組件作為 web services 遵循BI平臺的所有技術規(guī)范第四節(jié) Pentaho BI平臺的體系架構Pentaho提出了全面的商務智能解決方案，包括前端工具、在線分析處理工具、數據挖掘工具、企業(yè)數據倉庫、數據倉庫管理器、數據預處理工具、報表設計器等。設計和管理工作臺是一個基于 Eclipse 的桌面工作臺，它提供了：報表，儀表盤，分析視圖的易于使用的設計工具。工作流流程設計器商業(yè)規(guī)則編輯器數據準備的數據挖掘工作臺OLAP 建模工具Pentaho BI的體系結構 王娜、覃輝譯Pentaho - 開放源碼的商業(yè)智能平臺技術白皮書Pentaho

37、中國社區(qū) /Projects/Pentaho如下圖：圖3-2 Pentaho BI的體系結構注意 Pentaho BI 工作臺體系結構圖 王娜、覃輝譯Pentaho - 開放源碼的商業(yè)智能平臺技術白皮書Pentaho中國社區(qū) /Projects/Pentaho：BI 工作臺是一個桌面的，基于 Eclipse 的設計和管理環(huán)境。BI 工作臺產生工作流定義和解決方案（Solution）定義文件，它們被服務器用于執(zhí)行 BI 解決方案（Solution）。BI 工作臺運行于多個平臺。BI 工作臺審計解決方案（Solution）定義文檔的創(chuàng)建和編輯。一個版本控制系統(tǒng)用于維護解決方案（Solution）定

38、義文檔，并提供同步和版本管理能力。BI 工作臺允許以圖形化的方式查看和編輯解決方案（Solution），報表，查詢，業(yè)務規(guī)則，儀表盤和工作流。BI 工作臺是一個 Java 應用程序，安裝在系統(tǒng)管理員和設計者的桌面計算機上。第五節(jié) Pentaho BI特征Pentaho商務智能項目提供企業(yè)級報表制作，分析，數據挖掘與工作流的功能。這個軟件提供靈活的部署選項以使它可作為嵌入式組件來使用，或作為定制BI應用程序的解決方案或作為一個完全脫離容器，完整的BI平臺。Pentaho包括Eclipse BIRT，JasPerRerorts，Mondrian，JPivot，調度(scheduling)，web服

39、務，商業(yè)規(guī)則等。Pentaho開源BI系統(tǒng)是一個完全由各開源項目組成的BI平臺，另外，它還強調了兩個概念：BI系統(tǒng)應該以工作流為核心，BI應用應該借助工作流技術將自身作為業(yè)務決策的一個環(huán)節(jié)，實現與企業(yè)業(yè)務過程的整合；有效的BI系統(tǒng)必須是面向解決方案的，而不是面向平臺/工具。BI系統(tǒng)不但要提供像傳統(tǒng)的BI廠商那樣的BI工具及平臺，更要提供針對特定項目制定方案的集成開發(fā)環(huán)境（它提供基于Eclipse的客戶化環(huán)境）。第六節(jié) Pentaho BI如何解決問題企業(yè)利用Pentaho BI平臺接口引擎集成各功能組件統(tǒng)一建立所需要的企業(yè)范圍內的商業(yè)分析，因此Pentaho BI的本質就是解決方案。那么Pen

40、taho BI是如何解決問題的呢？Pentaho BI平臺集成工作流，商業(yè)規(guī)則，信息傳送和通知，調度，審計，應用程序集成，內容瀏覽，用戶接口，具有報表，分析，儀表盤功能的設計和管理工具，以及數據挖掘組件和引擎。構建一個商業(yè)智能解決方案（Solution）所必需的組件和技術：報表，工作列，商業(yè)規(guī)則，儀表盤/分析，web 服務，調度，方便的 web 和桌面用戶接口的混合，以及審計。Pentaho BI 平臺是第一個以業(yè)務流程為中心的，面向 solution 的商業(yè)智能平臺。引用Pentaho的Creating Pentaho Solutions文檔中非常經典的案例：業(yè)務問題：當一個許可證有效期已滿

41、的雇員在一家醫(yī)療機構工作時，需要注意到這個問題，一個代理工人必須替換這個雇員，直到他們的許可證被更新過。注意到何種情況下，一個病人的安全是有風險的和發(fā)生風險的可能性。業(yè)務目標：提高病人的安全，減少沒有許可證的雇員的責任，減少替換沒有許可證的雇員時，雇用的代理職員上的花銷。當前業(yè)務流程：每個經理維護她所在部門的許可證有效期的一個列表。建議解決方案：從一個集中式的數據庫，預約生成報表，它根據部門，列出了每個雇員持有的許可證，以及他們當前許可證的有效期。方案1：給他們要求的東西創(chuàng)建一個 50 頁的報表并每月發(fā)送給每個部門。Resulting Business 業(yè)務流程：報表的運行沒有被審計。如果報表

42、沒有被如期的產生，那人們需要多久才能發(fā)現這種情況呢？每個部門的經理需要讀取報表和過濾信息。但是，有可能報表丟失，管理員休假，或者日期搞錯了。當管理員發(fā)現license 即將過期時，他們會使用郵件給同事們發(fā)一個通知。但通知可能會丟失或弄錯郵箱。雇員盡力規(guī)劃預備工作，申請 和 認證 時間。但如果時間表發(fā)生沖突， 將導致預備工作受損。雇員在 license 過期前，因為沒有時間做更多的預備工作或者認證而失敗。這個 solution 是不完整的，因為它僅僅自動化了信息傳遞，它對于必須要發(fā)生的真實 業(yè)務流程并沒有任何輔助作用。業(yè)務目標被使用報表產品的方式來達到。方案 2：給他們真正需要的東西創(chuàng)建業(yè)務規(guī)則

43、來判定為了對每種類型的license做足預備工作而需要的交付周期，并增加對問題域的解決路徑。每天或每周運行一個列出雇員在他們交付周期內的審計報表。對于每個雇員，初始化一個預定義的license更新業(yè)務流程:在經理與雇員之間雙向傳遞電子化信息要求經理與雇員都要做電子化確認指導雇員編排預備工作時間表指導經理審核并批準時間表要求雇員輸入認證測試日期逐步告警功能，如果沒有足夠的再測試時間獲得的話要求經理校驗新的license傳遞認證失敗的通知給經理和時間表調度程序，提供許可證更新業(yè)務流程的在線、實時的報表。產生月度和季度的績效審計報表這個方案解決了業(yè)務問題。第七節(jié) Pentaho BI平臺快速啟動Pe

44、ntaho BI 平臺是一個以流程為中心的，工作流驅動的，可擴展平臺，用于解決商業(yè)智能問題。那么如何快速啟動Pentaho 平臺呢？下載安裝文件。 自由下載最新的Pentaho-demo文件。這個下載包括一個預配置的 JBoss (httP:/) application server 以及samples數據。啟動server,在Pentaho-demo 目錄下雙擊start-Pentaho.bat文件。訪問平臺 samples 的 URL ：httP:/localhost:8080/Pentaho/Home打開WEB瀏覽器顯示如下圖： 圖3-3 Pentaho商務智能平臺第四章 基于Penta

45、ho平臺的BI開發(fā)第一節(jié) Pentaho BI開發(fā)的特點數據作為一種企業(yè)資產，自然有必要增加這種資產的價值，提高它的利用程度，而在企業(yè)內部實施BI就是一個增加企業(yè)信息資產價值的方法。那么怎樣開發(fā)這樣的項目呢？Pentaho構建一個商業(yè)智能解決方案（Solution）所必需的組件和技術：報表，工作列，商業(yè)規(guī)則，儀表盤/分析，web 服務，調度，方便的 web 和桌面用戶接口的混合，以及審計。一、開發(fā)優(yōu)勢Pentaho BI成本性通過使用開放源碼，Pentaho 能顯著降低 BI 解決方案（Solution）所有者的成本。開放源碼組件協助提供一個可擴展的，健壯的平臺。所有者的成本主要和適當的集中于

46、解決方案（Solution）的定制和業(yè)務流程的集成/自動化。Pentaho BI定制性BI 平臺有外部規(guī)則引擎，可編輯的流程，源代碼可用性，可重用的 BI 組件，以及充分定制的用戶接口。平臺執(zhí)行可編輯的流程，并可和外部業(yè)務流程集成。結果是一個高度可定制的解決方案（Solution）。Pentaho BI靈活性BI 平臺是以流程為中心的，基于工作流的，以商業(yè)規(guī)則為指導。它可以很容易的集成到業(yè)務流程，并有內置的流程性能報表。業(yè)務規(guī)則用于識別問題和異常，并執(zhí)行被審計的流程來解決它們。即指當完全不同的特定的BI要求產生時，系統(tǒng)能夠通過對Pentaho BI基本成分的變更，使得新的專用BI的產生，這種靈

47、活性也稱為適配的靈活性。Pentaho BI擴展性Pentaho提供了源代碼。基礎設施， 組件，引擎和接口可任意修改。其擴展性空間很大。二、用戶需求分析因為BI要解決的問題大多時非結構化的問題，決策者（管理者）所希望的要求往往時間變化著的。開發(fā)BI沒有一個固定的模式，從哪來入手呢？研究誰是BI的用戶？他們的信息需求是什么？盡管企業(yè)的管理者們面臨種種經營管理方面的問題，但是他們很難設想應當用一個BI作為其支持決策解決問題的工具。與其等著這些經理們提出一份文字化的BI要求，倒不如讓他們提出各種在實際工作中遇到的問題，由開發(fā)人員去研究是否可以為解決這些問題發(fā)揮BI的作用。從現行信息系統(tǒng)的基礎入手，從

48、而找到開發(fā)BI的突破點。如果現行系統(tǒng)對于決策問題難以發(fā)揮作用，那么就產生了開發(fā)BI的需求。開發(fā)人員可以通過對企業(yè)經理的調查，得到他們的具體信息要求，看哪些信息是通過對數據庫的操作和檢索即可實現，哪些必須要經過使用模型化的方法，經過分析才能達到要求?？梢杂纱藛覤I開發(fā)工作。三、開發(fā)團隊很多情況下BI開發(fā)需要組織中的經理和開發(fā)人員共同參與，進行團隊作業(yè)。一般而言，與BI開發(fā)有關的人員可能包括一下一些角色。最終用戶，是BI開發(fā)團隊中不可缺少的成員?？赡苁瞧髽I(yè)的高級經理，也可能是市場分析人員等提供決策信息的專業(yè)人員，或是一個做某種決策的委員會，其中每個成員都直接涉及到決策的形成。助理人員，是做技術性

49、工作的專業(yè)人員，有較強的專業(yè)知識背景。輔助決策者使用BI系統(tǒng)。信息技術部門，解決信息系統(tǒng)技術性問題。技術專業(yè)人員，企業(yè)外部的信息技術企業(yè)，輔助信息技術部門進行系統(tǒng)開發(fā)，有豐富的BI技術性專業(yè)知識，但對企業(yè)情況基本不了解。四、實行項目管理在BI啟動以后，還必須在整個實施過程中實行項目管理。將系統(tǒng)實施分割成若干可管理的過程，設置若干過程的里程碑，然后通過項目管理計劃，對各種人員、設備的進程進行管理。第二節(jié) Pentaho BI開發(fā)方法由于BI系統(tǒng)的特殊性質，在系統(tǒng)開發(fā)過程中要根據系統(tǒng)的應用領域、業(yè)務范圍、用戶對象等，采用恰當的開發(fā)方法。從信息系統(tǒng)軟件開發(fā)方法論的觀點來看，采用生命周期法，可分為6個

50、階段。系統(tǒng)規(guī)劃階段系統(tǒng)分析階段系統(tǒng)設計階段系統(tǒng)實施階段系統(tǒng)操作和維護階段系統(tǒng)的評價與控制階段由于BI的面向非結構化問題的性質，在開發(fā)一個復雜的BI時，可以考慮按照如下圖所提出的任務來進行項目管理，以推進項目的順利進展。圖4-1 BI開發(fā)的8個階段第三節(jié) Pentaho BI實施流程基于Pentaho的BI開發(fā)是以平臺的使用為基礎的，在系統(tǒng)設計期間我們用工作流管理平臺來設計業(yè)務的工作流程以及各功能模塊之間的應用整合。在系統(tǒng)實現階段，使用數據篩選、過濾和轉換工具（Kettle），聯機分析處理(Mondrian OLAP)，數據挖掘(Weka)，復雜報表設計(BIRT)的使用，然后在Pentaho中

51、編寫相應的配置文件。模塊設計書系統(tǒng)分析員元分析報告系統(tǒng)設計員數據分析模型配置人員分析展示平臺PentahoBI平臺圖4-2基于Pentaho平臺開發(fā)流程如下圖5.3顯示了BI系統(tǒng)一個相對完整的實施流程:分析數據，并分發(fā)分析結果確定需要完成的數據分析應用理解業(yè)務需求確定需要的數據分析主題確定涉及應用的業(yè)務系統(tǒng)確定數據涉及應用的數據范圍明確數據所代表的業(yè)務含義按照分析的結果將數據裝載到BI系統(tǒng)圖4-3 BI系統(tǒng)項目實施的工作流程第四節(jié) Pentaho BI系統(tǒng)開發(fā)分析Pentaho實時地對企業(yè)中不同部門、不同區(qū)域、不同時期、不同信息系統(tǒng)(如財務軟件、ERP、CRM)中的數據進行采集、抽取、整合和轉

52、化，并按維度與層次對主題建立數據分析模型，進行多維、深度分析，找尋隱藏在數據與數據之間的潛在關系，在預測模型的基礎上對未來做出判斷。同時通過豐富的圖形和立體報表靈活地展現數據。其BI 實現包含很多階段：業(yè)務需求分析，這個過程是根據用戶提出的要求，明確本次項目中需要完成的目標。業(yè)務流程模型化，這個過程是根據已經分析完成的業(yè)務需求，使用業(yè)務流程建模技術將相應的業(yè)務流程用數據模型的方式記錄下來。設計和開發(fā)數據存儲空間，將企業(yè)內部所有與業(yè)務需求分析內容相關的數據存放在一起，運用數據倉庫技術，建立數據模型，提供業(yè)務分析應用。規(guī)范業(yè)務規(guī)則，業(yè)務規(guī)則是指影響或引導企業(yè)經營行為，并為保證企業(yè)降低經營風險而預設

53、置的經營政策。例如路口信號燈，“紅燈停，綠燈行，黃燈等待”就是三個業(yè)務規(guī)則，建立整合信息平臺，這個過程是將本次分析需要的數據都集中存放起來。分析數據，提供分析結果。通過各種業(yè)務應用，數據挖掘分析，展現可示化結果。而Pentaho中的BI工作流程又可具體為：完成報表和信息傳送需求儀表盤 和 KPI（關鍵性能指標）顯示異?？赡茉虻母呒壏治黾蓤蟊砗土鞒坦芾?工作流流程的分析和調整基本統(tǒng)計聚類分析 采購部銷售部財務部人事部發(fā)現、應用 多維分析報表EIS即席查詢數據分析數據分析平臺數據建模數據挖掘 數據倉庫數據倉庫統(tǒng)一口徑和指標標準字典信息數據整合抽取、轉換、清洗 POS財務人事其他數據源 圖4-4

54、 Pentaho BI 系統(tǒng)架構第五節(jié) Pentaho BI開發(fā)工具（1）、數據源本系統(tǒng)的數據源主要是ERP系統(tǒng)的數據庫，該ERP系統(tǒng)是以SQL SERVER2000數據庫管理系統(tǒng)為數據庫平臺的。（2）、ETL工具采用Kettle作為ETL工具，Kettle通過JDBC接口連接SQL Server2000數據源并抽取數據。Kettle可以高效地將數據加載到SQL Server2000的數據倉庫中。即將來自ERP的不同類型數據采用通用數據整合平臺進行抽取、凈化、轉換和裝載，形成可以被系統(tǒng)識別的統(tǒng)一數據格式，導入數據倉庫存放。（3）、數據倉庫采用MS SQL Server2000作為數據倉庫，另一

55、方面存儲構建數據倉庫的表，另一方面也存儲星型模型數據集市的維表和事實表。（4）、OLAP服務器采用Mondrian服務器作為OLAP服務器，Mondrian服務器是一款非常優(yōu)秀的J2EE應用服務器，具有良好的運行效率和可靠性。方便定義維度構建OLAP立方體。（5）、OLAP展示工具采用JPivot作為OLAP的展示工具，JPivot連接并操作Cube Designer多維分析模型設計的OLAP立方體，最終用戶通過Pentaho在WEB瀏覽器中進行OLAP操作。（6）、數據倉庫應用處理工具數據倉庫的應用處理主要展現在復雜的查詢和報表上，采用 BIRT所見即所得的開源報表工具，以隨意拖放和設置各種

56、報表的表格和圖表控件，還可以快速方便地設置報表的數據來源。在報表的設計過程中，用戶可以隨時預覽報表的結果。（7）、數據挖掘工具應用Pentaho合并的WEKA開源數據挖掘工具，WEKA提供豐富的算法，如決策樹算法、聚類算法、關聯規(guī)則、回歸算法等。（8）、元數據管理工具使用即席查詢設計報表 Metadata Editor，該工具和數據庫以及Pentaho緊密結合，可以實現自動元數據管理。綜上，Pentaho BI平臺應用各開源工具集成商務智能系統(tǒng)平臺構建已初步完成，其涉及的開源工具的介紹和操作應用在第六章中詳細介紹。第六節(jié) Pentaho BI系統(tǒng)效益評估對于系統(tǒng)效益的評估也是整個BI開發(fā)過程中

57、的一環(huán)。主要是目的是對系統(tǒng)開發(fā)的工作進行總結，分析項目是否取得預想的效益。通常對BI項目的評估時常用的三種基本方法是：投資回報率法、評分評估法和價值分析法。一、實施速度 Pentaho BI技術方案處于當今高節(jié)奏的信息時代，若想在激烈的競爭中謀取更好的發(fā)展，企業(yè)的經營管理就必須跟上這樣的節(jié)奏。企業(yè)的信息化系統(tǒng)是經營管理的重要體現。因此，企業(yè)對軟件系統(tǒng)的實施周期必然有了更高的要求。J2EE 體系下的業(yè)務解釋平臺所具有的高度可重用性，及并發(fā)行性的特征，可以大大的提高軟件的開發(fā)效率，減少開發(fā)周期，降低成本，滿足企業(yè)要求。 二、系統(tǒng)穩(wěn)定性 由于整個開發(fā)周期中，程序實現的比率大大縮小，我們就可以適當增加

58、系統(tǒng)分析和設計的比例，同時應用平臺提供的成熟的業(yè)務規(guī)則，可以使系統(tǒng)在功能上最大程度的滿足用戶需求，減少系統(tǒng)運行后的功能更改。平臺實現的高度的代碼重用，有效的避免了拷貝粘貼，因此極大的減少程序BUG 的產生。這些都可以使系統(tǒng)的運行穩(wěn)定性大大提高。 三、系統(tǒng)可維護性 使用 B/S結構，用戶客戶端不需要安裝應用程序，大大降低部署難度。客戶端輕負載，降低對客戶機的性能要求。這些對節(jié)約項目成本的作用顯而易見。使用多層結構，可以使系統(tǒng)的改動局部化，降低變動的影響和成本。使用業(yè)務解釋平臺增強系統(tǒng)的可維護性，系統(tǒng)的改動只要通過修改配置文件就可完成。第七節(jié) 小結綜上，具體提出了基于Pentaho BI平臺開發(fā)的

59、特點、開發(fā)的方法、開發(fā)的流程以及開發(fā)的工具和系統(tǒng)的效益評估。然而Pentaho BI開發(fā)所涉及的開發(fā)工具是如何應用的？又是如何集成的？將在下一章中詳細介紹這些開發(fā)工具的實踐部署和應用。第五章 Pentaho BI平臺應用實例Pentaho BI 平臺是一個以過程為核心，面向解決方案的，可擴展的商務智能平臺。它的出現，使得一系列的面向商務智能的獨立產品如KETTLE、BIRT等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。Pentaho開源BI系統(tǒng)是一個完全由各開源項目組成的BI平臺，系統(tǒng)主要采用以下開源項目，并對其進行改進、擴充與集成：OLAP服務器： MondrianOLAP

60、展示：JPivot關系型數據庫：Firebird RDBMSETL工具：KETTLE工作流引擎：Shark and Jawe應用服務器/Portal服務器/ O/R影射：Jboss數據挖掘：Weka集成管理/開發(fā)環(huán)境：Eclipse報表、表格、圖形等組件：Eclipse Birt一個完整的BI系統(tǒng)，無外乎由ETL（數據抽取轉換工具）+DW（數據倉庫）+OLAP（聯機分析工具）三部分構成，如下圖展示：圖5-1 BI系統(tǒng)應用以下就針對數據篩選、過濾、轉換工具，OLAP分析工具，報表設計工具，在Pentaho BI集成平臺中的應用進行示例分析。第一節(jié) 應用部署 = 1 * GB3 安裝 j2sdk-