資料挖掘網路服務系統(tǒng)之探討

資料挖掘網路服務系統(tǒng)之探討

第9組資四A報告組員：蔡政緯王偉哲吳全恩劉光磊

1可編輯版目錄1.緒論2.文獻探討3.研究方法4.系統(tǒng)實作5.結論2可編輯版1.緒論-研究動機

目前市面上已有許多獨立軟體開發(fā)廠商以及應用軟體服務供應商針對一般企業(yè)組織在資料挖掘上的需求，推出套裝資料挖掘軟體或是資料挖掘相關的服務與技術支援。企業(yè)在實際使用現(xiàn)有的資料挖掘軟體與服務時經常面臨以下的問題：一、企業(yè)部門間異質系統(tǒng)的整合與資料傳輸?shù)南嗳菪詥栴}二、傳統(tǒng)資料挖掘軟體缺乏因應使用者的需求而進行流程彈性調整的能力三、軟體或服務的整合及維護成本過高3可編輯版研究目的

為了解決以上的問題，我們將提出一個具有跨平臺能力，而且具有彈性流程調整能力的資料挖掘系統(tǒng)架構。具體而言，本研究的主要目的是在解決目前企業(yè)所面臨到的以下問題：一、克服異質系統(tǒng)與資料交換格式的問題二、提供彈性的資料挖掘流程三、降低軟體整合與維護成本4可編輯版2.文獻探討-資料挖掘「資料」(Data)、「資訊」(Information)與「知識」(Knowledge)等三者的定義與之間的關係。5可編輯版資料挖掘的相關技術

一、分類(Classification)：分類是一種監(jiān)督式學習(SupervisedLearning)，它的定義為根據(jù)一些已經有類別的歷史資料來分析它們的所有特徵，再依據(jù)這些特徵對未分類或是新的資料進行歸類，例如銀行根據(jù)某些規(guī)則將其顧客區(qū)分為高貢獻度族群、低貢獻度族群等類別。二、關聯(lián)法則(AssociationRule)：關聯(lián)法則的目的是從一堆看似無關的資料中，挖掘出不同項目之間發(fā)生的關聯(lián)性，探討在同一事件中某一項目出現(xiàn)時，另一個項目也在該事件出現(xiàn)的機率三、群集(Clustering)：群集就是將一大筆資料根據(jù)它們彼此間的相似程度，將類似的資料分在一群之中，而區(qū)隔不相似的資料。6可編輯版資料挖掘的步驟學者Fong等人(2002)認為資料挖掘的過程一般可分為確認挖掘目標、資料選擇、資料準備、資料轉換、資料儲存、資料挖掘與結果評估等七大步驟7可編輯版資料前處理資料清理資料整合資料轉換資料簡化8可編輯版資料挖掘的應用-1資料挖掘的相關應用相當?shù)膹V泛與多樣化，在許多領域如生物醫(yī)學領域、財務金融業(yè)、製造零售業(yè)等各方面都可以發(fā)現(xiàn)資料挖掘的相關應用與研究。以生物醫(yī)學領域為例，近十年來生物醫(yī)學領域的相關研究呈現(xiàn)爆炸性的成長，從新藥物的開發(fā)、癌癥療法的研究到人類DNA序列解析等研究領域，均藉助資訊科技與資料挖掘技術來處理龐大的資料。9可編輯版資料挖掘的應用-2資料挖掘技術出現(xiàn)不過短短十多年，但卻能迅速地應用於各種學術與商業(yè)領域，學者BerryandLinoff(1997)經過規(guī)納分析之後，認為以下五個因素促成了資料挖掘技術的崛起：一、大量資料的取得難度降低二、資料倉儲系統(tǒng)的發(fā)展成熟三、電腦運算速度的加強與網際網路的發(fā)展四、全球化商業(yè)競爭的壓力五、資料挖掘軟體的取得方便10可編輯版企業(yè)應用整合與網路服務

學者Coyle(2001)則認為企業(yè)組織可以採取以下三種新技術來因應目前劇烈競爭的商業(yè)環(huán)境，它們分別為1.可延伸式標記語言2.網路服務3.無線技術

11可編輯版異質系統(tǒng)與資訊整合企業(yè)組織對於資訊整合的需求已從企業(yè)應用系統(tǒng)的整合提升至更廣泛的資訊來源的整合，微軟(2002)認為資訊系統(tǒng)整合的演進大致上可分成以下三大階段：一、資料整合二、應用程式整合三、服務整合

這三個資訊整合的階段清楚地表達出目前企業(yè)組織在系統(tǒng)整合與資料交換這兩大議題中所面臨到的限制所在，以及在不同階段中整合方式的差異之處。12可編輯版企業(yè)應用整合企業(yè)應用整合(EnterpriseApplicationIntegration;EAI)的發(fā)展是提供企業(yè)組織一套完整系統(tǒng)整合架構的解決方案，以達成企業(yè)資訊的整合與分享。企業(yè)組織應用EAI來進行企業(yè)內部的資訊整合來自以下三個因素：一、電子商務二、企業(yè)合併與組織功能的強化三、企業(yè)資源規(guī)劃雖然EAI是以企業(yè)主體為出發(fā)點，強調企業(yè)流程與資訊系統(tǒng)之間的整合與自動化，藉著整體採用單一系統(tǒng)標準及軟體來達成企業(yè)組織內部應用程式的整合，但是所必須付出的成本依舊居高不下。而為了增加企業(yè)競爭優(yōu)勢，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業(yè)資訊整合的發(fā)展，除了必須以服務為導向外，也必須跳脫特定標準或介面的限制，而保有系統(tǒng)的彈性以及未來擴充的能力。13可編輯版網路服務的應用

由於WebService具有即時、彈性、標準化等特色，目前許多廠商紛紛開始將WebService的相關技術與其原本的領域進行整合。WebService在資訊技術(IT)領域的應用大致上有以下所述的四個方面：一、入口網站二、企業(yè)應用程式整合三、分散式運算四、應用程式服務提供者與獨立軟體開發(fā)商14可編輯版3.研究方法本研究將以WebService架構為基礎，將資料挖掘過程中的程序視為由一系列的WebServices所構成，並透過動態(tài)工作流程的概念，以敘述WebService流程的BPEL4WS語法，提供服務使用者得以根據(jù)實際上的需求自行編排資料挖掘WebService的整體流程，透過流程中各個WebService的執(zhí)行來達成使用者的目標。15可編輯版系統(tǒng)概念-1

本研究所提出之系統(tǒng)架構是參考W3C所提出之服務導向架構的概念與基本架構修改而來。為了達成SOA的遠景，企業(yè)組織必須將系統(tǒng)或應用程式加以分割成為許多具有不同功能特性的分散式子系統(tǒng)模組，這些分散於企業(yè)組織內外部的子系統(tǒng)模組必須要支援統(tǒng)一的共通性標準，如此一來才能使得資訊毫無阻礙的在系統(tǒng)中傳遞，達成系統(tǒng)整合的目的。目前業(yè)界對於SOA架構的作法是將應用程式與系統(tǒng)建構在網際網路上，也就是將應用程式與系統(tǒng)加以「網路」化，而WebService架構正是目前SOA架構中最新的作法。16可編輯版系統(tǒng)概念-2W3C所提出SOA之基本架構圖17可編輯版4.實作-範例流程實作步驟過程18可編輯版以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數(shù)值之集合19可編輯版20可編輯版

本步驟中所呼叫的遠端WebService採用的分群演算法為K-Means。K-Means是屬於一種直接將資料集合進行分割成為數(shù)個相互間無關聯(lián)的目標群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數(shù)個群集，而群集的結果須滿足以下條件：1.每個群集中至少要有一個以上的物件2.每個物件須完全的歸屬於某個群集3.每個物件與其所歸屬的群集質心間的歐基理德距離會小於與其他群集質心間的距離21可編輯版22可編輯版

我們可根據(jù)其所在位置、參與流程的目的與方法，將他們分為三種角色：1.具資料挖掘需求的系統(tǒng)使用者，也就是流程設計者與流程使用者2.於網際網路上提供對資料庫進行資料擷取和分群演算等WebServices的服務提供者3.作為上述兩者間的資料傳輸橋樑，由流程設計者所設計規(guī)劃完成的IrisFlow等23可編輯版24可編輯版25可編輯版26可編輯版27可編輯版5.結論此研究的貢獻可以歸納如以下幾點：1.導入WebService與XML相關技術做基礎，克服在傳統(tǒng)資料挖掘流程中所遇到的資料相容性問題2.以工作流程的觀念做基礎，結合WebService流程描述語言BPEL4WS，有系統(tǒng)的提供在資料挖掘流程中關於活動、流程順序等各方面的細節(jié)描述3.在資料挖掘流程中各步驟的演算活動是由多個功能各異的WebService元件所組成，在日後因需求改變而使資料挖掘流程需進行更新和修改時，較傳統(tǒng)資料挖掘軟體更具有流程變動上的彈性