多策略數(shù)據(jù)挖掘平臺MSMiner

多策略數(shù)據(jù)挖掘平臺MSMiner2023/12/26多策略數(shù)據(jù)挖掘平臺MSMiner多策略數(shù)據(jù)挖掘平臺軟件MSMinerMSMiner(Multi-StrategiesDataMiner)是一個針對決策支持的以數(shù)據(jù)倉庫為基礎(chǔ)的通用數(shù)據(jù)挖掘平臺軟件，同時提供了一個輕量級的數(shù)據(jù)倉庫解決方案。MSMiner是什么?多策略數(shù)據(jù)挖掘平臺MSMiner數(shù)據(jù)倉庫的設(shè)計(jì)、建模第三方工具如PowerDeginer數(shù)據(jù)轉(zhuǎn)換與集成MSETL數(shù)據(jù)存儲與管理第三方工具如Oracle,SQLServer等數(shù)據(jù)分析和展現(xiàn)MSOLAP采用第三方查詢、報(bào)表工具。數(shù)據(jù)倉庫的維護(hù)和管理MSMetaData一個數(shù)據(jù)倉庫解決方案主要包括：統(tǒng)計(jì)分析或數(shù)據(jù)挖掘工具M(jìn)SDM多策略數(shù)據(jù)挖掘平臺MSMiner背景介紹MSMiner由中科院計(jì)算所智能信息處理重點(diǎn)實(shí)驗(yàn)室從1999年開始設(shè)計(jì)和實(shí)現(xiàn)，經(jīng)歷了早期的VB版本，后來又用VC重新實(shí)現(xiàn)，目前正在開發(fā)3.0版本。多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner體系架構(gòu)MSMiner體系結(jié)構(gòu)外部事務(wù)型數(shù)據(jù)庫數(shù)據(jù)倉庫元數(shù)據(jù)管理數(shù)據(jù)抽取、轉(zhuǎn)換、裝載(ExtractTransformLoad)主題2主題1主題nOLAP及可視化工具數(shù)據(jù)挖掘模塊...MSMiner的數(shù)據(jù)倉庫以功能強(qiáng)大的元數(shù)據(jù)管理MetaServer為調(diào)度中心數(shù)據(jù)倉庫管理工具M(jìn)SMetaDataETL（數(shù)據(jù)抽取、裝載、轉(zhuǎn)換）工具M(jìn)SETLOLAP（聯(lián)機(jī)分析處理）工具M(jìn)SOLAP數(shù)據(jù)挖掘(DataMining)工具M(jìn)SDM多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner功能特點(diǎn)MSMiner的若干特點(diǎn)：1）通過ODBC接口將數(shù)據(jù)存儲在第三方關(guān)系數(shù)據(jù)庫(如Oracle、Sybase、SQLServer、Informix和IBMDB2等），支持多種不同的數(shù)據(jù)源；2）采用DLL形式封裝數(shù)據(jù)挖掘算法，從而可以靈活擴(kuò)充，這樣就提供了豐富的挖掘策略。3）以對話框向?qū)б龑?dǎo)用戶建立ETL和數(shù)據(jù)挖掘任務(wù)，以面向?qū)ο蟮姆绞絹斫M織和執(zhí)行ETL和數(shù)據(jù)挖掘任務(wù)4）在挖掘任務(wù)執(zhí)行引擎中，提供了任務(wù)調(diào)度功能，可以定時定期地執(zhí)行挖掘任務(wù)，同時采用多線程技術(shù)并發(fā)地執(zhí)行挖掘任務(wù)和任務(wù)中的步驟。多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner啟動時歡迎界面多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner登錄界面——MSMiner控制臺多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner數(shù)據(jù)倉庫管理子系統(tǒng)MSMetaData多策略數(shù)據(jù)挖掘平臺MSMinerMSMinerETL子系統(tǒng)MSETL多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner聯(lián)機(jī)分析處理子系統(tǒng)MSOLAP多策略數(shù)據(jù)挖掘平臺MSMinerMSMiner數(shù)據(jù)挖掘子系統(tǒng)MSDM多策略數(shù)據(jù)挖掘平臺MSMiner課程項(xiàng)目內(nèi)容要求對MSMiner數(shù)據(jù)挖掘子系統(tǒng)進(jìn)行擴(kuò)展開發(fā)，選擇實(shí)現(xiàn)下列某種算法：1．聚類算法：k-means、k-harmonic2．分類算法：C4.5、SVM、GA3．關(guān)聯(lián)規(guī)則：Apriori、FP-tree4．神經(jīng)網(wǎng)絡(luò)多策略數(shù)據(jù)挖掘平臺MSMiner提交要求和項(xiàng)目流程提交要求和項(xiàng)目流程如下：1）可以兩至三人為一小組工程實(shí)現(xiàn)；2）實(shí)現(xiàn)結(jié)果為符合MSMiner數(shù)據(jù)挖掘子系統(tǒng)挖掘算法DLL接口規(guī)范要求的DLL文件。3）開發(fā)完畢，在機(jī)房MSMiner環(huán)境下進(jìn)行測試。4）最后提交程序源碼和實(shí)驗(yàn)報(bào)告，在實(shí)驗(yàn)報(bào)告中要寫清算法步驟、說明以及心得體會等，源碼要求有清晰明確的注釋。多策略數(shù)據(jù)挖掘平臺MSMiner課程項(xiàng)目預(yù)備知識以下為完成此項(xiàng)目的預(yù)備知識：深刻掌握一種或幾種數(shù)據(jù)挖掘算法，如聚類、分類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)算法等，能夠用C/C++編程實(shí)現(xiàn)。熟悉VC++6.0IDE編程環(huán)境，掌握MFC編程機(jī)制及其用法。了解組件編程技術(shù)，能夠開發(fā)簡單的DLL程序。數(shù)據(jù)庫基礎(chǔ)知識、熟悉SQL語句。多策略數(shù)據(jù)挖掘平臺MSMiner課程項(xiàng)目提供的資源可供參考的資源：1）MSMiner數(shù)據(jù)挖掘子系統(tǒng)挖掘算法DLL的接口詳細(xì)說明2）兩個算法DLL開發(fā)示例(BP算法、SOM算法)3）算法DLL公共代碼框架(一組工程文件，工程名為AssocALG)4）訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)5）書：史忠植著.知識發(fā)現(xiàn).清華大學(xué)出版社.2002.P295~326，可幫助了解MSMiner體系設(shè)計(jì)、編程架構(gòu)等背景知識。多策略數(shù)據(jù)挖掘平臺MSMiner常見問題解答幾個常見問題的說明：1）Q：為什么要實(shí)現(xiàn)DLL程序，可以實(shí)現(xiàn)成可執(zhí)行程序嗎？A：因?yàn)楸敬螌?shí)驗(yàn)要開發(fā)算法DLL程序，目的正是用于封裝數(shù)據(jù)挖掘算法，并最終由MSMiner數(shù)據(jù)挖掘子系統(tǒng)所調(diào)用。所以不能實(shí)現(xiàn)成可執(zhí)行程序。2）Q：算法DLL接口規(guī)范是否很復(fù)雜，難以在短時期內(nèi)實(shí)現(xiàn)？A：我們已經(jīng)提供了算法DLL接口規(guī)范文檔，接口函數(shù)只有四個，其中只有兩個要自己實(shí)現(xiàn)，其余兩個可直接使用示例代碼。開發(fā)人員要做的就是將算法功能實(shí)現(xiàn)和封裝，使得可以通過兩個接口函數(shù)MSMiner就能所用該算法的功能。多策略數(shù)據(jù)挖掘平臺MSMiner3）Q：我注意到接口規(guī)范中提供算法DLL的公用函數(shù)類CPublicFunc，它有什么用？DLL算法程序1MSMiner數(shù)據(jù)挖掘子系統(tǒng)MSDMDLL算法程序2DLL算法程序3DLL算法程序n元數(shù)據(jù)管理MetaServer........在每個算法的具體實(shí)現(xiàn)中，不可避免的要實(shí)現(xiàn)數(shù)據(jù)的輸入輸出及相關(guān)參數(shù)的存儲。而在整個MSMiner平臺中，數(shù)據(jù)的輸入輸出等由元數(shù)據(jù)管理模塊統(tǒng)一管理。因此，DLL程序要與元數(shù)據(jù)管理模塊打交道。與元數(shù)據(jù)管理模塊交互用到時了COM技術(shù)，為了降低開發(fā)負(fù)擔(dān)，我們提供了CPublicFunc公共函數(shù)類，該類提供了一些成員函數(shù)，封裝調(diào)用了元數(shù)據(jù)管理模塊MetaServer的很多功能。開發(fā)人員可生成實(shí)例對象，直接調(diào)用其成員函數(shù)與元數(shù)據(jù)管理組件服務(wù)程序交互，避免去了解COM技術(shù)。多策略數(shù)據(jù)挖掘平臺MSMiner4）Q：算法的數(shù)據(jù)輸入輸出及參數(shù)設(shè)置界面是統(tǒng)一的嗎？A：算法肯定要涉及到數(shù)據(jù)輸入輸出及參數(shù)設(shè)置，我們建議數(shù)據(jù)輸入輸出設(shè)置界面參照示例DLL程序，這樣使界面風(fēng)格較為一致。參數(shù)設(shè)置界面可以有自己的風(fēng)格