數(shù)據(jù)挖掘技術工程管理

數(shù)據(jù)挖掘技術工程管理一、數(shù)據(jù)挖掘技術概述（1）確定業(yè)務對象：做好業(yè)務對象的明確是數(shù)據(jù)域挖掘的首要步驟，挖掘的最后結構是不可預測的，但是探索的問題必須是有預見的，明確業(yè)務對象可以避免數(shù)據(jù)挖掘的盲目性，從而大大提高成功率。（2）數(shù)據(jù)準備：首先，對于業(yè)務目標相關的內(nèi)部和外部數(shù)據(jù)信息進行查找，從中找出可以用于數(shù)據(jù)挖掘的信息；其次，要對數(shù)據(jù)信息的內(nèi)容進行全面細致分析，確定需要進行挖掘操作的類型；然后，結合相應的挖掘算法，將數(shù)據(jù)轉化稱為相應的分析模型，以保證數(shù)據(jù)挖掘的順利進行。（3）數(shù)據(jù)挖掘：在對數(shù)據(jù)進行轉化后，就可以結合相應的挖掘算法，自動完成相應的數(shù)據(jù)分析工作。（4）結果分析：對得到的數(shù)據(jù)分析結果進行評價，結合數(shù)據(jù)挖掘操作明確分析方法，一般情況下，會用到可視化技術。（5）知識同化：對分析得到的數(shù)據(jù)信息進行整理，統(tǒng)一到業(yè)務信息系統(tǒng)的組成結構中。這個步驟不一定能夠一次完成，而且其中部分步驟可能需要重復進行。二、數(shù)據(jù)挖掘技術在水利工程管理中的實施要點水利工程在經(jīng)濟和社會發(fā)展中是非常重要的基礎設施，做好水利工程管理工作，確保其功能的有效發(fā)揮，是相關管理人員需要重點考慮的問題。最近幾年，隨著社會經(jīng)濟的飛速發(fā)展，水利工程項目的數(shù)量和規(guī)模不斷擴大，產(chǎn)生的水利科學數(shù)據(jù)也在不斷增加，這些數(shù)據(jù)雖然繁瑣，但是在許多科研生產(chǎn)活動和日常生活中都是不可或缺的。例如，在對洪澇、干旱的預防以及對生態(tài)環(huán)境問題的處理方面，獲取完整的水利科學數(shù)據(jù)是首要任務。那么，針對日益繁雜的海量水利科學數(shù)據(jù)，如何對有用的信息知識進行提取呢？數(shù)據(jù)挖掘技術的應用有效的解決了這個問題，可以從海量的數(shù)據(jù)信息中，挖掘出潛在的、有利用價值的知識，為相關決策提供必要的支持。1.強化數(shù)據(jù)庫建設要想對各類數(shù)據(jù)進行科學有效的收集和整理，就必須建立合理完善的數(shù)據(jù)庫。對于水利工程而言，應該建立分類數(shù)據(jù)庫，如水文、河道河情、水量調(diào)度、防洪、汛情等，確保數(shù)據(jù)的合理性、全面性和準確性，選擇合適的方法，對有用數(shù)據(jù)進行挖掘。2.合理選擇數(shù)據(jù)挖掘算法（1）關聯(lián)規(guī)則挖掘算法：關聯(lián)規(guī)則挖掘問題最早提出于1993年，在當前數(shù)據(jù)挖掘領域，從事務數(shù)據(jù)庫中發(fā)現(xiàn)關聯(lián)規(guī)則，已經(jīng)成為一個極其重要的研究課題。關聯(lián)規(guī)則挖掘的主要目的，是尋找和挖掘隱藏在各種數(shù)據(jù)之間的相互關系，通過量化的數(shù)據(jù)，來描述事務A的出現(xiàn)對于事務B出現(xiàn)可能產(chǎn)生的影響，關聯(lián)規(guī)則挖掘就是給定一組Item以及相應的記錄組合，通過對記錄組合的分析，推導出Item間存在的相關性。當前對于關聯(lián)規(guī)則的描述，一般是利用支持度和置信度，支出度是指產(chǎn)品集A、B同時出現(xiàn)的概率，置信度則是在事務集A出現(xiàn)的前提下，B出現(xiàn)的概率。通過相應的關聯(lián)分析，可以得出事務A、B同時出現(xiàn)的簡單規(guī)則，以及每一條規(guī)則的支持度和置信度，支持度高則表明規(guī)則被經(jīng)常使用，置信度高則表明規(guī)則相對可靠，通過關聯(lián)分析，可以明確事務A、B的關聯(lián)程度，決定兩種事務同時出現(xiàn)的情況。（2）自頂而下頻繁項挖掘算法：對于長頻繁項，如果采用關聯(lián)規(guī)則挖掘算法，需要進行大量的計算分析，不僅耗時耗力，而且影響計算的精準度，這時，就可以采用自頂而下頻繁項挖掘算法，這種算法是一種相對優(yōu)秀的長頻繁項挖掘算法，利用了事務項目關聯(lián)信息表、項目約簡、關鍵項目以及投影數(shù)據(jù)庫等新概念與投影、約簡等新方法，在對候選集進行生成的過程中，應該對重復分支進行及時修剪，提升算法的實際效率，從而有效解決了長頻繁項的挖掘問題。結合計算機實驗以及算法分析，可以看出，這種方法是相對完善的，同時也是十分有效的。不過需要注意的是，當支持度較大、頻繁項相對較短時，利用關聯(lián)規(guī)則挖掘中典型的Apriori方法，可以起到更好的效果。（3）頻繁項雙向挖掘算法：這種算法是一種融合了自頂向下以及自底向上的雙向挖掘算法，可以較好的解決長頻繁項以及段頻繁項的挖掘問題，主挖掘方向是利用自頂向下挖掘策略，但是結合自底向上方法生成的非頻繁項集，可以對候選集進