數(shù)據(jù)挖掘的應(yīng)用及優(yōu)化淺析

1、       數(shù)據(jù)挖掘的應(yīng)用及優(yōu)化淺析                     摘要：近幾年，數(shù)據(jù)挖掘得到了信息界的熱切關(guān)注，成為智能系統(tǒng)理論中核心的研究內(nèi)容。它是一個從海量數(shù)據(jù)中提煉出隱含的、有用的信息，并將這些信息用于各行各業(yè)的過程。數(shù)據(jù)挖掘初衷便是面向應(yīng)用的，尤其是在具有特定應(yīng)用問題的領(lǐng)域中其起著極大的作用。本文首先對數(shù)據(jù)挖掘進行了概述，然后探討了它在商業(yè)、工業(yè)

2、、電子商務(wù)、醫(yī)學(xué)四個領(lǐng)域中的應(yīng)用，并對數(shù)據(jù)挖掘的幾種優(yōu)化方法進行了介紹。關(guān)鍵詞：數(shù)據(jù)挖掘；數(shù)據(jù)庫；應(yīng)用；優(yōu)化隨著信息技術(shù)的快速發(fā)展，各領(lǐng)域的數(shù)據(jù)急劇增長，人們處在信息與數(shù)據(jù)的大海中，為了提高效率和競爭力，人們需要利用各種方法對海量數(shù)據(jù)進行準確的、深層次的分析，找出數(shù)據(jù)背后隱藏地有價值的信息，為相應(yīng)部門提供一定的幫助。然而，應(yīng)用傳統(tǒng)分析方法處理海量數(shù)據(jù)既消耗時間，又不易提煉出數(shù)據(jù)中的有用信息。所以，針對此類問題，數(shù)據(jù)挖掘應(yīng)運而生，并且受到各界各學(xué)者的高度重視。數(shù)據(jù)挖掘在各領(lǐng)域得到廣泛應(yīng)用，而且取得了很好的效果，本文就商業(yè)、工業(yè)、電子商務(wù)、醫(yī)學(xué)四個領(lǐng)域探討了其應(yīng)用，并介紹了數(shù)據(jù)挖掘的一些優(yōu)化方法。

3、一、數(shù)據(jù)挖掘的概述當前，數(shù)據(jù)挖掘已經(jīng)成為信息產(chǎn)業(yè)研究的熱點，它指的是從數(shù)據(jù)庫的巨量數(shù)據(jù)中提取出未知的、潛在的、有用的信息的過程。機器學(xué)習(xí)、統(tǒng)計學(xué)及模式識別等有很多提煉有用信息的方法，可是不能與實際中的大量數(shù)據(jù)有效結(jié)合，僅對學(xué)術(shù)研究和實驗數(shù)據(jù)起到一定的作用。而數(shù)據(jù)挖掘能夠把數(shù)據(jù)和機器學(xué)習(xí)、統(tǒng)計學(xué)、模式識別等相結(jié)合，有效地、深層次地對數(shù)據(jù)進行分析，挖掘出數(shù)據(jù)內(nèi)部有意義的、高效用的信息，為決策者提供準確的決策依據(jù)。數(shù)據(jù)挖掘的目的是從數(shù)據(jù)庫大量的、隨機的、模糊的、噪聲的數(shù)據(jù)中找出有價值的、潛在的信息與知識。雖然數(shù)據(jù)挖掘是在不明確假設(shè)的條件下進行信息挖掘，可是它可以發(fā)現(xiàn)數(shù)據(jù)庫里隱藏的預(yù)測趨勢和關(guān)聯(lián)網(wǎng)，并

4、且具有聚類、時許模式及檢測偏差的功能。由數(shù)據(jù)挖掘獲得的信息可能與直覺相違背，不過得出的信息愈是意想不到，愈有價值，這樣的信息具有潛在高效用的特征。二、數(shù)據(jù)挖掘的應(yīng)用數(shù)據(jù)挖掘應(yīng)用于很多領(lǐng)域，尤其在商業(yè)方面較早，目前應(yīng)用非常成熟，它不僅能夠增強企業(yè)競爭力，減少生產(chǎn)成本，而且有利于銷售計劃的制定。因為數(shù)據(jù)挖掘可以有效開發(fā)數(shù)據(jù)中潛在的信息，其應(yīng)用現(xiàn)已擴展到工業(yè)、電子商務(wù)、醫(yī)學(xué)等領(lǐng)域。(一） 在商業(yè)方面商業(yè)是數(shù)據(jù)挖掘應(yīng)用的主要領(lǐng)域，在商業(yè)中，數(shù)據(jù)挖掘?qū)儆谝粋€智能過程，能夠與信息技術(shù)相結(jié)合，共同為商業(yè)決策提供支持。1、金融業(yè)因為金融行業(yè)的數(shù)據(jù)既完整，質(zhì)量又高，所以數(shù)據(jù)挖掘在金融業(yè)的應(yīng)用比較成熟，并且獲得了

5、很好的效益。對市場波動的影響因素進行分析，構(gòu)建相應(yīng)的預(yù)測模型，對市場進行分析及預(yù)測，提高市場波動的預(yù)測能力，進而為決策者提供參考依據(jù)。通過對客戶教育水平、工資收入及信用歷史等方面的綜合分析，確定關(guān)鍵的信貸影響因素，從而對貸款發(fā)放政策進行科學(xué)合理地調(diào)整。利用收益分析、建模及預(yù)測、風(fēng)險評估，可以為銀行避免欺詐性事件的發(fā)生提供幫助，同時進行欺詐偵查，還能避免資金的非法流失。另外，對孤立點進行挖掘能夠找出異常模式，發(fā)現(xiàn)非正常的信用卡使用，從而確定極端消費行為。2、保險業(yè)近年來，由于社會保障體系不斷健全，保險業(yè)發(fā)揮的作用日益重要。怎樣維系現(xiàn)有客戶，怎樣開發(fā)新客戶以及怎樣辨識欺詐行為，這些已成為保險業(yè)亟待

6、解決的主要問題。數(shù)據(jù)挖掘能夠深入分析保險行業(yè)中的各種數(shù)據(jù)，為保險公司進行財務(wù)預(yù)算、風(fēng)險評估、業(yè)績評價及風(fēng)險預(yù)測等提供幫助，這使企業(yè)的經(jīng)營風(fēng)險防范能力得到了極大提高。通過預(yù)測模型的構(gòu)建，對客戶進行層次分類，對索賠次數(shù)及相關(guān)信息進行統(tǒng)計，有助于了解客戶行為。從海量數(shù)據(jù)中分析出不同條件、險種、年齡及時間的客戶的保險費率，保證投保人可以得到合理的利潤。而且對欺詐案件規(guī)律進行深入分析，能夠有效防止案件的再次發(fā)生。數(shù)據(jù)挖掘已成為解決保險業(yè)問題的重要手段。3、零售業(yè)零售業(yè)是數(shù)據(jù)挖掘的重要應(yīng)用領(lǐng)域之一。在零售業(yè)中，數(shù)據(jù)挖掘能夠為客戶群體的劃分提供科學(xué)的依據(jù)，結(jié)合一些分類方法，可以準確地發(fā)現(xiàn)顧客的購買模式及傾向

7、，這對于銷售對策的制定是極為重要的。通過分析和了解客戶對商品的忠誠度，對商品的貨架擺放與價格進行合理的調(diào)整，提高服務(wù)水平，不僅有助于留住現(xiàn)有顧客，還能發(fā)現(xiàn)新的潛在客戶，這樣便能擴大銷售規(guī)模，提高銷售量。另外對在線銷售數(shù)據(jù)進行挖掘，可以獲得商品的相關(guān)信息、顧客的喜好及購買習(xí)慣，從而使商品的購進更具合理性和科學(xué)性。在零售業(yè)中，貨籃子分析法是一種科學(xué)有效的途徑，經(jīng)常用在商品定價、貨物搭配及促銷等方面。貨物的合理搭配能夠使進貨和銷售得到最佳的結(jié)合，從而降低商業(yè)成本。通過構(gòu)建顧客數(shù)據(jù)模型，對客戶的購物位置、購買方式及購買時間等進行分析，有助于零售企業(yè)營銷策略的制定。4、電信業(yè)在競爭激烈的電信市場中，通過

8、數(shù)據(jù)挖掘的應(yīng)用既有助于電信模式的確定，還有助于盜用行為的發(fā)現(xiàn)。電信業(yè)有很多數(shù)據(jù)庫，例如客戶信息數(shù)據(jù)庫、賬單數(shù)據(jù)庫及呼叫數(shù)據(jù)庫，通過對這些巨量的操作數(shù)據(jù)進行挖掘，找出用戶的消費習(xí)慣，有利于快速改變經(jīng)營策略。另外，對顧客的信譽度進行分析，有助于準確預(yù)測出客戶的一些惡意欠費行為；對報表進行分析，能夠把握銷售業(yè)績，當業(yè)績下滑時，可以及時找出其中的原因，從而實施相應(yīng)的對策。(二） 在工業(yè)方面數(shù)據(jù)挖掘在工業(yè)中的應(yīng)用大體上可分為以下幾方面：一是故障診斷。該應(yīng)用是數(shù)據(jù)挖掘在工業(yè)中應(yīng)用很多的一方面，它的思路是通過數(shù)據(jù)挖掘獲取發(fā)生故障的規(guī)則和特征數(shù)據(jù)，然后進行故障診斷。進行故障診斷的過程，即是模式獲取與匹配的過程

9、。二是生產(chǎn)優(yōu)化。此應(yīng)用就是在滿足一定約束條件的情況下，通過工藝參數(shù)的更改，以使某個和經(jīng)濟效益有關(guān)的函數(shù)達到極大值或極小值。在生產(chǎn)優(yōu)化的過程中，進行生產(chǎn)數(shù)據(jù)的挖掘，獲取工藝參數(shù)和產(chǎn)品質(zhì)量之間的關(guān)系，找出規(guī)律，為工藝人員和質(zhì)檢人員分清楚產(chǎn)品質(zhì)量影響因素的主次提供一定的參考，制定出相應(yīng)策略，對質(zhì)量加以控制，促使生產(chǎn)優(yōu)化的實現(xiàn)。三是豐富知識庫。由于工業(yè)生產(chǎn)過程非常復(fù)雜，而且企業(yè)的自我要求不斷提高，因此先進的智能控制與決策方法顯得更為重要。然而智能決策與控制需要知識庫的支持，僅憑專家的知識積累還遠不能滿足企業(yè)需求，數(shù)據(jù)挖掘能夠高效獲取有用信息的優(yōu)勢克服了這一缺陷。(三） 在電子商務(wù)方面隨著電子商務(wù)的蓬勃

10、發(fā)展，絕大多數(shù)網(wǎng)站已引入數(shù)據(jù)挖掘方法，而且從中獲得豐厚的商業(yè)價值。利用數(shù)據(jù)挖掘可以促使用戶體驗的改進，在許多規(guī)模較大的互聯(lián)網(wǎng)企業(yè)，數(shù)據(jù)挖掘的使用已經(jīng)成為輔助企業(yè)戰(zhàn)略規(guī)劃的數(shù)字神經(jīng)系統(tǒng)。把數(shù)據(jù)挖掘應(yīng)用到電子商務(wù)中，可以對顧客的消費趨勢和習(xí)慣進行預(yù)測。市場的走向可以為企業(yè)建設(shè)符合市場需求的智能網(wǎng)站提供指導(dǎo)，有助于為顧客提供個性化服務(wù)，從而獲取更大的經(jīng)濟效益。電子商務(wù)中的數(shù)據(jù)挖掘主要依靠web挖掘。例如當前電子商務(wù)企業(yè)間的競爭愈加激烈，各企業(yè)特別希望了解公司的經(jīng)營狀況，尤其是其存在的危機，可是這些危機信息通常隱藏于企業(yè)的內(nèi)部或者外部web里，這時候便要通過web挖掘技術(shù)來挖掘信息。(四） 在醫(yī)學(xué)方面

11、近些年，各醫(yī)學(xué)組織引入了數(shù)據(jù)挖掘技術(shù)，與數(shù)據(jù)挖掘相結(jié)合，構(gòu)建所需的數(shù)據(jù)模型，可以找出數(shù)據(jù)的內(nèi)在聯(lián)系，從而促進醫(yī)學(xué)的發(fā)展。收集并加以分析醫(yī)學(xué)數(shù)據(jù)，能夠發(fā)現(xiàn)疾病出現(xiàn)的根本原因，然后對藥物搭配進行優(yōu)化，便能提出科學(xué)合理的醫(yī)療方案。利用該技術(shù)從大量醫(yī)學(xué)數(shù)據(jù)里找出有用的信息為疾病的診斷提供科學(xué)依據(jù)，并且分析疾病間的內(nèi)在關(guān)系和發(fā)展規(guī)律，以及藥物間的相互作用，從而歸納出各醫(yī)療方案所起到的效果，為醫(yī)學(xué)研究提供了一種極為有效的方法。在醫(yī)學(xué)應(yīng)用中，由于醫(yī)學(xué)數(shù)據(jù)往往是準確可靠的，并且數(shù)據(jù)集具有很強的穩(wěn)定性，因此數(shù)據(jù)挖掘的這些特點不僅能夠加強挖掘結(jié)果的維護、還能大大提升挖掘模式質(zhì)量。三、數(shù)據(jù)挖掘的優(yōu)化方法數(shù)據(jù)挖掘的技

12、術(shù)基礎(chǔ)是人工智能，它是一種對人類宏觀外顯思維進行模擬來解決現(xiàn)實問題的方法。數(shù)據(jù)挖掘采用的優(yōu)化方法通常有人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳算法、關(guān)聯(lián)分析和聚類分析，下面對這些方法做簡單介紹。(一） 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘中最常見的技術(shù)之一，是由生物學(xué)家與心理學(xué)家共同提出的。人工神經(jīng)網(wǎng)絡(luò)是一種模擬人腦神經(jīng)元結(jié)構(gòu)的非線性系統(tǒng)，它由許多節(jié)點相互連結(jié)而成，主要有三種模型，分別是前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)及自組織神經(jīng)網(wǎng)絡(luò)。該方法的目的是找出開發(fā)與測試神經(jīng)的計算模擬，而且它具有自學(xué)習(xí)能力，能夠自主從海量數(shù)據(jù)中學(xué)習(xí)到不曾被發(fā)現(xiàn)的信息。在數(shù)據(jù)挖掘中利用人工神經(jīng)網(wǎng)絡(luò)可以在一定程度上克服模糊綜合評價和層次分析等

13、方法存在的不足。(二） 決策樹決策樹是借助信息論中的信息來發(fā)現(xiàn)數(shù)據(jù)庫里具有最大信息量的屬性字段，構(gòu)建一個結(jié)點，然后按照這個屬性字段的取值構(gòu)建樹的分支，再在各分支子集中再次構(gòu)建下層結(jié)點與分支的過程。決策樹的顯著優(yōu)勢就是較直觀、極易理解和實現(xiàn)，它和神經(jīng)網(wǎng)絡(luò)的不同是決策樹能夠解釋結(jié)果得出的決策過程，讓人容易理解。它的缺點是當需要處理的數(shù)據(jù)很復(fù)雜時，其分支數(shù)量很多，易于出現(xiàn)錯誤，很難對其進行管理，而且當數(shù)據(jù)缺值時，還需要對數(shù)據(jù)進行很多預(yù)處理。(三） 遺傳算法遺傳算法以生物進化過程為基礎(chǔ)，是計算機與生物學(xué)相結(jié)合的產(chǎn)物。按照遺傳算法得到最合適的模型，然后進一步優(yōu)化數(shù)據(jù)模型。該方法適用于數(shù)據(jù)聚類，利用空間類

14、比與時間類比，能夠把海量復(fù)雜的數(shù)據(jù)轉(zhuǎn)化為系統(tǒng)、有條理的數(shù)據(jù)，然后從中發(fā)現(xiàn)數(shù)據(jù)間的相互聯(lián)系，獲得有意義的模式。因為遺傳算法對信息量的要求不高，具有靈活性與高效性的特征，所以在數(shù)據(jù)挖掘中，還用于評估其它算法的適合度。進行模型構(gòu)建時，把神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)合起來，能夠使模型更加容易被理解。遺傳算法在模式識別、搜索調(diào)度、及組合優(yōu)化等方面得到了廣泛應(yīng)用。(四） 關(guān)聯(lián)分析關(guān)聯(lián)分析指的是從海量數(shù)據(jù)中找出有價值的關(guān)聯(lián)性信息，也就是運用關(guān)聯(lián)規(guī)則對數(shù)據(jù)進行挖掘。人們對關(guān)聯(lián)分析已進行了深入的研究，提出了很多關(guān)聯(lián)規(guī)則算法，例如stem、dhp等。進行關(guān)聯(lián)分析是為了發(fā)現(xiàn)隱含在數(shù)據(jù)中的關(guān)系網(wǎng)，為決策者作出某些決策提供一定的依據(jù)，同時還要求出最小置信度與最小支持度，它們的作用分別是過濾掉可能性不大的規(guī)則和表示此規(guī)則發(fā)生的概率。(五） 聚類分析聚類分析的輸入集是一組沒有標定的記錄，輸入記錄是原始數(shù)據(jù)，未做任何處理。其目的是按照特定的規(guī)則，對記錄集合進行科學(xué)合