大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用

大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)與應(yīng)用摘要:隨著人類文明進(jìn)程的不斷加快，信息技術(shù)質(zhì)量和水平有顯著的提升，信息技術(shù)成果的合理利用及分析備受關(guān)注。許多行業(yè)開始著眼于時代發(fā)展的趨勢，主動應(yīng)對信息化時代所帶來的各種挑戰(zhàn)，積極結(jié)合大數(shù)據(jù)挖掘技術(shù)，在全面調(diào)整以及改進(jìn)的過程中提升自身的綜合實力。以大數(shù)據(jù)技術(shù)為代表的各種現(xiàn)代化信息技術(shù)與各行各業(yè)之間的聯(lián)系越來越緊密，企業(yè)以及政府在落實各項管理工作的過程中也以數(shù)據(jù)資源的有效挖掘以及分析為依據(jù)，確保管理質(zhì)量和管理水準(zhǔn)的能力提升。管理層需要關(guān)注對大數(shù)據(jù)時代數(shù)據(jù)挖掘工作的進(jìn)一步梳理及分析，深入了解各類數(shù)據(jù)挖掘技術(shù)的使用要求，在海量的數(shù)據(jù)信息中篩選有價值有意義的信息。關(guān)鍵詞：大數(shù)據(jù)時代；數(shù)據(jù)挖掘；技術(shù)應(yīng)用中圖分類號：TP311文獻(xiàn)標(biāo)識碼：A引言隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)的規(guī)模越來越大，對數(shù)據(jù)信息的發(fā)掘和利用成為研究的熱點課題。數(shù)據(jù)挖掘技術(shù)應(yīng)運而生，它是通過人們長期觀察與研究所得出的一門信息處理技術(shù)，通過對眾多數(shù)據(jù)的收集整理、特征提取，致力于找尋出具有經(jīng)濟(jì)價值或者其他可用潛力的信息。隨著計算機(jī)網(wǎng)絡(luò)軟硬件的不斷發(fā)展，現(xiàn)在數(shù)據(jù)挖掘的應(yīng)用已經(jīng)非常深入，技術(shù)也日趨成熟。數(shù)據(jù)挖掘作為一個廣義學(xué)科，所包含的內(nèi)容較多，受到社會各界的關(guān)注。1大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)不是一個新的技術(shù)概念，而是一種廣泛使用的技術(shù)。例如，在企業(yè)和機(jī)構(gòu)中，數(shù)據(jù)已被確認(rèn)為企業(yè)和機(jī)構(gòu)的重要資產(chǎn)。在大數(shù)據(jù)應(yīng)用中，對這些數(shù)據(jù)資產(chǎn)進(jìn)行必要的分析，實現(xiàn)精準(zhǔn)營銷、內(nèi)部審計、戰(zhàn)略制定等，具體來說，由于企事業(yè)單位存在規(guī)范化的OA，形成了大量的數(shù)據(jù)。這些數(shù)據(jù)存儲在計算機(jī)數(shù)據(jù)庫中。如果不使用這些數(shù)據(jù)，則可能會在保留一段時間后自動清理這些數(shù)據(jù)，并且不會顯示數(shù)據(jù)的值。大數(shù)據(jù)技術(shù)為這些數(shù)據(jù)提供了應(yīng)用方法，首先，利用網(wǎng)格平臺整合各種系統(tǒng)，并基于相關(guān)服務(wù)將各系統(tǒng)形成的信息數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的格式保存于數(shù)據(jù)庫當(dāng)中，并利用SQL腳本來對保存的數(shù)據(jù)進(jìn)行采集和預(yù)處理（消除NULL值、符號、字母等無效數(shù)據(jù)），此時得到的數(shù)據(jù)大概率是有用的數(shù)據(jù)，然后利用計算機(jī)強(qiáng)大的功能，通過大數(shù)據(jù)挖掘算法對這些有用的數(shù)據(jù)進(jìn)行進(jìn)一步挖掘，并展開分析，從而為決策提供支撐。例如企事業(yè)單位的內(nèi)部審計，大數(shù)據(jù)的應(yīng)用建立在一個相對完善的動態(tài)預(yù)警體系之上，通過將一些重點項目列為實時監(jiān)督對象，實時采集監(jiān)督對象的相關(guān)行為數(shù)據(jù)，并通過數(shù)據(jù)挖掘來比對類似項目的審計重點內(nèi)容和重點事項信息，從事實現(xiàn)動態(tài)的對比預(yù)測。其中數(shù)據(jù)挖掘算法一般采取運行規(guī)則建模的方法來監(jiān)控異常數(shù)據(jù)，進(jìn)一步利用保存在數(shù)據(jù)庫中的風(fēng)險事件和外部審計形成的風(fēng)險事件信息，通過關(guān)聯(lián)規(guī)則算法進(jìn)行數(shù)據(jù)挖掘，建立圖標(biāo)，進(jìn)行可能性預(yù)測，如經(jīng)濟(jì)審計中尋找銀行支付信息和“小金庫”之間的關(guān)聯(lián)性，進(jìn)而精準(zhǔn)定位異常數(shù)據(jù)，如超出平均值的提現(xiàn)金額，即可預(yù)測是否存在小金庫。2大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘主要是基于對數(shù)據(jù)源的分析和研究，從數(shù)據(jù)源中提取有價值和有意義的信息。整個數(shù)據(jù)庫很大，數(shù)據(jù)量很大。因此，在信息挖掘和信息傳輸過程中需要進(jìn)行早期檢測，以確保數(shù)據(jù)資源的管理、利用和配置。員工需要從不同角度了解數(shù)據(jù)使用的全過程，以確保數(shù)據(jù)的真實性和可靠性。在信息時代的背景下，數(shù)據(jù)越來越大，數(shù)據(jù)設(shè)計也越來越困難。因此，管理人員需要結(jié)合具體的數(shù)據(jù)目標(biāo)進(jìn)行選擇，明確大方向，盡量避免盲目性和隨機(jī)性。數(shù)據(jù)知識的合理利用以及分析最為關(guān)鍵，這一點要求管理工作人員在發(fā)現(xiàn)問題的過程中尋求數(shù)據(jù)支持的應(yīng)用要求，通過概念理解以及規(guī)則判斷來構(gòu)建完善的大數(shù)據(jù)體系。在進(jìn)一步分析以及統(tǒng)計時，明確未來的發(fā)展的形勢，積極加強(qiáng)對行為的簡單預(yù)測以及管理，確保決策的科學(xué)性以及合理性。管理手段和決策的方法的分析以及研究最為關(guān)鍵，管理層需要著眼于數(shù)據(jù)挖掘工作的開展要求，了解專業(yè)領(lǐng)域之中的數(shù)據(jù)挖掘技巧以及方式。其中數(shù)據(jù)管理、手機(jī)網(wǎng)絡(luò)和人工智能等知識的聯(lián)系背景復(fù)雜和關(guān)鍵，這些都能夠為數(shù)據(jù)挖掘提供專業(yè)知識基礎(chǔ)以及保障。3大數(shù)據(jù)時代的數(shù)據(jù)挖掘技術(shù)應(yīng)用3.1遺傳算法遺傳算法的原理是進(jìn)化與遺傳理論的結(jié)合，由選擇過程、重組過程、突變過程這3個基本算子組成。首先編碼要解決的問題，然后計算出數(shù)據(jù)的適應(yīng)度?；舅阕硬煌?，所選取的算法與實施過程也不同。遺傳算法可以對數(shù)據(jù)進(jìn)行分類，并且優(yōu)化了數(shù)據(jù)計算，在數(shù)據(jù)挖掘中其優(yōu)勢顯而易見，而且遺傳算法相較神經(jīng)網(wǎng)絡(luò)方法來說比較簡單，解決組合優(yōu)化問題也比較高效。3.2多個行業(yè)的綜合應(yīng)用數(shù)據(jù)挖掘技術(shù)的應(yīng)用范圍比較廣，能夠為各行各業(yè)提供有益的技術(shù)支撐，物流方面的數(shù)據(jù)挖掘應(yīng)用最為普遍。傳統(tǒng)的物流管理工作質(zhì)量不夠理想，大部分直接以定點推送的方式來實現(xiàn)有效的運輸，整個過程較為復(fù)雜，產(chǎn)品的質(zhì)量無法得到保證，難以實現(xiàn)宏觀管理及協(xié)調(diào)。數(shù)據(jù)挖掘技術(shù)則可以有效避免這一不足，加強(qiáng)對消費者滿意程度的調(diào)查以及分析，進(jìn)一步調(diào)整物流行業(yè)的發(fā)展方向，明確前期的市場營銷戰(zhàn)略目標(biāo)。在全面發(fā)展以及調(diào)整的過程中，充分彰顯數(shù)據(jù)挖掘技術(shù)的重要作用及優(yōu)勢。其中物流路徑的科學(xué)管控以及追蹤最為關(guān)鍵，技術(shù)工作人員可以通過對不同信息技術(shù)的應(yīng)用分析以及研究來更好的調(diào)整工作思路和模塊，確保對癥下藥。除此之外，在電力行業(yè)中，大大數(shù)據(jù)挖掘技術(shù)也使用得比較頻繁，這一技術(shù)能夠確保電力大數(shù)據(jù)的安全性，更好地促進(jìn)電力數(shù)據(jù)的有效利用及分析。維護(hù)用戶的隱私信息，確保運營信息的靈活利。3.3網(wǎng)絡(luò)信息采集（1）網(wǎng)絡(luò)信息采集。網(wǎng)絡(luò)信息采集的流程主要包括確定目標(biāo)信息源、制定采集方法、數(shù)據(jù)挖掘與處理存儲結(jié)構(gòu)。信息源是非常重要的，需要清晰的認(rèn)識目標(biāo)，以此來減少工作量，提高工作效率。而對于文獻(xiàn)數(shù)據(jù)庫網(wǎng)站、門戶網(wǎng)站、國家或行業(yè)發(fā)布情報的站點、國內(nèi)外信息網(wǎng)、個人或公司的相關(guān)網(wǎng)站等不同信息源，需要采用不同方法來采集。存儲結(jié)構(gòu)對數(shù)據(jù)采集與整編也是非常重要的，國家對于數(shù)據(jù)的存儲結(jié)構(gòu)有一套標(biāo)準(zhǔn)，將不同的存儲結(jié)構(gòu)按照國家標(biāo)準(zhǔn)統(tǒng)一化，方便后期數(shù)據(jù)挖掘的進(jìn)行。（2）數(shù)據(jù)預(yù)處理。對被采集數(shù)據(jù)進(jìn)行預(yù)處理可以有效提高挖掘效率，方便數(shù)據(jù)信息的資源共享。預(yù)處理包括統(tǒng)一存儲結(jié)構(gòu)以及數(shù)據(jù)格式等操作，標(biāo)注每個數(shù)據(jù)的信息來源，并對所有采集到的數(shù)據(jù)生成統(tǒng)一的標(biāo)識符，這樣為再一次全文索取及后期數(shù)據(jù)查驗提供便利。（3）挖掘處理。對預(yù)處理之后的數(shù)據(jù)進(jìn)行清理變換、分類聚類、關(guān)聯(lián)性分析，將得到的數(shù)據(jù)信息進(jìn)行查重、相關(guān)度檢驗、記錄、文摘抽取、排序分類、合并處理等操作，并將這些數(shù)據(jù)進(jìn)行有機(jī)合成，然后生成具有特征的數(shù)據(jù)庫群。（4）成果服務(wù)。最后將數(shù)據(jù)挖掘及網(wǎng)絡(luò)信息采集整編之后的數(shù)據(jù)存儲在服務(wù)器數(shù)據(jù)庫，或者直接進(jìn)行發(fā)布，用戶可以通過檢索工具進(jìn)行查看與應(yīng)用。結(jié)束語綜上所述，大數(shù)據(jù)時代的數(shù)據(jù)挖掘非常關(guān)鍵，大數(shù)據(jù)挖掘技術(shù)的合理利用及分析作業(yè)不容忽略。技術(shù)工作人員需要站在不同的角度，了解大數(shù)據(jù)挖掘技術(shù)的具體內(nèi)涵，分析各行各業(yè)以及不同模塊中大數(shù)據(jù)技術(shù)的使用要求，通過全面調(diào)整以及改進(jìn)來更好地實現(xiàn)穩(wěn)定運作，真正彰顯大數(shù)據(jù)技術(shù)的使用作用及優(yōu)勢，保障不同管理