數(shù)據(jù)挖掘在管理中的應(yīng)用研究

數(shù)據(jù)挖掘在管理中的應(yīng)用研究

挖掘數(shù)據(jù)也稱為數(shù)據(jù)庫知識發(fā)現(xiàn)，是一項復(fù)雜的過程，從大量、不完整、噪聲、模糊、隨機(jī)的數(shù)據(jù)中提取隱藏、未知、有價值的模式、規(guī)律和其他知識。隨著信息化程度的加劇,企業(yè)和組織更容易獲取和存儲大量數(shù)據(jù)。如何應(yīng)用數(shù)據(jù)挖掘?qū)Ａ繑?shù)據(jù)進(jìn)行有效分析以準(zhǔn)確發(fā)現(xiàn)潛在的數(shù)據(jù)模式,使企業(yè)和組織的管理者能夠更加科學(xué)有效地進(jìn)行決策,提高收益和市場競爭力,已經(jīng)引起了管理科學(xué)研究者的廣泛關(guān)注。由此,我國管理科學(xué)界建議將“管理數(shù)據(jù)挖掘”列為管理科學(xué)與工程學(xué)科在“十一五”期間的重點資助方向。針對“十一五”期間管理數(shù)據(jù)挖掘項目的資助情況,從理論和應(yīng)用2個方面對國內(nèi)最新研究進(jìn)展進(jìn)行初步歸納,以期為研究者了解該領(lǐng)域的研究前沿和方向提供幫助,提高我國管理數(shù)據(jù)挖掘研究的理論和實踐水平。1資助項目研究在“十一五”期間,國家自然科學(xué)基金委員會管理科學(xué)部(簡稱“管理科學(xué)部”)管理科學(xué)與工程學(xué)科資助管理數(shù)據(jù)挖掘研究項目達(dá)42項,其中重點項目2項、面上項目29項、青年基金項目11項。資助項目數(shù)呈穩(wěn)定增加趨勢,在2010年達(dá)到11項(見圖1)。從資助項目的研究領(lǐng)域看,2項重點項目主要集中于數(shù)據(jù)挖掘的基礎(chǔ)理論和方法研究。40項面上項目和青年項目幾乎都涉及基礎(chǔ)理論方法和應(yīng)用研究2個方面,其中有22項側(cè)重于數(shù)據(jù)挖掘的基礎(chǔ)理論方法研究,有18項側(cè)重于數(shù)據(jù)挖掘在管理中的應(yīng)用研究(見表1)。2對數(shù)據(jù)挖掘方法與技術(shù)的創(chuàng)新性研究在國家自然科學(xué)基金的資助下,我國學(xué)者在數(shù)據(jù)挖掘理論方法及其應(yīng)用方面取得了一系列研究成果。這些研究不是簡單地將數(shù)據(jù)挖掘的方法和技術(shù)直接應(yīng)用于各種管理問題,而是針對問題特性提出了具有一定創(chuàng)新性的新理論或新方法,使其能更好地用于解決實際管理問題。這與目前國家自然科學(xué)基金在該領(lǐng)域的資助目標(biāo)是一致的,即面向管理問題的理論與方法的創(chuàng)新性研究。2.1本文在挖掘理論的基礎(chǔ)上取得了成果從內(nèi)容上看,數(shù)據(jù)挖掘基礎(chǔ)研究主要集中于功能方法方面,目的是提高數(shù)據(jù)挖掘所獲知識的準(zhǔn)確性。2.1.1傳統(tǒng)數(shù)據(jù)挖掘方法已將復(fù)雜的項目集進(jìn)行內(nèi)關(guān)聯(lián)規(guī)則分析的目的是從大量的數(shù)據(jù)中抽取出數(shù)據(jù)項之間所存在的有價值的關(guān)聯(lián)性。在關(guān)聯(lián)規(guī)則分析算法方面,CHEN等以格論及位圖索引技術(shù)為基礎(chǔ)提出了一種新的頻繁項集發(fā)現(xiàn)算法,該算法利用有向圖進(jìn)行一次性數(shù)據(jù)預(yù)處理,在預(yù)處理過程中將數(shù)據(jù)庫預(yù)先存貯為每個節(jié)點都用一個域來記錄其支持度的項目集格,從而把復(fù)雜的頻繁項目集的發(fā)現(xiàn)問題轉(zhuǎn)化為圖搜索問題,提高了頻繁項目集發(fā)現(xiàn)過程的效率。隨著信息技術(shù)的進(jìn)步,企業(yè)數(shù)據(jù)庫規(guī)模越來越大、復(fù)雜性越來越高,各類數(shù)據(jù)的維度(屬性)通?？梢赃_(dá)到成百上千維甚至更高。同時,大量數(shù)據(jù)以數(shù)據(jù)流的形式快速產(chǎn)生,并具有很強的實時性。由此,傳統(tǒng)的數(shù)據(jù)挖掘方法難以適應(yīng)這類數(shù)據(jù)的挖掘。LIU等在經(jīng)典的關(guān)聯(lián)規(guī)則分析方法基礎(chǔ)上,提出了高維度數(shù)據(jù)中發(fā)現(xiàn)閉合頻繁序列模式的算法。在數(shù)據(jù)流挖掘方面,學(xué)者們對頻繁項集挖掘問題進(jìn)行了較為全面的綜述和研究,發(fā)現(xiàn)了已有方法在誤差上界方面計算的缺陷,提出了新的誤差上界和算法。2.1.2嵌入加速器增加了屬性約簡學(xué)習(xí)分類與預(yù)測是2種數(shù)據(jù)分析形式,其目的是抽取能夠描述重要數(shù)據(jù)集合或預(yù)測未來數(shù)據(jù)趨勢的模型。粗糙集是分類與預(yù)測中一種重要的理論方法,在處理具有不確定性的數(shù)據(jù)時能在保留基本信息的前提下對數(shù)據(jù)進(jìn)行約簡,并求得知識的最小表達(dá)式。根據(jù)客觀世界的規(guī)整性和重復(fù)性,QIAN等利用粗糙集理論導(dǎo)出決策規(guī)則,設(shè)計了一種基于正向近似的屬性約簡加速器。針對完備與非完備決策表,將該加速器嵌入到常用啟發(fā)式屬性選擇方法中,在屬性選擇的過程中不斷地去除當(dāng)前粒度下決策表相對正域中的對象,而不改變對各個屬性的評價結(jié)果。嵌入加速器后的屬性約簡算法即可以保持原有算法的屬性約簡結(jié)果,也可以大大減少屬性約簡算法的耗時。此外,QIAN等還通過利用多個不同的等價關(guān)系描述一個集合近似,提出了多粒度粗糙集模型,給出了該模型的一些重要性質(zhì),并在此基礎(chǔ)上提出了多粒度粗糙集近似約簡的定義,給出了相應(yīng)的規(guī)則提取方法,進(jìn)一步拓展了粗糙集模型。在分類與預(yù)測方法研究方面,我國學(xué)者利用不同的推廣的粗糙集模型從不同類型的數(shù)據(jù)中挖掘知識并融合以形成預(yù)測規(guī)則,從而解決預(yù)測問題中不同類型數(shù)據(jù)中所挖掘知識的融合問題,為不確定性決策的建模與分析提供新的方法。在多關(guān)系挖掘方面,學(xué)者們提出了一些新穎高效的多關(guān)系離散化方法以及特征和關(guān)系選取方法,以取得更高的分類預(yù)測準(zhǔn)確率。我國學(xué)者還將多目標(biāo)規(guī)劃引入數(shù)據(jù)挖掘中,提出了基于多目標(biāo)規(guī)劃的線性和非線性分類模型,證明了多目標(biāo)規(guī)劃是數(shù)據(jù)挖掘的一種重要工具。在實際的分類和預(yù)測問題中,用于建立模型的數(shù)據(jù)往往具有噪聲,從而導(dǎo)致誤差。ZHONG等利用二階錐規(guī)劃建立了支持向量機(jī)的線性和非線性魯棒模型,實驗證明該模型對于噪聲數(shù)據(jù)具有很好的魯棒性。對于多分類學(xué)習(xí)問題,學(xué)者們建立了支持向量機(jī)的非光滑牛頓算法,以防止在傳統(tǒng)的“一對一”訓(xùn)練方式下信息的缺失問題,并通過實驗說明了所提出方法具有高準(zhǔn)確率和低時耗。對于一些稀有類分析問題,WU等將聚類技術(shù)和分類技術(shù)結(jié)合,將k-均值聚類方法引入分類領(lǐng)域,提出了基于局部聚類的COG和COG-OS分類框架。為了進(jìn)一步處理高度有偏數(shù)據(jù),還將抽樣技術(shù)與COG結(jié)合,發(fā)展出了適用于稀有類分析的新方法。2.1.3算法設(shè)計技術(shù)研究和序列挖掘聚類分析是將數(shù)據(jù)集劃分為若干數(shù)據(jù)簇的過程,使得同一個簇內(nèi)數(shù)據(jù)對象具有較高的相似度,不同簇內(nèi)數(shù)據(jù)對象具有較高的相異度。在聚類有效度評價方面,XIAO等利用偶極子給出了新的聚類一致性準(zhǔn)則,提出了GMDH聚類分析方法,從理論分析和實證比較2個方面論證了新的一致性準(zhǔn)則的優(yōu)越性。WU等針對F-measure這一廣泛應(yīng)用的聚類評價指標(biāo)在評價可重疊聚類結(jié)果時產(chǎn)生的遞增效應(yīng)和先驗概率效應(yīng),提出了一種新的指標(biāo):蘊含強度,并通過理論分析和實驗說明了該指標(biāo)能夠提高重疊聚類評價的準(zhǔn)確性。在聚類分析方法模型方面,XIAO等將模糊軟集合理論與GMDH算法結(jié)合,提出了一種新的模糊軟規(guī)則歸納法,通過模糊軟集合參數(shù)約簡和局部最優(yōu)思想篩選中間細(xì)分規(guī)則來建立聚類整體最優(yōu)模型,克服了傳統(tǒng)的以主觀確定閾值來選擇模型的局限性和專家系統(tǒng)的主觀性,并具有較強的抗干擾性。針對時序分類型數(shù)據(jù),CAO等通過粗糙隸屬函數(shù)定義了2個概念之間的距離,基于滑動窗口技術(shù)提出了概念漂移檢測算法,設(shè)計了不同滑動窗口下聚類結(jié)果演化趨勢的可視化算法,并在網(wǎng)絡(luò)入侵檢測數(shù)據(jù)集上驗證了算法的有效性。隨著互聯(lián)網(wǎng)的迅速發(fā)展,企業(yè)越來越關(guān)注能夠反映客戶網(wǎng)絡(luò)行為和信息的Web數(shù)據(jù)。YANG等研究了Web數(shù)據(jù)處理問題及高效的Web挖掘方法,在序列模式挖掘研究方面提出了一種新的兩階段序列挖掘模式算法。同時,還提出了一種更加準(zhǔn)確的衡量序列相似度的方法。在網(wǎng)頁信息挖掘方面,我國學(xué)者提出了依據(jù)鏈接信息衡量網(wǎng)頁標(biāo)簽以及資源之間相似度的方法,并提出了一種隨機(jī)游走模型,該模型可以同時考慮對象之間的直接和間接關(guān)系。在此基礎(chǔ)上,CUI等提出一個基于鄰居搜索的聚類方法,并提出了鄰居搜索的優(yōu)化策略,該方法可以自動決定簇的個數(shù),能夠處理大規(guī)模數(shù)據(jù)。2.1.4時間序列優(yōu)化方法演化分析從數(shù)據(jù)序列中抽取隨時間變化的趨勢和規(guī)律,并用其對未來進(jìn)行預(yù)測。演化分析的一個重要研究內(nèi)容是時間序列分析。時間序列數(shù)據(jù)本身所具備的高維性、復(fù)雜性、動態(tài)性、高噪聲以及容易達(dá)到大規(guī)模的特性,使得時間序列挖掘成為近年來數(shù)據(jù)挖掘研究中最具有挑戰(zhàn)性的十大研究方向之一。ZHANG等基于獨立成分的廣義自相關(guān)性和信息的非高斯性,建立了一個優(yōu)化模型,并推導(dǎo)出了一個新的盲源提取算法,同時給出了算法的穩(wěn)定性分析和相應(yīng)的數(shù)值實驗。為了實現(xiàn)帶有噪聲的時間序列數(shù)據(jù)盲源提取,學(xué)者們基于廣義自相關(guān)性和高斯矩建立了優(yōu)化模型,并推導(dǎo)出了一個考慮噪聲混合的盲源提取算法,進(jìn)行了相應(yīng)的數(shù)值實驗。為了發(fā)現(xiàn)時間序列中的潛在結(jié)構(gòu),YANG建立了時間序列復(fù)雜性尋蹤統(tǒng)一模型,利用近似牛頓算法設(shè)計了一個不動點算法,數(shù)值實驗結(jié)果表明,該算法收斂速度快于梯度型算法。由于不需要迭代步長,因而算法更容易實現(xiàn)。為了實現(xiàn)高維時間序列的降維,LI等通過對時間序列進(jìn)行分段,并利用云模型來表示每個序列段的特征,進(jìn)而實現(xiàn)數(shù)據(jù)降維和特征表示。同時,提出了基于期望曲線的云模型相似性度量,以便度量時間序列特征表示后云序列的相似性。這些理論方法在實際的時間序列數(shù)據(jù)挖掘中取得較好結(jié)果。2.2在公共服務(wù)方面的應(yīng)用研究在數(shù)據(jù)挖掘理論方法研究不斷深入的同時,其在管理中的應(yīng)用研究也得到了較大發(fā)展。2.2.1提供優(yōu)質(zhì)服務(wù)需要滿足客戶需求客戶關(guān)系管理是企業(yè)的一種經(jīng)營哲學(xué)和總體戰(zhàn)略,它采用先進(jìn)的信息與通信技術(shù)來獲取客戶數(shù)據(jù),運用發(fā)達(dá)的數(shù)據(jù)分析工具來分析客戶數(shù)據(jù),挖掘客戶的需求特征、偏好變化趨勢和行為模式,積累、運用和共享客戶知識,通過針對性地為不同客戶提供具有優(yōu)異價值的定制化產(chǎn)品或服務(wù)來管理處于不同生命周期的客戶關(guān)系及其組合,通過有效的客戶互動來強化客戶忠誠,并最終實現(xiàn)客戶價值最大化和企業(yè)價值最大化之間的合理平衡?？蛻絷P(guān)系管理的關(guān)鍵問題是客戶細(xì)分。XIAO等提出了將GMDH聚類分析方法應(yīng)用于這一問題中,與現(xiàn)有的理論成果比較,GMDH聚類分析方法擴(kuò)大了客戶細(xì)分的適用范圍。在旅游業(yè)客戶關(guān)系管理方面,YE等提出了基于機(jī)器學(xué)習(xí)方法的旅游客戶評論分類方法,并比較了支持向量機(jī)、樸素貝葉斯和基于字符的N-gram模型在進(jìn)行旅游客戶的評論分類的性能差異,發(fā)現(xiàn)了訓(xùn)練樣本數(shù)量對3種模型分類性能的影響機(jī)制。2.2.2體現(xiàn)現(xiàn)實意義財務(wù)困境預(yù)測是風(fēng)險管理與決策領(lǐng)域的一個重要研究方向。企業(yè)的財務(wù)困境狀態(tài)既關(guān)系到企業(yè)本身的戰(zhàn)略制訂與調(diào)整,還關(guān)系到其債權(quán)人或投資方的收益。在中國資本市場日益發(fā)展的今天,企業(yè)財務(wù)狀況的判斷和財務(wù)困境預(yù)測的研究尤其具有重要的理論意義和現(xiàn)實意義。利用各上市公司的財務(wù)報表數(shù)據(jù),應(yīng)用科學(xué)的預(yù)測與決策方法對各變量進(jìn)行分析來預(yù)測上市公司財務(wù)困境,以便揭示風(fēng)險并及時采取有效的防范、化解風(fēng)險的措施,已成為上市公司管理當(dāng)局、投資者、債權(quán)人等利益相關(guān)者共同關(guān)注的問題。SUN等構(gòu)建了基于滾動時間窗口支持向量機(jī)處理概念漂移的財務(wù)困境預(yù)測動態(tài)建?？蚣?對基于樣例選擇的財務(wù)困境概念漂移處理方法展開了詳細(xì)設(shè)計,包括寬度固定的時間窗口滾動機(jī)制、自適應(yīng)寬度的時間窗口滾動機(jī)制以及批選擇機(jī)制,并設(shè)計了財務(wù)困境預(yù)測動態(tài)建模方法的實證驗證方案;SUN等還對多分類器組合財務(wù)困境預(yù)測方法展開研究,提出了遺傳算法選擇性集成多分類器的企業(yè)財務(wù)困境預(yù)測方法,以及基于多特征子集組合分類器的企業(yè)財務(wù)困境預(yù)測方法。此外,學(xué)者們還提出了基于群決策的財務(wù)困境預(yù)測方法。2.2.3負(fù)荷預(yù)測的核心問題電力工業(yè)是國家在能源領(lǐng)域的重大基礎(chǔ)行業(yè),是國民經(jīng)濟(jì)的命脈,對于我國經(jīng)濟(jì)建設(shè)、國家安全、社會穩(wěn)定、生活質(zhì)量具有至關(guān)重要的作用。隨著電力工業(yè)的快速發(fā)展,對電力負(fù)荷預(yù)測理論和方法的研究越來越重要,在經(jīng)濟(jì)地制定發(fā)電計劃、電力調(diào)配計劃、網(wǎng)競價計劃、控制電網(wǎng)經(jīng)濟(jì)運營等方面具有直接而重大的經(jīng)濟(jì)效益和社會效益。電力負(fù)荷預(yù)測的核心問題是預(yù)測技術(shù)方法。由于電力負(fù)荷不僅具有擬周期性,而且受到眾多不確定因素,如氣象、節(jié)假日、電價、用電模式以及人口狀況、居民收入、消費觀念等的影響,因此,電力負(fù)荷預(yù)測問題具有數(shù)據(jù)量龐大、種類混雜、多種不確定性并存的特點。同時,電力負(fù)荷預(yù)測中既包括數(shù)值型數(shù)據(jù),也包含定性的描述性知識表述。以上這些特點使得傳統(tǒng)的數(shù)據(jù)挖掘方法難以適用于該問題。由此,學(xué)者們研究了對于多種類型知識影響的基于協(xié)同知識挖掘的電力負(fù)荷預(yù)測的新理論方法,包括知識文本標(biāo)準(zhǔn)的制定、知識表示、知識清洗、知識集成、知識轉(zhuǎn)換、協(xié)同知識挖掘預(yù)處理、自動提取具有高度相似性綜合知識特征的同類歷史數(shù)據(jù)、神經(jīng)網(wǎng)絡(luò)負(fù)荷預(yù)測模型的自組織和優(yōu)化、經(jīng)驗推理干預(yù)等。比如,對日負(fù)荷有影響的各類知識文本的標(biāo)準(zhǔn)、結(jié)構(gòu)和規(guī)范化進(jìn)行描述分析,利用時間序列預(yù)測技術(shù)ARMA(1,1)對數(shù)據(jù)中的負(fù)荷進(jìn)行線性因素的擬合建模和校正,得到糾偏的神經(jīng)網(wǎng)絡(luò)模型。對于中長期電力負(fù)荷預(yù)測,NIU等選取單一算法模型,并建立協(xié)同粒子群算法自適應(yīng)權(quán)重的中長期組合負(fù)荷預(yù)測模型。3國內(nèi)學(xué)者在國際專四通道研究領(lǐng)域,其學(xué)術(shù)基礎(chǔ)研究仍在其通過總結(jié)近幾年來管理科學(xué)部對數(shù)據(jù)挖掘及其在管理中應(yīng)用的資助研究進(jìn)展可知:①數(shù)據(jù)是管理決策的基礎(chǔ),數(shù)據(jù)挖掘作為分析數(shù)據(jù)的有效工具將越來越被管理科學(xué)界重視?？梢灶A(yù)見,在未來較長的一段時間內(nèi),此領(lǐng)域