數(shù)據(jù)挖掘建模

數(shù)據(jù)挖掘原理與SPSSClementine應(yīng)用寶典元昌安主編鄧松李文敬劉海濤編著電子工業(yè)出版社2023/2/3

2023/2/3216.4小結(jié)16.3數(shù)據(jù)挖掘建模原理16.3.1建模要求16.3.2建模原則16.3.3簡(jiǎn)化模型16.3.4建模步驟16.3.5建模素質(zhì)16.1數(shù)據(jù)挖掘建模概述16.1.2原型與模型16.1.3模式與模型16.1.4知識(shí)層次理論16.1.5模型與數(shù)據(jù)16.1.6知識(shí)結(jié)構(gòu)與框架16.1.7決策16.2數(shù)據(jù)挖掘建?；A(chǔ)16.2.1數(shù)據(jù)挖掘建模16.2.2建模與挖掘的結(jié)合16.2.3模型分類16.2.4建模行為42內(nèi)容132023/2/316.1數(shù)據(jù)挖掘建模概述

16.1.1原型與模型原型指的是人們?cè)诂F(xiàn)實(shí)世界里關(guān)心、研究、或者從事生產(chǎn)、管理的實(shí)際對(duì)象。本章所述的現(xiàn)實(shí)對(duì)象、研究對(duì)象、實(shí)際問(wèn)題等均指原型。模型則是為了某個(gè)特定目的將原型的某部分簡(jiǎn)縮、提煉而構(gòu)造的原型替代物。2023/2/3

16.1.2模式與模型

模式（Pattern）其實(shí)就是解決某一類問(wèn)題的方法論，把解決某類問(wèn)題的方法總結(jié)歸納到理論高度，就是模式。模型（Model）就是封裝數(shù)據(jù)和所有基于對(duì)這些數(shù)據(jù)的操作，是對(duì)現(xiàn)實(shí)世界中過(guò)程的抽象描述。2023/2/3

16.1.3知識(shí)層次理論

知識(shí)是從數(shù)據(jù)到智慧劃分為不同層次的，并且所有模型都是基于數(shù)據(jù)的，理解模型也要把握數(shù)據(jù)、信息和知識(shí)的結(jié)構(gòu)。2023/2/32023/2/37

16.1.4模型與數(shù)據(jù)

從某種意義上而言，模型就是知識(shí)，模型聯(lián)接著數(shù)據(jù)和知識(shí)，它們對(duì)于數(shù)據(jù)提供解釋具有一定的意義，把出現(xiàn)在數(shù)據(jù)中的信息封裝到特定框架中模型如何表述數(shù)據(jù)集內(nèi)的信息，亦即實(shí)際中運(yùn)用何種形式或機(jī)制去表述模型中的信息內(nèi)容。2023/2/3從可操作性上而言，一個(gè)完整的模型通常必須包含信息表述結(jié)構(gòu)和解釋機(jī)制。一般模型的簡(jiǎn)化形式可以用圖16－2的數(shù)據(jù)與模型的構(gòu)成部分來(lái)表示。2023/2/316.1.5知識(shí)結(jié)構(gòu)與框架知識(shí)結(jié)構(gòu)是指知識(shí)領(lǐng)域內(nèi)事實(shí)、概念、觀念、公理、定理、定律等的組合方式。一般可分為以下三類結(jié)構(gòu)：學(xué)科知識(shí)結(jié)構(gòu)，是各種學(xué)科內(nèi)容的有機(jī)組合。個(gè)體知識(shí)結(jié)構(gòu)，為個(gè)體頭腦中知識(shí)的構(gòu)成狀況，表現(xiàn)為各種門類、各種層次知識(shí)的比例及相互關(guān)系。群體知識(shí)結(jié)構(gòu)，為一個(gè)組織中成員所具有的各種不同知識(shí)的集體組合。概括地說(shuō)，知識(shí)結(jié)構(gòu)可以表示成由對(duì)象間的互聯(lián)以及定義連接的交互網(wǎng)絡(luò)。2023/2/3框架（Framework）其實(shí)就是某種應(yīng)用的半成品，就是一組組件，供使用者選用來(lái)完成自己的系統(tǒng)。使用框架，簡(jiǎn)單地說(shuō)就是使用別人搭好的舞臺(tái)，進(jìn)行表演。對(duì)于數(shù)據(jù)挖掘和建模來(lái)說(shuō)，重要的是找到一個(gè)描述和使用知識(shí)的一般方式的過(guò)程，他們就是在這樣的框架中工作的。建模者的所有工作都是在模型結(jié)構(gòu)的框架中完成的。2023/2/3

16.1.6決策

決策是決定采取某種行動(dòng)，這種行動(dòng)的目的在于使當(dāng)事人所面臨的事件呈現(xiàn)令人滿意的狀態(tài)。此處當(dāng)事人稱為該行動(dòng)的受益者。凡是根據(jù)預(yù)定目標(biāo)做出行動(dòng)的決定，均可稱為決策。2023/2/316.1.6.1決策的特征和種類

決策具有三個(gè)主要特征：（1）決策是為了實(shí)現(xiàn)特定目標(biāo)的活動(dòng)，沒(méi)有目標(biāo)就無(wú)從決策，目標(biāo)已經(jīng)實(shí)現(xiàn)，也就無(wú)需決策；（2）決策的目的在于付諸實(shí)施，不準(zhǔn)備實(shí)施的決策是多余的、無(wú)用的；（3）決策具有選擇性，只有一個(gè)方案，就無(wú)從優(yōu)化，而不追求優(yōu)化的決策是無(wú)價(jià)值的。2023/2/3決策的種類選擇性決策在選擇性決策中，決策者面對(duì)著兩個(gè)或者更多離散的、特殊的備選項(xiàng)，必須從這個(gè)集合中選出一個(gè)子集或者僅選出一個(gè)選項(xiàng)。接受/拒絕性決策在接受/拒絕性決策中，決策者面對(duì)的僅是一個(gè)決策，必須接受這個(gè)決策或者拒絕它。評(píng)價(jià)性決策在評(píng)價(jià)性決策中，決策者必須基于對(duì)某實(shí)體價(jià)值的評(píng)估而進(jìn)行一系列的活動(dòng)建設(shè)性決策在建設(shè)性決策中，決策者必須依照特定的限制使用可用資源來(lái)恰當(dāng)?shù)亟M織各個(gè)可選的主題。2023/2/3

16.1.6.2決策步驟

一般決策過(guò)程都大致包括如圖16－3決策步驟流程圖所示的八個(gè)基本步驟：2023/2/3

16.1.6.3決策分析方法

科學(xué)決策的前提是運(yùn)用科學(xué)的決策分析方法，決策分析是研究不確定性問(wèn)題的一種系統(tǒng)分析方法。其目的是改進(jìn)決策過(guò)程，從一系列備選方案中找出一個(gè)能滿足一定目標(biāo)的合適方法。對(duì)于不同的情形會(huì)有不同的決策方法。34512確定性情形不確定性情形隨機(jī)性情形多目標(biāo)情形多人決策情形2023/2/3

16.1.6.4決策與建模

在管理應(yīng)用中，決策常常依賴于模型來(lái)進(jìn)行，模型是決策的有力助手，模型在提高效率方面產(chǎn)生了極其深遠(yuǎn)的意義。建模是建立模型的過(guò)程的簡(jiǎn)稱，又稱為模型化。凡是用模型描述問(wèn)題的因果關(guān)系或相互關(guān)系的過(guò)程都屬于建模。建模的目的是用可量化的決策變量來(lái)幫助管理者進(jìn)行決策，模型的目標(biāo)函數(shù)表達(dá)了根據(jù)決策變量做出的相應(yīng)的績(jī)效度量，模型的約束條件表示對(duì)決策變量可能取值的限制。建模是為了解決問(wèn)題，建模者只有依據(jù)存在的確定問(wèn)題才可以建模。2023/2/316.2數(shù)據(jù)挖掘建?；A(chǔ)16.2.1數(shù)據(jù)挖掘建模數(shù)據(jù)挖掘中的建模是由數(shù)據(jù)驅(qū)動(dòng)的，它通常不是由任何潛在機(jī)制或“事實(shí)”驅(qū)動(dòng)的，而是為了捕捉數(shù)據(jù)中存在的關(guān)系。因此，數(shù)據(jù)挖掘建模是數(shù)據(jù)驅(qū)動(dòng)型建模的一種。由于數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動(dòng)的，根據(jù)數(shù)據(jù)得到的模型本無(wú)精確模型與非精確模型之分，所以不應(yīng)該認(rèn)為數(shù)據(jù)與模型的發(fā)現(xiàn)存在某種因果關(guān)系。2023/2/316.2.1.1數(shù)據(jù)建模數(shù)據(jù)建模是建立數(shù)據(jù)驅(qū)動(dòng)型模型的簡(jiǎn)稱，是指用更具體、更明確的函數(shù)表達(dá)形式(函數(shù)類型)來(lái)描述由輸入變量到輸出變量之間的映射，并根據(jù)有限的采樣數(shù)據(jù)計(jì)算模型參數(shù)的建?；顒?dòng)過(guò)程。

2023/2/316.2.1.2實(shí)體/數(shù)據(jù)驅(qū)動(dòng)型模型的建模過(guò)程

2023/2/3

16.2.1.3實(shí)體模型與數(shù)據(jù)驅(qū)動(dòng)型模型的比較

我們可以看到，雖然實(shí)體模型和數(shù)據(jù)驅(qū)動(dòng)型模型都用于描述某個(gè)對(duì)象，但是，這兩種模型的含義有著本質(zhì)的區(qū)別，具體內(nèi)容請(qǐng)?jiān)斠?jiàn)表16－1實(shí)體模型與數(shù)據(jù)驅(qū)動(dòng)型模型對(duì)比表。

2023/2/3212023/2/3

16.2.1.4數(shù)據(jù)挖掘建模

建構(gòu)模型是數(shù)據(jù)挖掘技術(shù)的重要內(nèi)容，正是通過(guò)建模，數(shù)據(jù)挖掘工具才可以準(zhǔn)確地告訴用戶那些隱藏在數(shù)據(jù)庫(kù)深處的重要信息，同時(shí)又對(duì)未來(lái)做出預(yù)測(cè)。那么，何為建模？簡(jiǎn)單而言，就是綜合運(yùn)用數(shù)學(xué)思想方法和IT技術(shù)建立一個(gè)適合當(dāng)前問(wèn)題的模型，用以解釋之前發(fā)生的事情并預(yù)測(cè)未來(lái)發(fā)生的事情。2023/2/3數(shù)據(jù)挖掘建模是指針對(duì)現(xiàn)實(shí)世界中要解決問(wèn)題的特定對(duì)象，為特定的數(shù)據(jù)挖掘目的，做出一些重要的簡(jiǎn)化和假設(shè)，運(yùn)用適當(dāng)?shù)臄?shù)據(jù)挖掘工具和其他科學(xué)工具獲得的模型，然后利用該模型來(lái)解釋特定現(xiàn)象的現(xiàn)實(shí)形態(tài)，預(yù)測(cè)對(duì)象的未來(lái)狀況，提供處理對(duì)象的優(yōu)化決策和控制，設(shè)計(jì)滿足某種需要的產(chǎn)品等的過(guò)程。數(shù)據(jù)挖掘建模實(shí)際上就是為采用數(shù)據(jù)挖掘工具解決實(shí)際問(wèn)題，而進(jìn)行建立數(shù)據(jù)挖掘模型的活動(dòng)過(guò)程。2023/2/3

16.2.1.5建模與數(shù)據(jù)挖掘工具

算法和建模作為數(shù)據(jù)挖掘工具的核心技術(shù)從它誕生之日起就在得到不斷完善。對(duì)各種算法的支持程度是衡量數(shù)據(jù)挖掘工具的一大標(biāo)準(zhǔn)。目前的算法技術(shù)已經(jīng)相當(dāng)成熟，而主流數(shù)據(jù)挖掘工具也基本上都提供了對(duì)主流算法的支持。數(shù)據(jù)挖掘中的建模主要采用數(shù)據(jù)建模和算法建模，其中更側(cè)重于算法建模。數(shù)據(jù)挖掘的過(guò)程就是一個(gè)不斷探索數(shù)據(jù)特征、建立和檢驗(yàn)?zāi)Ｐ?，利用適合的模型來(lái)解決實(shí)際問(wèn)題的過(guò)程。目前，數(shù)據(jù)挖掘建模業(yè)界探討較多的技術(shù)內(nèi)容主要有自動(dòng)建模和模型轉(zhuǎn)換兩點(diǎn)。2023/2/3

16.2.2建模與挖掘的結(jié)合

所有的挖掘和建?；顒?dòng)都想達(dá)到一些解決識(shí)別問(wèn)題的目標(biāo)。如果在戰(zhàn)略性的層次上，挖掘和建?？梢蕴骄亢完U明一個(gè)完整的問(wèn)題域，問(wèn)題或者問(wèn)題域就是根據(jù)挖掘結(jié)果和建?？蚣芩龀龅臎Q策來(lái)解決的。假說(shuō)(Hypothesis)經(jīng)常被用來(lái)表示似乎并未在數(shù)據(jù)中被真正發(fā)現(xiàn)，然而直覺(jué)上卻感覺(jué)是正確的猜想。當(dāng)然，數(shù)據(jù)挖掘的任務(wù)就是要估計(jì)得越精確越好。對(duì)于建模和挖掘而言，在建立解決問(wèn)題方案的系統(tǒng)中，輸入越精確，輸出就越精確，如果所輸入的資料有重大錯(cuò)誤，結(jié)果也必然是錯(cuò)誤的。2023/2/3

16.2.3模型分類

在實(shí)際建立模型時(shí)，我們要依據(jù)建模目的，重點(diǎn)考慮對(duì)象的數(shù)學(xué)特征和數(shù)學(xué)方法。需要注意的是對(duì)同一事物由于對(duì)問(wèn)題的認(rèn)識(shí)程度或建模目的的不同，經(jīng)?？梢詷?gòu)造出不同的模型。我們可以從不同的途徑來(lái)描述模型，下面主要闡述常用的基本的數(shù)據(jù)挖掘模型，利用基本模型經(jīng)過(guò)修改、融合、創(chuàng)新成為需要的模型。這些常用的基本模型是：推理／預(yù)測(cè)模型,關(guān)聯(lián)／系統(tǒng)模型,靜態(tài)／動(dòng)態(tài)模型,定量／定性模型,比較／交互模型建模者在挖掘環(huán)境中所用到的挖掘框架，包含了所有的這些常用模型，框架包含的模型越充分，選擇的恰當(dāng)性就越好。2023/2/316.3數(shù)據(jù)挖掘建模原理16.3.1建模要求建模需要熟練的數(shù)學(xué)技巧、豐富的想象力和敏銳的洞察力，需要大量的調(diào)查研究、借鑒已有模型，尤其要建模者親自“實(shí)踐”、自己動(dòng)手、親自體驗(yàn)。建模一般具有以下要求：34512模型要有足夠的精度，即把本質(zhì)的關(guān)系和規(guī)律反映出來(lái)，去掉非本質(zhì)的內(nèi)容。模型要簡(jiǎn)單實(shí)用、便于處理。建模依據(jù)要充分，即要依據(jù)科學(xué)規(guī)律、經(jīng)濟(jì)規(guī)律等來(lái)建模。對(duì)于模型和建模盡量借鑒標(biāo)準(zhǔn)形式。模型要表示的系統(tǒng)要能操縱和控制，便于檢驗(yàn)和修改。2023/2/316.3.2建模原則在數(shù)據(jù)挖掘建模的過(guò)程中，一般遵守以下基本原則：（1）簡(jiǎn)單性（2）清晰性（3）相關(guān)性（4）準(zhǔn)確性（5）識(shí)別性（6）集成性2023/2/316.3.3簡(jiǎn)化模型常用簡(jiǎn)化模型的方法：34512除去一些變量改變變量的性質(zhì)合并一些變量改變變量間的函數(shù)關(guān)系模型結(jié)構(gòu)的轉(zhuǎn)換6改變約束關(guān)系2023/2/316.3.4建模步驟圖16－5數(shù)據(jù)挖掘建模步驟流程圖2023/2/316.3.5建模素質(zhì)建模是一種積極的思維活動(dòng)，從認(rèn)識(shí)論的角度來(lái)看，是一種極為復(fù)雜且應(yīng)變能力極強(qiáng)的心理活動(dòng)。其中，既有邏輯思維亦有非邏輯思維，因此沒(méi)有統(tǒng)一的模式和固定的方法。但是，建模過(guò)程大多要經(jīng)過(guò)分析與綜合、抽象與概括、比較與類比、系統(tǒng)化與具體化的階段，其中分析與綜合是基礎(chǔ)，抽象與概括是關(guān)鍵。從邏輯思維而言，抽象、歸納、演繹、類比等形式邏輯的思維方法被大量采用，熟悉這些基本方法對(duì)建模會(huì)有很大幫助。2023/2/3從系統(tǒng)模型的要求、建模過(guò)程和建模步驟來(lái)看，要建好模型，應(yīng)該具備下列幾方面的能力：分析綜合能力,抽象概括能力,聯(lián)想洞察能力,運(yùn)用相關(guān)工具的能力,通過(guò)實(shí)踐驗(yàn)證模型的能力2023/2/3稱職的建模者應(yīng)該具備以下幾方面的能力：(1)對(duì)客觀事物或過(guò)程能夠透過(guò)現(xiàn)象抓住本質(zhì)，使得對(duì)問(wèn)題有一個(gè)深刻的理解、清晰的圖景、清楚的層次和明確的輪廓。(2)在數(shù)學(xué)方面應(yīng)有基本訓(xùn)練，要有一定的數(shù)學(xué)修養(yǎng)，并且掌握一套數(shù)學(xué)思路和方法。(3)具有把實(shí)際問(wèn)題與數(shù)學(xué)聯(lián)系起來(lái)的能力，善于把各種現(xiàn)象中的表面差異撇去，而把本質(zhì)的共性提煉出來(lái)。同時(shí)，建模者應(yīng)該注意需要避免的四種傾向是：懶、饞、貪、變。2023/2/3

16.