Matlab 數(shù)據(jù)分析 課件 康海剛 第3、4章 隨機(jī)模擬、數(shù)據(jù)預(yù)處理

Matlab數(shù)據(jù)分析第3章隨機(jī)模擬3.1隨機(jī)數(shù)的生成1.模擬均勻分布隨機(jī)變量的函數(shù)2.模擬指數(shù)分布隨機(jī)變量的函數(shù)3.模擬正態(tài)分布隨機(jī)變量的函數(shù)3.2蒙特卡羅模擬3.2.1蒙特卡羅模擬估計(jì)面積3.2蒙特卡羅模擬3.2蒙特卡羅模擬3.2.2蒙特卡羅模擬尋求近似圓周率3.2蒙特卡羅模擬3.2.3蒙特卡羅模擬解決生日問題3.3隨機(jī)行為的模擬1.一枚正規(guī)硬幣2.一個(gè)不正規(guī)的骰子3.3隨機(jī)行為的模擬3.3隨機(jī)行為的模擬3.布朗運(yùn)動(dòng)3.4蒙特卡羅模擬應(yīng)用案例：理發(fā)店系統(tǒng)研究1.問題分析2.模型假設(shè)1）60%的顧客只需剪發(fā)，40%的顧客既要剪發(fā)又要洗發(fā)。2）每個(gè)服務(wù)員剪發(fā)需要的時(shí)間為5min，既剪發(fā)又洗發(fā)則需要8min。3）顧客的到達(dá)間隔時(shí)間服從指數(shù)分布。4）服務(wù)過程中服務(wù)員不休息。3.變量說明4.模型建立5.系統(tǒng)模擬（1）狀態(tài)（變量）3.4蒙特卡羅模擬應(yīng)用案例：理發(fā)店系統(tǒng)研究1）等待服務(wù)的顧客數(shù)。2）A是否正在服務(wù)。3）B是否正在服務(wù)。（2）實(shí)體兩名服務(wù)員和多名顧客。（3）事件1）一名新顧客的到達(dá)2）A開始服務(wù)3）A結(jié)束服務(wù)4）B開始服務(wù)5）B結(jié)束服務(wù)（4）活動(dòng)1）顧客排隊(duì)時(shí)間3.4蒙特卡羅模擬應(yīng)用案例：理發(fā)店系統(tǒng)研究2）顧客們到達(dá)的間隔時(shí)間3）A的服務(wù)時(shí)間4）B的服務(wù)時(shí)間6.系統(tǒng)模擬算法設(shè)計(jì)7.系統(tǒng)模擬程序第4章數(shù)據(jù)預(yù)處理4.1認(rèn)識數(shù)據(jù)4.1.1屬性4.1.2離散屬性和連續(xù)屬性4.2數(shù)據(jù)預(yù)處理概述1）數(shù)據(jù)清洗是通過填寫缺失的值、光滑噪聲數(shù)據(jù)、識別或刪除離群點(diǎn)，并解決不一致性等方式來“清洗”數(shù)據(jù)的。2）數(shù)據(jù)集成是把不同來源、格式、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，以便更方便地進(jìn)行數(shù)據(jù)挖掘工作，數(shù)據(jù)集成通過數(shù)據(jù)交換而達(dá)到，主要解決數(shù)據(jù)的分布性和異構(gòu)性的問題。3）數(shù)據(jù)歸約就是得到數(shù)據(jù)集的簡化表示，雖然小得多，但能夠產(chǎn)生同樣的（或幾乎同樣的）分析結(jié)果。4.2數(shù)據(jù)預(yù)處理概述4）數(shù)據(jù)變換是將數(shù)據(jù)從一種表現(xiàn)形式變?yōu)榱硪环N表現(xiàn)形式的過程。4.2.1數(shù)據(jù)清洗1.缺失值處理（1）刪除法刪除法是對缺失值進(jìn)行處理的最原始方法，它將存在缺失值的記錄刪除。（2）插補(bǔ)法它的思想來源是以最可能的值來插補(bǔ)缺失值，比全部刪除不完全樣本所產(chǎn)生的信息丟失要少。1）均值插補(bǔ)。2）回歸插補(bǔ)。3）極大似然估計(jì)。2．噪聲過濾（1）回歸法回歸法是用函數(shù)擬合數(shù)據(jù)來光滑數(shù)據(jù)的。4.2數(shù)據(jù)預(yù)處理概述（2）均值平滑法均值平滑法是指對于具有序列特征的變量用鄰近若干數(shù)據(jù)的均值來替換原始數(shù)據(jù)的方法，如圖4-3所示。（3）離群點(diǎn)分析法離群點(diǎn)分析法是通過聚類等方法來檢測離群點(diǎn)，并將其刪除，從而實(shí)現(xiàn)去噪的方法。4.2數(shù)據(jù)預(yù)處理概述（4）小波去噪法在數(shù)學(xué)上，小波去噪的本質(zhì)是一個(gè)函數(shù)逼近問題，即如何在由小波母函數(shù)伸縮和平移所展成的函數(shù)空間中，根據(jù)提出的衡量準(zhǔn)則，尋找對原信號的最佳逼近，以完成原信號和噪聲信號的區(qū)分。4.2.2數(shù)據(jù)集成4.2數(shù)據(jù)預(yù)處理概述4.2.3數(shù)據(jù)歸約1）屬性選擇是通過刪除不相關(guān)或冗余的屬性（或維）來減少數(shù)據(jù)量的。2）樣本選擇也就是數(shù)據(jù)抽樣。4.2.4數(shù)掘變換1.標(biāo)準(zhǔn)化2.離散化4.3

Matlab與Excel的數(shù)據(jù)交互4.3.1以交互方式導(dǎo)入數(shù)據(jù)1）Matlab工具條：在主頁選項(xiàng)卡中的變量部分，單擊導(dǎo)入數(shù)據(jù)。2）Matlab命令提示符：輸入“uiimport”，在彈出的窗口中選擇需要導(dǎo)入的數(shù)據(jù)文件，如圖4-5所示。4.3

Matlab與Excel的數(shù)據(jù)交互4.3.2炭取和寫入表1.用readtable讀取表格數(shù)據(jù)2.用writetable寫入表格數(shù)據(jù)4.3

Matlab與Excel的數(shù)據(jù)交互4.3.3大型文件和大型數(shù)據(jù)簡介4.3.4數(shù)據(jù)的清理、平滑和分組等1.清除表中的雜亂數(shù)據(jù)和缺失數(shù)據(jù)（1）加載樣本數(shù)據(jù)從一個(gè)逗號分隔的文本文件messy.csv加載樣本數(shù)據(jù)。（2）匯總表使用summary函數(shù)創(chuàng)建匯總表來查看每個(gè)變量的數(shù)據(jù)類型、說明、單位和其他描述性統(tǒng)計(jì)量。（3）查找具有缺失值的行顯示表T中至少含有一個(gè)具有缺失值的行子集。（4）替換缺失值指示符清除相應(yīng)數(shù)據(jù)，將代碼-99所指示的缺失值替換標(biāo)準(zhǔn)的Matlab數(shù)值缺失值指示符NaN。（5）刪除具有缺失值的行創(chuàng)建一個(gè)新表T3，該表僅包含T中不帶缺失值的行。（6）組織數(shù)據(jù)先根據(jù)C列以降序?qū)3的行進(jìn)行排序，然后根據(jù)A列以升序排序。4.3

Matlab與Excel的數(shù)據(jù)交互2.數(shù)據(jù)平滑和離群值檢測（1）移動(dòng)均值方法移動(dòng)均值方法是分批處理數(shù)據(jù)的方法，通常是為了從統(tǒng)計(jì)角度表示數(shù)據(jù)中的相鄰點(diǎn)。4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互（2）其他的平滑方法1）smoothdata函數(shù)提供幾種平滑選項(xiàng)，如Savitzky-Golay方法，這是一種常用的信號處理平滑技術(shù)。2）穩(wěn)健的Lowess方法是另一種平滑方法，尤其適用于同時(shí)包含噪聲和離群值的數(shù)據(jù)。（3）檢測離群值數(shù)據(jù)中的離群值可能使數(shù)據(jù)處理結(jié)果和其他計(jì)算量嚴(yán)重失真。4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互（4）非均勻數(shù)據(jù)并非所有數(shù)據(jù)都由等間隔的點(diǎn)組成，這會影響數(shù)據(jù)處理的方法。4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互4.3

Matlab與Excel的數(shù)據(jù)交互3.拆分?jǐn)?shù)據(jù)變量及應(yīng)用（1）加載電力中斷數(shù)據(jù)示例文件