數(shù)據(jù)分析學(xué)習(xí)筆記

1、大數(shù)據(jù)挖掘：系統(tǒng)方法與實例分析steven.zhuo-健豪學(xué)習(xí)筆記(一) 數(shù)據(jù)挖掘基礎(chǔ)1. MATLAB數(shù)據(jù)挖掘的過程（1） 定義目標(biāo)（2） 準(zhǔn)備數(shù)據(jù)（3） 探索數(shù)據(jù). 趨勢分析. 相互影響分析. 變量選擇（重要性排序）. 特征進行變形. Detect patterns（4） 建立模型模型種類：關(guān)聯(lián)、回歸、分類、聚類、預(yù)測、異常檢測（5） 評估模型（6） 部署模型2. 數(shù)據(jù)的可視化（hist、pie、box 相互混合）3. 數(shù)據(jù)的預(yù)處理(1) 數(shù)據(jù)清洗. 缺失值處理i. 刪除法ii. 插補法（平均值插補、中值插補、回歸插補（線性）、線性插值、回歸插值（非線性）. 噪聲過濾i. 回歸法：用一個函

2、數(shù)擬合數(shù)據(jù)來光滑數(shù)據(jù)ii. 均值平滑法：對于具有序列特征的變量用臨近的若干數(shù)據(jù)的均值來替代原始數(shù)據(jù)的方法iii. 離群點分析：通過聚類等方法來檢測離群點，并將其刪除，從而實現(xiàn)去噪的方法iv. 小波去噪(2) 數(shù)據(jù)集成(3) 數(shù)據(jù)規(guī)約（濃縮）i. 屬性選擇ii. 樣本選擇(4) 數(shù)據(jù)變換（歸一化、標(biāo)準(zhǔn)化）4. 數(shù)據(jù)的探索（有效方法：數(shù)據(jù)可視化）(1) 分布情況探索（hist、pie、box）(2) 分布中心分析（median（中心值）、mode（頻率最高）、max、mean（均值）(3) 數(shù)據(jù)的伸展性分析（極差：判斷用不用歸一化）(方差?。赫f明波動小)(4) 數(shù)據(jù)的形狀分析（偏度）(5) 關(guān)聯(lián)分

3、析（plotmatrix）(6) 數(shù)據(jù)的分組分析（均值、最大值、最小值、異常值）5. 假設(shè)檢驗（卡方檢驗、T檢驗）6. 數(shù)據(jù)回歸(二) 數(shù)據(jù)挖掘算法：回歸算法、關(guān)聯(lián)算法、聚類算法、分類、預(yù)測、異常診斷1. 回歸算法：一元回歸、多元回歸、逐步回歸、Logistic回歸(1) 一元線性：LinearModel(2) 一元非線性回歸：fitnlm(3) 一元多項式回歸：polyfit(4) 多元線性回歸：regress（要先判斷因素是否和因變量線性相關(guān)）(5) 逐步回歸：stepwise(6) Logistic模型（結(jié)果只有0-1，可以用于銀行信用評估）fitglm2. 關(guān)聯(lián)算法：Apriori算法

4、(購物籃分析、商品關(guān)聯(lián)、啤酒尿布)、FP-Growth算法、相關(guān)系數(shù)法3. 聚類(1) K-meams算法（kmeans）（萬能聚類）(2) 層次聚類（Clusterdata）（層次結(jié)構(gòu)圖）（例子：股票分池）(3) 神經(jīng)網(wǎng)絡(luò)（train）(4) 模糊C均值聚類算法（計算隸屬度、類似模糊數(shù)學(xué)）（fcm）(5) 高斯混合聚類（gmdistribution.fit）(6) 聚類過程中類別個數(shù)的確定方法. 閾值法. 輪廓圖法4. 分類：最近鄰（KNN）、貝葉斯、神經(jīng)網(wǎng)絡(luò)、邏輯斯蒂（Logistic）、判斷分析、支持向量機（SVM）、決策樹(1) K-近鄰（ClassificationKNN,fit）(2) 貝葉斯分類、樸素貝葉斯分類（求分類概率）（NaiveBayes.fit）(3) 神經(jīng)網(wǎng)絡(luò)(4) Logistic分類（glm.）(5) 判別分析（Discriminant Analysis 簡稱DA）(ClassificationDiscriminant.fit)(6) 支持向量機(SVM) (超平面，解決多維問題) (svmtrain)(7) 決策樹(ClassificationTree.fit) (8) 分類的評價：正確率、ROC曲線（越快收斂到1越好）5. 預(yù)測算法(1) 灰色預(yù)