數(shù)據(jù)分析展現(xiàn)與語(yǔ)言

法律【

】

和幻燈片為煉數(shù)成金網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散播，違者將可能被法律和經(jīng)濟(jì)責(zé)任。課程詳情

煉數(shù)成金培訓(xùn)http:

2013.3.312DATAGURU專業(yè)數(shù)據(jù)分析分類：分類的意義傳統(tǒng)意義下的分類：生物物種：天氣預(yù)報(bào)決策：yes

or

no分類的傳統(tǒng)模型分類（判別分析）與聚類有什么差別？2013.3.313DATAGURU專業(yè)數(shù)據(jù)分析常見分類模型與算法線性判別法距離判別法分類器決策樹支持向量機(jī)(SVM)神經(jīng)網(wǎng)絡(luò)2013.3.314DATAGURU專業(yè)數(shù)據(jù)分析線性判別法（Fisher）例子：天氣預(yù)報(bào)數(shù)據(jù)G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2)x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8)x2=c(3.2,0.4,2.0,2.5,0.0,12.7,-5.4,-2.5,1.3,6.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0)a=data.frame(G,x1,x2)plot(x1,x2)text(x1,x2,G,adj=-0.5)2013.3.315DATAGURU專業(yè)數(shù)據(jù)分析線性判別法的原理用一條直線來劃分學(xué)習(xí)集（這條直線一定存在嗎？）然后根據(jù)待測(cè)點(diǎn)在直線的哪一邊決定它的分類2013.3.316DATAGURU專業(yè)數(shù)據(jù)分析MASS包與線性判別函數(shù)lda()library(MASS)ld=lda(G~x1+x2)ld2013.3.317DATAGURU專業(yè)數(shù)據(jù)分析分類判斷z=predict(ld)newG=z$classnewG[1]

11

1

1

1

2

11

1

1

2

22

2

1

2

2

2

2

2Levels:

1

2cbind=(G,z$x,newG)y=cbind(G,z$x,newG)y2013.3.318DATAGURU專業(yè)數(shù)據(jù)分析距離判別法原理：計(jì)算待測(cè)點(diǎn)與各類的距離，取最短者為其所屬分類馬氏距離（

p445，為什么不用歐氏距離？），計(jì)算函數(shù)mahalanobis(

)2013.3.319DATAGURU專業(yè)數(shù)據(jù)分析算法情形一（p445）2013.3.3110DATAGURU專業(yè)數(shù)據(jù)分析算法情形二（例子（p447）p449）2013.3.3111DATAGURU專業(yè)數(shù)據(jù)分析分類器原理（p455)2013.3.3112DATAGURU專業(yè)數(shù)據(jù)分析結(jié)果對(duì)于總體協(xié)方差矩陣相同的情形2013.3.3113DATAGURU專業(yè)數(shù)據(jù)分析結(jié)果對(duì)于總體協(xié)方差矩陣不同的情形2013.3.3114DATAGURU專業(yè)數(shù)據(jù)分析程序與例子利用P457分類器判斷

郵件2013.3.3115DATAGURU專業(yè)數(shù)據(jù)分析多分類的情況多分類下的距離判別法（多分類下的

（p452）p460）2013.3.3116DATAGURU專業(yè)數(shù)據(jù)分析決策樹decision

tree決策樹輸入：學(xué)習(xí)集輸出：分類規(guī)則（決策樹）2013.3.3117DATAGURU專業(yè)數(shù)據(jù)分析例子用SNS社區(qū)中不真實(shí)賬號(hào)檢測(cè)的例子說明如何使用ID3算法構(gòu)造決策樹。為了簡(jiǎn)單起見，

假設(shè)訓(xùn)練集合包含10個(gè)元素。其中s、m和l分別表示小、中和大。2013.3.3118DATAGURU專業(yè)數(shù)據(jù)分析信息增益設(shè)L、F、H和R表示日志密度、好友密度、是否使用真實(shí)頭像和賬號(hào)是否真實(shí)，下面計(jì)算各屬性的信息增益。2013.3.3119DATAGURU專業(yè)數(shù)據(jù)分析根據(jù)信息增益選擇

屬性因此日志密度的信息增益是0.276。用同樣方法得到H和F的信息增益分別為0.033和0.553。因?yàn)镕具有最大的信息增益，所以第一次

選擇F為

屬性，

后的結(jié)果如下圖表示：2013.3.3120DATAGURU專業(yè)數(shù)據(jù)分析遞歸+分而治之屬性，最終就可以得到整個(gè)在上圖的基礎(chǔ)上，再遞歸使用這個(gè)方法計(jì)算子節(jié)點(diǎn)的決策樹。這個(gè)方法稱為ID3算法，還有其它的算法也可以產(chǎn)生決策樹對(duì)于特征屬性為連續(xù)值，可以如此使用ID3算法：先將D中元素按照特征屬性排序，則每?jī)蓚€(gè)相鄰元素的中間點(diǎn)可以看做潛在

點(diǎn)，從第一個(gè)潛在

點(diǎn)開始，

D并計(jì)算兩個(gè)集合的期望信息，具有最小期望信息的點(diǎn)稱為這個(gè)屬性的最佳

點(diǎn)，其信息期望作為此屬性的信息期望。2013.3.3121DATAGURU專業(yè)數(shù)據(jù)分析R語(yǔ)言實(shí)現(xiàn)決策樹：rpart擴(kuò)展包以鳶尾花數(shù)據(jù)集作為算例說明iris.rp

=

rpart(Species~.,

data=iris,method="class")plot(iris.rp,

uniform=T,branch=0,margin=0.1,

main=“

ClassificationTree\nIris

Species

by

Petal

and

SepalLength")text(iris.rp,

use.n=T,

fancy=T,

col="blue")Rule

1:

if

Petal.Length>=2.45&Petal.Width<1.75,

then

it

is

versicolor(0/49/5)Rule2:

if

Petal.Length>=2.45&Petal.Width>=1.75,

then

it

is

virginica

(0/1/45)Rule

3:

if

Petal.Length<2.45,

then

it

is

setosa

(50/0/0)2013.3.3122DATAGURU專業(yè)數(shù)據(jù)分析煉數(shù)成金逆向

式網(wǎng)絡(luò)課程Dataguru（煉數(shù)成金）是專業(yè)數(shù)據(jù)分析，提供教育，，內(nèi)容，社區(qū)，，數(shù)據(jù)分析業(yè)務(wù)等服務(wù)。的課程采用新興的互聯(lián)網(wǎng)教育形式，獨(dú)創(chuàng)地發(fā)展了逆向式網(wǎng)絡(luò)培訓(xùn)課程模式。既繼承傳統(tǒng)教育重學(xué)習(xí)氛圍，重競(jìng)爭(zhēng)壓力的特點(diǎn)，同時(shí)又發(fā)揮互聯(lián)網(wǎng)的打破時(shí)空限制，把天南地北志同道合的朋友組織在一起交流學(xué)習(xí)，使到原先孤立的學(xué)習(xí)組