清華大學(xué)大數(shù)據(jù)課程第4次課數(shù)據(jù)挖掘技術(shù)145

2022年-2023年翻i

清華大默轆觸第4

WWO145

將華桂均城股髏鍬骸搬

2020/11/7

麒術(shù)145

2要°鄴

0魏桐娥

0魏就理

0^1(Classification)

0MI(Cluster)

0(AssociationRule)

0回向(Regression)

0145

0What?

ii魏懶取義

0Why?

U魏挑的魏

0How?

卜些魏可以賺糊?

麟大鈦U解融硼

榭加45

教版囑奴

0什么是敖赫區(qū)(DataMining)?

veviousiyiinKnown

i4oiiihugeHiiiouiitol

mining)indatabase(KDD),data/patternanalysis,

lecisio^supXpAoits|yrsteniknowledgeextractiondata

ingandiiiibrniationharvestingetc.

DataMiningProcess

0Simplicity

UEg,(association)nilelength,(decision)treesize

0Certainty

UE.g.,confidence,P(A|B)二#(AandB)/#(B),classification

reliabilityoiaccuracy,nilestrength,etc.

0Utility

uPotentialusefiilness,e.g,,support(association),noise

threshold(description)

0Novelty

iiNotpreviouslyknown,surprising(usedtoremove

redundantmles)

榭加45

加糠懶械?

L魏量大

2.缺乏理以啾

產(chǎn)埔的假瓶者

ScienceParadigms

?Thousandyearsago

sciencewasempirical

descnbngMlutalpheno(nena

(Lastfewhundredyears:目~」

theoreticalbranch

USIOQmodelsgeneftlizations

?Lailfewdecades：

acomputationalbranch

simulabngcomplexphenooiend

,Today:

dataexploration(eScience)

umlytheory,expenmtandsmlabon

usingdatafnanagemeotandstatistics

-DMcipturedbyimtrumenti

OfgtnetaledbymiMoi

?Procnwdbyiofkvf

?ScEmilyzMdMM*/gs

狗轅鼬檻？

0Wearedrowningindata,butstarvinginknowledge

UDataexplosion:Automateddatacollectiontoolsandmaturedatabase

teclmologyleadtotremendousanioimtsofdataaccuniulatedand/ortobe

analyzedindatabases,datawarehouses,andotherinformationrepositories.

就嗨麟轆中;不酬定合適腆第

n金Rtn飄蹄既

n蒯n資金M

腳

n人嘛n關(guān)系柵兒就告

生毓期蒯藉艇理謔

臂上魁期M耀部

0145

fl

很

刈

軟

修

行家

五

W“A6

T

Fs

小

山

府

建

餞

^n%是％

T^o

4、.9

分

使

分

照

折

>月UMUM

^^rnB

M^MY

立

省

網(wǎng)

他

模

利,P^XS

,/A

務(wù)

電

子

也

叁S*

T

殳

去

奮

租

的

>DNArI1,購(gòu)□E^J

一

八I

y■x

V

國(guó)

土

一

口

作

、

添￡

>M尸

>A

零

險(xiǎn)

隹

保

口

、

A

袂黃枇DecisionTrees序列分析SequenceAnalysis

|rcome>$4iK?須向性分析

，耕儺I

?mMm

?目麻海

,偏岫淅

HA分所

折

向性

s分

分加

口

戶

陽(yáng)

保

四?

計(jì)

標(biāo)

揚(yáng)

I市

nw

出

別

tf也

foctorlfactor!

翻擾145

0翹預(yù)處理

撼蹄理（颼精或不一減新㈱

uttM（州麴軻城就出）

uBU（tB）

ii麴財(cái)（tt^d

0款臧羸質(zhì)瞞能就整破榭線）

口分類、糕糠精、剛瑜虬文棣極

04t部（溯河如端就旗飄）

0彌球示（可視化和%好東林）

將華桂懈城股髏鍬骸搬

麒術(shù)145

：花聯(lián)湍漫致赭K戲義

?

U速對(duì)i：correctorwrong,accurateornot

utfi：notrecordedunavailable

U一改性:somemodifiedbutsomenot,dangling

Uupdate?

U可信『howtestablethedataarecorrect?

u可1譯出howeasilythedatacanbeunderstood?

桂城股髏鍬骸搬

W145

裁赫娜究好”

0麴翅

U本弱期伽樣舒魏,跚刀弧西,［財(cái)

0ttM

U毓多林瓣、魏立淋明

0教微機(jī)

U蛻崢躲

0教娜為

。解媵赫膝赫示,訓(xùn)群，眄以儆桶軸近

砒操

0魏高刎

U轆闞的H尤般懶分獨(dú)魏的減化版糠

.一寶轆楸幢要

蟠佚牌鍬穎轆

撇狀145

mu

0KB：Wrt制齦人赭撼娥

"漉性:篇性板默睛只有糅麴

p例如:phone--5;

。霜:包含好、麻妹睛便

p例如:salary=-10

u不-長(zhǎng)性：

p例如：age=42,birthday=03-07-2010

uM：

P陋:伎麻-技就微爆性

麟大鈦U解融硼

榭加45

供大值HD翻岬MVUSS叫

Data)

0魏杼版涯的

端如:ttWt,4版軸觸字M

楠豌,比如轆耕的廊翻人

0腆空翻雕

uim

兇加已械財(cái)一政減麻

姻淅鬻破械於的魏

U楠入斷他敖郵騙福魏破楝

命人

謝敬招的赧髓防口茄減

0空趟好我鞘耐卜上

—雌腳4丁姍

板㈱45

她林家找

0MO：當(dāng)赫號(hào)就琳粒肘假部

攝任笳妍介,韓懦性軼！M的百

網(wǎng)和,剛放赫耗。

0人工蠟至雌:工觸尢可行性低

0發(fā)舟一竹般士集放觥:此如使刖nknown

機(jī)-8

0使臊忸用罐賤空趟

0佞耐轅澈翻一耕暇肺神施

。使赫蘸髓赫堂雕:Ofryes/on4M

解溯端糠于糊的旅

將華桂懈城股髏鍬骸搬

麒術(shù)145

好：-械量騏憫險(xiǎn)媼俁轆差

0腆不止端睡的雕

U魏雇工期腱

iiptA*|

uMill

u魅睛

uM”的不T

0朧如蹄理赫搦橫

utm

u不涯的M

u不一趟轆

將華桂懈城股髏鍬骸搬

麒術(shù)145

Ufirstsortdataandpartitioninto(eqni-deptli)bins

uthenonecansmoothbybinmeans,smoothbybinmedian,

smoothbybinboundaries,etc.

udetectandremoveoutliers

0人棍格

udetectsuspiciousvaluesandcheckbyhuman(e.g,,deal

withpossibleoutliers)

0釉

usmoothbyfittingthedataintoregressionfunctions

W145

01tEquabwidth(distance)partitioning:

uDividestherangeinto^intervalsofequalsize:iinifonn

grid

uifAandBarethelowestandhighestvaluesoftheattribute,

thewidthofintervalswillbe:正二0-A)/N.

UThemoststraightforward,butoutliersmaydominate

presentation

uSkeweddataisnothandledwell.

0^1Equal-depth(frequency)partitioning:

uDividestherangeintoNintervals,eachcontaining

approximatelysamenuniberofsamples

uGooddatascaling

uManagingcategoricalattributescanbetricky.

W145

0price斷轎后發(fā)加俾生就）：4,8,15,21,24,25

,28,34

0酚為（將M）1

U制:4,8,15

iiB21,21,24

u|1：25,28,34

0mm：

”1:9,9,9

u敬:22,22,22

u郁:29,29,29

0UWm

fill:4,4,15

ii12:2感|fJ「；卜」［.

u13:25,25,34

解大默赫南哪■

榭加45

H：CMMAnalysis

腐個(gè)斜的魏腿中怫腦

略

S1立占

小

》施摩類劫激跚鼓。譴啦

舸能包含翻瞬感

從工醉查誕細(xì)幼

*施雅髏瞅

微木145

ReHion

噓誦艇赫的魏靴的麟,a

舸期一個(gè)變量頻另一個(gè)變量。

0?

u祓舸幫嬲轆俁

uMgf

0屬性解

盹關(guān)腦

0轆1復(fù)（

0轆闕1

U薪、睞幀翩佛

耀牌鍬i

觸術(shù)145

一支賊初

0W：精轆憫耕。林端M

、|虬糕

011：對(duì)魏的匯獻(xiàn)糅。

0ttB(M):撕懶介扇囑

層fcH林融"躲"tto

0MM：牖性翹撕例版,貶落

入一小卜獻(xiàn)披酮嗣、-最大'Z-Score

、機(jī)像施媼化。

將華桂懈城股髏鍬骸搬

麒術(shù)145

嬴

匿

空

a

a瞽

一

天

x

s

2

0德

K

g

3苔

)

R

T

l

芟音衣

交：：

8

8

V

7

0

.

K

一II——三

V

+

a予

I

2