矩陣分析-主成分分析

第二章

數(shù)據(jù)預(yù)處理2013年9月18日第二章

數(shù)據(jù)預(yù)處理WhyData

PreprocessingDataIntegrationMissing

ValueNoisy

DataDataReduction2.1

Why

Data

Preprocessing?高質(zhì)量決策來自于高質(zhì)量數(shù)據(jù)（Quality

decisions

come

from

quality

data）.數(shù)據(jù)質(zhì)量的含義正確性（Correctness）一致性（Consistency）完整性（Completeness）可靠性（Reliability）2.1

Why

Data

Preprocessing?數(shù)據(jù)錯誤的不可避免性數(shù)據(jù)輸入和獲得過程數(shù)據(jù)錯誤的不可避免性數(shù)據(jù)集成所表現(xiàn)出來的錯誤數(shù)據(jù)傳輸過程所引入的錯誤據(jù)統(tǒng)計有錯誤的數(shù)據(jù)占總數(shù)據(jù)的5%左右其他類型的數(shù)據(jù)質(zhì)量問題:Data

needs

tobe

integrated

from

different

sourcesMissing

valuesNoisy

and

inconsistent

valuesDatais

not

atthe

right

level

ofaggregation數(shù)據(jù)質(zhì)量問題的分類數(shù)據(jù)質(zhì)量問題單數(shù)據(jù)源問題多數(shù)據(jù)源問題模式相關(guān) 實例相關(guān)粗劣的模式設(shè)計）——拼寫錯誤和模式設(shè)計）的數(shù)據(jù)）——唯一值——冗余/重復(fù)——命名沖突——不一致的聚集層次——參考完整性——矛盾的數(shù)據(jù)——結(jié)構(gòu)沖突——不一致的時間點…………模式相關(guān)（缺乏完整性約束，

（數(shù)據(jù)輸入錯誤）

（不同的數(shù)據(jù)模型實例相關(guān)（矛盾的或不一致包含數(shù)據(jù)清理過程的三個主要領(lǐng)域數(shù)據(jù)倉庫（data

warehousing）數(shù)據(jù)庫中的知識發(fā)現(xiàn)(kdd)總體數(shù)據(jù)質(zhì)量管理(total

data

quality

management,TDQM)2.2 Data

IntegrationIntegratedatafrommultiplesourcesinto

a

common

format

fordata

mining.Note:Agooddatawarehousehasalready

taken

careof

this

step.Data

WarehouseServerOLTPDBMSsOther

DataSourcesExtract,clean,

transform,

aggregate,

load,

updateData

MartsData

Integration

(Contd.)Problem:

Heterogeneous

schema

integrationDifferent

attribute

namesDifferent

units:

Sales

in

$,

sales

in

Yen,

sales

in

DMcidnamebyear1Jones19602Smith19743Smith1950Customer-IDstate1NY2CA3NYData

Integration

(Contd.)Problem:

Heterogeneous

schema

integrationDifferent

scales:

Sales

in

dollars

versus

sales

in

penniesDerived

attributes:

Annual

salary

versus

monthly

salarycidmonthlySalary150002240033000cidSalary650,0007100,000840,000Data

Integration

(Contd.)Problem:

Inconsistency

due

to

redundancyCustomer

with

customer-id

150

has

three

childrenin

relation1

and

fourchildren

in

relation2Computationofannualsalaryfrommonthly

salaryinrelation1doesnotmatch“annual-

salary”

attribute

in

relation2cidnumChildren13cidnumChildren14cidmonthlySalary1500026000cidSalary160,000280,0002.3

Missing

Values常常會有一些記錄的某些屬性值不知道的情況出現(xiàn).出現(xiàn)缺失值的原因:Attributedoes

not

apply

(e.g.,

maiden娘家姓

name)Inconsistencywith

otherrecorded

dataEquipment

malfunctionHumanerrorsAttribute

introduced

recently

(e.g.,

email

address)Missing

Values:

ApproachesIgnore

the

recordComplete

themissing

value:Manual

completion:

Tedious

and

likely

to

be

infeasibleFill

in

a

global

constant,

e.g.,

“NULL”,

“unknown”Usethe

attribute

meanConstruct

a

data

mining

model

that

predicts

the

missing

value2.3 Noisy

DataExamples:Faulty

data

collectioninstrumentsData

entry

problems,

misspellingsData

transmission

problemsTechnology

limitationInconsistency

in

naming

conventions（命名習(xí)慣）Duplicate

records

with

different

values

for

a

commonfieldNoisy

Data:

Remove

OutliersNoisy

Data:

SmoothingxX1yY1 Y1’

Noisy

Data:

NormalizationScaledatatofallwithinasmall,specified

rangeLeave

outextreme

order

statisticsMin-maxnormalizationZ-score

normalizationNormalization

by

decimal

scaling2.4 Data

ReductionProblem:Data

might

not

be

at

the

right

scale

for

analysis.

Example:

Individual

phone

callsversus

monthly

phone

callusageComplex

data

mining

tasks

might

run

a

very

longtime.Example:

Multi-terabyte

data

warehouses

Onedisk

drive:

About

20MB/sDataReduction:

Attribute

SelectionSelectthe

“relevant”

attributes

for

the

data

mining

taskIf

there

are

k

attributes,

there

are

2k-1

different

subsetsExample:{salary,

children,

wyear},

{salary,

children},{salary,

wyear},

{children,

wyear},

{salary},

{children},{wyear}Choice

of

the

right

subset

depends

on:Data

mining

taskUnderlying

probability

distributionAttribute

Selection

(Contd.)Howtochoose

relevantattributes:Forward

selection:

Select

greedily

oneattribute

ata

timeBackward

elimination:

Start

with

all

attributes,

eliminate

irrelevant

attributesCombination

of

forward

selection

and

backward

eliminationData

Reduction:

Parametric

ModelsMain

idea:Fita

parametric

model

to

the

data

(e.g.,

multivariate

normal

distribution)Store

the

modelparameters,

discard

the

data

(except

foroutliers)Parametric

Models:

ExampleInstead

of

storing

(x,y)pairs,storeonly

thex-value.Thenrecomputethe

y-value

usingy

=ax

+

bxyData

Reduction:

SamplingChoosearepresentativesubsetofthe

dataSimplerandomsamplingmayhaveverypoor

performance

inthe

presence

of

skewData

Reduction:

Sampling

(Contd.)Stratified

sampling(分層取樣):

Biased

samplingExample:

Keep

population

group

ratiosExample:

Keep

minority

population

group

countData

Reduction:

Histograms(柱狀圖)Dividedataintobucketsandstoreaverage(sum)

for

each

bucketCanbeconstructed“optimally”foroneattribute

using

dynamic

programmingExample:Dataset:

1,1,1,1,1,1,1,1,2,2,2,2,3,3,4,4,5,5,6,6,7,7,8,8,9,9,10,10,11,11,12,12Histogram:

(range,

count,

sum)(1-2,12,16),

(3-6,8,36),

(7-9,6,48),

(10-12,6,66)Histograms

(Contd.)Equal-width

histogramDivides

the

domainofan

attribute

into

k

intervals

of

equal

sizeInterval

width

=(Max

–

Min)/kComputationally

easyProblems

withdata

skew

and

outliersExample:Dataset:

1,1,1,1,1,1,1,1,2,2,2,2,3,3,4,4,5,5,6,6,7,7,8,8,9,9,10,10,11,11,12,12Histogram:

(range,count,

sum)(1-3,14,22),

(4-6,6,30),

(7-9,6,48),

(10-12,6,66)Histograms

(Contd.)Equal-depth

histogramDivides

the

domainofan

attribute

into

k

intervals,

each

containing

thesame

number

of

recordsVariable

interval

widthComputationally

easyExample:Dataset:

1,1,1,1,1,1,1,1,2,2,2,2,3,3,4,4,5,5,6,6,7,7,8,8,9,9,10,10,11,11,12,12Histogram:

(range,

count,

sum)(1,8,8),

(2-4,8,22),

(5-8,8,52),

(9-12,8,84)Data

Reduction:

DiscretizationSame

concept

as

histogramsDivide

domain

of

a

numerical

attribute

into

intervals.Replace

attribute

value

with

label

for

interval.Example:Dataset(age;salary):(25;30,000),(30;80,000),(27;50,000),(60;70,000),(50;55,000),(28;25,000)Discretized

dataset

(age,

discretizedSalary):

(25,low),(30,high),(27,medium),(60,high),

(50,medium),(28,low)Data

Reduction:

Natural

HierarchiesNatural

hierarchies

on

attributes

can

be

used

toaggregate

data

along

the

hierarchy.Replace

low-

level

concepts

withhigh-level

conceptsExample

replacements:Product

Nameby

categoryCity

by

stateIndustryCategoryProductCountryStateCityYearQuarterMonth

WeekDayAggregation:

ExamplecidDateAmount13/1/2000$15013/5/2000$5013/29/2000$20014/2/2000$30014/6/2000$20023/2/2000$10023/5/2000$25023/10/2000$10023/11/2000$5024/7/2000$20034/2/2000$30043/17/2000$25044/25/2000$100cidMonthYearAmountVisits132000$4003142000$5002232000$5004242000$2001342000$3001432000$2501442000$1001Data

Reduction:

OtherMethodsPrincipal

component

analysisFourier

transformationWavelet

transformation主成分分析(Principal

Component

Analysis)在許多領(lǐng)域的研究與應(yīng)用中，往往需要對反映事物的多個變量進行大量的觀測，收集大量數(shù)據(jù)以便進行分析尋找規(guī)律。多變量大樣本無疑會為研究和應(yīng)用提供了豐富的信息，但也在一定程度上增加了數(shù)據(jù)采集的工作量，更重要的是在大多數(shù)情況下，許多變量之間可能存在相關(guān)性，從而增加了問題分析的復(fù)雜性，同時對分析帶來不便。如果分別對每個指標進行分析，分析往往是孤立的，而不是綜合的。盲目減少指標會損失很多信息，容易產(chǎn)生錯誤的結(jié)論。主成分分析因此需要找到一個合理的方法，在減少需要分析的指標同時，盡量減少原指標包含信息的損失，以達到對所收集數(shù)據(jù)進行全面分析的目的。由于各變量間存在一定的相關(guān)關(guān)系，因此有可能用較少的綜合指標分別綜合存在于各變量中的各類信息。主成分分析與因子分析就屬于這類降維的方法。主成分分析與因子分析是將多個實測變量轉(zhuǎn)換為少數(shù)幾個不相關(guān)的綜合指標的多元統(tǒng)計分析方法。主成分分析例1：生產(chǎn)服裝有很多指標，比如袖長、肩寬、身高等十幾個指標，服裝廠生產(chǎn)時，不可能按照這么多指標來做，怎么辦？一般情況，生產(chǎn)者考慮幾個綜合的指標，象標準體形、特形等。例2：企業(yè)經(jīng)濟效益的評價，它涉及到很多指標。例百元固定資產(chǎn)原值實現(xiàn)產(chǎn)值、百元固定資產(chǎn)原值實現(xiàn)利稅，百元資金實現(xiàn)利稅，百元工業(yè)總產(chǎn)值實現(xiàn)利稅，百元銷售收入實現(xiàn)利稅，每噸標準煤實現(xiàn)工業(yè)產(chǎn)值，每千瓦時電力實現(xiàn)工業(yè)產(chǎn)值，全員勞動生產(chǎn)率，百元流動資金實現(xiàn)產(chǎn)值等，我們要找出綜合指標，來評價企業(yè)的效益。主成分分析例3：假定你是一個公司的財務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動資金、每一筆借貸的數(shù)額和期限、各種稅費、工資支出、原料消耗、產(chǎn)值、利潤、折舊、職工人數(shù)、職工的分工和教育程度等等。如果讓你向上司介紹公司狀況，你能原封不動地介紹所有指標和數(shù)字嗎？當然不能。你必須要對各個方面作出高度概括，用一兩個指標簡單明了地說清楚情況。主成分分析很多應(yīng)用都會遇到有很多變量的數(shù)據(jù)，這些數(shù)據(jù)的共同特點是變量很多，在如此多的變量之中，有很多是相關(guān)的。因此我們希望從中綜合出一些少數(shù)主要的指標，這些指標所包含的信息量又很多。這些特點，使我們在研究復(fù)雜的問題時，容易抓住主要矛盾。如何才能找出綜合指標？主成分分析由于實測的變量間存在一定的相關(guān)關(guān)系，因此有可能用較少數(shù)的綜合指標分別綜合存在于各變量中的各類信息，而綜合指標之間彼此不相關(guān)，即各指標代表的信息不重疊。綜合指標稱為主成分（提取幾個主成分）。若有一些指標

X1

,

,

XP

，取綜合指標即它們的線性組合F，當然有很多，我們希望線性組合F包含很多的信息，即var(F)最大，這樣得到F記為

F1

，然后再找F2

，F(xiàn)1

與F2

無關(guān)，以此類推，我們找到了一組綜合變量

F1

,

F2

,

,

Fm

，這組變量基本包含了原來變量的所有信息。-4-2024-4-2024主成分分析主成分分析在數(shù)據(jù)挖掘領(lǐng)域，以及圖像處理、通訊技術(shù)等信息處理領(lǐng)域，主成分分析是很常用的一種方法通過對一組變量的幾種線性組合來解釋這組變量的方差和協(xié)方差結(jié)構(gòu)，以達到數(shù)據(jù)的降維和數(shù)據(jù)的解釋的目的。成績數(shù)據(jù)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語的成績?nèi)缦卤恚ú糠郑?。?題目前的問題是，能否將該數(shù)據(jù)的6個變量用一兩個綜合變量來表示？這一兩個綜合變量包含了多少原來的信息？能不能利用找到的綜合變量來對學(xué)生排序？這一類數(shù)據(jù)所涉及的問題可以推廣到對其他應(yīng)用的分析、排序、判別和分類等問題。主成分分析例中的數(shù)據(jù)點是六維的，即每個觀測值是6維空間中的一個點。我們希望將6維空間用低維空間表示。先假定只有二維，即只有兩個變量，它們由橫坐標和縱坐標所代表；因此每個觀測值都有相應(yīng)于這兩個坐標軸的兩個坐標值；如果這些數(shù)據(jù)形成一個橢圓形狀的點陣，那么這個橢圓有一個長軸和一個短軸。在短軸方向上，數(shù)據(jù)變化很少；

在極端的情況，短軸如果退化成一點，那只有在長軸的方向才能夠解釋這些點的變化了；這樣，由二維到一維的降維就自然完成了。主成分分析當坐標軸和橢圓的長短軸平行，那么代表長軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標軸通常并不和橢圓的長短軸平行。因此，需要尋找橢圓的長短軸，并進行變換，使得新變量和橢圓的長短軸平行。如果長軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個變量（舍去次要的一維），降維就完成了。橢圓（球）的長短軸相差得越大，降維也越有道理。-4-2024-4-2024主成分分析對于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。首先找出高維橢球的主軸，再用代表大部分數(shù)據(jù)信息的最長幾個軸作為新變量；這樣，就基本完成了主成分分析。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，稱為主成分(principalcomponent)。主成分分析正如二維橢圓有兩個主軸，三維橢球有三個主軸一樣，有幾個變量，就有幾個主成分。選擇越少的主成分，降維幅度就越大。什么是降維標準呢？

那就是這些被選的主成分所代表的主軸的長度之和占主軸長度總和的大部分。有些研究工作表明，所選的主軸總長度占所有主軸長度之和的大約85%即可，其實，這只是一個大體的說法；具體選多少個，要看實際情況而定。對于上面的數(shù)據(jù)，主成分分析的結(jié)果這里的Initial

Eigenvalues就是這里的六個主軸長度，又稱特征值（數(shù)據(jù)相關(guān)陣的特征值）。頭兩個成分特征值累積占了總方差的81.142%。后面的特征值的貢獻越來越少。T

o

t

al

V

a

r

i

a

nc

e

E

x

p

l

ai

n

e

dComponentInitial

EigenvaluesExtractionSumsofSquaredLoadingsTotal%

ofVarianceCumulative

%Total%

ofVarianceCumulative

%13.73562.25462.2543.73562.25462.25421.13318.88781.1421.13318.88781.1423.4577.61988.7614.3235.37694.1375.1993.32097.4576.1532.543100.000Extraction

Method:

Principal

Component

Analysis.特征值的貢獻還可以從碎石圖看出Scree

Plot65431 2Component

Number43210怎么解釋這兩個主成分。前面說過主成分是原始六個變量的線性組合。是怎么樣的組合呢？具體結(jié)果見下表。ComponentMatri

xaComponent123456MATH-.806.353-.040.468.021.068PHYS-.674.531-.454-.240-.001-.006CHEM-.675.513.499-.181.002.003LITERAT.893.306-.004-.037.077.320HISTORY.825.435.002.079-.342-.083ENGLISH.836.425.000.074.276-.197Extraction

Method:

Principal

Component

Analysis.

a.

6

components

extracted.這里每一列代表一個主成分作為原來變量線性組合的系數(shù)（比例）。比如第一主成分作為數(shù)學(xué)、物理、化學(xué)、語文、歷史、英語這六個原先變量的線性組合，系數(shù)（比例）為-0.806,

-0.674,-0.675,

0.893,0.825,0.836。如用x1,x2,x3,x4,x5,x6分別表示原先的六個變量，而用y1,y2,y3,y4,y5,y6表示新的主成分，

那么，

第一和第二主成分

y1,y2

同原來

6

個變量

x1,x2,x3,x4,x5,x6與的關(guān)系為：y1=

-

0.806x1

-

0.674x2

-

0.675x3

+

0.893x4

+

0.825x5

+

0.836x6y2= 0.353x1

+

0.531x2

+

0.513x3

+

0.306x4

+

0.435x5

+

0.425x6這些系數(shù)稱為主成分載荷（loading），它表示主成分和相應(yīng)的原先變量的相關(guān)系數(shù)。比如y1表示式中x1的系數(shù)為-0.806，這就是說第一主成分和數(shù)學(xué)變量的相關(guān)系數(shù)為-0.806。相關(guān)系數(shù)(絕對值）越大，主成分對該變量的代表性也越大?？梢钥闯?，第一主成分對各個變量解釋得都很充分。而最后的幾個主成分和原先的變量就不那么相關(guān)了。主成分分析主成分分析的一些注意事項主成分分析從原理上是尋找橢球的所有主軸。因此，原先有幾個變量，就有幾個主成分?？梢钥闯?，主成分分析都依賴于原始變量，也只能反映原始變量的信息。所以原始變量的選擇很重要。另外，如果原始變量都本質(zhì)上獨立，那么降維就可能失敗，這是因為很難把很多獨立變量用少數(shù)綜合的變量概括。數(shù)據(jù)越相關(guān)，降維效果就越好。在得到分析的結(jié)果時，并不一定會都得到如我們例子那樣清楚的結(jié)果。這與問題的性質(zhì)，選取的原始變量以及數(shù)據(jù)的質(zhì)量等都有關(guān)系數(shù)學(xué)模型設(shè)有n個數(shù)據(jù)樣本，每個樣本觀測p個變量（指標）：X1，X2，…，XP，得到原始數(shù)據(jù)矩陣：=（X1，X2，…，XP）i

=

1,

…,

p

X

=

x2

p

x11

x21

x12

x1

p

x22

xn1

xn2

xnp

xni

其中，X

i＝

x2i

,

x1i

數(shù)學(xué)模型簡寫成?上述方程組要求：Fi

a1iX

1

a2iX2

aPiXP

,a1i

2

a2i

2

api

2

1i =1,…，p

FP

a1PX

1

a2

PX

2

aPPXPF

2

a12

X

1

a22

X

2

aP

2

XP用數(shù)據(jù)矩陣X的p個向量（即p個指標向量）X1，X2，…，XP，作線性組合（即綜合指標向量）為：

F1

a11X

1

a21X

2

aP1

XP

數(shù)學(xué)模型且系數(shù)aij由下列原則決定

：Fi與Fj（i

≠j，i，j＝1，…，p）不相關(guān)；F1

是X1，X2，…，X

P

，的一切線性組合（系數(shù)滿足上述方程組）中方差最大的，F(xiàn)2 是與

F1

不相關(guān)的X1，X2，…，X

P

，一切線性組合中方差最大的，……,

Fp

是與F1，F(xiàn)2，…，F(xiàn)

P-1

，都不相關(guān)的X1，X2，…，X

P

，一切線性組合中方差最大的。從代數(shù)學(xué)觀點看主成分就是p個變量X1，X2，…，XP

的一些特殊的線性組合，而在幾何上這些線性組合正是把X1，X2，…，X

P構(gòu)成坐標系旋轉(zhuǎn)產(chǎn)生的新坐標系，新坐標軸通過樣本方差最大的方向（或說具有最大的樣本方差）。主成分的幾何意義設(shè)有n個樣品，每個樣品有兩個觀測變量

X1

,

X

2

,

二維平面的散點圖。n個樣本點，無論沿著

X

軸方向1還是

X

2軸方向，都有較大的離散性，其離散程度可主元分析示意圖以用

X

1

或X

2

的方差表示。當只考慮一個時，原始數(shù)據(jù)中的信息將會有較大的損失。若將坐標軸旋轉(zhuǎn)一下：數(shù)學(xué)模型F1

，F(xiàn)2

是原變量X1 和X2

的線性組合，用矩陣表示是＝= U

·X顯然

U

1且是正交矩陣，即U

'

U

＝

I則n個樣品在F1

軸的離散程度最大（方差最大），變量

F1

代表了原始數(shù)據(jù)的絕大部分信息，即使不考慮F2

，信息損失也不多。而且，F(xiàn)1

F2不相關(guān)。只考慮

F1

時，二維降為一維。

F

2

X

1

sin

X

2

cos

若在橢圓長軸方向取坐標軸F1，在短軸方向取F2，這相當于在平面上作一個坐標變換，即按逆時針方向旋轉(zhuǎn)θ角度，根據(jù)旋軸變換公式新老坐標之間有關(guān)系：

F1

X

1

cos

X

2

sin

F2

F1

sin

cos

X

2

cos

sin

X

1

U

'主成分的推導(dǎo)?設(shè)F＝a1X1

+

a2X2

+

…

+

apXp

=

a,

X

,其中

a＝(a1，a2，…，a

P)’, X=(

X1，X2，…，XP

)

’,

求主成分就是尋求X

的線性函數(shù)a,

X

使相應(yīng)的方差盡可能地大，即Var(a,X)

=E

(a’X

–

E

(a’X)

)(a’X–

E

(a’X)

)’=

a’

E

(X

–

E

(X))

(X

–E

(X))’a=

a’∑a達到最大值，且a’a=1。主成分的推導(dǎo)設(shè)協(xié)差陣∑的特征根為λ1≥λ2≥…λp

>0，相應(yīng)的單位特征向量為u1

,…,up

,令U＝（u1，…，uP）＝

unpu2

p

u21

u11

u12

u1

p

u22

un1

un2

則UU’

=

U’U=I

，且

∑＝U

p

0

U’

=

0

1

iuiui'pi

1主成分的推導(dǎo)因此所以a’

∑a≤=因此a=

u1

使

Var(a’,X)=

a’

∑a達到最大值，且Var(u1’,X)=

u1’

∑u1=λ1。i

12p p pi

1

i

1a’

∑a=

ia'uiui'

a

=

i(a'ui)(a'ui)' =

i(a'ui)2pi

1

1

(a'ui)

=

1

(a'U

)(a'U

)'

=

1a'UU'

a=

1a'

a =

1而且，當a=u1時有u1

'

u11i i')uu

'(p1

i

1

iuup=

1

1= =i

1

iu

'uiui'u21 1 1

(u

'u

)1

主成分的推導(dǎo)同理Var(ui’,X)=λi,

而且Cov(ui’X,

uj’X)

=

ui’)uj =∑uj =

ui’(

上述推導(dǎo)表明：X1，X2，…，XP

的主要成分就是以∑的特征向量為系數(shù)的線性組合，它們互不相關(guān)，其方差為∑的特征根。由于∑的特征根λ1≥λ2≥…≥λp>0,所以Var(F1)≥Var(F2)

≥…≥Var(Fp)>0。主要成分的名次是按特征根取值大小的順序排列的。pi

1

kukuk

'p

k

1j)

0