3主成分分析補(bǔ)數(shù)學(xué)知識(shí)

1、主成分分析 數(shù)學(xué)知識(shí) 線性無關(guān)線性無關(guān)EAAT 1(2),TAA正交(3)ABBA與正交1. 正交向量組正交向量組1 AATA為正交陣為正交陣 其行其行( (列列) )向量組為單位正交組向量組為單位正交組()YAXA陣是正交正交變換正交變換不改變內(nèi)積和長(zhǎng)度不改變內(nèi)積和長(zhǎng)度2. 正交矩陣正交矩陣必可逆必可逆,0ij (1)1,AA 正交,協(xié)方差與相關(guān)系數(shù)的定義 協(xié)方差的定義協(xié)方差的定義 EX-E(X)Y-E(Y)稱為隨機(jī)變量X與Y的協(xié)方差，記為Cov(X，Y)，即Cov(X，Y)= EX-E(X)Y-E(Y).而當(dāng)D(X)0, D(Y)0時(shí)，稱為隨機(jī)變量X與Y的相關(guān)系數(shù)。)()(),(YDXDY

2、XCovXY 1、若X與Y相互獨(dú)立，則：EX-E(X)Y-E(Y)=0.說明EX-E(X)Y-E(Y)的大小反映了X、Y間關(guān)聯(lián)的程度。2、若X、Y的方差是1，則協(xié)方差Cov(X，Y)就是相關(guān)系數(shù)。3、 E(XY)-E(X)E(Y) Cov(X，Y)隨機(jī)向量的數(shù)字特征隨機(jī)向量的數(shù)字特征12121221121(,)1E()E() (),(),()(,)2()()()()EE()() cov(,)= TnTTnnijiijjTijn nnXXXXXXXE XE XE XEXE XXE XXD XD XXXXE XXX 設(shè)是一個(gè)n維隨機(jī)向量，、定義隨機(jī)變量 的均值向量為、設(shè)（i,j=1,2, ,n）定

3、義隨機(jī)協(xié)變量 的為方差矩陣22122212E()0,E()E() ()nnnnTTij n nXXXX E X，記為 。3、若則協(xié)方差矩陣協(xié)方差矩陣1212(,)E()0,E()E() ()0TnTTij n nniiXXXXXXXX E Xnn設(shè)是一個(gè)n維隨機(jī)向量，3、若則是一實(shí)對(duì)稱非負(fù)定的 階協(xié)方差矩陣。可以證明 具有 個(gè)大于零的特征根，記為,所對(duì)應(yīng)的特征向量記為 。1、若A是n階實(shí)對(duì)稱陣，則一定可以找到正交陣U，使12000000(1,2, )nn niAinA1UU其中，是 的特征根。兩個(gè)線性代數(shù)的結(jié)論兩個(gè)線性代數(shù)的結(jié)論 2、若上述矩陣的特征根所對(duì)應(yīng)的單位特征向量為 ppppppuuuuuuuuu212222111211),(p1uuU 則實(shí)對(duì)稱陣 屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有p1uu,令A(yù)IUUUU線性代數(shù)知識(shí)線性代數(shù)知識(shí)vA是n階滿秩方陣，由Ax=x,|A-I|=0,求出各特征根。由特征根i，求出對(duì)應(yīng)特征向量，所有特征向量構(gòu)成的矩陣P是正交陣，且滿足12000000(1,2, )nn niP APinA1其中，是 的特征根。 v定理：設(shè)E(X)=0，E(X