第五章-主成分分析課件

第五章主成分分析由于多個(gè)變量之間都存在著相關(guān)性，故為了使復(fù)雜的問(wèn)題更加清楚，因此就設(shè)計(jì)將原來(lái)的變量重新線(xiàn)性組合成若干個(gè)互不相關(guān)的綜合指標(biāo)來(lái)代替原來(lái)的變量，并盡可能提取原來(lái)變量的信息來(lái)解釋原有變量的協(xié)方差結(jié)構(gòu)，這就是主成分分析?！?.1主成分分析的基本模型當(dāng)原始變量之間存在相關(guān)關(guān)系時(shí)，通過(guò)原來(lái)變量的少數(shù)幾個(gè)線(xiàn)性組合來(lái)解釋原來(lái)變量以實(shí)現(xiàn)降維的多元統(tǒng)計(jì)方法，稱(chēng)為主成分分析。主成分與原始變量間的關(guān)系：(1)、每一個(gè)主成分都是各原始變量的線(xiàn)性組合。(2)、主成分的數(shù)目大大少于原始變量的數(shù)目。(3)、主成分保留了原始變量絕大部分信息。(4)、各個(gè)主成分之間互不相關(guān)。一、基本模型假設(shè)研究對(duì)象是個(gè)樣本，個(gè)變量的數(shù)據(jù)，則有即構(gòu)造新的變量即其中原則：1、與不相關(guān)2、是的線(xiàn)性組合中方差最大者（即最大）；與不相關(guān)的的線(xiàn)性組合中方差最大者（即最大）；…；與都不相關(guān)的的線(xiàn)性組合中方差最大者（即最大）。其中：協(xié)方差陣分別稱(chēng)為原始變量的第一主成分、第二主成分、…、第主成分。

二、主成分的推導(dǎo)第一主成分：構(gòu)造目標(biāo)函數(shù)對(duì)求導(dǎo)得即為正交陣，為的方差值，若的特征根為，的最大方差值為，相應(yīng)的單位化特征向量為。同理：的最大方差值為，相應(yīng)的單位化特征向量為，

因此，主成分為其方差分別為的特征根?！?.2主成分的性質(zhì)性質(zhì)1主成分的協(xié)方差陣為對(duì)角陣其中性質(zhì)2主成分的總方差等于原始變量的總方差，性質(zhì)3主成分與原始變量的相關(guān)系數(shù)為并稱(chēng)其為主成分載荷?！?.3主成分的選取稱(chēng)為第個(gè)主成分的方差貢獻(xiàn)率稱(chēng)為前個(gè)主成分的累積方差貢獻(xiàn)率累積方差貢獻(xiàn)率越大，表示所選的少數(shù)幾個(gè)主成分解釋隨機(jī)向量的差異的能力越強(qiáng)，通常取，使得主成分對(duì)的作用：由于為正交陣，故由有即表明：是的線(xiàn)性組合，反映了對(duì)的作用。如果中只有不等于0，則只對(duì)起作用，這時(shí)稱(chēng)為特殊主成分；如果中每一個(gè)分量均不等于0，說(shuō)明對(duì)的各分量都起作用，這時(shí)稱(chēng)為公共主成分。則有：即：稱(chēng)為的方差貢獻(xiàn)率，為前個(gè)主成分對(duì)的方差貢獻(xiàn)率?！?.4主成分的實(shí)例分析例5.1選取100個(gè)學(xué)生作為研究對(duì)象，分別記錄他們的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)，如表所示。進(jìn)行主成分分析。