主成分分析(數(shù)學(xué)建模)

主成分分析一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究。他曾利用美國(guó)1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國(guó)民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫(kù)存、股息、利息外貿(mào)平衡等等。1問(wèn)題的提出一、一個(gè)例子

在進(jìn)行主成分分析后，斯通竟以97.4％的精度，用三新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測(cè)量的。斯通將他得到的主成分與實(shí)際測(cè)量的總收入I、總收入變化率I以及時(shí)間t因素做相關(guān)分析，得到下表：

F1F2F3iitF11

F201

F3001

i0.995-0.0410.057l

i-0.0560.948-0.124-0.102l

t-0.369-0.282-0.836-0.414-0.1121主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡(jiǎn)化的分析方法。在社會(huì)經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析和研究問(wèn)題，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。

二、主成分分析的意義主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對(duì)這種多變量的截面數(shù)據(jù)表進(jìn)行最佳綜合簡(jiǎn)化，也就是說(shuō)，對(duì)高維變量空間進(jìn)行降維處理。很顯然，識(shí)辨系統(tǒng)在一個(gè)低維空間要比在一個(gè)高維空間容易得多。在力求數(shù)據(jù)信息丟失最少的原則下，研究指標(biāo)體系的少數(shù)幾個(gè)線(xiàn)性組合，并且這幾個(gè)線(xiàn)性組合所構(gòu)成的綜合指標(biāo)將盡可能多地保留原來(lái)指標(biāo)變異方面的信息,這種分析叫主成分分析，這些綜合指標(biāo)就稱(chēng)為主成分，主成分相互獨(dú)立。1、主成分假定條件？2、主成分的方差與原始變量方差有何關(guān)系？3、主成分如何求解？主成分分析的結(jié)構(gòu)，即系數(shù)和方差的數(shù)學(xué)上的含義？4、主成分分析如何評(píng)價(jià)？要討論的問(wèn)題是：(1)基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。(2)選擇幾個(gè)主成分。主成分分析的目的是簡(jiǎn)化變量，一般情況下主成分的個(gè)數(shù)應(yīng)該小于原始變量的個(gè)數(shù)。關(guān)于保留幾個(gè)主成分，應(yīng)該權(quán)衡主成分個(gè)數(shù)和保留的信息。(3)如何解釋主成分所包含的經(jīng)濟(jì)意義。主成分分析中要思考的問(wèn)題§2數(shù)學(xué)形狀與幾何解釋

假設(shè)我們所討論的實(shí)際問(wèn)題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)變量，記為X1，X2，…，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問(wèn)題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線(xiàn)性組合的問(wèn)題，而這些新的指標(biāo)F1，F(xiàn)2，…，F(xiàn)k(k≤p），按照保留主要信息量的原則充分反映原指標(biāo)的信息，并且相互獨(dú)立。滿(mǎn)足如下的條件：（2）主成分之間相互獨(dú)立，即無(wú)重疊的信息。即（3）主成分的方差依次遞減，重要性依次遞減，即（1）每個(gè)主成分的系數(shù)平方和為1。即為了方便，我們?cè)诙S空間中討論主成分的幾何意義。設(shè)有n個(gè)樣品，每個(gè)樣品有兩個(gè)觀(guān)測(cè)變量xl和x2，在由變量xl和x2所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無(wú)論是沿著xl軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀(guān)測(cè)變量xl的方差和x2的方差定量地表示。顯然，如果只考慮xl和x2中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。

?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸??????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸???????????????????????????????????????????????????????????????上面的四張圖中，哪一種有更高的精度？原始變量的信息損失最少？旋轉(zhuǎn)變換的目的是為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問(wèn)題時(shí)，即使不考慮變量F2也無(wú)損大局。經(jīng)過(guò)上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮作用。上述坐標(biāo)的旋轉(zhuǎn)和平移可用公式表示如下：定義：如果n階實(shí)矩陣A滿(mǎn)足：則A是正交矩陣，其中E為單位矩陣Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。二維平面上的個(gè)點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱(chēng)為原始變量x1和x2的綜合變量。F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾?！?主成分的推導(dǎo)一、線(xiàn)性代數(shù)的結(jié)論

若A是p階實(shí)對(duì)稱(chēng)陣，其中

i(i=1,2,┅,p)是A的特征根。即有ui，使Ui是正交的特征向量。則一定可以找到正交陣U，使上述矩陣的特征根所對(duì)應(yīng)的單位特征向量為實(shí)對(duì)稱(chēng)陣A屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有則U為（一）

第一主成分設(shè)X的協(xié)方差陣為二、主成分的推導(dǎo)由于Σx為非負(fù)定的對(duì)稱(chēng)陣，則有利用線(xiàn)性代數(shù)的知識(shí)可得，必存在正交陣U，使得其中

1，2，…，p為Σx的特征根，不妨假設(shè)

1

2…p。而U恰好是由特征根相對(duì)應(yīng)的特征（列）向量所組成的正交陣。

下面我們來(lái)看，是否由U的第一列元素所構(gòu)成為原始變量的線(xiàn)性組合是否有最大的方差。設(shè)有P維正交向量當(dāng)且僅當(dāng)a1=u1時(shí)，即