第三章主成分分析

主成分分析主成分回歸立體數(shù)據(jù)表的主成分分析目前一頁\總數(shù)一百一十二頁\編于十七點(diǎn)一項(xiàng)十分著名的工作是美國的統(tǒng)計學(xué)家斯通(stone)在1947年關(guān)于國民經(jīng)濟(jì)的研究。他曾利用美國1929一1938年各年的數(shù)據(jù)，得到了17個反映國民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫存、股息、利息外貿(mào)平衡等等?！?

基本思想目前二頁\總數(shù)一百一十二頁\編于十七點(diǎn)在進(jìn)行主成分分析后，竟以97.4％的精度，用三個新變量就取代了原17個變量。根據(jù)經(jīng)濟(jì)學(xué)知識，斯通給這三個新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢F3。目前三頁\總數(shù)一百一十二頁\編于十七點(diǎn)

主成分分析是把各變量之間互相關(guān)聯(lián)的復(fù)雜關(guān)系進(jìn)行簡化分析的方法。在社會經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析和研究問題，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。

目前四頁\總數(shù)一百一十二頁\編于十七點(diǎn)主成分分析試圖在力保數(shù)據(jù)信息丟失最少的原則下，對這種多變量的截面數(shù)據(jù)進(jìn)行最佳綜合簡化，也就是說，對高維變量空間進(jìn)行降維處理。很顯然，識辨系統(tǒng)在一個低維空間要比在一個高維空間容易得多。目前五頁\總數(shù)一百一十二頁\編于十七點(diǎn)在力求數(shù)據(jù)信息丟失最少的原則下，對高維的變量空間降維，即研究指標(biāo)體系的少數(shù)幾個線性組合，并且這幾個線性組合所構(gòu)成的綜合指標(biāo)將盡可能多地保留原來指標(biāo)變異方面的信息。這些綜合指標(biāo)就稱為主成分。目前六頁\總數(shù)一百一十二頁\編于十七點(diǎn)要討論的問題:(1)基于相關(guān)系數(shù)矩陣還是基于協(xié)方差矩陣做主成分分析。當(dāng)分析中所選擇的經(jīng)濟(jì)變量具有不同的量綱，變量水平差異很大，應(yīng)該選擇基于相關(guān)系數(shù)矩陣的主成分分析。

目前七頁\總數(shù)一百一十二頁\編于十七點(diǎn)（2）選擇幾個主成分。主成分分析的目的是簡化變量，一般情況下主成分的個數(shù)應(yīng)該小于原始變量的個數(shù)。關(guān)于保留幾個主成分，應(yīng)該權(quán)衡主成分個數(shù)和保留的信息。（3）如何解釋主成分所包含的經(jīng)濟(jì)意義。目前八頁\總數(shù)一百一十二頁\編于十七點(diǎn)§2數(shù)學(xué)模型與幾何解釋假設(shè)我們所討論的實(shí)際問題中，有p個指標(biāo)，我們把這p個指標(biāo)看作p個隨機(jī)變量，記為X1，X2，…，Xp，主成分分析就是要把這p個指標(biāo)的問題，轉(zhuǎn)變?yōu)橛懻損個指標(biāo)的線性組合的問題，而這些新的指標(biāo)F1，F(xiàn)2，…，F(xiàn)k(k≤p），要求保留主要信息量的原則（即充分反映原指標(biāo)的信息），并且相互獨(dú)立。目前九頁\總數(shù)一百一十二頁\編于十七點(diǎn)這種由討論多個指標(biāo)降為少數(shù)幾個綜合指標(biāo)的過程在數(shù)學(xué)上就叫做降維。主成分分析通常的做法是，尋求原指標(biāo)的線性組合Fi。目前十頁\總數(shù)一百一十二頁\編于十七點(diǎn)滿足如下的條件：主成分之間相互獨(dú)立，即無重疊的信息。即主成分的方差依次遞減，重要性依次遞減，即每個主成分的系數(shù)平方和為1。即目前十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸目前十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?目前十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?目前十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸???????????????????????????????????????????????????????????????目前十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)為了方便，我們在二維空間中討論主成分的幾何意義。設(shè)有n個樣品，每個樣品有兩個觀測變量xl和x2，在由變量xl和x2所確定的二維平面中，n個樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個樣本點(diǎn)無論是沿著xl軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測變量xl的方差和x2的方差定量地表示。顯然，如果只考慮xl和x2中的任何一個，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會有較大的損失。

目前十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)如果我們將xl軸和x2軸先平移，再同時按逆時針方向旋轉(zhuǎn)角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個新變量。目前十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)根據(jù)旋轉(zhuǎn)變換的公式：目前十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)

旋轉(zhuǎn)變換的目的是為了使得n個樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問題時，即使不考慮變量F2也無損大局。經(jīng)過上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對數(shù)據(jù)中包含的信息起到了濃縮作用。目前十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)Fl，F(xiàn)2除了可以對包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問題時避免了信息重疊所帶來的虛假性。二維平面上的樣本點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱為原始變量x1和x2的綜合變量。F簡化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。目前二十頁\總數(shù)一百一十二頁\編于十七點(diǎn)§3主成分的推導(dǎo)及性質(zhì)

一、兩個線性代數(shù)的結(jié)論

1、若A是p階實(shí)對稱陣，則一定可以找到正交陣U，使其中是A的特征根。目前二十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)2、若上述矩陣的特征根所對應(yīng)的單位特征向量為則實(shí)對稱陣屬于不同特征根所對應(yīng)的特征向量是正交的，即有令目前二十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)

二、主成分的推導(dǎo)

（一）

第一主成分設(shè)X的協(xié)方差陣為由于Σx為非負(fù)定的對稱陣，則有利用線性代數(shù)的知識可得，必存在正交陣U，使得目前二十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)其中1，2，…，p為Σx的特征根，不妨假設(shè)12

…p。而U恰好是由特征根相對應(yīng)的特征向量所組成的正交陣。下面我們來看，是否由U的第一列元素所構(gòu)成為原始變量的線性組合是否有最大的方差。目前二十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)設(shè)有P維正交向量目前二十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)當(dāng)且僅當(dāng)時，即時，有最大的方差。因?yàn)槟壳岸揬總數(shù)一百一十二頁\編于十七點(diǎn)

如果第一主成分的信息不夠，則需要尋找第二主成分。目前二十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)（二）

第二主成分如果第一主成分的信息不夠，則尋找第二主成分

因?yàn)槟壳岸隧揬總數(shù)一百一十二頁\編于十七點(diǎn)所以如果取線性變換：

則的方差次大。類推目前二十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)寫為矩陣形式：目前三十頁\總數(shù)一百一十二頁\編于十七點(diǎn)§4主成分的性質(zhì)一、方差為所有特征根之和說明主成分分析把P個隨機(jī)變量的總方差分解成為P個不相關(guān)的隨機(jī)變量的方差之和。

協(xié)方差矩陣的對角線上的元素之和等于特征根之和。目前三十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)二、精度分析1）貢獻(xiàn)率：第i個主成分的方差在全部方差中所占比重，稱為貢獻(xiàn)率，因?yàn)?，第一主成分的方差最大，其貢獻(xiàn)率也最大，說明它綜合原來P個指標(biāo)的信息的能力最強(qiáng)，其它主成分依次漸弱。2）累積貢獻(xiàn)率：前k個主成分共有多大的綜合能力，用這k個主成分的方差和在全部方差中所占比重來描述，稱為累積貢獻(xiàn)率。目前三十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)我們進(jìn)行主成分分析的目的之一是希望用盡可能少的主成分F1，F(xiàn)2，…，F(xiàn)k（k≤p）代替原來的P個指標(biāo)。到底應(yīng)該選擇多少個主成分，在實(shí)際工作中，主成分個數(shù)的多少取決于能夠反映原來變量80%以上的信息量為依據(jù)，即當(dāng)累積貢獻(xiàn)率≥80%時的主成分的個數(shù)就足夠了。最常見的情況是主成分為2到3個。目前三十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)三、原始變量與主成分之間的相關(guān)系數(shù)

目前三十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)可見，和的相關(guān)的密切程度取決于對應(yīng)線性組合系數(shù)的大小。目前三十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)目前三十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)四、原始變量被主成分的提取率

前面我們討論了主成分的貢獻(xiàn)率和累計貢獻(xiàn)率，它度量了F1，F(xiàn)2，……，F(xiàn)m分別從原始變量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分別被F1，F(xiàn)2，……，F(xiàn)m提取了。應(yīng)該用什么指標(biāo)來度量？我們考慮到當(dāng)討論F1分別與X1，X2，……XP的關(guān)系時，可以討論F1分別與X1，X2，……XP的相關(guān)系數(shù)，但是由于相關(guān)系數(shù)有正有負(fù)，所以只有考慮相關(guān)系數(shù)的平方。目前三十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)如果我們僅僅提出了m個主成分，則第i原始變量信息的被提取率為：是Fj能說明的第i個原始變量的方差是Fj提取的第i個原始變量信息的比重目前三十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)

例

：設(shè)的協(xié)方差矩陣為

解得特征根為，，，，第一個主成分的貢獻(xiàn)率為5.83/（5.83+2.00+0.17）=72.875%，盡管第一個主成分的貢獻(xiàn)率并不小，但在本題中第一主成分不含第三個原始變量的信息，所以應(yīng)該取兩個主成分。目前三十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)Xi與F1的相關(guān)系數(shù)平方Xi與F2的相關(guān)系數(shù)平方信息提取率xi10.9250.855000.8552-0.9980.996000.996300110目前四十頁\總數(shù)一百一十二頁\編于十七點(diǎn)

定義：如果一個主成分僅僅對某一個原始變量有作用，則稱為特殊成分。如果一個主成分所有的原始變量都起作用稱為公共成分。(該題無公共因子）目前四十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)§5主成分分析的步驟在實(shí)際問題中，X的協(xié)方差陣通常是未知的，樣品有則樣本協(xié)差陣為：

第一步：由X的協(xié)方差陣Σx，求出其特征根，即解方程，可得特征根。一、基于協(xié)方差矩陣目前四十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)第二步：求出特征根分別對應(yīng)的特征向量U1，U2，…，Up，第三步：計算累積貢獻(xiàn)率，給出恰當(dāng)?shù)闹鞒煞謧€數(shù)。第四步：綜合評價。計算所選出的k個主成分的得分。將原始數(shù)據(jù)代入前k個主成分的表達(dá)式，分別計算出各單位k個主成分的得分，以方差貢獻(xiàn)率為權(quán)數(shù)，求得k個主成分的得分的加權(quán)平均數(shù)，并按得分值的大小排隊(duì)評價。目前四十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)

二、基于相關(guān)系數(shù)矩陣如果變量有不同的量綱，則必須基于相關(guān)系數(shù)矩陣進(jìn)行主成分分析。不同的是計算得分時應(yīng)采用標(biāo)準(zhǔn)化后的數(shù)據(jù)。目前四十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)例一應(yīng)收賬款是指企業(yè)因?qū)ν怃N售產(chǎn)品、材料、提供勞務(wù)及其它原因，應(yīng)向購貨單位或接受勞務(wù)的單位收取的款項(xiàng)，包括應(yīng)收銷貨款、其它應(yīng)收款和應(yīng)收票據(jù)等。出于擴(kuò)大銷售的競爭需要，企業(yè)不得不以賒銷或其它優(yōu)惠的方式招攬顧客，由于銷售和收款的時間差，于是產(chǎn)生了應(yīng)收款項(xiàng)。應(yīng)收款賒銷的效果的好壞，不僅依賴于企業(yè)的信用政策，還依賴于顧客的信用程度。由此，評價顧客的信用等級，了解顧客的綜合信用程度，做到“知己知彼，百戰(zhàn)不殆”，對加強(qiáng)企業(yè)的應(yīng)收賬款管理大有幫助。某企業(yè)為了了解其客戶的信用程度，采用西方銀行信用評估常用的5C方法，5C的目的是說明顧客違約的可能性。

目前四十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)1、品格（用X1表示），指顧客的信譽(yù)，履行償還義務(wù)的可能性。企業(yè)可以通過過去的付款記錄得到此項(xiàng)。2、能力（用X2表示），指顧客的償還能力。即其流動資產(chǎn)的數(shù)量和質(zhì)量以及流動負(fù)載的比率。顧客的流動資產(chǎn)越多，其轉(zhuǎn)化為現(xiàn)金支付款項(xiàng)的能力越強(qiáng)。同時，還應(yīng)注意顧客流動資產(chǎn)的質(zhì)量，看其是否會出現(xiàn)存貨過多過時質(zhì)量下降，影響其變現(xiàn)能力和支付能力。3、資本（用X3表示），指顧客的財務(wù)實(shí)力和財務(wù)狀況，表明顧客可能償還債務(wù)的背景。4、附帶的擔(dān)保品（用X4表示），指借款人以容易出售的資產(chǎn)做抵押。

5、環(huán)境條件（用X5表示），指企業(yè)的外部因素，即指非企業(yè)本身能控制或操縱的因素。

目前四十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)首先抽取了10家具有可比性的同類企業(yè)作為樣本，又請8位專家分別給10個企業(yè)的5個指標(biāo)打分，然后分別計算企業(yè)5個指標(biāo)的平均值，如表。

76.581.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9；目前四十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)TotalVariance=485.31477778EigenvaluesoftheCovarianceMatrixEigenvalueProportionCumulativePRIN1410.5060.8458540.84585PRIN243.2640.0891460.93500PRIN320.6700.0425910.97759PRIN48.0710.0166300.99422PRIN52.8050.0057791.00000

EigenvectorsPRIN1PRIN2PRIN3PRIN4PRIN5X10.468814-.8306120.0214060.254654-.158081X20.4848760.3299160.014801-.287720-.757000X30.472744-.021174-.412719-.5885820.509213X40.4617470.430904-.2408450.7062830.210403X50.3292590.1229300.878054-.0842860.313677目前四十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)第一主成份的貢獻(xiàn)率為84.6%，第一主成份Z1=0.469X1+0.485X2+0.473X3+0.462X4+0.329X5

的各項(xiàng)系數(shù)大致相等，且均為正數(shù)，說明第一主成份對所有的信用評價指標(biāo)都有近似的載荷，是對所有指標(biāo)的一個綜合測度，可以作為綜合的信用等級指標(biāo)?？梢杂脕砼判?。將原始數(shù)據(jù)的值標(biāo)準(zhǔn)化后，代入第一主成份Z1的表示式，計算各企業(yè)的得分，并按分值大小排序:

在正確評估了顧客的信用等級后，就能正確制定出信用期、收帳政策等，這對于加強(qiáng)應(yīng)收帳款的管理大有幫助。序號12345678910得分3.1613.6-9.0135.925.1-10.3-4.36-33.8-6.41-13.8排序43712851069目前四十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)

根據(jù)主成分分析的定義及性質(zhì)，我們已大體上能看出主成分分析的一些應(yīng)用。概括起來說，主成分分析主要有以下幾方面的應(yīng)用。1．主成分分析能降低所研究的數(shù)據(jù)空間的維數(shù)。即用研究m維的Y空間代替p維的X空間(m＜p)，而低維的Y空間代替高維的x空間所損失的信息很少。即使只有一個主成分Yl(即m＝1)時，這個Yl仍是使用全部X變量(p個)得到的。例如要計算Yl的均值也得使用全部x的均值?！?

主成分分析主要有以下幾方面的應(yīng)用目前五十頁\總數(shù)一百一十二頁\編于十七點(diǎn)

2．有時可通過因子負(fù)荷aij的結(jié)構(gòu)，弄清X變量間的某些關(guān)系。

3.多維數(shù)據(jù)的一種圖形表示方法。我們知道當(dāng)維數(shù)大于3時便不能畫出幾何圖形，多元統(tǒng)計研究的問題大都多于3個變量。要把研究的問題用圖形表示出來是不可能的。然而，經(jīng)過主成分分析后，我們可以選取前兩個主成分，根據(jù)主成分的得分，畫出n個樣品在二維平面上的分布況，由圖形可直觀地看出各樣品在主分量中的地位。目前五十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)

4．由主成分分析法構(gòu)造回歸模型。即把各主成分作為新自變量代替原來自變量x做回歸分析。

5．用主成分分析篩選回歸變量。回歸變量的選擇有著重要的實(shí)際意義，為了使模型本身易于做結(jié)構(gòu)分析、控制和預(yù)報，好從原始變量所構(gòu)成的子集合中選擇最佳變量，構(gòu)成最佳變量集合。用主成分分析篩選變量，可以用較少的計算量來選擇量，獲得選擇最佳變量子集合的效果。目前五十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)主成分回歸介紹目前五十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)國際旅游外匯收入是國民收入是國民經(jīng)濟(jì)發(fā)展的重要組成部分，影響一個國家或地區(qū)旅游收入的因素包括自然、文化、社會、經(jīng)濟(jì)、交通等多方面的因素?！吨袊y(tǒng)計年鑒》把第三次產(chǎn)業(yè)劃分為12個組成部分，分別為：

一、提出問題目前五十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)x1：農(nóng)林牧漁服務(wù)業(yè)x2：地質(zhì)勘查水利管理業(yè)x3：交通運(yùn)輸倉儲和郵電通訊業(yè)x4：批發(fā)零售貿(mào)易和餐食業(yè)x5：金融保險業(yè)x6：房地產(chǎn)業(yè)x7：社會服務(wù)業(yè)x8：衛(wèi)生體育和社會福利業(yè)x9：教育文藝和廣播x10：科學(xué)研究和綜合藝術(shù)x11：黨政機(jī)關(guān)x12：其他行業(yè)選自1998年我國31個省、市、自治區(qū)的數(shù)據(jù)。以旅游外匯收入（百萬美圓）為因變量。自變量的單位為億元人民幣。數(shù)據(jù)略。目前五十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)InterceptCoefficients-205.236116.8459-1.75646

0.096008

標(biāo)準(zhǔn)誤差tStatP-valueXVariable1-1.4004522.8676-0.061240.951842XVariable22.67500118.575080.144010.887092XVariable33.3008772.4645561.3393390.197128XVariable4-0.944021.296117-0.728340.475774XVariable5-5.50164.508593-1.220250.238117XVariable64.0544343.9537451.0254670.318728XVariable74.1425.0699840.8169650.42463XVariable8-15.364910.82589-1.419270.172905XVariable917.367668.353372.0791210.052178XVariable109.07888310.147280.8947110.38275XVariable11-10.585.610696-1.885690.075582XVariable121.3507095.0015040.270060.790186

這個模型是不理想的，一個最嚴(yán)重的問題是多重共線性的問題。目前五十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)線性回歸模型的方差分析表方差來源自由度離差平方和方差F統(tǒng)計量顯著性水平回歸分析1211690140974178.310.513358.15025E-06

殘差18166789992661.04總計3113358039

利用主成分的互不相關(guān)性來建立因變量與主成分的回歸，在理論上可以達(dá)到消除多重共線性。

目前五十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)

二、主成分回歸方法目前五十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)原始數(shù)據(jù)觀測矩陣主成分系數(shù)矩陣目前五十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)主成分得分矩陣目前六十頁\總數(shù)一百一十二頁\編于十七點(diǎn)根據(jù)最小二乘估計，則基于協(xié)方差矩陣的主成分回歸基于相關(guān)系數(shù)矩陣的主成分回歸目前六十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)主成分回歸系數(shù)的協(xié)方差矩陣目前六十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)1、經(jīng)濟(jì)分析數(shù)據(jù)

Y：進(jìn)口總額X1：GDP

X2：積累總額X3：消費(fèi)總額求進(jìn)口總額與GDP、積累總額和消費(fèi)總額之間的回歸方程。三、主成分回歸的實(shí)例目前六十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)dataa;inputx1-x3y;cards;149.34.2108.115.9161.24.1114.816.4171.53.1123.219.0175.53.1126.919.1180.81.1132.118.8190.72.2137.720.4202.12.1146.022.7212.45.6154.126.5226.15.0162.328.1231.95.1164.327.6239.00.7167.626.3;proc

reg

outest=b;modely=x1-x3/pcomit=1,2

outvif;proc

print

data=b;proc

standard

data=aout=cmean=0

std=1;varx1-x3y;proc

princomp

data=cout=dprefix=z;varx1-x3;proc

reg

data=d;modely=z1z2/noint;run;目前六十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel3204.7761468.25871285.61<.0001Error71.672950.23899CorrectedTotal10206.44909目前六十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)RootMSE0.48887R-Square0.9919DependentMean21.89091AdjR-Sq0.9884CoeffVar2.23321ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-10.127991.21216-8.36<.0001x11-0.051400.07028-0.730.4883x210.586950.094626.200.0004x310.286850.102212.810.0263目前六十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)EigenvaluesoftheCorrelationMatrix

EigenvalueProportionCumulative11.999154930.66640.666420.998154180.33270.999130.002690890.00091.0000

EigenvectorsF1F2F3x10.706330-.0356890.706982x20.0435010.9990290.006971x30.706544-.025830-.707197目前六十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)Obsx1x2x3y*F1F2F31-1.509720.54571-1.53319-1.31852-2.125890.638660.0207222-1.113050.48507-1.20848-1.20848-1.618930.555540.0711133-0.76971-0.12127-0.80140-0.63625-1.11517-0.072980.0217304-0.63637-0.12127-0.62209-0.61424-0.89430-0.08237-0.0108135-0.45970-1.33395-0.37008-0.68027-0.64421-1.30669-0.0725826-0.12970-0.66697-0.09869-0.32813-0.19035-0.65915-0.02655370.25031-0.727610.303550.178070.35962-0.74367-0.04278180.593651.394580.696101.014400.971801.35406-0.06286391.050321.030781.093501.366541.559320.96405-0.023574101.243661.091411.190421.256491.767001.015220.044988111.48033-1.576481.350350.970381.93110-1.662660.080613目前六十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel29.882784.94139379.38<.0001Error90.117220.01302UncorrectedTotal1110.0000ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|F110.689980.0255227.03<.0001F210.191300.036125.300.0005目前六十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)SAS的回歸分析（REG）過程中，帶有主成分回歸的功能，在這個功能中，SAS不僅用因變量的值建立了與主成分之間的回歸方程，并且將回歸方程還原為以原始變量為自變量，以因變量Y為被解釋變量的模型。目前七十頁\總數(shù)一百一十二頁\編于十七點(diǎn)2、用美國聯(lián)邦政府雇員人數(shù)Y和國民總產(chǎn)出隱含平減指數(shù)X1，國民總產(chǎn)出X2，失業(yè)人數(shù)X3，武裝力量人數(shù)X4，14歲及以上非慈善機(jī)構(gòu)人口數(shù)X5，時間變量X6。所用數(shù)據(jù)是美國47—62年數(shù)據(jù)，該例是主成分回歸用得較早的例子。目前七十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)目前七十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)EigenvaluesoftheCorrelationMatrix（相關(guān)系數(shù)矩陣的特征根）EigenvalueProportionCumulative（特征根）(貢獻(xiàn)率）（累計貢獻(xiàn)率）14.603377450.76720.767221.175340350.19590.963130.203425170.03390.997040.014928280.00250.999550.002552040.00040.999960.000376710.00011.0000目前七十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)Eigenvectors（特征向量）Prin1Prin2Prin3Prin4Prin5Prin6x10.4618350.057843-.149120-.7928740.337934-.135193x20.4615040.053211-.2776810.121625-.1495500.818485x30.321317-.5955130.728306-.0076450.0092350.107451x40.2015100.7981930.5616070.0772550.0242530.017970x50.462279-.045544-.1959850.5897430.548569-.311589x60.4649400.000619-.1281160.052285-.749556-.450388目前七十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)Prin1Prin2Prin3Prin4Prin5Prin63.47885-0.75147-0.307950.164240.008797-0.0025793.01051-0.84904-0.64223-0.125920.061546-0.0119802.34330-1.540000.493430.008820.005746-0.0050622.09390-1.276320.111290.06126-0.0618450.0136771.438241.235790.02909-0.097460.0522570.042682……0.099510.693490.097570.10111-0.0988080.0189260.449430.54784-0.29295-0.01756-0.083762-0.0141390.955060.42945-0.44524-0.11933-0.023694-0.0271541.81710-0.863170.67742-0.187060.021671-0.0081081.93999-0.38657-0.26596-0.14392-0.0366860.0235302.36112-0.49910-0.36567-0.06160-0.016235-0.0043603.07803-0.989950.201960.068110.0564270.0013393.34476-0.17667-0.423850.259680.0580920.008939目前七十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)SumofMeanSourceDFSquaresSquareFValuePr>FModel64985048308447.22<.0001Error9158361759.57184CorrectedTotal15514340ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept13865051225163.150.0116x1113.7116211.684241.170.2707x210.008460.004611.840.0995x310.094050.067201.400.1952x410.205620.029486.97<.0001x51-0.004350.03111-0.140.8918x61-199.2021362.67100-3.180.0112目前七十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)淺談時序立體數(shù)

據(jù)的主成分分析目前七十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)前面介紹的主成分分析方法，成功地實(shí)現(xiàn)了截面數(shù)據(jù)的最佳綜合和簡化。然而，在現(xiàn)實(shí)生活中，隨著時間的發(fā)展與數(shù)據(jù)的積累，人們開始擁有大量按時間順序排列的平面數(shù)據(jù)表序列，這樣一組按時間順序排放的數(shù)據(jù)表序列就像一個數(shù)據(jù)匣，被稱為時序立體數(shù)據(jù)表。本章將介紹如何對這種多維動態(tài)數(shù)據(jù)系統(tǒng)進(jìn)行立體式的綜合簡化，并在此基礎(chǔ)上，迅速提取立體數(shù)據(jù)表中的重要信息，充分發(fā)掘其中的豐富內(nèi)涵，從而簡化扼要地把握系統(tǒng)的動態(tài)規(guī)律。目前七十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)第一節(jié)全局分析的概念時序立體數(shù)據(jù)表時一個按時間順序排放的數(shù)據(jù)表序列。如果對每一張數(shù)據(jù)表分別進(jìn)行主成分分析，則不同的數(shù)據(jù)表有完全不同的簡化空間，就無法保證系統(tǒng)分析的統(tǒng)一性、整體性和可比性。因此，對這種數(shù)據(jù)表進(jìn)行主成分分析，得到一個統(tǒng)一的簡化子空間。一、

全局概念假設(shè)有個樣本，個指標(biāo)，時間的跨度為。時序立體數(shù)據(jù)表，目前七十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)若以為變量的指標(biāo)，在時刻數(shù)據(jù)表中對上列數(shù)據(jù)的分析稱為全局分析。目前八十頁\總數(shù)一百一十二頁\編于十七點(diǎn)二、

全局變量

全局群點(diǎn)在j指標(biāo)上的取值分布被稱為全局變量，表示為

三、全局重心全局?jǐn)?shù)據(jù)表的重心為目前八十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)權(quán)數(shù)應(yīng)該根據(jù)不同時刻的重要性來決定,也可以等權(quán),等權(quán)時,均值為:

時刻t的數(shù)據(jù)表重心為

四、全局方差全局變量的方差:目前八十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)五、全局協(xié)方差全局變量的協(xié)方差為：全局協(xié)方差矩陣：目前八十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)第二節(jié)全局主成分分析

一、全局主成分分析的步驟為（1）

求全局相關(guān)系數(shù)矩陣

（2）求的特征根不妨假設(shè)和對應(yīng)的特征向量：目前八十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)目前八十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)第三節(jié)對經(jīng)典主成分分析的繼承性一、全局主成分一定對應(yīng)于數(shù)據(jù)變易最大的方向二、全局主成分是對原始變量系統(tǒng)的最佳綜合在全局主成分分析中，還可以證明，若全局?jǐn)?shù)據(jù)表種有p個變量，如果想以一個綜合變量來取代原來所有的全局變量，則第一個主成分F1就是最好的選擇。目前八十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)這個結(jié)論可以推廣到m維空間：目前八十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)三、全局分析與單張數(shù)據(jù)表分析的聯(lián)系

設(shè)j(j=1,2,…,m)是全局特征值(j=1,2,…,m)是第t時刻的數(shù)據(jù)表所計算的特征值目前八十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)

上式反映了全局第h個主成分與單張數(shù)據(jù)表個主成分之間的數(shù)量關(guān)系。特別當(dāng)h=1時：因此，如果各年數(shù)據(jù)表的重心在第一主成分上的投影不發(fā)生改變，則說明，第一主成分與單張數(shù)據(jù)表的主成分之間最相關(guān)。目前八十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)第四節(jié)精度分析一、

全局精度以數(shù)據(jù)變異的大小來恒量數(shù)據(jù)中的信息量如果變量已經(jīng)被標(biāo)準(zhǔn)化，則精度為：

目前九十頁\總數(shù)一百一十二頁\編于十七點(diǎn)二、數(shù)據(jù)表Xt的表現(xiàn)精度數(shù)據(jù)表Xt的表現(xiàn)精度是指群點(diǎn)在全局主成分上的近似精度。令是第t張表中的第i個樣本在全局第h個主成分的得分。目前九十一頁\總數(shù)一百一十二頁\編于十七點(diǎn)目前九十二頁\總數(shù)一百一十二頁\編于十七點(diǎn)第五節(jié)數(shù)據(jù)主要特征的動態(tài)分析為了迅速把握多維動態(tài)數(shù)據(jù)群種的主要信息，還應(yīng)該對數(shù)據(jù)系統(tǒng)的主要特征進(jìn)行動態(tài)分析研究。數(shù)據(jù)群點(diǎn)有如下特征：（1）的總體水平（2）的主軸（3）的主軸上的分布偏差（4）中各樣本點(diǎn)間的相對位置和排列順序。目前九十三頁\總數(shù)一百一十二頁\編于十七點(diǎn)一、總體水平第t年數(shù)據(jù)群點(diǎn)的總體水平為?？梢詮娜齻€方面研究其動態(tài)數(shù)據(jù)信息。（1）的時序軌跡（2）對于1一p個變量指標(biāo)，研究哪一個指標(biāo)在1一T年間發(fā)生的變化最大。首先，j指標(biāo)在1一T年間的變化可以用aj表示，有目前九十四頁\總數(shù)一百一十二頁\編于十七點(diǎn)所有指標(biāo)在1—T年的變化為a表示，有

使cj最大的指標(biāo)xj，在1—T年發(fā)生的變化最大，在經(jīng)濟(jì)系統(tǒng)分析中，過大過小的cj都應(yīng)是分析人員關(guān)注的對象。（3）從1—T年，研究在哪一年發(fā)生了較大的變化。這是比值，比cj更加深入的分析。目前九十五頁\總數(shù)一百一十二頁\編于十七點(diǎn)則說明j指標(biāo)在t~t+1年間的變化比其它年間更大。目前九十六頁\總數(shù)一百一十二頁\編于十七點(diǎn)二、主軸對第t年的數(shù)據(jù)表xt做平面主成分分析，可以得到一組主軸，對應(yīng)的有特征值，分析是如何隨時間變化的，可以了解數(shù)據(jù)的主要特征發(fā)展變化的歷史過程。目前九十七頁\總數(shù)一百一十二頁\編于十七點(diǎn)從前面的分析可以知道，是第t年數(shù)據(jù)變異最大的方向，數(shù)據(jù)在這個方向被拉得最長。如果研究國民生活水平的話，則在這一方向人們生活水平的差距最大，所以，是最能反映國民生活水平的主要特征。與對應(yīng)的是主成分。數(shù)據(jù)的主要特征隨時間的發(fā)展會發(fā)生變化，這個變化可以通過的變化過程來觀察。特別對于第一、第二主軸(即h＝1,2)，以及后續(xù)含數(shù)據(jù)信息量較大的那些主軸，更應(yīng)給予重點(diǎn)研究。目前九十八頁\總數(shù)一百一十二頁\編于十七點(diǎn)三、方差的變化在數(shù)據(jù)表由x1，x2，…，xT的變化過程中，除了需要研究數(shù)據(jù)的主要特征隨時間的變化以外，還要分析數(shù)據(jù)在主軸上的分布方差是否發(fā)生了較大的變化。分別從以下三個指標(biāo)來觀察數(shù)據(jù)在主軸散布范圍發(fā)生的變化。目前九十九頁\總數(shù)一百一十二頁\編于十七點(diǎn)（1）在h軸上，數(shù)據(jù)的分散程度的差分（2）比較在t+1年，哪個主軸的散布范圍較大（3）比較1～T年間，哪個主軸的分散范圍較大目前一百頁\總數(shù)一百一十二頁\編于十七點(diǎn)四、樣本點(diǎn)間相對位置和排列順序的變化隨著時間的發(fā)展，群點(diǎn)在某一方向上的相對位置和排列順序也會發(fā)生變化。例如，改革開放以來，我國沿海城市經(jīng)濟(jì)發(fā)展速度較其他地區(qū)的城市要快，特別在對外貿(mào)易方面，其發(fā)展更為顯著。如果第一主軸反映了城市經(jīng)濟(jì)的綜合實(shí)力，則在這個軸上可以看出，在不同的年份上，各城市由于發(fā)展速度不一，因此，相對位置和順序都有變化，沿海城市的經(jīng)濟(jì)實(shí)力顯然日趨向前。目前一百零一頁\總數(shù)一百一十二頁\編于十七點(diǎn)如何反映樣本點(diǎn)間位置和順序的變化呢?有一個要點(diǎn)必須注意，這就是必須在同一的軸上比較樣本點(diǎn)的位置和順序，因此，取全局主成分分析的第h主軸，它對所有時刻的數(shù)據(jù)表都是同一的。在其上的投影為

1、在上的投影坐標(biāo)是否有明顯移動目前一百零二頁\總數(shù)一百一十二頁\編于十七點(diǎn)2、樣本點(diǎn)排列順序的改變目前一百零三頁\總數(shù)一百一十二頁\編于十七點(diǎn)下例是我國1998年和1999年城鎮(zhèn)居民分地區(qū)的消費(fèi)支出資料：X1:食品支出X2：衣著支出X3：家庭設(shè)備用品及服務(wù)支出X4：醫(yī)療保健支出X5：交通和通訊支出X6：娛樂教育文化支出X7：居住支出X8：雜項(xiàng)商品支出進(jìn)行主成分分析，并比較全局主成分分析和單張數(shù)據(jù)表主成分分析的結(jié)果。目前一百零四頁\總數(shù)一百一十二頁\編于十七點(diǎn)

EigenvaluesoftheCorrelationMatrix(全局主成分特征根）EigenvalueDifferenceProportionCumulativeA16.991256.443290.8739060.87391A20.547960.395310.0684950.94240A30.152660.030190.0190820.96148A40.122470.039720.0153090.97679A50.082750.020420.0103440.98714A60.062330.021900.0077920.99493A70.040440.040300.0050550.99998A80.00014.0.0000181.00000目前一百零五頁\總數(shù)一百一十二頁\編于十七點(diǎn)

全局主成分特征向量A1A2A3A4A5A6A7A8X10.374493-.1722570.0301430.1362130.0768490.0623450.005073-.894875X20.346007-.4454110.0249560.5328520.4380700.136731-.2416230.358262X30.3119840.7107280.4116740.1643450.360232-.0555440.2538820.061138X40.362343-.1944250.2938680.105955-.6236040.3106540.4619670.185796X50.360705-.0969810.484438-.536079-.081534-.154719-.5485230.083447X60.3457510.425463-.516114-.016448-.2035760.488600-.3864440.057272X70.3647430.060889-.3321680.215494-.291244-.7840800.0021870.082907X80.358775-.186733-.362278-.5702540.3881050.0194250.4620620.124385目前一百零六頁\總數(shù)一百一十二頁\編于十七點(diǎn)

EigenvaluesoftheCorrelationMatrix98年數(shù)據(jù)表的主成分分析EigenvalueDifferenceProportionCumulativeB17.105926.589490.8882400.88824B20.516430.391980.0645530.95279B30.124440.024300.0155550.96835B40.100140.023200.0125170.98087B50.076940.020310.0096170.99048B60.056620.037210.0070780.99756B70.019420.019320.0024270.99999B80.00010.0.0000121.00000目前一百零七頁\總數(shù)一百一十二頁\編于十七點(diǎn)

Eigenvectors98年數(shù)據(jù)表的主成分分析B1B2B3B4B5B6B7B8X10.372150-.159966-.071551-.0574580.102394