多元統(tǒng)計分析方法課件

第二講主要預(yù)備知識線性代數(shù)中的有關(guān)概念、定理數(shù)理統(tǒng)計中的有關(guān)概念、定理

第一節(jié)線性代數(shù)中的有關(guān)概念、定理

矩陣的概念方程組求解二次型特征值與特征向量

一、矩陣的概念矩陣的定義以及計算矩陣的定義：n*m階矩陣、n階方陣、列向量、行向量、對角陣、對角線元素、非對角線元素、單位矩陣、轉(zhuǎn)置矩陣、對稱矩陣、三角陣、上三角陣、下三角陣矩陣運算：矩陣的加法、常數(shù)與矩陣的積、矩陣的乘法、矩陣的運算規(guī)律矩陣的行列式：行列式的定義行列式的性質(zhì)逆矩陣定義、矩陣可逆的充要條件、逆矩陣的性質(zhì)*矩陣的跡、矩陣的秩：定義、性質(zhì)正交矩陣與正交變換正交矩陣定義、性質(zhì)；正交變換分塊矩陣分塊矩陣定義、利用分塊矩陣求逆二、方程組求解非奇次線性方程組有解的充要條件系數(shù)矩陣與其增廣系數(shù)矩陣同秩解法１：消元法解法２：求解求逆并行變換法解法３：求解求逆緊湊變換法高斯-約當(dāng)消去法原理：是把增廣系數(shù)矩陣中的系數(shù)矩陣變換成單位矩陣，直接求解方程組的解。步驟：第一步：先在增廣系數(shù)矩陣中找出主元――絕對值最大的元素，并用主元除它所在行的所有元素（包括常數(shù)項），使主元化為１；第二步：消去主元所在列的其余各元素，完成第一步消元。第三步：在剩下的其它各行中再挑選主元，繼續(xù)進(jìn)行與第一步、第二步同樣的消去過程。余此類推。求解求逆并行變換法求解求逆緊湊變換法舉例三、二次型

二次型的矩陣表達(dá)式正定二次型以及正定矩陣正定矩陣和非負(fù)定矩陣的性質(zhì)二次型的矩陣表達(dá)式四、特征值與特征向量

特征值、特征向量的定義

特征值的性質(zhì)

實對稱矩陣特征值的求解方法－雅可比法特征值、特征向量的定義特征值的性質(zhì)實對稱矩陣特征值的求解方法－－雅可比法第二節(jié)數(shù)理統(tǒng)計中的有關(guān)概念、定理

總體與樣本總體樣本、樣本均值、樣本方差

參數(shù)估計

假設(shè)檢驗

幾種常用分布的關(guān)系總體與樣本總體所有調(diào)查研究的事物或現(xiàn)象的全體叫總體。反映總體數(shù)量特征的是總體統(tǒng)計指標(biāo)，如總體均值，總體方差等。總體可劃分為有限總體和無限總體。樣本在總體中抽取出來的一部分個體的集合稱為樣本。反映樣本數(shù)量特征的指標(biāo)稱為樣本指標(biāo)，如樣本均值、樣本方差等，樣本指標(biāo)的用途在于推斷總體指標(biāo)。參數(shù)估計假設(shè)檢驗：檢驗?zāi)撤N假設(shè)是否成立

幾種常用分布的關(guān)系第六講因子分析

因子分析的原理與模型

因子分析的計算步驟及應(yīng)用實例第一節(jié)因子分析的原理與模型什么叫因子分析因子分析的模型因子分析的統(tǒng)計意義因子載荷矩陣的估計方法因子旋轉(zhuǎn)因子得分什么叫因子分析

定義解釋因子分析是主成分分析的推廣和發(fā)展，它是把具有復(fù)雜關(guān)系的多個變量（或樣品）綜合為少數(shù)幾個因子，并給出原始變量與綜合因子之間的相關(guān)關(guān)系的多元統(tǒng)計分析方法種類R型因子分析（對變量進(jìn)行因子分析）Q型因子分析（對樣品進(jìn)行因子分析）應(yīng)用意義應(yīng)用范圍應(yīng)用類型因子分析的模型基本思想數(shù)學(xué)模型主成分分析與因子分析的區(qū)別主成分分析是一種數(shù)學(xué)變換（正交變換）不能稱為一種數(shù)學(xué)模型；而因子分析需要構(gòu)造數(shù)學(xué)模型。主成分的個數(shù)與原始數(shù)據(jù)個數(shù)相等，是把原始變量變換成為相互獨立的新的變量；而因子個數(shù)一般要求小于原始數(shù)據(jù)個數(shù)，目的在于得到一個結(jié)構(gòu)簡單的因子模型。表示的形式不同。因子分析的統(tǒng)計意義假定因子模型中，各個變量、公共因子、特殊因子都已經(jīng)進(jìn)行了標(biāo)準(zhǔn)化處理因子載荷矩陣的統(tǒng)計意義變量共同度的統(tǒng)計意義公因子方差貢獻(xiàn)的統(tǒng)計意義因子載荷矩陣的估計方法方法一：主成分方法方法二：根據(jù)定義進(jìn)行因子旋轉(zhuǎn)含義：因子旋轉(zhuǎn)是根據(jù)因子載荷矩陣的不唯一性，用一個正交矩陣右乘因子載荷矩陣，實行旋轉(zhuǎn)（由線性代數(shù)，一次正交變換，對應(yīng)坐標(biāo)系的一次旋轉(zhuǎn)），使旋轉(zhuǎn)后的因子載荷矩陣結(jié)構(gòu)簡化，以便對公共因子進(jìn)行合理的解釋。所謂結(jié)構(gòu)簡化就是使得每個變量僅在一個公共因子上有較大的載荷，而在其他的公共因子上的載荷比較小。常用的方法有：正交旋轉(zhuǎn)、斜交旋轉(zhuǎn)等。最常用的是方差最大正交旋轉(zhuǎn)。

方差最大正交旋轉(zhuǎn)方差最大正交旋轉(zhuǎn)：是使因子載荷矩陣中，各因子載荷值的總方差達(dá)到最大作為因子載荷矩陣結(jié)構(gòu)簡化的準(zhǔn)則。其中?？偡讲钭畲?，而不是某個因子方差極大。即如果第個變量在第個公共因子上的載荷經(jīng)過“方差極大”旋轉(zhuǎn)后，其值增大或減少，意味著這個變量在另一些公共因子上的載荷要縮小或增大。所以“方差極大”旋轉(zhuǎn)是使載荷值按照列向0，1兩極分化，同時也包含著按行向兩極分化。因子得分第二節(jié)

因子分析的計算步驟及應(yīng)用實例計算步驟第一步：數(shù)據(jù)標(biāo)準(zhǔn)化第二步：計算相關(guān)系數(shù)矩陣第三步：計算相關(guān)系數(shù)矩陣的特征值以及特征向量第四步：確定綜合因子數(shù)以及因子結(jié)構(gòu)和因子模型綜合因子數(shù)的確定：依據(jù)定義依據(jù)貢獻(xiàn)比例第五步：計算因子得分應(yīng)用實例第七講

聚類分析聚類分析概述距離與相似系數(shù)系統(tǒng)聚類分析方法系統(tǒng)聚類分析應(yīng)用舉例第一節(jié)聚類分析概述多元統(tǒng)計分析中的分類方法聚類分析的涵義聚類分析方法多元統(tǒng)計分析中的分類方法一類：研究對象存在事先分類情況下，判斷某個未知樣品的歸類一類：研究對象不存在事先分類情況下，進(jìn)行數(shù)據(jù)結(jié)構(gòu)的分類聚類分析的涵義是一種將樣品或變量，按照它們在性質(zhì)上的親疏程度進(jìn)行分類的多元統(tǒng)計分析方法。描述親疏程度的途徑：計算多維空間上點的距離；計算相似系數(shù)或相關(guān)系數(shù)

聚類分析方法按照聚類方法的不同系統(tǒng)聚類分析法動態(tài)聚類分析法模糊聚類分析法圖論聚類分析法聚類預(yù)報法按照分類對象劃分系統(tǒng)聚類分析法是在樣品距離的基礎(chǔ)上定義類與類的距離，首先將個樣品自成一類，然后每次將具有最小距離的兩個類合并，合并后再重新計算類與類之間的距離，再并類，這個過程一直持續(xù)到所有的樣品都?xì)w為一類為止。這種聚類方法稱為系統(tǒng)聚類法。根據(jù)并類過程所做的樣品并類過程圖稱為聚類譜系圖。動態(tài)聚類分析法模糊聚類分析法利用模糊集理論來處理分類問題的聚類方法圖論聚類分析法利用圖論中最小支撐樹的概念來處理分類問題的聚類方法聚類預(yù)報法利用聚類分析來處理預(yù)報問題的方法?？梢詮浹a回歸分析和判別分析的不足。聚類分析方法

Q型聚類分析法

R型聚類分析法Q型聚類分析法特征：對樣品進(jìn)行的分類處理。作用：①能夠綜合利用多個變量對樣品進(jìn)行分類；②分類結(jié)果直觀，聚類譜系圖清晰;③聚類結(jié)果細(xì)致、全面、合理。R型聚類分析法第二節(jié)距離與相似系數(shù)變量類型數(shù)據(jù)變換處理距離

相似系數(shù)距離以及相似系數(shù)的選擇原則變量類型名義特性：變量值是用一些類來表示的，類與類之間沒有等級關(guān)系，如性別，職業(yè)等；順序特性：變量值是用有序等級來表示的。如優(yōu)秀、良好、中、及格、不及格等；數(shù)值特性：變量值是用連續(xù)的量來度量的。如長度、重量、壓力等。對于不同類型的變量在定義距離相似測度時有很大的差異。這里主要研究的是具有數(shù)值特性的變量的聚類分析方法。數(shù)據(jù)變換處理原因：實際應(yīng)用所使用的樣本資料中，由于不同的變量具有不同的計量單位（或量綱），并且具有不同的數(shù)量級，為了使具有不同計量單位和數(shù)量級的數(shù)據(jù)能夠放在一起進(jìn)行比較分析，通常都要對數(shù)據(jù)進(jìn)行變換處理。涵義：所謂數(shù)據(jù)變換，就是將原始數(shù)據(jù)矩陣中的各個變量值，按照某種特定的運算把它變換成為一個新值，而且數(shù)值的變換不依賴于原始數(shù)據(jù)中其他變量的新值。方法：中心化變換規(guī)格化變換（極差正規(guī)化）標(biāo)準(zhǔn)化變換對數(shù)變換其他方法中心化變換方法規(guī)格化變換（極差正規(guī)化）標(biāo)準(zhǔn)化變換對數(shù)變換其他方法極差標(biāo)準(zhǔn)化。把每個變量的樣本極差皆化為1。立方根變換。把非線性數(shù)據(jù)結(jié)構(gòu)變?yōu)榫€性結(jié)構(gòu)。平方根變換。把非線性數(shù)據(jù)結(jié)構(gòu)變?yōu)榫€性結(jié)構(gòu)。距離距離的條件常用距離１、明氏距離２、歐氏距離３、絕對值距離４、切比雪夫距離５、蘭氏距離以上距離一個共同的特點是，均沒有考慮相關(guān)性。６、馬氏距離７、其他距離距離的條件明氏距離（明科夫斯基）歐氏距離絕對值距離切比雪夫距離蘭氏距離馬氏距離其他距離斜交空間距離鏈距離相似系數(shù)相似系數(shù)的定義常用相似系數(shù)夾角余弦相關(guān)系數(shù)指數(shù)相似系數(shù)非參數(shù)方法相似系數(shù)的定義夾角余弦相關(guān)系數(shù)指數(shù)相似系數(shù)非參數(shù)方法距離以及相似系數(shù)的選擇原則對于同一數(shù)據(jù)資料，進(jìn)行聚類分析時，選擇的不同的距離公式或者不同的相似系數(shù)，聚類結(jié)果是不一樣的。因為不同的距離公式或者不同的相似系數(shù)所反映的樣品或指標(biāo)的親疏程度的意義是不同，因此，在運用中應(yīng)該根據(jù)不同的實際情況，選擇不同距離或相似系數(shù)。實際意義原則數(shù)據(jù)性質(zhì)原則實際意義原則即所選擇的距離或者相似系數(shù)應(yīng)該具有明確的實際意義。比如經(jīng)濟(jì)指標(biāo)之間的相關(guān)應(yīng)該是具有現(xiàn)實的經(jīng)濟(jì)聯(lián)系的。數(shù)據(jù)性質(zhì)原則根據(jù)原始數(shù)據(jù)的各自特點，選擇不同的數(shù)據(jù)變換，再根據(jù)不同的數(shù)據(jù)變換選擇不同的距離或者相似系數(shù)。１、若數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化，則相關(guān)系數(shù)與夾角余弦是一致。２、若聚類分析前已經(jīng)對變量的相關(guān)性作了處理，則通常采用歐氏距離，而不必選用斜交空間距離。３、所選距離應(yīng)與所選聚類分析方法一致（１）若聚類方法為離差平方和法時，距離只能選用歐氏距離；（２）工作量大小原則。斜交空間距離的計算量一般很大?？傊?，在一般情況下，有以下的經(jīng)驗可以借鑒。相關(guān)系數(shù)的穩(wěn)定性要強于相似系數(shù)，而分辨力卻弱于相似系數(shù)；使用距離和使用相似系數(shù)進(jìn)行聚類的結(jié)果對比，相似系數(shù)的計算數(shù)值由大到小單調(diào)地減少，所以聚類譜系圖能夠比較明顯地反映分群的情況，而使用距離的數(shù)據(jù)有時呈現(xiàn)非單調(diào)性增加，聚類譜系圖反映的分群情況就不夠明顯。第三節(jié)系統(tǒng)聚類分析方法系統(tǒng)聚類分析的涵義及步驟系統(tǒng)聚類方法系統(tǒng)聚類分析方法的統(tǒng)一公式剩余信息的剔除譜系分類的確定系統(tǒng)聚類分析方法的性質(zhì)系統(tǒng)聚類分析的涵義及步驟涵義：是在樣品距離的基礎(chǔ)上，定義類與類之間的距離，首先將幾個樣品自成一類，然后每次將具有最小距離的兩類合并，合并后重新計算類與類之間的距離，這個過程一直繼續(xù)到所有樣品歸為一類為止。把這個過程作成一個聚類譜系圖。這種方法即系統(tǒng)聚類。系統(tǒng)聚類分析的涵義及步驟基本思想：是把樣品看成m維（m個指標(biāo)）空間的點，而把每個變量看成m維空間的坐標(biāo)軸?；痉椒ǎ菏菍ⅲ顐€樣品自成一類，先計算１/２ｎ（ｎ－１）個相似性測度或距離，并且把具有最小測度的兩個樣品合并成兩個元素的類，然后按照某種聚類方法計算這個類和其余ｎ－２個樣品之間的距離，這樣一直持續(xù)下去，并類過程中，每一步所做的并類（樣品與樣品，樣品與類、類與類）都要使測度在系統(tǒng)中保持最小，每次減少一類，直到所有樣品都?xì)w為一類為止。系統(tǒng)聚類分析的涵義及步驟具體步驟：數(shù)據(jù)變換處理；計算各樣品之間的距離，并將距離最近的兩個樣品并成一類；選擇并計算類與類之間的距離，并將距離最近的兩類合并，如果類的個數(shù)大于１，則繼續(xù)并類直到所有樣品歸為一類；繪制系統(tǒng)聚類譜系圖，按不同的分類標(biāo)準(zhǔn)或不同的分類原則得出不同的分類結(jié)果。系統(tǒng)聚類方法進(jìn)行聚類分析時，由于對類與類之間的距離的定義和理解不同，并類的過程中又會產(chǎn)生不同的聚類方法。常用的系統(tǒng)聚類方法有8種。最短距離法最長距離法中間距離法重心法類平均法可變類平均法可變法離差平方和法常用聚類分析方法最短距離法涵義步驟最長距離法中間距離法重心法類平均法可變類平均法可變法離差平方和法離差平方和法系統(tǒng)聚類分析方法的統(tǒng)一公式出發(fā)點：上述聚類方法的并類原則和步驟是完全一樣的，所不同的是類與類之間的距離公式有不同的定義，從而得到不同的遞推公式。1969年維希特提出了統(tǒng)一的公式，這為編制統(tǒng)一的計算機程序提供了極大的方便性。剩余信息的剔除進(jìn)行Ｑ型聚類分析時，必須選擇恰當(dāng)?shù)姆从硺颖镜淖兞浚x擇對聚類效果較為顯著的變量，剔除對聚類分析效果影響較小的變量。２、原則：對所研究問題密切相關(guān)的變量具有較強分辨能力的變量３、方法人為地挑選變量先用Ｒ型聚類分析挑選主要變量，然后再進(jìn)行Ｑ型聚類分析。先進(jìn)行主成分分析挑選主要變量，然后再進(jìn)行Ｑ型聚類分析。用判別分析檢驗變量的分辨能力。譜系分類的確定如何運用恰當(dāng)?shù)亍邦悺钡母拍?，把所進(jìn)行的聚類分析進(jìn)行解釋，把樣品或變量進(jìn)行分類。系統(tǒng)聚類分析方法的性質(zhì)空間守恒空間擴(kuò)張空間收縮并類距離的單調(diào)性第三講多元正態(tài)分布及其參數(shù)估計、假設(shè)檢驗

多元分布概述

多元正態(tài)分布第一節(jié)多元分布概述多元變量--隨機向量多元分布函數(shù)多元分布密度多元變量的邊緣密度、獨立性與條件分布多元變量的數(shù)字特征多元變量--隨機向量

多元分布是一元分布的推廣，一元分布用于描述一元變量的特征，多元分布則用于描述多元變量的特征。

多元分布函數(shù)

多元分布密度

多元變量的邊緣密度、獨立性與條件分布多元變量的數(shù)字特征

第二節(jié)多元正態(tài)分布多元正態(tài)分布密度函數(shù)多元正態(tài)分布的數(shù)字特征多元正態(tài)分布的性質(zhì)多元正態(tài)分布的參數(shù)估計多元正態(tài)總體均值向量和協(xié)方差陣的假設(shè)檢驗

多元正態(tài)分布密度函數(shù)多元正態(tài)分布的數(shù)字特征

多元正態(tài)分布的性質(zhì)

多元正態(tài)分布的參數(shù)估計

多元正態(tài)總體均值向量和協(xié)方差陣的假設(shè)檢驗均值向量和協(xié)方差陣的假設(shè)檢驗時常用的統(tǒng)計分布均值向量的假設(shè)檢驗協(xié)方差陣已知時的均值向量的假設(shè)檢驗協(xié)方差陣未知時的均值向量的假設(shè)檢驗協(xié)方差陣相等時，兩個正態(tài)總體均值向量的檢驗協(xié)方差陣不相等時，兩個正態(tài)總體均值向量的檢驗協(xié)方差陣檢驗多個協(xié)差陣相等的檢驗均值向量和協(xié)方差陣的假設(shè)檢驗時常用的統(tǒng)計分布均值向量的假設(shè)檢驗協(xié)方差陣相等時，兩個正態(tài)總體均值向量的檢驗

協(xié)方差陣不相等時，兩個正態(tài)總體均值向量的檢驗協(xié)方差陣檢驗多個協(xié)差陣相等的檢驗第四講

多元回歸分析多元線性回歸分析逐步回歸分析定性指標(biāo)的相關(guān)分析多對多的回歸分析第一節(jié)多元線性回歸分析

回歸分析概論回歸分析的功能及涵義回歸分析的研究思路和步驟回歸分析的內(nèi)容體系多元線性回歸模型模型中參數(shù)β的估計回歸方程以及回歸系數(shù)的顯著性檢驗回歸模型的變量子集合的選擇（回歸變量的選擇）回歸分析概論回歸分析的功能及涵義回歸分析是研究一個變量（即應(yīng)變量）（或多個變量）對于一個或多個其他變量（即解釋變量）的依存關(guān)系，并用數(shù)學(xué)模型加以模擬，目的在于根據(jù)已知的或在多次重復(fù)抽樣中固定的解釋變量之值，估計、預(yù)測因變量的總體平均值。一般地，把在研究回歸模型時所采用的估計、計算方法，檢驗、分析理論統(tǒng)稱為回歸分析。回歸分析方法又稱因素分析方法、經(jīng)濟(jì)計量模型方法。屬于多元統(tǒng)計分析方法之一。回歸分析的研究思路和步驟根據(jù)研究問題的性質(zhì)、要求建立回歸模型。根據(jù)樣本觀測值對回歸模型參數(shù)進(jìn)行估計，求得回歸方程。對回歸方程、參數(shù)估計值進(jìn)行顯著性檢驗。并從影響因變量的自變量中判斷哪些顯著，哪些不顯著。利用回歸方程進(jìn)行預(yù)測?；貧w分析的內(nèi)容體系按照回歸分析研究的變量多少以及設(shè)定的模型的不同，回歸分析方法的內(nèi)容體系大體包括：回歸分析一元回歸分析一元線性回歸分析一元非線性回歸分析多元回歸分析多元線性回歸分析多元逐步回歸分析多元嶺回歸分析多對多回歸分析多元非線性回歸分析

多元線性回歸模型模型中參數(shù)β的估計中心化回歸系數(shù)的估計

標(biāo)準(zhǔn)化回歸系數(shù)的估計

回歸方程以及回歸系數(shù)的顯著性檢驗回歸模型的變量子集合的選擇（回歸變量的選擇）

第二節(jié)逐步回歸分析逐步回歸分析的原理引入或剔除變量的依據(jù)逐步回歸方程的矩陣變換計算法具體實例以及計算步驟計算機軟件應(yīng)用舉例逐步回歸分析的原理

“最優(yōu)”回歸方程的選擇所謂“最優(yōu)”的含義：回歸方程中包含所有對y影響比較顯著的變量，而不包括對y影響不顯著的變量的回歸方程。必要性：用于預(yù)測、控制建立“最優(yōu)”回歸方程的方法從所有可能回歸方程（2n－１）中選擇最優(yōu)方程的方法?！爸鸩教蕹ā保ㄔ?、局限性）從包含全部因子的回歸方程中，逐次剔除不顯著因子。計算量大。“逐步引入法”（原理、局限性）從一個因子開始，逐個引入回歸方程，因子引入后概不剔除。計算量大，且由于某個因子的引入使變得不顯著的其他因子仍然留在方程中。“逐步回歸分析法”綜合上述（２）（３）兩種方法特點，產(chǎn)生的方法。逐步回歸分析方法的基本原理逐步回歸分析法是一種自動地從大量可供選擇的變量中，選擇對建立回歸方程重要的變量的方法，它是在多元線性回歸分析基礎(chǔ)上派生的一種算法。原理是在逐個因子選入回歸方程的過程中，如果發(fā)現(xiàn)先前被引入的因子在其后由于某些因子的引入而失去其重要性時，可以回歸方程中隨時予以剔除，直到最后被選入的因子對因變量都有顯著影響為止。根據(jù)原理，需要解決的問題及出路有：一是引入或剔除變量的依據(jù)是什么？一是引入或剔除變量后相應(yīng)的回歸系數(shù)如何求解？解決前一個問題的依據(jù)在于偏回歸平方和，具體體現(xiàn)在Ｆ檢驗上；解決后者的關(guān)鍵在于如何從正規(guī)方程中解出回歸系數(shù)，為此，先將正規(guī)方程轉(zhuǎn)化為標(biāo)準(zhǔn)化方程，然后利用“求解求逆緊湊變化法”解標(biāo)準(zhǔn)正規(guī)方程，求標(biāo)準(zhǔn)化回歸系數(shù)，在導(dǎo)出所求回歸系數(shù)。引入或剔除變量的依據(jù)依據(jù)是偏回歸平方和逐步回歸分析