多元統(tǒng)計分析方法

多元統(tǒng)計分析方法主要內容主成分分析因子分析判別分析聚類分析主成分分析主要思想:減少指標個數(shù)，將多個指標組合形成幾個較少的綜合指標希望得到的綜合指標之間互不相關希望綜合之后能絕大部分的保留原有的信息主成分分析設p維隨機變量 的協(xié)方差矩陣為由高代的知識有,必存在正交矩陣 ,使其中向量為為特征值,其對應的特征的對應列。主成分分析作變換的協(xié)方差矩陣為說明 的各個分量之間是互不相關的,且對 的第i個分量的方差為主成分分析 是對 作的正交變換,是可逆的,因此他們包含的信息也是相等的。隨機變量包含的信息由方差大小來衡量,因此衡量總信息的多少主成分分析稱為 的第j個主成分,為主成分 的貢獻率,稱的累計貢獻率。為主成分分析實際一般從貢獻率大的主成分開始選擇,依次選 擇直到累計貢獻率達到85%以上,當然也可以根 據(jù)自己的選擇和要求來確定最低的累計貢獻率。第i個主成分實際上是p個原始變量的線性組合, 線性組合的權重是正交矩陣的第i列的對應元 素。因子分析模型形式為因子分析假設有?因子分析不妨假設記的影響,而 說明特其中 說明公共因子對 殊因子的影響。記說明公共因子 對 的影響,是度量這個公共因 子作用的重要尺度。因子分析矩陣A的統(tǒng)計意義如下:因子分析假設已知記可以證明因子分析在實際中,只知道樣本的協(xié)方差矩陣對協(xié)方差矩陣做譜分解其中因子分析先取第一個特征值和相應特征向量,檢查是否接近于對角矩陣,如果接近,則表明公共因子只有一個,剩下的都是特殊因子的影響。如果不接近對角矩陣,那么考慮取第二個特征值和相應特征向量,檢查因子分析如何判定對角矩陣,可以設定一個很小的值,比 如0.001,如果矩陣的非對角元都比它小,則可 以近似認為該矩陣是一個對角陣如果最后滿足條件為則認為有k個公共因子。主成分和因子分析的比較它們的目的是相同的。選擇標準不一樣,主成分分析是讓剩余方差的總和比較小,而因子分析是讓剩余的協(xié)方差矩陣近似為對角陣。如果能得到兩者的統(tǒng)一最好。在很多統(tǒng)計軟件中沒有單獨列出主成分分析的內容,而是包括在因子分析中。判別分析有G個總體，每個總體中的個體都含有p項指標， 各總體的分布函數(shù)分別為:對給定的一個屬于未知類屬的個體，希望由它的p個指標的觀測值來判別它的類屬。判別分析距離判別Bayes（貝葉斯）判別Fisher（費歇）判別距離判別以簡單的兩總體來說明問題。設有兩個p維總體A1.A2，它們分別服從現(xiàn)有一個來自二總體之一的一個個體要判斷它來自哪個總體？？？？距離判別馬氏距離:個體到總體的距離為距離判別的思想即求出馬氏距離之后，看哪個值小 就判定此個體屬于哪個總體。但有誤差，因此一般 只有兩個總體的均值之間有顯著性差異的時候才使 用距離判別。推廣到多個總體時思想是一樣的，也可以推廣到非 正態(tài)總體，只要二階矩存在就可以。實際問題中的距離判別問題實際問題中，各個總體的均值和協(xié)方差矩陣都是未知的。需要先從各個總體中抽出一些樣本，根據(jù)樣本來估計各個總體的均值和相同的協(xié)方差矩陣，然后以這些估計來計算相應的馬氏距離。實際中不是比較他們的距離，而是根據(jù)總體的性質確定出兩個總體的接受域。如果各個總體的方差不相等怎么辦？？Bayes判別在各個總體的分布密度和先驗概率已知的情形下使 用。是目前使用最多的判別方法之一。Bayes判別Bayes判別可以證明Bayes判別的劃分為如下:函數(shù) 具有明顯的概率意義,它表示來自總體 的樣品錯分到 的平均損失,上式也說明總的平 均損失達到最小與每個的平均損失最小是等價的。Fisher判別假設有k個p維總體,Fisher判別的思想為 找一個p維向量V,得到線性判別函數(shù)Fisher判別Fisher判別Fisher判別令則 相當一元方差分析中的組間差，而 相當 于組內差，由前面講的Fisher判別的思想有？？？？Fisher判別要選擇U使得 盡量大，而 盡量小，即選擇U 使得下式達到極大:Fisher判別