多元統(tǒng)計思考題及答案

《多元統(tǒng)計分析思考題》第一章回歸分析1、回歸分析是怎樣的一種統(tǒng)計方法，用來解決什么問題？答：回歸分析作為統(tǒng)計學(xué)的一個重要分支，基于觀測數(shù)據(jù)建立變量之間的某種依賴關(guān)系，用來分析數(shù)據(jù)的內(nèi)在規(guī)律，解決預(yù)報、控制方面的問題。2、線性回歸模型中線性關(guān)系指的是什么變量之間的關(guān)系？自變量與因變量之間一定是線性關(guān)系形式才能做線性回歸嗎？為什么？答：線性關(guān)系是用來描述自變量x與因變量y的關(guān)系；但是反過來如果自變量與因變量不一定要滿足線性關(guān)系才能做回歸，原因是回歸方程只是一種擬合方法，如果自變量和因變量存在近似線性關(guān)系也可以做線性回歸分析。3、實際應(yīng)用中，如何設(shè)定回歸方程的形式？答：通常分為一元線性回歸和多元線性回歸，隨機變量y受到p個非隨機因素x1、x2、x3……xp和隨機因素?的影響，形式為：是p+1個未知參數(shù)，是隨機誤差，這就是回歸方程的設(shè)定形式。4、多元線性回歸理論模型中，每個系數(shù)（偏回歸系數(shù)）的含義是什么？答：偏回歸系數(shù)是p+1個未知參數(shù)，反映的是各個自變量對隨機變量的影響程度。5、經(jīng)驗回歸模型中，參數(shù)是如何確定的？有哪些評判參數(shù)估計的統(tǒng)計標準？最小二乘估計法有哪些統(tǒng)計性質(zhì)？要想獲得理想的參數(shù)估計值，需要注意一些什么問題？答：經(jīng)驗回歸方程中參數(shù)是由最小二乘法來來估計的；評判標準有：普通最小二乘法、嶺回歸、主成分分析、偏最小二乘法等；最小二乘法估計的統(tǒng)計性質(zhì):其選擇參數(shù)滿足正規(guī)方程組，（1）選擇參數(shù)分別是模型參數(shù)的無偏估計，期望等于模型參數(shù)；（2）選擇參數(shù)是隨機變量y的線性函數(shù)要想獲得理想的參數(shù)估計，必須注意由于方差的大小表示隨機變量取值的波動性大小，因此自變量的波動性能夠影響回歸系數(shù)的波動性，要想使參數(shù)估計穩(wěn)定性好，必須盡量分散地取自變量并使樣本個數(shù)盡可能大。6、理論回歸模型中的隨機誤差項的實際意義是什么？為什么要在回歸模型中加入隨機誤差項？建立回歸模型時，對隨機誤差項作了哪些假定？這些假定的實際意義是什么？答：隨機誤差項?的引入使得變量之間的關(guān)系描述為一個隨機方程，由于因變量y很難用有限個因素進行準確描述說明，故其代表了人們的認識局限而沒有考慮到的偶然因素。7、建立自變量與因變量的回歸模型，是否意味著他們之間存在因果關(guān)系？為什么？答：不是，因果關(guān)系是由變量之間的內(nèi)在聯(lián)系決定的，回歸模型的建立只是一種定量分析手段，無法判斷變量之間的內(nèi)在聯(lián)系，更不能判斷變量之間的因果關(guān)系。8、回歸分析中，為什么要作假設(shè)檢驗？檢驗依據(jù)的統(tǒng)計原理是什么？檢驗的過程是怎樣的？答：因為即使我們已經(jīng)建立起了模型，但是尚且不知這個回歸方程是否能夠比較好地反映所描述的變量之間的影響關(guān)系，必須進行統(tǒng)計學(xué)上的假設(shè)檢驗；假設(shè)性檢驗原理可以用小概率原理解釋，通常認為小概率事件在一次試驗中幾乎不可能發(fā)生的，即對總體的某個假設(shè)是真實的，那么不支持這一個假設(shè)事件在一次試驗中是幾乎不可能發(fā)生的，要是這個事件發(fā)生了，我們就有理由懷疑這一假設(shè)的真實性，拒絕原假設(shè)；檢驗過程：（1）提出統(tǒng)計假設(shè)H0和H1；（2）構(gòu)造一個與H0相關(guān)的統(tǒng)計量，稱其為檢驗統(tǒng)計量；（3）根據(jù)其顯著性水平的值，確定一個拒絕域；（4）作出統(tǒng)計決斷；9、回歸診斷可以大致確定哪些問題？回歸分析有哪些基本假定？如果實際應(yīng)用中不滿足答：在自然科學(xué)和社會科學(xué)研究中，研究對象用某種方法已經(jīng)劃分為若干類別，當?shù)玫揭粋€新的樣本數(shù)據(jù)時，要確定該樣本屬于已知的哪一類。2、有哪些常用的判別分析方法？這些方法的基本原理或步驟是怎樣的？它們各有什么特點或優(yōu)劣之處？答：（1）距離判別法：根據(jù)已知分類數(shù)據(jù)，分別計算各類的重心，即是分類的均值；判別方法是—對于任意一個樣品，若它與第i類的重心距離最近，就認為它來自第i類；特點是對各類數(shù)據(jù)分布并無特定的要求（2）Fisher判別法：其基本思想是投影，將k組m元數(shù)據(jù)投影到某一個方向，使得投影后組與組之間盡可能分開，其中利用了一元方差分析的思想導(dǎo)出判別函數(shù)；其特點是對總體的分布沒有特殊要求，是處理概率分布未知的一種方法。（3）逐步判別法：逐步引入一個“最重要”的變量進入判別式，同時對先引入判別式的一些變量進行檢驗，如果判別能力隨著引入新變量而變得不顯著，則將它從判別式中剔除，直到?jīng)]有新的變量能夠進入，依然沒有舊變量需要剔除為止。3、判別分析與回歸分析有何異同之處？答：（1）相同點：這兩種方法都有關(guān)于數(shù)據(jù)預(yù)測的功能；不同點：這個估計太多了，一般來講判別分析功能是將樣品歸類，回歸分析是探究樣品對因變量的變動影響。4、判別分析對變量與樣本規(guī)模有何要求？答：判別分析對總體分布沒有要求，但是判別分析的假設(shè)之一是要求每一個變量不能是其他判別變量的線性組合，即不能存在多重共線性。5、如何度量判別效果？有哪些影響判別效果的因素？答：通過評價判別準則來度量判別效果，常用方法：（1）誤判率回代法；（2）誤判率交叉確認估計；影響因素是個總體之間的差異程度，各個總體之間差異越大，就越有可能建立有效的判別準則，如果差異太小，則判別分析的意義不大；當各個總體服從多元正態(tài)分布，我們可以根據(jù)各總體的均值向量是否相等進行統(tǒng)計檢驗。當然也可以檢驗各總體的協(xié)方差矩陣是否相等來采用判別函數(shù)。6、逐步判別是如何選擇判別變量的？基本思想或步驟是什么？答：在判別分析中，并不是觀測變量越多越好，而是選擇主要變量進行判別分析，將各個變量在分析中起的不同作用，將影響力比較低的變量保留在判別式中，會增加干擾，影響效果。因此選擇顯著判別力的變量來建立判別式就是逐步判別法?；舅枷耄浩渑c逐步回歸法類似，都是采用“有進有出”的算法，即逐步引入一個“最重要”的變量進入判別式，同時對先引入的判別式進行檢驗，如果其判別能力隨著新引入的變量顯著性降低，則該因素應(yīng)該被剔除，直到變量全部進入為止。7、判別分析有哪些現(xiàn)實應(yīng)用？舉例說明。答：判別分析在實際中的應(yīng)用無處不在。例如我們根據(jù)各種經(jīng)濟指標把各個國家分為發(fā)達國家和發(fā)展中國家，通過這些指標成功的判定了一個國家的經(jīng)濟發(fā)展水平。第三章聚類分析聚類分析的目的是什么？與判別分析有何異同？這種方法有哪些局限或欠缺？答：把某些方面相似的東西進行歸類，以便從中發(fā)現(xiàn)規(guī)律性，達到認識客觀事物規(guī)律的目的。其與判別分析相同的地方是都是研究分組的問題；不同的是各自對于預(yù)先分組對象不一樣，聚類分析是未知類別，判別分析是已知類別。有哪些常用的聚類統(tǒng)計量？答：（1）Q型統(tǒng)計量：對樣本進行聚類，用“距離”來描述樣本之間的接近程度；R型統(tǒng)計量：對變量進行聚類，用“相似系數(shù)”來度量變量之間的近視程度。系統(tǒng)（譜系）聚類法的基本思想是怎樣的？它包含哪些具體方法？答：先將待聚類的n個樣品（或變量）各自看成一類，共有n類，然后按照事先選定的聚類方法計算每兩類之間的聚類統(tǒng)計量，即某種距離（或者相似系數(shù)），將關(guān)系最密切的兩類并為一類，其余不變，即的n-1類，再按照前面的計算方法計算新類與其他類之間的距離（或者相似系數(shù)），再將關(guān)系最密切的兩類歸為一類，其余不變，即得n-2類，繼續(xù)下去，每次重復(fù)都減少一類，直到所有樣品（或者變量）都歸于一類。聚類分析對變量與樣本規(guī)模有何要求?有哪些因素影響分類效果？要想減少不利因素的影響，可以采取哪些改進方法？答：聚類分析要求其樣本規(guī)模較大，需要變量之間相關(guān)性較弱，變量個數(shù)小于樣本數(shù)。實際應(yīng)用問題，如何確定分類數(shù)目？答：按理來說聚類分析的分類數(shù)目是事先不知道的，但是在實際應(yīng)用中，應(yīng)該根據(jù)相關(guān)專業(yè)知識確定分類數(shù)目，結(jié)合聚類統(tǒng)計量參考確定，并使用誤判定理具體分析?？焖倬垲惙ǎ↘—均值法）的基本思想或步驟是怎樣的？答：如果待分類樣品比較多，應(yīng)先給出一個大概的分類，然后不斷對其進行修正，一直到分類結(jié)果比較合理為止。有序樣品的最優(yōu)分別法的基本思想或步驟是怎樣的？答：將n個樣品看成一類，然后根據(jù)分類的誤差函數(shù)逐漸增加分類，尋求最優(yōu)分割，用分段的方法找出使組內(nèi)離差平方和最小的分割點。應(yīng)用聚類分析解決實際問題的基本步驟是怎樣的？應(yīng)該注意哪些方面的問題？答：（1）n個變量（樣品）各自成一類，一共有n類，計算兩兩之間的距離，構(gòu)成一個對稱矩陣；（2）選擇這個對稱矩陣中主對角元素以外的上（或者下）三角部分中的最小元素，合成的新類，并計算其與其他類之間的距離；（3）劃去與新類有關(guān)的行和列，將新類與其余類別的距離組成新的n-1階對稱矩陣；（4）再重復(fù)以上步驟，直到n個樣品聚為一個大類；（5）記錄下合并類別的編號以及所對應(yīng)的距離，繪制聚類圖；（6）決定類的個數(shù)和聚類結(jié)果。第四章主成分分析與典型相關(guān)分析主成分分析的基本思想是什么？在低維情況下，如何利用幾何圖形解釋主成分的意義？答：構(gòu)造原始變量的適當線性組合，使其產(chǎn)生一系列互不相關(guān)的新變量，從中選出少量的幾個新變量并使它們含有足夠多的原始變量的信息，從而使這幾個新變量代替原始變量分析問題和解決問題提供了可能。幾何解釋，可以借用平面上旋轉(zhuǎn)坐標系方法來達到降維的目的。什么是主成分的貢獻率與累計貢獻率？實際應(yīng)用時，如何確定主成分的個數(shù)？答：主成分中，描述第k個主成分提取的信息占據(jù)原來變量總信息的比重，稱為第k個主成分的貢獻率；若將前m個主成分提取的總信息的比重相加，稱為主成分的累計貢獻率。實際應(yīng)用中，通常選取前m個主成分的累積貢獻率達到一定的比列來確定主成分的個數(shù)。主成分有哪些基本性質(zhì)？答：（1）每一個主成分都是原始變量的線性組合；（2）主成分的數(shù)目大大小于原始變量的數(shù)目；（3）主成分保留了原始變量所包含的絕大部分信息；（4）各個主成分之間互不相關(guān)。對于任何情形的多個變量，都可以采取主成分方法降維嗎？為什么？答：肯定不是，必須要滿足適合主成分分析的要求才可以降維。舉個簡單的例子，其適用范圍是各個變量之間應(yīng)該具有比較強的相關(guān)性，如果多個變量均為各項同性，則主成分分析效果不明顯。怎樣的情況下需要計算標準化的主成分？答：因為實際問題的變量有很多量綱，不同的量綱會引起各個變量的取值的分散程度差異較大，總體方差將主要受到方差較大的變量的控制。如果用協(xié)方差矩陣求主成分，則優(yōu)先照顧方差大的變量，可能會得到不合理的結(jié)果，因此為了消除量綱的影響，需要計算標準化的主成分。主成分有哪些應(yīng)用?答：它的主要作用是降維，因此應(yīng)用范圍比較廣泛，舉個例子，衡量一個城市的綜合發(fā)展指數(shù)涉及到的變量參數(shù)相當多，但是如果運用主成分的思想，只需要考慮較少的變量樣品就好，一般選擇GDP指數(shù)、環(huán)境指數(shù)、人口、面積等。如何解釋主成分的實際含義？答：主成分的實際意義需要結(jié)合到實際應(yīng)用中，其往往不是最終目的，重要的是利用降維的思想來綜合分析原始信息，利用有限的主成分來解釋規(guī)律，從而進行相關(guān)研究。典型相關(guān)分析的基本思想是什么？有何實際用途？答：是研究兩組變量間的相互依賴關(guān)系，把兩組變量之間的關(guān)系變?yōu)檠芯績蓚€新變量的相關(guān)，而又不拋棄原來變量的信息；因為這兩組變量所代表的內(nèi)容不同，可以直接考慮其相關(guān)關(guān)系來反映兩組變量之間的整體相關(guān)性。例如工廠考察使用原料質(zhì)量對生產(chǎn)產(chǎn)品質(zhì)量的影響，需要對產(chǎn)品各種各樣質(zhì)量指標與所使用的原料指標之間的相關(guān)關(guān)系進行評判。典型相關(guān)分析與回歸分析、判別分析、主成分分析、因子分析有何關(guān)聯(lián)？試比較這些方法的異同之處。答：這是一個涉及面很大的問題，總的來講這些方法的存在能夠幫助我們對于客觀數(shù)據(jù)現(xiàn)象的相關(guān)關(guān)系有一個更加深刻的了解，有的是對另外一種方向的優(yōu)化與推廣，有的本質(zhì)思想與另外一種分析方法很接近，異同點可以根據(jù)教科書進行兩兩比對。10、典型相關(guān)分析有哪些基本假定？答：線性假定影響典型相關(guān)分析的兩個方面，首先任意兩個變量間的相關(guān)系數(shù)是基于線性關(guān)系的。如果這個關(guān)系不是線性的，一個或者兩個變量需要變換。其次，典型相關(guān)是變量間的相關(guān)，如果關(guān)系不是線性的，典型相關(guān)分析將不能測量到這種關(guān)系。11、如何解釋典型相關(guān)函數(shù)的實際意義？答：（1）典型權(quán)重（標準化系數(shù)）；（2）典型荷載（結(jié)構(gòu)系數(shù)）；（3）典型交叉載荷。用以上三種參數(shù)來使多個變量與多個變量的相關(guān)性轉(zhuǎn)化為兩個變量的相關(guān)性。12、典型相關(guān)方法中冗余度分析的意義是什么？答：冗余度主要說明典型變量對各組觀測變量總方差的代表比例和解釋比例。第五章因子分析與對應(yīng)分析因子分析是怎樣的一種統(tǒng)計方法？它的基本目的和用途是什么？答：其根據(jù)相關(guān)性大小將變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，不同組的相關(guān)性較低，每組變量代表一個基本結(jié)構(gòu)，用一個不可觀測的綜合變量表示，這個基本結(jié)構(gòu)成為公共因子，對所研究的問題就可以用最少的個數(shù)的不可觀測的所謂公共因子的線性函數(shù)與特殊因子之和來描述原來觀測的每一個分量；目的：利用降維的思想，從研究原始變量相關(guān)矩陣內(nèi)部結(jié)構(gòu)出發(fā)，把一些具有錯綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個綜合因子；用途：對變量進行分類，根據(jù)因子得分值在其軸所構(gòu)成的空間中吧變量點畫出來，從而分類。因子分子中的KMO統(tǒng)計量與巴特萊特球形性檢驗的目的是什么？答：KMO統(tǒng)計量：通過比較各個變量之間簡單相關(guān)系數(shù)和偏相關(guān)系數(shù)的大小判斷變量間的相關(guān)性，相關(guān)性強時，偏相關(guān)系數(shù)遠小于簡單相關(guān)系數(shù)，KMO值接近1.一般KMO＞0.9非常適合做因子分析；而大于0.7都可以，但是0.5一下不適合；巴特萊特球形檢驗：用于檢驗相關(guān)矩陣是否是單位矩陣，及各個變量是否是獨立的。它以變量的相關(guān)系數(shù)矩陣為出發(fā)地點，如果統(tǒng)計量數(shù)值較大，且相伴隨的概率值小于用戶給定的顯著性水平，則應(yīng)該拒絕原假設(shè)；反之，則認為相關(guān)系數(shù)矩陣可能是一個單位陣，不適合做因子分析。因子分析有哪些類型？它們有何區(qū)別？Q型因子分析與聚類分析有何異同？答：Q型和R型兩種；Q型：對樣本進行因子分析，R型：對變量進行因子分析；Q型因子分析可以認為是考慮指標的重要性，保留哪些去掉哪些；Q型聚類分析考慮的是指標的相關(guān)性，哪幾類指標可能組成一類，使得組內(nèi)距離盡可能小，組間距離盡可能大。因子分析中的變量類型是怎樣的？因子分析對變量數(shù)目有沒有要求？對樣本規(guī)模有沒有要求？答：被描述的變量一般來講都是可觀測的隨機變量；變量必須是標準化的；樣品的數(shù)目大于變量的數(shù)目。因子分析有怎樣的基本假定？對樣本特點（或性質(zhì)）有何要求？答：各個共同因子之間不相關(guān)，特殊因子之間也不相關(guān)，共同因子與特殊因子之間也不相關(guān)。樣本之間相關(guān)性越強越好。因子分析模型中，因子載荷、變量共同度、方差貢獻等統(tǒng)計量的統(tǒng)計意義是什么？答：（1）因子載荷：指綜合因子與公共因子的相關(guān)關(guān)系，表示其依賴公共因子的程度，反映了第i個變量對第j個公共因子的相對重要性，也是其間的密切程度，也是其公共因子的權(quán)；（2）變量共同度：指因子載荷矩陣中各行元素的平方和，表示x的第i個分量對于公共因子的每一個分量的共同依賴程度；（3）方差貢獻：指因子載荷矩陣第j列各個元素的平方和，是衡量公共因子相對重要性的指標。因子分析與主成分分析有何區(qū)別與聯(lián)系？它們分別適用于怎樣的情況？答：聯(lián)系：均是降維的處理變量（樣品）的方法；區(qū)別：因子分析是