畢業(yè)設(shè)計（論文）文獻(xiàn)翻譯：超越oracle屬性：選擇局部解的一致性和唯一性廣義線性模型

畢業(yè)設(shè)計（論文）--文獻(xiàn)翻譯原文題目Goingbeyondoracleproperty:Selectionconsistencyanduniquenessoflocalsolutionofthegeneralizedlinearmodel譯文題目超越oracle屬性：選擇局部解的一致性和唯一性廣義線性模型專業(yè)信息與計算科學(xué)姓名學(xué)號指導(dǎo)教師超越oracle屬性：選擇局部解的一致性和唯一性廣義線性模型作者：ChiTimNg,SeungyoungOh,YoungjoLee摘要最近，懲罰最小二乘估計器的選擇一致性受到了極大的關(guān)注。對于具有某些非凸懲罰的懲罰似然估計，可以構(gòu)建搜索空間，其中存在在特定條件下在高維廣義線性模型中表現(xiàn)出選擇一致性的唯一局部最小化。特別是，我們證明，F(xiàn)an和Li（2001）的SCAD懲罰和Lee和Oh（2014）的無限懲罰的新修改版可以用于實(shí)現(xiàn)這樣的財產(chǎn)。即使對于非稀疏情況，相關(guān)協(xié)變量的數(shù)量隨著樣本量的增加而增加。提供模擬研究來比較SCAD懲罰的表現(xiàn)和新提出的懲罰。1.前言基于Tibshirani的最小絕對收縮和選擇算子（LASSO）懲罰的懲罰似然法[18]已被廣泛應(yīng)用于同時變量選擇和估計。LASSO估計的一個優(yōu)點(diǎn)是由于凸度導(dǎo)致的局部解的唯一性。這種獨(dú)特的LASSO解決方案在[23]中的“不可代表性條件”下表現(xiàn)出選擇一致性。但是，這種情況在實(shí)踐中太嚴(yán)格了。作為LASSO處罰的替代方案，已經(jīng)提出了許多非凸的懲罰。然而，本地解決方案的獨(dú)特性并不是微不足道的。為了解決這個困難，已經(jīng)做出各種嘗試來定義和研究非凸規(guī)律的選擇一致性。Fan和Li[2]介紹了oracle屬性，至少有一個局部解與真實(shí)模型一致，提出了平滑削減的絕對偏差（SCAD）懲罰。最近，Lee和Oh[14]提出了一種隨機(jī)效應(yīng)模型，導(dǎo)致新的無界（UB）懲罰。Kwon等人建立了高維廣義線性模型下得到的估計量的oracle屬性[9]。然而，這樣的一個oracle屬性并不一定意味著數(shù)字實(shí)際獲得的本地解決方案的選擇一致性。即使本地解決方案不一定是唯一的，從某些數(shù)值程序獲得的本地解決方案可以選擇一致。Fan，Xue和Zou[6]顯示，通過其局部線性近似算法獲得的解決方案允許選擇一致性。Wang，Kim和Li[19]顯示，通過Yuille和Anand[20]的凹凸程序（CCCP）獲得的SCAD解決方案在線性回歸模型下是選擇一致的。在[22]中還討論了其他類型的局部解和全局解的近似。然而，仍然不清楚這種結(jié)果是否適用于從其他數(shù)值算法獲得的解決方案。Loh和Wainwright[15]以及Loh和Wainwright[16]考慮了在一般懲罰目標(biāo)函數(shù)的范圍內(nèi)估計局部解決方案的一致性，包括懲罰性的平方和作為特殊情況。盡管給出了誤差界限，但這樣的結(jié)果只能保證無關(guān)協(xié)方差的系數(shù)為0，而不是完全為零。如果本地解決方案是唯一的，則oracle屬性確實(shí)表示選擇一致性。Kim和Kwon[8]和Zhang和Zhang[22]研究了本地解決方案的唯一性的充分條件。然而，他們的結(jié)果是在線性回歸模型下獲得的。本文的目的是將這些唯一性結(jié)果推廣到廣義線性模型（GLM）的懲罰可能性。GLM的本地解決方案的全球獨(dú)特性難以證明。然而，在本文中，我們可以選擇搜索空間，其中GLM的懲罰似然估計的本地解決方案是唯一的，并且選擇一致。這里，選擇一致性是指無關(guān)協(xié)變量中的精確零估計。由于唯一性，選擇一致性不依賴于特定的算法。這樣的結(jié)果適用于在設(shè)計矩陣的某些條件下的GLM的SCAD懲罰似然估計器。此外，通過修改Lee和Oh[13]和Lee和Oh[14]的UB懲罰函數(shù)，也可以建立局部解的選擇一致性和唯一性。即使在非稀疏情況下，我們的結(jié)果仍然存在，其中k，相關(guān)協(xié)變量的數(shù)量隨n增加，高維GLM下的樣本量。修改的UB懲罰允許比SCAD懲罰更大的搜索空間，以保證獨(dú)特的本地解決方案的選擇一致性。模擬研究進(jìn)一步表明，與SCAD相比，新提出的修正無界（MUB）罰分傾向于要求相對較小的樣本量n來實(shí)現(xiàn)選擇一致性。本文的其余部分安排如下。在第2節(jié)中，定義了懲罰似然估計器。在第3節(jié)中，提供了SCAD風(fēng)扇和Li[2]的懲罰似然解的選擇一致性和唯一性定理，以及UB罰款的修改版本。在第4和第5節(jié)中，給出了一個模擬研究，并給出了使用實(shí)際數(shù)據(jù)的例子。第6節(jié)給出了結(jié)論。附錄A給出了證明。2.懲罰函數(shù)令是觀察值，其中是p維協(xié)變量向量，是標(biāo)量響應(yīng)?？紤]具有和的GLM，其中是色散參數(shù)，是方差函數(shù)。方差函數(shù)表征具有密度函數(shù)的GLM系列的分布其中是規(guī)范參數(shù)，是規(guī)范鏈接，是累積量函數(shù)。在GLMs中，懲罰的可能性定義如下：其中是未知系數(shù)的向量，是懲罰函數(shù)。LASSO懲罰：LASSO懲罰函數(shù)定義為Meinshausen和Bühlmann[17]討論了與使用LASSO懲罰相關(guān)的兩個困難。首先，真正的模型可能永遠(yuǎn)不是由各種值產(chǎn)生的LASSO解決方案的成員。第二，在懲罰似然估計中，為了更好的解釋，對于更好的預(yù)測和選擇一致性進(jìn)行收縮估計將是有利的。然而，對于收縮和選擇一致性，LASSO僅具有一個調(diào)諧參數(shù)。為避免這個困難，范和李[2]提出了SCAD懲罰。SCAD懲罰：(1)對于某些.SCAD具有兩個調(diào)諧參數(shù)和。通常，被選為3.7。Fan和Li[2]建立了SCAD估計器的oracle屬性。Wang，Kim和Li[19]顯示，CCCP獲得的SCAD解決方案在線性回歸模型下選擇一致。在本文中，我們顯示SCAD估計器是GLM中選擇一致的，與用于實(shí)現(xiàn)懲罰似然估計的算法無關(guān)。UB懲罰：最近，Lee和Oh[14]主張使用導(dǎo)致UB懲罰的隨機(jī)效應(yīng)模型(2)其中這里，和是兩個調(diào)諧參數(shù)。這種懲罰包括脊灰和LASSO懲罰作為特殊情況。此外，通過選擇和，它成為Lee和Oh的UB懲罰[14]。在[10，12]中通過大量數(shù)值研究表明，UB懲罰(2)在選擇一致性和預(yù)測精度方面都具有良好的表現(xiàn)。此外，Kwon等[9]表明，UB懲罰(2)具有較大的懲罰導(dǎo)數(shù)，以避免假陽性，因此允許oracle屬性。修改UB（MUB）懲罰：為了實(shí)現(xiàn)選擇一致性，在本文中，我們提出了新的修改的UB（MUB）懲罰。(3)這里，是滿足定理3.2中規(guī)定的規(guī)律條件的常數(shù)。3.主要成果主要結(jié)果在本節(jié)中介紹。顯示搜索空間可以被指定，使得內(nèi)部的本地解決方案是唯一的，并且選擇一致。在3.1節(jié)中，介紹了設(shè)計矩陣的條件。在后續(xù)小節(jié)中分別給出了SCAD懲罰和MUB懲罰的選擇一致性和唯一性的兩個主要定理。在3.4節(jié)中，說明MUB懲罰允許比SCAD懲罰更大的搜索空間。第3.5節(jié)進(jìn)一步介紹了唯一性證明的簡要說明。補(bǔ)充資料中提供了詳細(xì)資料（見附錄A）。首先，我們介紹必要的符號。令是的參數(shù)空間，其中是緊湊的。在第3.2節(jié)和第3.3節(jié)中，已被選擇所以使。對于任何指數(shù)集，將定義為通過從對應(yīng)于的獲取列形成的子矩陣。例如，是的第列。令是的第行。類似地，將定義為通過從對應(yīng)于的中的個分量形成的子向量。對于任何，令，并且令是的基數(shù)，為非零的數(shù)量。令為真參數(shù)向量，為中非零分?jǐn)?shù)，。假設(shè)是的內(nèi)點(diǎn)。沒有失去一般性，在本文中我們假設(shè)規(guī)范性的鏈接。令和。令和。在本文中，使用以下符號。1.:存在常數(shù)和當(dāng)時，使得。2.:存在常數(shù)和當(dāng)時，使得。3.:當(dāng)和都成立時滿足。4.:。5.:存在常數(shù)，使得對于，，總是能滿足當(dāng)時，。6.:存在常數(shù)，使得對于，，總是能滿足當(dāng)時，。7.:當(dāng)和都成立時滿足。8.:當(dāng)時，。3.1設(shè)計矩陣上的條件在本節(jié)中，給出了設(shè)計矩陣的一般條件。特別地，當(dāng)從因子模型生成協(xié)變量時，我們研究這種條件的可行性：(4)其中是具有非零元素的因子加載矩陣。假設(shè)組件在和是獨(dú)立的，是相同分布的，零均值和單位方差。這里，是正定對角矩陣，且。假設(shè)存在矩陣，使得下面的M1-M3被滿足：M1：，M2：M3：其中是的最小奇異值，是最大范數(shù)，是歐幾里得范數(shù)。文獻(xiàn)中的線性回歸模型已經(jīng)廣泛地研究了選擇的一致性。為了比較M1-M3與現(xiàn)有文獻(xiàn)中使用的條件，考慮線性回歸模型。假設(shè)是單位矩陣，并且。然后選擇，M3變?yōu)?這類似于[23]中的不可代表的條件M3類似于[3]中的條件2，其考慮了代替標(biāo)準(zhǔn)。注意，條件M3只需要一個的范圍，而不可代表的條件需要1的范圍。這表明M3比不可代表的條件容易得多。此外，通過允許更靈活的選擇，當(dāng)從因子模型(4)生成時，可能M3與M1和M2一起成立。這將顯示命題3.1中嚴(yán)格。假設(shè)存在常數(shù)，使得對于任何具有基數(shù)，M4和M5滿足：M4：M5：在上述條件下，同樣的符號用于歐幾里得范數(shù)和矩陣范數(shù)。像[22,21,8]中使用的稀疏Riesz條件一樣，條件M4旨在限制協(xié)變量的依賴性，以減少模型不可識別性的機(jī)會。但是，M4的限制較少，因?yàn)樵试S上限，大于稀疏Riesz條件下的。條件M4和M5適用于某些實(shí)際情況。例如，如果從滿足特定有界條件的固定隨機(jī)過程生成，則每個條目的是，因?yàn)槭菍蔷€，是緊湊的。那么，M5是微不足道的，一邊必須是。M4的第二個不等式來自于任何肯定的事實(shí)小號矩陣，矩陣范數(shù)（最大特征值）小于跟蹤（所有特征值的和）。一般來說，M4中的第一個不等式是難以驗(yàn)證的，特別是當(dāng)時，由于缺少用于研究中所有具有基數(shù)的所有的的最小特征值的最小值的數(shù)學(xué)工具。然而，在的情況下，以下命題表明，如果是從因子模型(4)生成的，則所有假設(shè)M1-M5在因子負(fù)荷方面存在一些溫和的假設(shè)。對于個案例，建立一個隨機(jī)矩陣?yán)碚撌且粋€有趣的未來研究方向。參考文獻(xiàn)[1]S.Dudoit,J.Fridly,P.Terence,Comparisonofdiscriminationmethodsfortheclassificationoftumorsusinggeneexpressiondata,J.Amer.Statist.Assoc.97(2002)77–87.[2]J.Fan,R.Li,Variableselectionvianonconcavepenalizedlikelihoodanditsoracleproperties,J.Amer.Statist.Assoc.96(2001)1348–1360.[3]J.Fan,J.Lv,Aselectiveoverviewofvariableselectioninhighdimensionalfeaturespace,Statist.Sinica20(2010)101–148.[4]J.Fan,J.Lv,NonconcavepenalizedlikelihoodwithNP-dimensionality,IEEETrans.Inform.Theory57(2011)5467–5484.[5]J.Fan,R.Song,SureindependencescreeninginGLMswithnp-dimensionality,Ann.Statist.38(2010)3567–3604.[6]J.Fan,L.Xue,H.Zou,Strongoracleoptimalityoffoldedconcavepenalizedestimation,Ann.Statist.42(2014)819–849.[7]T.Hastie,R.Tibshirani,J.Friedman,TheElementsofStatisticalLearning;DataMining,InferenceandPrediction,Wiley,NewYork,2001.[8]Y.Kim,S.Kwon,Globaloptimalityofnonconvexpenalizedestimators,Biometrika99(2012)315–325.[9]S.Kwon,S.Oh,Y.Lee,Theuseofrandom-effectmodelsforhigh-dimensionalvariableselectionproblems,Comput.Statist.DataAnal.(2016)./10.1016/j.csda.2016.05.016,inpress.[10]D.Lee,W.Lee,Y.Lee,Y.Pawitan,Supersparseprincipalcomponentanalysisforhigh-throughputgenomicdata,BMCBioinformatics11(2010)296–396.[11]W.Lee,D.Lee,Y.Lee,Y.Pawitan,Sparsecanonicalcovarianceanalysisforhigh-throughputdata,Stat.Appl.Genet.Mol.Biol.10(2011)Article30.[12]D.Lee,W.Lee,Y.Lee,Pawitan,Sparsepartialleast-squaresregressionanditsapplicationstohigh-throughputdataanalysis,Chemometr.Intell.Lab.Syst.109(2011)1–8.[13]Y.Lee,H.Oh,Randomeffectmodelsforvariableselection.TechnicalreportNo.2009-4,DepartmentofStatistics,StanfordUniversity,2009.[14]Y.Lee,H.Oh,Anewsparsevariableselectionviarandom-effectmodel,J.MultivariateAnal.125(2014)89–99.[15]P.Loh,M.J.Wainwright,High-dimensionalregressionwithnoisyandmissingdata:Provableguaranteeswithnonconvexity,Ann.Statist.40(2012)1637–1664.[16]P.Loh,M.J.Wainwright,RegularizedM-estimatorswithnonconvexity:Statisticalandalgorithmictheoryforlocaloptima,/abs/1305.2436.[17]N.Meinshausen,P.Bühlmann,Stabilityselection,J.R.Stat.Soc.Ser.BStat.Methodol.72(2010)417–473.[18]R.Tibshirani,Regressionshrinkageandselectionviathelasso,J.R.Stat.Soc.Ser.BStat.Methodol.58(1996)267–288.[19]L.Wang,Y.Kim,R.Li,Calibratingnonconvexpenalizedregressioninultra-highdimension,Ann.Statist.41(2013)2505