總結(jié)機器學習筆試題

1、1.在回歸模型中,下列哪一項在權(quán)衡欠擬合（un der-fitt ing)和過擬(over-fitting）中影響最大?A.多項式階數(shù)B.更新權(quán)重w時，使用的是矩陣求逆還是梯度下降C.使用常數(shù)項答案：A解析：選擇合適的多項式階數(shù)非常重要。如果階數(shù)過大，模型就會更加 復(fù)雜，容易發(fā)生過擬合；如果階數(shù)較小，模型就會過于簡單，容易發(fā)生 欠擬合。如果有對過擬合和欠擬合概念不清楚的，見下圖所示：ExamplE： Linear regression (housing prices)十加7心#ugy2.假設(shè)你有以下數(shù)據(jù)：輸入和輸出都只有一個變量。使用線性回歸模型（y二wx+b ）來擬合數(shù)據(jù)。那么使用留一法（L

2、eave-0 ne Out)交叉驗證得到的均方誤差是多少？Xfindependent -ariable)Y(depenclit ariabk)022231A. 10/27B. 39/27C. 49/27D. 55/27答案：解析：樣本,留一法，簡單來說就是假設(shè)有N個樣本，將每一個樣本作為測試其它N-1個樣本作為訓練樣本。這樣得到N個分類器，N個測試結(jié)果。用這N個結(jié)果的平均值來衡量模型的性能。對于該題，我們先畫出3個樣本點的坐標：Y23X00使用兩個點進行線性擬合，分成三種情況，如下圖所示：I*第一種情況下，回歸模型是y = 2，誤差E1 =1。第二種情況下，回歸模型是y = -x + 4，誤差

3、E2 = 2。第三種情況下，回歸模型是y = -1/3x +2,誤差E3 = 2/3。則總的均方誤差為：MSE 二二冶+左閉亠酹）1 r緯*493.下列關(guān)于極大似然估計（Maximum Likelihood EstimateMLE ），說法正確的 是（多選）？A. MLE 可能并不存在B. MLE 總是存在C.如果MLE存在，那么它的解可能不是唯一的D.如果MLE存在，那么它的解一定是唯一的答案：AC解析：如果極大似然函數(shù)L( B)在極大值處不連續(xù)，一階導數(shù)不存在,則MLE不存在，如下圖所示：77if tti.Lt . U ifouttdafy paint另一種情況是 MLE并不唯一，極大值對

4、應(yīng)兩個0O如下圖所示：A tty pf/itti twn n a and h 防 u ttt.Lt4.如果我們說線性回歸”模型完美地擬合了訓練樣本（訓練樣本誤差為零），則下面哪個說法是正確的？A.測試樣本誤差始終為零B.測試樣本誤差不可能為零C.以上答案都不對答案：C解析：根據(jù)訓練樣本誤差為零，無法推斷測試樣本誤差是否為零。值得 一提是，如果測試樣本樣本很大，則很可能發(fā)生過擬合，模型不具備很 好的泛化能力！5.在一個線性回歸問題中，我們使用R平方(R-Squared)來判斷擬合度。此時，如果增加一個特征，模型不變，則下面說法正確的是？A.如果R-Squared增加，則這個特征有意義B.如果R-

5、Squared減小，則這個特征沒有意義C.僅看R-Squared單一變量，無法確定這個特征是否有意義。D.以上說法都不對答案：C解析：線性回歸問題中，R-Squared 是用來衡量回歸方程與真實樣本輸 出之間的相似程度。其表達式如下所示:上式中，分子部分表示真實值與預(yù)測值的平方差之和，類似于均方差MSE ；分母部分表示真實值與均值的平方差之和，類似于方差Var。根 據(jù)R-Squared 的取值，來判斷模型的好壞：如果結(jié)果是0，說明模型擬合效果很差；如果結(jié)果是1，說明模型無錯誤。一般來說，R-Squared 越大，表示模型擬合效果越好。R-Squared 反映的是大概有多準，因為，隨著樣本數(shù)量的

6、增加,R-Square 必然增加，無法真正定量說明準確程度，只能大概定量。對于本題來說，單獨看R-Squared，并不能推斷出增加的特征是否有意義。通常來說，增加一個特征,R-Squared可能變大也可能保持不變,兩者不一定呈正相關(guān)。）：如果使用校正決定系數(shù)（Adjusted R-Square其中，n是樣本數(shù)量，P是特征數(shù)量。 Adjusted R-Square 抵消樣本數(shù)量對R-Square 的影響，做到了真正的01，越大越好。6.下列關(guān)于線性回歸分析中的殘差（Residuals ）說法正確的是?A.殘差均值總是為零B.殘差均值總是小于零C.殘差均值總是大于零D.以上說法都不對答案：A解析：

7、線性回歸分析中，目標是殘差最小化。殘差平方和是關(guān)于參數(shù)的 函數(shù)，為了求殘差極小值，令殘差關(guān)于參數(shù)的偏導數(shù)為零，會得到殘差7.和為零，即殘差均值為零。下列關(guān)于異方差(Heteroskedasticity)說法正確的是?A.線性回歸具有不同的誤差項B.線性回歸具有相同的誤差項C.線性回歸誤差項為零D.以上說法都不對答案：A解析：異方差性是相對于同方差( Homoskedasticity )而言的。所謂同 方差，是為了保證回歸參數(shù)估計量具有良好的統(tǒng)計性質(zhì)，經(jīng)典線性回歸 模型的一個重要假定：總體回歸函數(shù)中的隨機誤差項滿足同方差性，即 它們都有相同的方差。如果這一假定不滿足，即：隨機誤差項具有不同 的方

8、差，則稱線性回歸模型存在異方差性。通常來說，奇異值的出現(xiàn)會導致異方差性增大。8.下列哪一項能反映出X和Y之間的強相關(guān)性？A.相關(guān)系數(shù)為0.9B.對于無效假設(shè)卩=0的P值為0.0001C.對于無效假設(shè)卩=0的t值為30D.以上說法都不對答案：A解析：相關(guān)系數(shù)的概念我們很熟悉，它反映了不同變量之間線性相關(guān)程度，一般用r表示。y/VjrX VarY其中，Cov(X, Y)為丫的方差。r為 X與 Y 的協(xié)方差， VarX 為 X 的方差，VarY取值范圍在-1,1之間，r越大表示相關(guān)程度越高。A選項中，r=0.9表示X和Y之間有較強的相關(guān)性。而P和t的數(shù)值大小沒有統(tǒng)計意義，只是將其與某一個閾值進行比對

9、,以得到二選一的結(jié)論。例如，有兩個假設(shè):?無效假設(shè)(null hypothesis ) H0 :兩參量間不存在線性”相關(guān)。? 備擇假設(shè)（alternative hypothesis ） H1 :兩參量間存在 線性相如果閾值是0.05，計算出的P值很小，比如為0.001，貝y可以說有非常顯著的證據(jù)拒絕H0假設(shè),相信 H1假設(shè)。即兩參量間存在 線性”相關(guān)。P值只用于二值化判斷，因此不能說P=0.06 定比p=0.07 更好。9.下列哪些假設(shè)是我們推導線性回歸參數(shù)時遵循的（多選）？A. X與Y有線性關(guān)系（多項式關(guān)系）B. 模型誤差在統(tǒng)計學上是獨立的C. 誤差一般服從0均值和固定標準差的正態(tài)分布D.

10、X 是非隨機且測量沒有誤差的答案：ABCD解析：在進行線性回歸推導和分析時，我們已經(jīng)默認上述四個條件是成立的。10.為了觀察測試丫與X之間的線性關(guān)系，X是連續(xù)變量，使用下列哪種圖形比較適合？A.散點圖B.柱形圖C.直方圖D.以上都不對答案：A解析：散點圖反映了兩個變量之間的相互關(guān)系，在測試丫與X之間的線性關(guān)系時，使用散點圖最為直觀。11.一般來說，下列哪種方法常用來預(yù)測連續(xù)獨立變量？A.線性回歸B.邏輯回顧C.線性回歸和邏輯回歸都行D.以上說法都不對答案：A解析：線性回歸一般用于實數(shù)預(yù)測，邏輯回歸一般用于分類問題。12. 個人健康和年齡的相關(guān)系數(shù)是-1.09。根據(jù)這個你可以告訴醫(yī)生哪個結(jié)論？A

11、. 年齡是健康程度很好的預(yù)測器B. 年齡是健康程度很糟的預(yù)測器C. 以上說法都不對答案：C解析：因為相關(guān)系數(shù)的范圍是-1,1之間，所以，-1.09 不可能存在。13. 下列哪一種偏移，是我們在最小二乘直線擬合的情況下使用的？圖中橫坐標是輸入X，縱坐標是輸出A.perpcihlh ithir of J wt 卡垂直偏移(vertical offsets )B.垂向偏移(perpendicular offsetsC.兩種偏移都可以D.以上說法都不對答案：A解析：線性回歸模型計算損失函數(shù)，例如均方差損失函數(shù)時，使用的都般用于主成分分析是 vertical offsets 。 perpendieula

12、r offsets(PCA )中。14. 假如我們利用Y是X的3階多項式產(chǎn)生一些數(shù)據(jù)（3階多項式能很好地擬合數(shù)據(jù)）。那么，下列說法正確的是（多選）？A. 簡單的線性回歸容易造成高偏差（bias ）、低方差（ varianee ）B. 簡單的線性回歸容易造成低偏差（bias ）、高方差（varianee）C. 3階多項式擬合會造成低偏差（bias ）、高方差（ varianee ）D. 3階多項式擬合具備低偏差（bias ）、低方差（ varianee ）答案：AD解析：偏差和方差是兩個相對的概念，就像欠擬合和過擬合一樣。如果 模型過于簡單，通常會造成欠擬合，伴隨著高偏差、低方差；如果模型 過于

13、復(fù)雜，通常會造成過擬合，伴隨著低偏差、高方差。用一張圖來形象地表示偏差與方差的關(guān)系：Low VarianceHigh Variancenai5偏差（bias）可以看成 模型預(yù)測與真實樣本的差距,bias，就得復(fù)雜化模型，但是容 易造成過擬合。方差（想要得到lowvaria nee）可以看成模型在測試集上的表現(xiàn)，想要得到low varianee，就得簡化模型，但 是容易造成欠擬合。實際應(yīng)用中，偏差和方差是需要權(quán)衡的。若模型在 訓練樣本和測試集上都表現(xiàn)的不錯，偏差和方差都會比較小，這也是模 型比較理想的情況。15. 假如你在訓練一個線性回歸模型，有下面兩句話：1.如果數(shù)據(jù)量較少，容易發(fā)生過擬合。2

14、.如果假設(shè)空間較小，容易發(fā)生過擬合。關(guān)于這兩句話，下列說法正確的是？A. 1和2都錯誤B. 1正確,2錯誤C. 1錯誤，2正確D. 1都正確答案：B解析：先來看第1句話，如果數(shù)據(jù)量較少，容易在假設(shè)空間找到一個模 型對訓練樣本的擬合度很好，容易造成過擬合，該模型不具備良好的泛 化能力。再來看第2句話，如果假設(shè)空間較小，包含的可能的模型就比較少，也 就不太可能找到一個模型能夠?qū)颖緮M合得很好，容易造成高偏差、低 方差，即欠擬合。16. 假如我們使用Lasso回歸來擬合數(shù)據(jù)集，該數(shù)據(jù)集輸入特征有 100個（X1，X2，.，X100 ）?，F(xiàn)在，我們把其中一個特征值擴大10倍（例如是特征X1），然后用相

15、同的正則化參數(shù)對 Lasso回歸進行修正。那么，下列說法正確的是？A.特征X1很可能被排除在模型之外B.特征X1很可能還包含在模型之中C.無法確定特征X1是否被舍棄D.以上說法都不對答案：B解析：Lasso 回歸類似于線性回歸，只不過它在線性回歸的基礎(chǔ)上，增 加了一個對所有參數(shù)的數(shù)值大小約束，如下所示: IM00 ；3）丄 subject to 113（；m其中，t為正則化參數(shù)。Lasso 回歸其實就是在普通線性回歸的損失函 數(shù)的基礎(chǔ)上增加了個B的約束。那么B的約束為什么要使用這種形 式，而不使用P的平方約束呢？原因就在于第一范數(shù)的約束下，一部分 回歸系數(shù)剛好可以被約束為0。這樣的話，就達到了

16、特征選擇的效果。如下圖所示:左邊是第二范式，右邊是第一范式。第一范數(shù)約束下,p更有可能被約束成0。這點非常類似于L1和L2因此，Lasso 回歸適用于樣本數(shù)量較少，特征維度較大的情形，便于從 較多特征中進行特征選擇。例如DNA 數(shù)據(jù)，特征維度很大，我們只希 望通過Lasso 回歸找出與某些疾病有關(guān)的DNA片段。本題中，將特征X1數(shù)值擴大10倍，他對應(yīng)的回歸系數(shù)將相應(yīng)會減 小，但不為0 ,以此來保證仍然滿足p的正則化約束。17. 關(guān)于特征選擇，下列對Ridge 回歸和Lasso 回歸說法正確的是？A. Ridge 回歸適用于特征選擇B. Lasso 回歸適用于特征選擇C.兩個都適用于特征選擇D.

17、以上說法都不對答案：B解析：上一題我們已經(jīng)介紹過,Lasso 回歸會讓一部分回歸系數(shù)剛好可以被約束為0，起到特征選擇的效果。Ridge 回歸又稱嶺回歸，它是普通線性回歸加上L2正則項，用來防止 訓練過程中出現(xiàn)的過擬合。L2正則化效果類似上一題左圖，限定區(qū)域是 圓，這樣，得到的回歸系數(shù)為0的概率很小，很大概率是非零的。因此，比較來說，Lasso 回歸更容易得到稀疏的回歸系數(shù)，有利于舍棄冗 余或無用特征，適用于特征選擇。18. 如果在線性回歸模型中增加一個特征變量，下列可能發(fā)生的是（多A. R-squared增大，Adjust R-squared增大B. R-squared增大，Adjust R-

18、squared減小C. R-squared減小，Adjust R-squared減小D. R-squared減小，Adjust R-squared增大答案：AB解析：線性回歸問題中，R-Squared 是用來衡量回歸方程與真實樣本輸 出之間的相似程度。其表達式如下所示:上式中，分子部分表示真實值與預(yù)測值的平方差之和，類似于均方差MSE ；分母部分表示真實值與均值的平方差之和，類似于方差Var。R-Squared 反映般來說，R-Squared越大，表示模型擬合效果越好。的是大概有多準，因為，隨著樣本數(shù)量的增加,R-Squared 必然增加，兩者不一定抵消樣本增加一個特征變量，如果這個特征有意義

19、,Adjusted R-Square就會增無法真正定量說明準確程度，只能大概定量。單獨看R-Squared，并不能推斷出增加的特征是否有意義。通常來說,增加一個特征特征，R-Squared 可能變大也可能保持不變, 呈正相關(guān)。如果使用校正決定系數(shù)(Adjusted R-Squared ):其中，n是樣本數(shù)量，P是特征數(shù)量。Adjusted R-Squared數(shù)量對R-Squared 的影響，做到了真正的01，越大越好。19. 下面三張圖展示了對同一訓練樣本，使用不同的模型擬合的效果（藍色曲線）。那么，我們可以得出哪些結(jié)論（多選）？A.B.rI*X第1個模型的訓練誤差大于第2個、第3個模型最好的

20、模型是第3個，因為它的訓練誤差最小C.D.第3個模型發(fā)生了過擬合E.所有模型的表現(xiàn)都一樣，因為我們并沒有看到測試數(shù)據(jù)答案：ACD第2個模型最為健壯”因為它對未知樣本的擬合效果最好解析：復(fù)雜。1、2、3模型分別對應(yīng)的多項式階數(shù)由小到大，即模型由簡單到模型越簡單，容易發(fā)生欠擬合；模型越復(fù)雜，容易發(fā)生過擬合。個模型過于簡單，出現(xiàn)欠擬合；第3個模型過于復(fù)雜，對訓練樣 本擬合得很好，但在測試樣本上效果會很差，即過擬合；第2個模型最 為健壯”在訓練樣本和測試樣本上擬合效果都不錯!20. 下列哪些指標可以用來評估線性回歸模型（多選）？A. R-SquaredB. Adjusted R-SquaredC. F

21、 StatisticsD. RMSE / MSE / MAE答案：ABCD解析：R-Squared禾口 Adjusted R-Squared 的 概念，我們在 Q3 有過 介紹，它們都可以用來評估線性回歸模型。F Statistics 是指在零假設(shè)成立的情況下，符合F分布的統(tǒng)計量，多用于計量統(tǒng)計學中。RMSE指的是均方根誤差:RMSE =MSE指的是均方誤差:MAE指的是評價絕對誤差:以上指標都可以用來評估線性回歸模型。21. 線性回歸中，我 們可以使用正規(guī)方程 (Norm al Equation)來求解系數(shù)。下列關(guān)于正規(guī)方程說法正確的是？A.不需要選擇學習因子B.當特征數(shù)目很多的時候，運算速

22、度會很慢C.不需要迭代訓練答案：ABC解析：求解線性回歸系數(shù)，我們一般最常用的方法是梯度下降，利用迭 代優(yōu)化的方式。除此之外，還有一種方法是使用正規(guī)方程，原理是基于 最小二乘法。下面對正規(guī)方程做簡要的推導。已知線性回歸模型的損失函數(shù)Ein為：XW-Yf m對Ein計算導數(shù)，令？Ein=0 :9771然后就能計算出W:以上就是使用正規(guī)方程求解系數(shù) W 的過程。可以看到，正規(guī)方程求解 過程不需要學習因子，也沒有迭代訓練過程。當特征數(shù)目很多的時候,XTX矩陣求逆會很慢，這時梯度下降算法更好一些。如果XTX 矩陣不可逆，是奇異矩陣怎么辦呢？其實，大部分的計算逆矩所以，陣的軟件程序，都可以處理這個問題，

23、也會計算出一個逆矩陣。一般偽逆矩陣是可解的。22.如果Y是X （X1，X2，.，Xn ）的線性函數(shù)： 丫 二 B0 +-+卩nXn ,則下列說法正確的是（多選）？A.如果變量Xi改變一個微小變量 Xi，其它變量不變。那么丫會相應(yīng)改變B i XiB. Bi是固定的，不管Xi如何變化C. Xi對 Y的影響是相互獨立的，且 X對丫的總的影響為各自分量Xi之和答案：ABC解析：這題非常簡單，Y與X （X1 , X2，Xn ）是線性關(guān)系，故能得出ABC結(jié)論。23.構(gòu)建一個最簡單的線性回歸模型需要幾個系數(shù)（只有一個特征）？A. 1B. 2C. 3D. 4答案：B解析：最簡單的線性回歸模型，只有一個特征，即

24、Y 二 aX + b，包含 a和b兩個系數(shù)。24.下面兩張圖展示了兩個擬合回歸線（A和B），原始數(shù)據(jù)是隨機產(chǎn)生的?，F(xiàn)在，我想要計算A和B各自的殘差之和。注意：兩種圖中的 坐標尺度一樣。關(guān)于B各自的殘差之和，下列說法正確的是？A. AB. AC. AD. 以上說法都不對答案：C解析：A和B中各自的殘差之和應(yīng)該是相同的。線性回歸模型的損失 函數(shù)為：對損失函數(shù)求導，并令？J=0，即可得到XW-Y=O ，即殘差之和始終為 零。25.如果兩個變量相關(guān)，那么它們一定是線性關(guān)系嗎？A.B.不是答案：B解析：相關(guān)不一定是線性關(guān)系，也有可能是非線性相關(guān)。26.兩個變量相關(guān)，它們的相關(guān)系數(shù)r可能為0。這句話是否正

25、確？A.正確B.錯誤答案：A解析：一般來說，相關(guān)系數(shù)r=0是兩變量相互獨立的必要不充分條件。也就是說，如果兩個變量相互獨立，那么相關(guān)系數(shù)r 一定為0，如果相關(guān)系數(shù)r=0，則不一定相互獨立。相關(guān)系數(shù)r=0只能說明兩個變量之 間不存在線性關(guān)系，仍然可能存在非線性關(guān)系。那么，若兩個變量相關(guān)，存在非線性關(guān)系，那么它們的相關(guān)系數(shù)r就為27.加入使用邏輯回歸對樣本進行分類，得到訓練樣本的準確率和測試樣本的準確率?，F(xiàn)在，在數(shù)據(jù)中增加一個新的特征，其它特征保持不變。然后重新訓練測試。則下列說法正確的是？A.訓練樣本準確率一定會降低B.訓練樣本準確率一定增加或保持不變C.測試樣本準確率一定會降低D.測試樣本準確率一定增加或保持不變答案：B解析：在模型中增加更多特征一般會增加訓練樣本的準確率，減小bias。但是測試樣本