機(jī)器學(xué)習(xí)試卷

1、一、判斷題（1）極大似然估計(jì)是無偏估計(jì)且在所有的無偏估計(jì)中方差最小，所以極大似然 估計(jì)的風(fēng)險(xiǎn)最小。（2）回歸函數(shù)A和B，如果A比B更簡單，則A幾乎一定會比B在測試集上 表現(xiàn)更好。（3）全局線性回歸需要利用全部樣本點(diǎn)來預(yù)測新輸入的對應(yīng)輸出值，而局部線 性回歸只需利用查詢點(diǎn)附近的樣本來預(yù)測輸出值。所以全局線性回歸比局部線性 回歸計(jì)算代價更高。（4）Boosting的一個優(yōu)點(diǎn)是不會過擬合。（5）在回歸分析中，最佳子集選擇可以做特征選擇，當(dāng)特征數(shù)目較多時計(jì)算量 大；嶺回歸和Lasso模型計(jì)算量小，且Lasso也可以實(shí)現(xiàn)特征選擇。（6）梯度下降有時會陷于局部極小值，但EM算法不會。（7）支持向量機(jī)是判別

2、模型。T（8）ICA方法對于高斯分布的數(shù)據(jù)也有效。F（9）回歸問題屬于非監(jiān)督學(xué)習(xí)的一種方法。F（10）聚類算法中不需要給出標(biāo)簽y。T二、考慮一個二分類器問題（Y為1或0），每個訓(xùn)練樣本X有兩個特征X1、 X2（0或1）。給出P（Y=0）=P（Y=1）=0.5，條件概率如下表：p（Xi|y）=（Xi = 1V = 0u.r0.3= 1（L2F）= （J Aa = 1 = u y = i0.90.10.50.5分類器預(yù)測的結(jié)果錯誤的概率為期望錯誤率，Y是樣本類別的實(shí)際值，Y（X1，X2）為樣本類別的預(yù)測值，那么期望錯誤率為：1 IpP（y = 1 - r（-vb-v2） = i 一（、&）X i

3、=0 A衛(wèi)=0（1）給出X1, X2的所有可能值，使用貝葉斯分類器預(yù)測結(jié)果，填寫下表:X1X2P(X1,X2,Y=0)P(X1,X2,Y=1)Y(X1,X2)00011011（2）計(jì)算給定特征（XI，X2）預(yù)測Y的期望錯誤率，假設(shè)貝葉斯分類器從無 限的訓(xùn)練樣本中學(xué)習(xí)所得。（3）下面哪個有更小的期望錯誤率？a、僅僅給出XI，采用貝葉斯分類器預(yù)測Y。b、僅僅給出X2,采用貝葉斯分類器預(yù)測Y。（4）給出一個新的特征X3, X3的與X2保持完全相同，現(xiàn)在計(jì)算給定（XI， X2, X3）采用貝葉斯分類器預(yù)測Y的期望錯誤率，假設(shè)分類器從無限的訓(xùn)練數(shù) 據(jù)中學(xué)習(xí)所得。（5）使用貝葉斯分類器會產(chǎn)生什么問題，為什么？（1）算法1-NN的訓(xùn)練誤差的是多少?三、交叉驗(yàn)證1、4.給定如下數(shù)據(jù)集，其中X為輸入變量，r為輸出變量。假設(shè)考慮采用k-NN算法 對X對應(yīng)的y進(jìn)行預(yù)測，其中距離度量采用不加權(quán)的歐氏距離。（12分）同）（2）算法3-NN的訓(xùn)練誤差是多少？（3）算法1-NN的LOOCV （留一交叉驗(yàn)證）估計(jì)誤差是多少？（4）算法3-NN的LOOCV （留一交叉驗(yàn)證）估計(jì)誤差是多少？四、用最大似然估計(jì)的方法估計(jì)高斯分布的均值和方差，并指出其局限性。五、隨著信息化的發(fā)展，大數(shù)據(jù)的時代已經(jīng)到來。海量的文本