機器學(xué)習(xí) 習(xí)題答案

1、 因為 sigmoid 函數(shù)是值域在(0,1區(qū)間的遞增函數(shù)，而輸入樣本為只有一位為 1 的八位二進制 碼， 顯然通過訓(xùn)練可以得到從第一個輸入單元到第八個輸入單元與隱藏單元的遞增的連接權(quán) 重，從而使隱藏單元對于 10000000，01000000，00000001 八種不同的輸入產(chǎn)生遞增的 0.1，0.2，0.8 的隱藏單元輸出編碼。 2、不可能存在這樣的輸出單元權(quán)值，能夠?qū)σ陨习朔N不同的輸入進行正確的解碼。 因為根據(jù)目標(biāo)輸出結(jié)果，首先考慮第一種輸入：10000000，對應(yīng) 0.1 的隱藏單元編碼， 隱藏單元與第一個輸出單元的權(quán)值應(yīng)為最大，而隱藏單元與其他輸出單元的權(quán)值相對較?。?再考慮第二種輸

2、入：01000000，它對應(yīng) 0.2 的隱藏單元編碼，隱藏單元與第二個輸出單元的 權(quán)值應(yīng)最大，而隱藏單元與其他輸出單元的權(quán)值相對較小；其他輸入情況與此類似。而因為 只有一個隱藏單元，它到每個輸出單元的權(quán)值只有一個，所以這些權(quán)值的要求是相互沖突、 無法實現(xiàn)的。 3、由 2 可知，如果用梯度下降法尋找最優(yōu)權(quán)值，對于不同的輸入，權(quán)值將會被反復(fù)地向不 同方向調(diào)整，而最終無法收斂，解不存在。 習(xí)題 6.1 解：根據(jù)題意有： P(cancer=0.008, P(cancer=0.992 |cancer=0.98， |cancer=0.02 P( P( |cancer=0.03， |cancer=0.97

3、P( P( 第一次化驗有其極大后驗假設(shè)為： |cancer P(cancer0.98×0.0080.0078 P( |cancerP(cancer0.03×0.9920.0298 P( 則第一次化驗后確切的后驗概率是： 0.0078/（0.00780.0298）0.21 P(A=P(cancer | 0.0298/（0.00780.0298）0.79 P(B=P(cancer | 因為兩次的化驗是相互獨立的，根據(jù)乘法原理有： P(A×P(A0.21×0.210.0441 P(cancer | P(B×P(B0.79×0.790.624

4、1 P(cancer | 習(xí)題 6.3 hMAP=argmaxhH P(h|D=argmaxhH P(D|hP(h/P(D=argmaxhH P(D|hP(h hML=argmaxhH P(D|h 為了使 FindG 保證輸出 MAP 假設(shè)，則應(yīng)該使 P(h=1/|H|，即無先驗知識。 為了使 FindG 不保證輸出 MAP 假設(shè)，則應(yīng)該使假設(shè) P(h不全相等，即存在先驗知識，使得 P(h不全等于 1/|H|。 為了使 FindG 輸出的是 ML 假設(shè)而不是 MAP 假設(shè)，則應(yīng)該使得每個假設(shè)的概率 P(h不全相 等，但對任意一個假設(shè)成立的條件下所得到的結(jié)果是正類的概率相等，即 P(D|h相等（

5、對所 有的假設(shè)，樣例為正類和負類的概率均一樣） 。 8.1 給出公式 8.7 的推導(dǎo)過程 解：使用誤差準(zhǔn)則為如下公式： 6 E3 ( xq º 2 Ù 1 （ f(x - f (x ） K (d ( xq , x å 2 xÎxq的k 個近鄰 Vwi = -h 因為： ¶E3 ¶wi 所以： 2 Ù ¶E3 ¶ 1 = ( （ f(x - f (x ） K ( d( xq, x å ¶w i ¶w i 2 xÎxq的k 個近鄰 Ù w 在整個表達式中 i

6、盡能通過 f (x 來影響整個網(wǎng)絡(luò)則上式可轉(zhuǎn)化為 Ù ¶E3 ¶E ¶ f (x 1 ¶ f (x = Ù 3 = - ´ 2 å （f(x - f (x） K ( d ( xq, x ¶w i ¶ f (x ¶w i 2 xÎxq的k 個近鄰 ¶w i Ù Ù Ù (1 ¶ f (x ¶w i 除了實例 x 的第 i 個屬性值有非零值外其他值都為，則有： 又因為對于 ¶ f (x = ai ( x

7、82;w i Ù ¶E3 ¶E ¶ f (x = Ù 3 = - å （f(x - f (x） K ( d ( xq , x ai ( x ¶w i ¶ f (x ¶w i xÎxq的k 個近鄰 代入(1式有： Ù ¶E3 = -h (- å （f(x - f (x） K ( d ( xq , x ai ( x ¶w i xÎxq的k 個近鄰 Ù Ù Vw i = -h 習(xí)題 8.3 決策樹學(xué)習(xí)算法 ID3 的消極版本，我覺得

8、可以借鑒 k-近鄰算法思想，先不構(gòu)造決策樹，當(dāng) 有一個新樣例時，找到 k 個離新樣例最近的樣例，按照 ID3 算法，生成決策樹，再由此樹 判別新樣例是正例還是反例。 優(yōu)點： 可以把決策樹建立的過程放到需要預(yù)測時再進行， 所以初始建立決策樹的時間省略了， 并且在需要預(yù)測時只是選取最近的 k 個建立決策樹， 所需時間較少。 當(dāng)需要預(yù)測樣例遠小于 已有樣例時效率比較高。 缺點：加大了預(yù)測時的時間開銷，積極版本只需初始時建立一顆決策樹，后面預(yù)測只要驗證 一下即可，但消極版本每次均需重新建立決策樹，當(dāng)需要預(yù)測的樣例太多時效率十分低下。 9.1 (1 對 PlayTennis 問題描述： 7 EQ DU MT MS DU NOT NOT CS CS NN NN 交叉算子的操作過程示例如下圖： EQ EQ DU MT