機(jī)器學(xué)習(xí) 習(xí)題答案

1、 因?yàn)?sigmoid 函數(shù)是值域在(0,1區(qū)間的遞增函數(shù)，而輸入樣本為只有一位為 1 的八位二進(jìn)制 碼， 顯然通過訓(xùn)練可以得到從第一個(gè)輸入單元到第八個(gè)輸入單元與隱藏單元的遞增的連接權(quán) 重，從而使隱藏單元對(duì)于 10000000，01000000，00000001 八種不同的輸入產(chǎn)生遞增的 0.1，0.2，0.8 的隱藏單元輸出編碼。 2、不可能存在這樣的輸出單元權(quán)值，能夠?qū)σ陨习朔N不同的輸入進(jìn)行正確的解碼。 因?yàn)楦鶕?jù)目標(biāo)輸出結(jié)果，首先考慮第一種輸入：10000000，對(duì)應(yīng) 0.1 的隱藏單元編碼， 隱藏單元與第一個(gè)輸出單元的權(quán)值應(yīng)為最大，而隱藏單元與其他輸出單元的權(quán)值相對(duì)較??； 再考慮第二種輸

2、入：01000000，它對(duì)應(yīng) 0.2 的隱藏單元編碼，隱藏單元與第二個(gè)輸出單元的 權(quán)值應(yīng)最大，而隱藏單元與其他輸出單元的權(quán)值相對(duì)較??；其他輸入情況與此類似。而因?yàn)?只有一個(gè)隱藏單元，它到每個(gè)輸出單元的權(quán)值只有一個(gè)，所以這些權(quán)值的要求是相互沖突、 無法實(shí)現(xiàn)的。 3、由 2 可知，如果用梯度下降法尋找最優(yōu)權(quán)值，對(duì)于不同的輸入，權(quán)值將會(huì)被反復(fù)地向不 同方向調(diào)整，而最終無法收斂，解不存在。 習(xí)題 6.1 解：根據(jù)題意有： P(cancer=0.008, P(cancer=0.992 |cancer=0.98， |cancer=0.02 P( P( |cancer=0.03， |cancer=0.97

3、P( P( 第一次化驗(yàn)有其極大后驗(yàn)假設(shè)為： |cancer P(cancer0.98×0.0080.0078 P( |cancerP(cancer0.03×0.9920.0298 P( 則第一次化驗(yàn)后確切的后驗(yàn)概率是： 0.0078/（0.00780.0298）0.21 P(A=P(cancer | 0.0298/（0.00780.0298）0.79 P(B=P(cancer | 因?yàn)閮纱蔚幕?yàn)是相互獨(dú)立的，根據(jù)乘法原理有： P(A×P(A0.21×0.210.0441 P(cancer | P(B×P(B0.79×0.790.624

4、1 P(cancer | 習(xí)題 6.3 hMAP=argmaxhH P(h|D=argmaxhH P(D|hP(h/P(D=argmaxhH P(D|hP(h hML=argmaxhH P(D|h 為了使 FindG 保證輸出 MAP 假設(shè)，則應(yīng)該使 P(h=1/|H|，即無先驗(yàn)知識(shí)。 為了使 FindG 不保證輸出 MAP 假設(shè)，則應(yīng)該使假設(shè) P(h不全相等，即存在先驗(yàn)知識(shí)，使得 P(h不全等于 1/|H|。 為了使 FindG 輸出的是 ML 假設(shè)而不是 MAP 假設(shè)，則應(yīng)該使得每個(gè)假設(shè)的概率 P(h不全相 等，但對(duì)任意一個(gè)假設(shè)成立的條件下所得到的結(jié)果是正類的概率相等，即 P(D|h相等（

5、對(duì)所 有的假設(shè)，樣例為正類和負(fù)類的概率均一樣） 。 8.1 給出公式 8.7 的推導(dǎo)過程 解：使用誤差準(zhǔn)則為如下公式： 6 E3 ( xq º 2 Ù 1 （ f(x - f (x ） K (d ( xq , x å 2 xÎxq的k 個(gè)近鄰 Vwi = -h 因?yàn)椋?¶E3 ¶wi 所以： 2 Ù ¶E3 ¶ 1 = ( （ f(x - f (x ） K ( d( xq, x å ¶w i ¶w i 2 xÎxq的k 個(gè)近鄰 Ù w 在整個(gè)表達(dá)式中 i

6、盡能通過 f (x 來影響整個(gè)網(wǎng)絡(luò)則上式可轉(zhuǎn)化為 Ù ¶E3 ¶E ¶ f (x 1 ¶ f (x = Ù 3 = - ´ 2 å （f(x - f (x） K ( d ( xq, x ¶w i ¶ f (x ¶w i 2 xÎxq的k 個(gè)近鄰 ¶w i Ù Ù Ù (1 ¶ f (x ¶w i 除了實(shí)例 x 的第 i 個(gè)屬性值有非零值外其他值都為，則有： 又因?yàn)閷?duì)于 ¶ f (x = ai ( x

7、82;w i Ù ¶E3 ¶E ¶ f (x = Ù 3 = - å （f(x - f (x） K ( d ( xq , x ai ( x ¶w i ¶ f (x ¶w i xÎxq的k 個(gè)近鄰 代入(1式有： Ù ¶E3 = -h (- å （f(x - f (x） K ( d ( xq , x ai ( x ¶w i xÎxq的k 個(gè)近鄰 Ù Ù Vw i = -h 習(xí)題 8.3 決策樹學(xué)習(xí)算法 ID3 的消極版本，我覺得

8、可以借鑒 k-近鄰算法思想，先不構(gòu)造決策樹，當(dāng) 有一個(gè)新樣例時(shí)，找到 k 個(gè)離新樣例最近的樣例，按照 ID3 算法，生成決策樹，再由此樹 判別新樣例是正例還是反例。 優(yōu)點(diǎn)： 可以把決策樹建立的過程放到需要預(yù)測(cè)時(shí)再進(jìn)行， 所以初始建立決策樹的時(shí)間省略了， 并且在需要預(yù)測(cè)時(shí)只是選取最近的 k 個(gè)建立決策樹， 所需時(shí)間較少。 當(dāng)需要預(yù)測(cè)樣例遠(yuǎn)小于 已有樣例時(shí)效率比較高。 缺點(diǎn)：加大了預(yù)測(cè)時(shí)的時(shí)間開銷，積極版本只需初始時(shí)建立一顆決策樹，后面預(yù)測(cè)只要驗(yàn)證 一下即可，但消極版本每次均需重新建立決策樹，當(dāng)需要預(yù)測(cè)的樣例太多時(shí)效率十分低下。 9.1 (1 對(duì) PlayTennis 問題描述： 7 EQ DU MT MS DU NOT NOT CS CS NN NN 交叉算子的操作過程示例如下圖： EQ EQ DU MT