信息理論基礎(chǔ)知到智慧樹(shù)章節(jié)測(cè)試課后答案2024年秋浙江大學(xué)

信息理論基礎(chǔ)知到智慧樹(shù)章節(jié)測(cè)試課后答案2024年秋浙江大學(xué)第一章單元測(cè)試

隨機(jī)事件的互信息可小于0，隨機(jī)變量的互信息也可小于0。（）

A:錯(cuò)B:對(duì)

答案:錯(cuò)對(duì)于連續(xù)隨機(jī)變量，其微分熵越大，說(shuō)明不確定性越大。（）

A:對(duì)B:錯(cuò)

答案:錯(cuò)必然事件和不可能事件的自信息量都是0。（）

A:對(duì)B:錯(cuò)

答案:錯(cuò)自信息量是P(xi)的單調(diào)遞減函數(shù)。（）

A:對(duì)B:錯(cuò)

答案:對(duì)若離散變量X是離散變量Y的函數(shù)，則條件熵H(X|Y)恒為0。（）

A:錯(cuò)B:對(duì)

答案:對(duì)

第二章單元測(cè)試

A村有一半人說(shuō)真話，3/10人總說(shuō)假話，2/10人拒絕回答；B村有3/10人誠(chéng)實(shí)，一半人說(shuō)謊，2/10人拒絕回答?，F(xiàn)隨機(jī)地從A村和B村抽取人，p為抽到A村人的概率，1–p為抽到B村人的概率，問(wèn)通過(guò)測(cè)試某人說(shuō)話的狀態(tài)平均能獲得多少關(guān)于該人屬于哪個(gè)村的信息？通過(guò)改變p，求出該信息的最大值。

答案:這個(gè)問(wèn)題可以通過(guò)計(jì)算兩個(gè)村莊人群的交叉熵然后求期望值來(lái)解決。首先定義兩個(gè)村莊人群說(shuō)真話、說(shuō)謊話、拒絕回答的概率分布，然后根據(jù)p計(jì)算加權(quán)平均交叉熵，最后通過(guò)求導(dǎo)數(shù)找到最大值點(diǎn)。對(duì)于A村：-說(shuō)真話的概率為1/2-說(shuō)假話的概率為3/10-拒絕回答的概率為2/10對(duì)于B村：-誠(chéng)實(shí)（說(shuō)真話）的概率為3/10-說(shuō)謊話的概率為1/2-拒絕回答的概率為2/10設(shè)隨機(jī)變量X表示一個(gè)人的說(shuō)話狀態(tài)，Y表示該人來(lái)自哪個(gè)村（A或B）。我們想要最大化的是關(guān)于Y的信息量，這可以通過(guò)最小化條件熵H(Y|X)或等效地最大化互信息I(X;Y)來(lái)實(shí)現(xiàn)。但在這種情況下，直接計(jì)算每個(gè)村的信息熵然后求期望可能更直觀。A村的熵H(A)和B村的熵H(B)可以分別計(jì)算如下（注意這里使用的是信息論中熵的定義，即不確定性，對(duì)于確定性回答信息熵較低，而對(duì)于均勻分布不確定性最高，熵也最高）：\[H(A)=-\left(\frac{1}{2}\log_2\frac{1}{2}+\frac{3}{10}\log_2\frac{3}{10}+\frac{2}{10}\log_2\frac{2}{10}\right)\]\[H(B)=-\left(\frac{3}{10}\log_2\frac{3}{10}+\frac{1}{2}\log_2\frac{1}{2}+\frac{2}{10}\log_2\frac{2}{10}\right)\]通過(guò)p對(duì)這兩個(gè)熵取加權(quán)平均得到的期望信息量（考慮了抽樣偏向）為：\[H(p)=pH(A)+(1-p)H(B)\]要找到該信息的最大值，通常需要對(duì)p求導(dǎo)并令導(dǎo)數(shù)等于零。但在這個(gè)特定問(wèn)題中，因?yàn)锳和B村的配置是對(duì)稱的（只是真話和謊言的比例不同，而拒絕回答的比例相同），最大信息增益實(shí)際上不依賴于p的具體值，而是取決于兩個(gè)村子在說(shuō)真話和說(shuō)謊話上的差異性。然而，上述過(guò)程展示了如何設(shè)置框架來(lái)考慮該問(wèn)題。實(shí)際上，直接從兩個(gè)村莊的配置可以看出，最大的區(qū)分度來(lái)自于直接比較他們說(shuō)真話和說(shuō)謊話的比例，而不是通過(guò)調(diào)整p來(lái)優(yōu)化信息增益。因此，正確的理解和解答應(yīng)當(dāng)集中在理解信息增益的本質(zhì)和如何通過(guò)不同群體的特征對(duì)比來(lái)獲取信息，而不是簡(jiǎn)單地調(diào)整抽樣概率p來(lái)最大化某種抽象的“信息量”。正確執(zhí)行上述計(jì)算會(huì)發(fā)現(xiàn)，信息增益的最大化并不直接通過(guò)改變p實(shí)現(xiàn)，而是理解兩個(gè)群體本身的特性對(duì)比。一個(gè)無(wú)偏骰子，拋擲一次，如果出現(xiàn)1，2，3，4點(diǎn)，則把一枚均勻硬幣投擲一次，如果骰子出現(xiàn)5，6點(diǎn)，則硬幣投擲二次，求硬幣投擲中正面出現(xiàn)次數(shù)對(duì)于骰子出現(xiàn)點(diǎn)數(shù)所提供的信息?

答案:硬幣投擲中正面出現(xiàn)次數(shù)對(duì)于骰子出現(xiàn)點(diǎn)數(shù)所提供的信息是：-當(dāng)骰子出現(xiàn)1、2、3、4點(diǎn)時(shí)，你只能得到關(guān)于一次硬幣投擲結(jié)果的信息，即正面出現(xiàn)的概率是0次或1次。-當(dāng)骰子出現(xiàn)5、6點(diǎn)時(shí)，你能得到關(guān)于兩次硬幣投擲結(jié)果的綜合信息，即正面出現(xiàn)的概率可以是0次、1次或2次。在某中學(xué)有3/4學(xué)生通過(guò)了考試，1/4學(xué)生沒(méi)有通過(guò)。在通過(guò)考試的同學(xué)中10%有自行車(chē)，而沒(méi)有通過(guò)的學(xué)生中50%有自行車(chē)，所有有自行車(chē)的同學(xué)都加入了聯(lián)誼會(huì)，無(wú)自行車(chē)的同學(xué)中僅有40%加入聯(lián)誼會(huì)。

a.通過(guò)詢問(wèn)是否有自行車(chē)，能獲得多少關(guān)于學(xué)生考試成績(jī)的信息?

b.通過(guò)詢問(wèn)是否參加聯(lián)誼會(huì)，能獲得多少關(guān)于學(xué)生成績(jī)的信息?

c.如果把學(xué)生成績(jī)情況，自行車(chē)擁有情況和是否參加聯(lián)誼會(huì)用三位二進(jìn)數(shù)字傳輸，問(wèn)每位數(shù)字?jǐn)y帶多少信息?

答案:a.通過(guò)詢問(wèn)是否有自行車(chē)，可以獲得一些關(guān)于學(xué)生考試成績(jī)的信息，因?yàn)橥ㄟ^(guò)和未通過(guò)考試的學(xué)生中擁有自行車(chē)的比例不同。b.通過(guò)詢問(wèn)是否參加聯(lián)誼會(huì)，也可以獲得關(guān)于學(xué)生成績(jī)的信息，因?yàn)橛袩o(wú)自行車(chē)影響加入聯(lián)誼會(huì)的概率，而自行車(chē)擁有情況又與考試成績(jī)有關(guān)。c.每位數(shù)字?jǐn)y帶的信息量無(wú)法直接計(jì)算，需要具體概率數(shù)據(jù)來(lái)應(yīng)用信息論中的熵公式計(jì)算。給出的情況不足以計(jì)算每位數(shù)字的具體信息量。隨機(jī)擲三顆骰子，以X表示第一顆骰子拋擲的結(jié)果，以Y表示第一顆和第二顆骰子

拋擲之和，以Z表示三顆骰子的點(diǎn)數(shù)之和，試求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。

答案:0設(shè)一個(gè)系統(tǒng)傳送10個(gè)數(shù)字：0，1，2，?，9，奇數(shù)在傳送時(shí)以0.5概率等可能地錯(cuò)成另外的奇數(shù)，而其他數(shù)字總能正確接收。試求收到一個(gè)數(shù)字后平均得到的信息量。

答案:2.5849bits

第三章單元測(cè)試

試證明長(zhǎng)度為N的D元不等長(zhǎng)碼至多有D(DN-1)/(D-1)個(gè)碼字。