信息理論基礎(chǔ)知到智慧樹章節(jié)測試課后答案2024年秋浙江大學(xué)

信息理論基礎(chǔ)知到智慧樹章節(jié)測試課后答案2024年秋浙江大學(xué)第一章單元測試

隨機(jī)事件的互信息可小于0，隨機(jī)變量的互信息也可小于0。（）

A:錯(cuò)B:對

答案:錯(cuò)對于連續(xù)隨機(jī)變量，其微分熵越大，說明不確定性越大。（）

A:對B:錯(cuò)

答案:錯(cuò)必然事件和不可能事件的自信息量都是0。（）

A:對B:錯(cuò)

答案:錯(cuò)自信息量是P(xi)的單調(diào)遞減函數(shù)。（）

A:對B:錯(cuò)

答案:對若離散變量X是離散變量Y的函數(shù)，則條件熵H(X|Y)恒為0。（）

A:錯(cuò)B:對

答案:對

第二章單元測試

A村有一半人說真話，3/10人總說假話，2/10人拒絕回答；B村有3/10人誠實(shí)，一半人說謊，2/10人拒絕回答。現(xiàn)隨機(jī)地從A村和B村抽取人，p為抽到A村人的概率，1–p為抽到B村人的概率，問通過測試某人說話的狀態(tài)平均能獲得多少關(guān)于該人屬于哪個(gè)村的信息？通過改變p，求出該信息的最大值。

答案:這個(gè)問題可以通過計(jì)算兩個(gè)村莊人群的交叉熵然后求期望值來解決。首先定義兩個(gè)村莊人群說真話、說謊話、拒絕回答的概率分布，然后根據(jù)p計(jì)算加權(quán)平均交叉熵，最后通過求導(dǎo)數(shù)找到最大值點(diǎn)。對于A村：-說真話的概率為1/2-說假話的概率為3/10-拒絕回答的概率為2/10對于B村：-誠實(shí)（說真話）的概率為3/10-說謊話的概率為1/2-拒絕回答的概率為2/10設(shè)隨機(jī)變量X表示一個(gè)人的說話狀態(tài)，Y表示該人來自哪個(gè)村（A或B）。我們想要最大化的是關(guān)于Y的信息量，這可以通過最小化條件熵H(Y|X)或等效地最大化互信息I(X;Y)來實(shí)現(xiàn)。但在這種情況下，直接計(jì)算每個(gè)村的信息熵然后求期望可能更直觀。A村的熵H(A)和B村的熵H(B)可以分別計(jì)算如下（注意這里使用的是信息論中熵的定義，即不確定性，對于確定性回答信息熵較低，而對于均勻分布不確定性最高，熵也最高）：\[H(A)=-\left(\frac{1}{2}\log_2\frac{1}{2}+\frac{3}{10}\log_2\frac{3}{10}+\frac{2}{10}\log_2\frac{2}{10}\right)\]\[H(B)=-\left(\frac{3}{10}\log_2\frac{3}{10}+\frac{1}{2}\log_2\frac{1}{2}+\frac{2}{10}\log_2\frac{2}{10}\right)\]通過p對這兩個(gè)熵取加權(quán)平均得到的期望信息量（考慮了抽樣偏向）為：\[H(p)=pH(A)+(1-p)H(B)\]要找到該信息的最大值，通常需要對p求導(dǎo)并令導(dǎo)數(shù)等于零。但在這個(gè)特定問題中，因?yàn)锳和B村的配置是對稱的（只是真話和謊言的比例不同，而拒絕回答的比例相同），最大信息增益實(shí)際上不依賴于p的具體值，而是取決于兩個(gè)村子在說真話和說謊話上的差異性。然而，上述過程展示了如何設(shè)置框架來考慮該問題。實(shí)際上，直接從兩個(gè)村莊的配置可以看出，最大的區(qū)分度來自于直接比較他們說真話和說謊話的比例，而不是通過調(diào)整p來優(yōu)化信息增益。因此，正確的理解和解答應(yīng)當(dāng)集中在理解信息增益的本質(zhì)和如何通過不同群體的特征對比來獲取信息，而不是簡單地調(diào)整抽樣概率p來最大化某種抽象的“信息量”。正確執(zhí)行上述計(jì)算會(huì)發(fā)現(xiàn)，信息增益的最大化并不直接通過改變p實(shí)現(xiàn)，而是理解兩個(gè)群體本身的特性對比。一個(gè)無偏骰子，拋擲一次，如果出現(xiàn)1，2，3，4點(diǎn)，則把一枚均勻硬幣投擲一次，如果骰子出現(xiàn)5，6點(diǎn)，則硬幣投擲二次，求硬幣投擲中正面出現(xiàn)次數(shù)對于骰子出現(xiàn)點(diǎn)數(shù)所提供的信息?

答案:硬幣投擲中正面出現(xiàn)次數(shù)對于骰子出現(xiàn)點(diǎn)數(shù)所提供的信息是：-當(dāng)骰子出現(xiàn)1、2、3、4點(diǎn)時(shí)，你只能得到關(guān)于一次硬幣投擲結(jié)果的信息，即正面出現(xiàn)的概率是0次或1次。-當(dāng)骰子出現(xiàn)5、6點(diǎn)時(shí)，你能得到關(guān)于兩次硬幣投擲結(jié)果的綜合信息，即正面出現(xiàn)的概率可以是0次、1次或2次。在某中學(xué)有3/4學(xué)生通過了考試，1/4學(xué)生沒有通過。在通過考試的同學(xué)中10%有自行車，而沒有通過的學(xué)生中50%有自行車，所有有自行車的同學(xué)都加入了聯(lián)誼會(huì)，無自行車的同學(xué)中僅有40%加入聯(lián)誼會(huì)。

a.通過詢問是否有自行車，能獲得多少關(guān)于學(xué)生考試成績的信息?

b.通過詢問是否參加聯(lián)誼會(huì)，能獲得多少關(guān)于學(xué)生成績的信息?

c.如果把學(xué)生成績情況，自行車擁有情況和是否參加聯(lián)誼會(huì)用三位二進(jìn)數(shù)字傳輸，問每位數(shù)字?jǐn)y帶多少信息?

答案:a.通過詢問是否有自行車，可以獲得一些關(guān)于學(xué)生考試成績的信息，因?yàn)橥ㄟ^和未通過考試的學(xué)生中擁有自行車的比例不同。b.通過詢問是否參加聯(lián)誼會(huì)，也可以獲得關(guān)于學(xué)生成績的信息，因?yàn)橛袩o自行車影響加入聯(lián)誼會(huì)的概率，而自行車擁有情況又與考試成績有關(guān)。c.每位數(shù)字?jǐn)y帶的信息量無法直接計(jì)算，需要具體概率數(shù)據(jù)來應(yīng)用信息論中的熵公式計(jì)算。給出的情況不足以計(jì)算每位數(shù)字的具體信息量。隨機(jī)擲三顆骰子，以X表示第一顆骰子拋擲的結(jié)果，以Y表示第一顆和第二顆骰子

拋擲之和，以Z表示三顆骰子的點(diǎn)數(shù)之和，試求H(X|Y)，H(Y|X)，H(Z|X,Y)，H(X,Z|Y)和H(Z|X)。

答案:0設(shè)一個(gè)系統(tǒng)傳送10個(gè)數(shù)字：0，1，2，?，9，奇數(shù)在傳送時(shí)以0.5概率等可能地錯(cuò)成另外的奇數(shù)，而其他數(shù)字總能正確接收。試求收到一個(gè)數(shù)字后平均得到的信息量。

答案:2.5849bits

第三章單元測試

試證明長度為N的D元不等長碼至多有D(DN-1)/(D-1)個(gè)碼字。