第二章教育信息熵

第二章教育信息熵第1頁，課件共52頁，創(chuàng)作于2023年2月第一節(jié)熵的概述第二節(jié)相對熵與冗余熵第三節(jié)測試問題的信息量第四節(jié)CAI課件中的信息熵第五節(jié)教學(xué)過程的信息量分析主要內(nèi)容第2頁，課件共52頁，創(chuàng)作于2023年2月第一節(jié)熵的概述一、信息量的表示

一般來說，在通信過程中，信源發(fā)出的消息對收信者來說總是存在著某種程度的不確定性，通過通信，收信者就可能消除這種不確定性。信息的多少與信源的不確定性有關(guān)。研究信息的度量可變成研究信源的不確定性的度量。第3頁，課件共52頁，創(chuàng)作于2023年2月例1：現(xiàn)有A、B、C、D、E五名學(xué)生，以他們作為候選人，需從中選出一名學(xué)生作為學(xué)生代表。情況一：設(shè)定每一名學(xué)生被選中的可能性一樣（A當(dāng)選的概率是20%）；情況二：設(shè)定A當(dāng)選的概率是90%；情況三：A一定會當(dāng)選（A當(dāng)選的概率是100%）。選拔的結(jié)果：A被選中。第一節(jié)熵的概述第4頁，課件共52頁，創(chuàng)作于2023年2月

信源輸出的消息可以看作是隨機(jī)事件（數(shù)學(xué)上對隨機(jī)事件發(fā)生可能性的大小以概率來度量），它的不確定度可根據(jù)其出現(xiàn)的概率來衡量：概率大，出現(xiàn)機(jī)會多，不確定程度小概率小，出現(xiàn)機(jī)會少，不確定程度大以I記消息包含的信息量，P記消息發(fā)生的概率，0≤P≤1,則有：用函數(shù)可以表示為：I=f（P）或I=g（1/P)信息量是概率的單調(diào)減函數(shù)。第一節(jié)熵的概述第5頁，課件共52頁，創(chuàng)作于2023年2月例2：某人到劇院找朋友，劇院有20行30列座位，朋友的位置有600種可能。消息A說：“他在第6行”，消息B說：“他在第9列”，合成消息C=AB說：他在第6行第9列“。由概率論知，P（AB）=P（A）×P（B）。但經(jīng)驗告訴人們，消息C的信息量應(yīng)該是消息A的信息量與消息B的信息量之和。一般地若A和B為兩個相互獨(dú)立的消息，C代表A與B同時發(fā)生的合成消息，C=AB，則：I（AB）=I（A）+I（B）當(dāng)A、B不是獨(dú)立事件時，I（AB）<I（A）+I（B）信息量具有可加性。第一節(jié)熵的概述第6頁，課件共52頁，創(chuàng)作于2023年2月信息量是概率的單調(diào)減函數(shù)I=g（1/P)

，同時信息量又具有可加性I（AB）=I（A）+I（B）

。那么信息量可以用什么函數(shù)表示？對數(shù)函數(shù)是可供選用的合適的函數(shù)，

logak隨k值的增大而增大，且loga(k×l)=logak+logal第一節(jié)熵的概述第7頁，課件共52頁，創(chuàng)作于2023年2月

設(shè)某一事件產(chǎn)生的概率為p，則信息量可定義為：I=loga(1/P)=-logaP其中，a＞1a＝2時，單位為bit（比特），字位a＝e時，單位為nat（奈特），自然對數(shù)lna＝10時，單位為dit（迪特）。常用對數(shù)lg通常情況下，我們選擇以2為底數(shù)，此時信息量的單位為比特。信息量定義以概率p≠0發(fā)生的可能消息A所包含的信息量I（A）是概率p的倒數(shù)的對數(shù)：

I（A）=log21/p;或

I（A）=-log2p補(bǔ)充規(guī)定：若P=0，I=0信息量的單位為字位（bit）第一節(jié)熵的概述第8頁，課件共52頁，創(chuàng)作于2023年2月例3：投擲硬幣，消息A代表麥穗朝下，發(fā)生概率為P(A)=0.5，求其信息量。

例4：工會有一批水果發(fā)給會員，其中優(yōu)質(zhì)品為40%，合格品為55%，次品為5%。發(fā)放規(guī)則為隨意抓號，按號取貨，不許挑揀。問；王東拿到次品這一消息的信息量是多少？

I(A)=－log20.5=－

log22-1=1bitI=-log20.05=4.32bit第一節(jié)熵的概述第9頁，課件共52頁，創(chuàng)作于2023年2月二、信息熵1、信息熵定義

設(shè)發(fā)送端的可能消息集合為：X=（X1,X2,……,Xn）,各可能消息分別按概率P1,P2,……，Pn發(fā)生，并滿足歸一性條件：P1+P2+……+Pn=1。按一定的概率從集合X中隨機(jī)選擇消息發(fā)送，形成一個消息序列。設(shè)序列中包含的消息總數(shù)為N，N非常大。在統(tǒng)計意義上，該序列中包含的消息Xi的數(shù)目為PiN個，所有Xi包含的信息量為-（PiN）log2Pi。將序列中所有消息包含的信息量之和除以N，得到序列中每個可能信息的平均信息量為：H=-（P1log2P1+P2log2P2+……+Pnlog2Pn)=-H是可能消息集合X的整體平均信息量，亦即單位消息的信息量。

可能消息集合X=（X1,X2,……,Xn）的整體平均信息量稱為信息熵，簡稱為熵。第一節(jié)熵的概述2第10頁，課件共52頁，創(chuàng)作于2023年2月例6：還是工會發(fā)水果的例子。計算其信息熵：消息集合X=（優(yōu)質(zhì)品，合格品，次品），各消息可能出現(xiàn)的概率為：（0.4,0.55,0.05）其信息熵為：H=-（0.4log20.4+0.55log20.55+0.05log20.05）=1.22（bit）例5:設(shè)某一系統(tǒng)具有四種狀態(tài)（或四種事件）A1、A2、A3、A4，其產(chǎn)生的概率分別為p1＝1/2,p2=1/4,p3=1/8,p4=1/8，求該系統(tǒng)中任一狀態(tài)產(chǎn)生時所給予的平均信息量。第一節(jié)熵的概述22222第11頁，課件共52頁，創(chuàng)作于2023年2月三、熵的意義

熵的大小可用于表示概率系統(tǒng)的不確定程度。例8：設(shè)某一概率系統(tǒng)中，其概率分布是均勻的，它表示系統(tǒng)中每一事件產(chǎn)生的概率相等。對于這樣的系統(tǒng)，我們很難預(yù)測某一事件的產(chǎn)生，這種系統(tǒng)的不確定性最大。該系統(tǒng)的信息熵具有最大值（在相同事件數(shù)的情況下）。

例7：設(shè)某一概率系統(tǒng)中，每一事件產(chǎn)生的概率分布為：（1,0…,0）。它表示，該系統(tǒng)中某一事件產(chǎn)生的概率為1，其他事件產(chǎn)生的概率為0，這是一個確定系統(tǒng)，不確定度為0。計算該系統(tǒng)的信息熵，有H=0。第一節(jié)熵的概述第12頁，課件共52頁，創(chuàng)作于2023年2月

例9：設(shè)概率系統(tǒng)A、B的分布為：

pA=(0.5,0.5,0,0,0)

pB=(0.5,0.125,0.125,0.125,0.125)

請比較它們哪一個系統(tǒng)的不確定程度大。

分析：為了進(jìn)行這種比較，我們計算它們的信息熵，并以計算出的信息熵，對它們的不確定程度進(jìn)行定量的比較。通過A、B系統(tǒng)信息熵的計算，有

H(pA)=1(bit)H(pB)=2(bit)

由此可以判定系統(tǒng)B的不確定程度是系統(tǒng)A的兩倍。第一節(jié)熵的概述第13頁，課件共52頁，創(chuàng)作于2023年2月四、信息熵的基本性質(zhì)1、單峰性（極值性）

設(shè)某一系統(tǒng)包含兩個事件A、B，其產(chǎn)生的概率分別為p和1-p。該系統(tǒng)的熵為

H=-[plog2p+(1-p)log2(1-p)]H-P圖具有單峰性的特點。

對于由n個事件組成的系統(tǒng)，其信息熵也同樣具有單峰性。當(dāng)系統(tǒng)中每一事件產(chǎn)生的概率相同時，系統(tǒng)的熵最大。第一節(jié)熵的概述第14頁，課件共52頁，創(chuàng)作于2023年2月2、對稱性

某系統(tǒng)中n個事件的概率分布為:(p1,p2……,pn)

當(dāng)我們對事件位置的順序進(jìn)行任意的置換后，得到新的概率分布:(p1’,p2’……,pn’)

有以下關(guān)系成立：

H(p1,p2……,pn)=H(p1’,p2’……,pn’)

它表示，系統(tǒng)中，事件的順序雖不同，只要總的概率分布相同，系統(tǒng)的熵H是不變的，即系統(tǒng)的熵與事件的順序無關(guān)。

第一節(jié)熵的概述第15頁，課件共52頁，創(chuàng)作于2023年2月3、漸化性

設(shè)概率為pn(=q+r)的事件可分解為概率分別為q和r的兩個事件，則有

H(p1,p2…,pn-1,q,r)=H(p1,p2…,pn-1,q+r)+(q+r)H(q/(q+r),r/(q+r))

例10：H（p1,p2,p3,p4）=H(p1,p2,p3+p4)+(p3+p4)H(p3/(p3+p4),p4/(p3+p4))H(p1,p2,p3+p4)=H(p1,p2+p3+p4)+(p2+p3+p4)H(p2/(p2+p3+p4)+(p3+p4)/(p2+p3+p4))第一節(jié)熵的概述第16頁，課件共52頁，創(chuàng)作于2023年2月4、展開性

設(shè)某一系統(tǒng)的概率分布為：(p1,p2……,pn)

該系統(tǒng)的信息熵具有H(p1,p2……,pn)

=H(p1,p2……,pn,0)

這樣的展開性質(zhì)。在此基礎(chǔ)上，進(jìn)一步展開，有

H(p1,p2……,pn)

=H(p1,p2……,pn,0,…0)

第一節(jié)熵的概述第17頁，課件共52頁，創(chuàng)作于2023年2月5、確定性

概率系統(tǒng)中，任一事件產(chǎn)生的概率為1，則其他事件產(chǎn)生的概率為0，這是一種確定的系統(tǒng)。對于這樣的系統(tǒng)，有

H(1,0)=H(0,1)=H(1,0…,0)=H(0,0…,1…0)=0

從上述的討論可以看出，熵所描述的不是一個一個的事件，而是表現(xiàn)有關(guān)概率系統(tǒng)整體概率分布狀態(tài)的統(tǒng)計特征量。系統(tǒng)的熵是通過實測數(shù)據(jù)進(jìn)行計算的，往往我們將它作為一種統(tǒng)計量來使用。

第一節(jié)熵的概述第18頁，課件共52頁，創(chuàng)作于2023年2月第二節(jié)相對熵與冗余度英語字母共有26個，加上空格，共計27個符號，若假定所有符號彼此獨(dú)立且等概率，那么這樣的英語系統(tǒng)具有最大熵，其熵值為：Hmax＝log227＝4.75bit實際上，所有字母不是等概的，空格、E、T、A等字母出現(xiàn)的概率大，而Q、Z等字母出現(xiàn)的概率小。第19頁，課件共52頁，創(chuàng)作于2023年2月根據(jù)上表，可以計算出熵H＝4.065bit。由于每種字符出現(xiàn)的概率不同，使得實際使用英語的熵H減少，即H<Hmax第二節(jié)相對熵與冗余度第20頁，課件共52頁，創(chuàng)作于2023年2月聯(lián)合國五種工作語言文字的信息熵比較：

法文

3.98bit

西班牙文

4.01bit

英文

4.03bit

俄文

4.35bit

中文

9.65bit第二節(jié)相對熵與冗余度第21頁，課件共52頁，創(chuàng)作于2023年2月一、相對信息熵一個實際系統(tǒng)輸出的熵H(X)與其最大可能的熵Hmax(X)的比值定義為相對熵，用h表示。h＝H/Hmax信息熵的計算與系統(tǒng)中事件數(shù)的多少有關(guān)，它不利于我們對不同系統(tǒng)的熵進(jìn)行比較；相對信息熵的計算有利于我們對不同系統(tǒng)的信息熵進(jìn)行比較。第二節(jié)相對熵與冗余度第22頁，課件共52頁，創(chuàng)作于2023年2月二、冗余度

冗余度或剩余度可定義為：r＝1-H/Hmax冗余度表示了由于每種字符出現(xiàn)的概率不同而使信息熵減少的程度。它表示了傳遞信息時，不必要的冗長部分的比例。

第二節(jié)相對熵與冗余度第23頁，課件共52頁，創(chuàng)作于2023年2月第二節(jié)相對熵與冗余度設(shè)以英語的N個字符書寫文章時，其平均信息量為H，總的信息量為NH。若以27個字符均勻出現(xiàn)的字符序列來表示相同的內(nèi)容，相同的信息量，由于此時的平均信息量為Hmax，所需的字符數(shù)一定少于N，令其為Nmin，則為

NminHmax=NH

∴

Nmin=(H/Hmax)×N=hN

它表示，以具有Hmax的27種字符書寫文章，只需要Nmin=hN個字符。冗余度為：r=1-H/Hmax=(N-Nmin)/N

它表明，以效率更高的代碼來描述指定的內(nèi)容，與實際使用的英語相比較，其字符總數(shù)可減少r%。第24頁，課件共52頁，創(chuàng)作于2023年2月假如有：我們大__都喜__使__計__機(jī)。

不用很多努力，就可以猜出完整的句子：

我們大家都喜歡使用計算機(jī)。

香農(nóng)指出，能猜出來的字符不運(yùn)載信息，而不能猜出來的字符運(yùn)載信息。所隱藏的字符屬于冗余字符，不用那些字符也能運(yùn)載該句子的全部信息。冗余度大小對信息閱讀和檢錯抗錯有重要的意義。比如：

我__大________使______機(jī)。

就很難猜出完整的句子，在信息傳遞的時候，也很難做檢錯和抗錯。因此，保留合理比例的冗余度是非常重要的。

信息熵方法的基本目的，是找出某種符號系統(tǒng)的信息量和冗余度之間的關(guān)系，以便能用最小的成本和消耗來實現(xiàn)最高效率的數(shù)據(jù)儲存、管理和傳遞。第25頁，課件共52頁，創(chuàng)作于2023年2月一、測試問題信息熵的計算多重選擇問題是各種測試中使用最為廣泛的一種測試問題。例1：下列設(shè)備中，只能作為輸出設(shè)備的是（）。A、掃描儀B、打印機(jī)C、鼠標(biāo)D、硬盤E、數(shù)碼照相機(jī)學(xué)生對多重選擇問題的應(yīng)答概率分布可能有多種不同的情況：（1）（0，1，0，0，0）（2）（0.5，0.125，0.125，0.125，0.125）（3）（0.5，0.5，0，0，0）（4）（0.2，0.2，0.2，0.2，0.2）請問：哪種情況的應(yīng)答信息熵最大？最??？能說明什么？問題的信息熵表示了學(xué)習(xí)者應(yīng)答選擇的不確定程度，同時也能在一定程度上判斷該問題的困難程度。第三節(jié)測試問題的信息熵第26頁，課件共52頁，創(chuàng)作于2023年2月二、等價預(yù)選項數(shù)例2：現(xiàn)有三個多重選擇問題，每一個問題都有五個預(yù)選項，經(jīng)測試，學(xué)生對每一預(yù)選項應(yīng)答的頻度分布如下圖：（a）（b）（c）圖（a）的概率分布是（1，0，0，0，0），它表示學(xué)生的應(yīng)答集中在一個預(yù)選項上。雖有5個預(yù)選項，實際上等價于1個預(yù)選項。圖（b）的概率分布是（0.5，0.5，0，0，0），它表示學(xué)生的應(yīng)答集中在兩個預(yù)選項上，且各為50%。雖有5個預(yù)選項，實際上等價于2個預(yù)選項。第三節(jié)測試問題的信息熵第27頁，課件共52頁，創(chuàng)作于2023年2月

等價預(yù)選項數(shù)是指將實測的應(yīng)答分布，換算成與之具有等熵的均勻分布的預(yù)選項數(shù)。設(shè)某一多重選擇題的應(yīng)答分布實測值為(P1,……,Pc)，該分布具有的熵為H，與之等價的予選項數(shù)為k，根據(jù)等價予選項數(shù)的定義有：

222第三節(jié)測試問題的信息熵第28頁，課件共52頁，創(chuàng)作于2023年2月例3：現(xiàn)有一個多重選擇問題，其五個預(yù)選項的應(yīng)答概率分布為（0.5,0.125,0.125,0.125,0.125）。請計算等價預(yù)選項數(shù)。H=-0.5log20.5-4×0.125log20.125=-0.5log22-1-4×0.125log22-3=0.5+4×0.125×3=2（bit）K=2H=22=4因此，該選擇題的等價預(yù)選項數(shù)為4。第三節(jié)測試問題的信息熵第29頁，課件共52頁，創(chuàng)作于2023年2月三、對不確定程度的判斷給定的問題是：從外觀上看，12個小球完全相同，在這12個小球中，僅有一個小球的重量與其他小球不一樣。請使用無法碼天平，能否在三次以內(nèi)找出這個重量不同的小球，并且指明該小球比其他小球是重還是輕。分析與求解：比較12個小球，并判定輕、重，應(yīng)是12×2種比較當(dāng)中的一種。在比較過程中，開始的不確定程度為log224=4.585（bit）

通過左邊輕、右邊輕或平衡的判斷每使用一次天平，不確定程度減少log23=1.585（bit）。由此，使用兩次天平，所得到的信息量為2×log23=3.170（bit）

該信息量小于4.585(bit)。它表示，使用兩次天平，不能完全消除不確定程度。然而,使用三次天平,所得到的信息量為3×log23=4.755（bit）該信息量大于4.585(bit)。它表示，如果使用三次天平，可完全消除不確定程度，即通過三次使用天平，可找出不同的小球，解決給定的問題。第三節(jié)測試問題的信息熵第30頁，課件共52頁，創(chuàng)作于2023年2月例：設(shè)有4個選擇題，每一題目有5個預(yù)選答案，班級人數(shù)為40人，回答情況如下表：第1題第2題第3題第4題A40人（答對）05人8人B005人8人（答對）C0020人（答對）8人D020人（答對）5人8人E020人5人8人信息熵H等價預(yù)選項k答對率Pr0（bit）1（bit）2（bit）log25（bit）1245100%50%50%20%問題的信息熵表示了學(xué)習(xí)者應(yīng)答選擇的不確定程度，同時也能在一定程度上判斷該問題的困難程度。等價預(yù)選項數(shù)是指將實測的應(yīng)答分布，換算成與之具有等熵的均勻分布的預(yù)選項數(shù)。k=2H第三節(jié)測試問題的信息熵第31頁，課件共52頁，創(chuàng)作于2023年2月1234M=5:假設(shè)該題有5個預(yù)選項r:選擇題的正確選項pr:考生選擇正確答案的概率，即該題的答對率k:等價預(yù)選項數(shù)學(xué)生的錯誤選擇均勻分布在誘惑項上時，K最大學(xué)生的錯誤選擇集中在某一在誘惑項上時，K最小正確選項在假想題目的各選項中不占優(yōu)勢理想的題目反應(yīng)分布模式是：在保證一定答對率pr的條件下(pr值由具體測試目的而定)，對誘惑項的選擇人數(shù)應(yīng)接近均勻分布，也就是說，k的取值應(yīng)接近kmax曲線。第32頁，課件共52頁，創(chuàng)作于2023年2月第四節(jié)CAI課件中的信息熵一、多重選擇問題的信息熵設(shè)學(xué)習(xí)者對具有兩種預(yù)選答案問題的應(yīng)答分布為：（1/2，1/2），H=1bit設(shè)學(xué)習(xí)者對具有三種預(yù)選答案問題的應(yīng)答分布為：（1/2，1/4，1/4），H=1.5bit設(shè)學(xué)習(xí)者對具有四種預(yù)選答案問題的應(yīng)答分布為：（1/2，1/4，1/8，1/8），H=1.75bit設(shè)學(xué)習(xí)者對具有四種預(yù)選答案問題的應(yīng)答分布為：（1/4，1/4，1/4，1/4），H=2bit設(shè)學(xué)習(xí)者對具有五種預(yù)選答案問題的應(yīng)答分布為：（2/5，1/5，1/5，1/10，1/10），H=2.12bit均勻分布的H最的，但這是在相同預(yù)選答案數(shù)情況下的比較。H的大小不僅與應(yīng)答分布有關(guān)，還與預(yù)選答案數(shù)有關(guān)。預(yù)選答案數(shù)越多，信息熵越大。第33頁，課件共52頁，創(chuàng)作于2023年2月相對信息熵為了有效的比較不同問題的信息熵，避開預(yù)選答案數(shù)對H的影響，我們應(yīng)對信息熵予以標(biāo)準(zhǔn)化。信息熵采用相對熵進(jìn)行標(biāo)準(zhǔn)化。

相對信息熵定義為：h=H/Hmax設(shè)系統(tǒng)的狀態(tài)數(shù)（即預(yù)選答案數(shù)）為N，概率分布為（p1,p2……pn）

相對信息熵為：h=-∑pilog2pi/log2N相對信息熵使得熵的計算歸一化為標(biāo)準(zhǔn)的范圍0～1之間，它使得不同系統(tǒng)的信息熵易于比較。第34頁，課件共52頁，創(chuàng)作于2023年2月根據(jù)相對信息熵的定義，我們對上述不同問題的相對信息熵進(jìn)行計算后，可以實現(xiàn)有效的比較。

設(shè)學(xué)習(xí)者對具有兩種預(yù)選答案問題的應(yīng)答分布為：（1/2，1/2），H=1bitHmax=1bith=H/Hmax=1/1=1設(shè)學(xué)習(xí)者對具有三種預(yù)選答案問題的應(yīng)答分布為：（1/2，1/4，1/4），H=1.5bitHmax=1.58bith=H/Hmax=1.5/1.58=0.95設(shè)學(xué)習(xí)者對具有四種預(yù)選答案問題的應(yīng)答分布為：（1/2，1/4，1/8，1/8），H=1.75bitHmax=2bith=H/Hmax=1.75/2=0.875設(shè)學(xué)習(xí)者對具有四種預(yù)選答案問題的應(yīng)答分布為：（1/4，1/4，1/4，1/4），H=2bitHmax=2bith=H/Hmax=2/2=1設(shè)學(xué)習(xí)者對具有五種預(yù)選答案問題的應(yīng)答分布為：（2/5，1/5，1/5，1/10，1/10），H=2.12bitHmax=2.32bith=H/Hmax=2.12/2.32=0.91第35頁，課件共52頁，創(chuàng)作于2023年2月二、課件評價從問題、課件所具有的學(xué)習(xí)功能來看，問題的信息量越大，表示學(xué)習(xí)者應(yīng)答分布的分散性越大；問題的信息量越小，表示學(xué)習(xí)者應(yīng)答分布越集中。

A問題的應(yīng)答分布：（1/5，1/5，1/5，1/5，1/5）B問題的應(yīng)答分布：（1，0，0，0，0）可以使用信息熵來評價課件中所設(shè)置的問題。從此促進(jìn)學(xué)習(xí)者認(rèn)真思維，產(chǎn)生較好的學(xué)習(xí)效果來看，信息熵高的問題優(yōu)于信息熵低的問題。第36頁，課件共52頁，創(chuàng)作于2023年2月

課件中包含有許多問題，以每個問題累積信息熵的平均值，可用于課件的評價。課件的平均相對熵可定義為

式中，hT為每個問題相對信息熵的累加；N為課件中的問題數(shù)hi為第i個問題的相對信息熵課件的平均相對信息熵為課件評價的量化給出了一種很好的量度標(biāo)準(zhǔn)和量度方法。第37頁，課件共52頁，創(chuàng)作于2023年2月三、學(xué)習(xí)狀態(tài)的描述學(xué)習(xí)過程中學(xué)生學(xué)習(xí)狀態(tài)的描述和判斷應(yīng)根據(jù)學(xué)習(xí)過程中的各種應(yīng)答信息的收集、處理來實現(xiàn)。學(xué)習(xí)過程中，學(xué)生的應(yīng)答情況可以作為一個子系統(tǒng)來處理，利用該子系統(tǒng)信息熵的變化情況，可以有效的判斷學(xué)生學(xué)習(xí)狀態(tài)的變化。第38頁，課件共52頁，創(chuàng)作于2023年2月

設(shè)用于某一單元學(xué)習(xí)的CAI課件包含N個問題。根據(jù)CAI課件的安排，整個學(xué)習(xí)過程分為K個階段，用于第i階段的學(xué)習(xí)問題共有M個。學(xué)生在第i個階段的M個問題的學(xué)習(xí)中，給出正確、錯誤應(yīng)答的概率分別為pi和qi，則在第i階段回答問題所具有的信息熵為以同樣的方法可以求出學(xué)生在學(xué)習(xí)過程中每一階段的信息熵。將每一個階段的信息熵以圖形表示。第39頁，課件共52頁，創(chuàng)作于2023年2月信息熵表示了學(xué)習(xí)者學(xué)習(xí)的穩(wěn)定性。CAI課件的程序控制中，應(yīng)根據(jù)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，對課件中的學(xué)習(xí)過程進(jìn)行有效的控制。不穩(wěn)定的學(xué)習(xí)狀態(tài)學(xué)生應(yīng)答的信息熵很快的變小，表示學(xué)生的學(xué)習(xí)迅速地進(jìn)入穩(wěn)定狀態(tài)第40頁，課件共52頁，創(chuàng)作于2023年2月第五節(jié)教學(xué)過程的信息熵分析一、分類系統(tǒng)

為了有效地表述教學(xué)過程、研究教學(xué)過程并給予有效的評價，我們應(yīng)對教學(xué)過程進(jìn)行客觀的、定量的記述。

教學(xué)過程是一種教師與學(xué)生間以語言進(jìn)行信息傳遞的過程，教學(xué)過程可以通過教師與學(xué)生語言序列的記錄來表述。當(dāng)我們對教學(xué)過程中，教師與學(xué)生的語言行為進(jìn)行適當(dāng)?shù)胤诸?，并以這種分類，可對教學(xué)過程進(jìn)行客觀地表現(xiàn)。若這種分類、表述著眼于分析的目的，我們稱之為相互作用分析，若這種分類，表述著眼于記述方法，我們稱之為分類分析。

教師、學(xué)生語言行為的分類有多種不同的方法，至今已有一百多種，比較有影響的分類系統(tǒng)有Flanders分類系統(tǒng)和VICS（VerbalInteractionCategorySystem）等。

第41頁，課件共52頁，創(chuàng)作于2023年2月TheVerbalInteractionCategorySystem(VICS)

課堂語言行為互動分類系統(tǒng)N1Presentinginformation（呈現(xiàn)信息）N2Givinginstructions（給出指示）N3Askingaquestion（提出問題）N4Respondingbyacceptinganideafromastudent（教師接受來自學(xué)生的想法）N5Respondingbyrejectinganideafromastudent（教師拒絕來自學(xué)生的想法）N6Learnerinitiatestalkwithteacher（學(xué)生主動向老師發(fā)起談話）N7Learnerinitiatestalkwithanotherlearner（學(xué)生主動向另外的學(xué)生發(fā)起談話）N8Learnerrespondstoquestionorcommentfromteacher（學(xué)生回答教師的提問或?qū)處煹脑u價產(chǎn)生反映）N9Learnerrespondstoquestionorcommentfromanotherlearner（學(xué)生回答來自另外學(xué)生的問題或?qū)α硗鈱W(xué)生的評價作出反映）N10silence（沉默：教室里沒人說話）N11confusion（混亂：很多人同時都在說話，分不清楚到底是誰在說）第42頁，課件共52頁，創(chuàng)作于2023年2月對VICS作適當(dāng)修改的分類系統(tǒng)類別內(nèi)容類別內(nèi)容1教師的提示2教師的指示3教師的狹義提問4教師的廣義提問5教師的接受6教師的拒否7學(xué)生向教師的應(yīng)答8學(xué)生向其他學(xué)生的反應(yīng)9學(xué)生向教師的發(fā)言10學(xué)生向其他學(xué)生的發(fā)言第43頁，課件共52頁，創(chuàng)作于2023年2月二、教學(xué)過程信息熵的計算第一步，按照一定的時間間隔，根據(jù)分類系統(tǒng)，對該時刻的行為予以記錄，記錄下整個教學(xué)過程行為。第二步，根據(jù)信息熵的定義及公式計算出教學(xué)過程的信息熵。第44頁，課件共52頁，創(chuàng)作于2023年2月類別頻數(shù)（次數(shù)）12421639415516637168398