信息論與編碼課件第一章

開篇寄語(yǔ)每一次面對(duì)新同學(xué)，我的內(nèi)心總是很忐忑，因?yàn)椴还苣銈冃挪恍牛凑疑钌畹叵嘈牛?0后的大學(xué)生，傷不起啊！你們生長(zhǎng)在一個(gè)拼爹的年代，如果你沒有一個(gè)名爹，那就一定要hold住自己！上課的時(shí)候尤其要hold住自己的手機(jī)，既不要讓它上QQ聊天，也不要到農(nóng)場(chǎng)偷菜！1開篇寄語(yǔ)不要以為老師是什么潮人，因?yàn)樾畔⒄撌强菰锏?，因而也非常的干燥，老師怎么可能潮得起來呢！中央電視臺(tái)李詠主持有一檔節(jié)目叫“非常6+1”，陳景潤(rùn)研究的哥德巴赫猜想被人稱為“1+1”，其實(shí)信息論也可看作“2+3”。所以，這門課主要是要搞懂“2”和“3”！2FundamentalsofInformationTheory信息理論基礎(chǔ)3教師情況

教師：李紅蓮副教授博士電子信息工程系（2-513東）E-mail:,

45授課、考試有關(guān)安排學(xué)時(shí)數(shù):

講課32學(xué)時(shí)實(shí)驗(yàn)8學(xué)時(shí)（10，14周周五9-12節(jié)?，計(jì)算中心）上課時(shí)間和地點(diǎn):

第1-4,6-16周一3、4節(jié)，1-四階第8周二1、2節(jié)，3-五階6考試時(shí)間：第17周左右考試成績(jī)計(jì)算：

作業(yè)+實(shí)驗(yàn)：30%；期末考試：開卷70%；答疑時(shí)間：每周三第5、6節(jié)課（13:30-15:30）答疑地點(diǎn)：2-513東7信息論基礎(chǔ)的重要性信息論是信息科學(xué)和技術(shù)的基本理論,是信息科學(xué)大廈的地基;沒有信息論的基礎(chǔ)，從事通信與信息領(lǐng)域的研究和創(chuàng)新是不可能的事情;總之,信息論是高層次信息技術(shù)人才必不可少的基礎(chǔ)知識(shí)。8

信息論基礎(chǔ)是通信和信息領(lǐng)域的專業(yè)基礎(chǔ)課程，只有學(xué)好這門課，才能學(xué)好后續(xù)課程、將來進(jìn)一步從事通信和信息領(lǐng)域的科研和創(chuàng)新。要珍惜這個(gè)良好的學(xué)習(xí)機(jī)會(huì)，認(rèn)真學(xué)習(xí)，逐漸培養(yǎng)科研能力，樹立完善的人格基礎(chǔ)，為將來的進(jìn)一步學(xué)習(xí)和科研奠定堅(jiān)實(shí)的基礎(chǔ)。信息論基礎(chǔ)的重要性9教學(xué)框目標(biāo)充分先理解龜、熟欠練掌害握教科材的環(huán)內(nèi)容熟練惠掌握濕基本隨的信賭息理燭論概宅念和閃定理熟練基掌握年通信啟與信紹息工像程中驢基本依研究可對(duì)象炊的數(shù)翼學(xué)描廊述通過沉學(xué)習(xí)票和習(xí)道題練節(jié)習(xí)，涉具備暢一定禍的解找決問壘題分預(yù)析問芬題的辭能力掌握旱一定按的科課學(xué)思唉想方志法(用信郵息論載的思臭想和便觀點(diǎn)欺)10對(duì)學(xué)星習(xí)者交的要鄙求三個(gè)犯重要?jiǎng)?lì)環(huán)節(jié)課前吼預(yù)習(xí)課上慕認(rèn)真則聽講課后拘認(rèn)真興復(fù)習(xí)瓣消化抄、做融作業(yè)經(jīng)常秧進(jìn)行線階段萄復(fù)習(xí)掌握美知識(shí)窮的竅講訣：榆反復(fù)財(cái)思維幕實(shí)踐11其他睜約定不得桶遲到儀、早返退、守缺課果，有犧事請(qǐng)緞假上課誕時(shí)請(qǐng)獻(xiàn)關(guān)閉浮手機(jī)粱（或腸調(diào)至碼振動(dòng)歉）作業(yè)壇不得竭用紙渴片信皺紙之妖類，讓必須蜜使用課作業(yè)索本遲交公的作幕業(yè)及長(zhǎng)紙片絮做的錦作業(yè)淘恕不框修改掙，只毅作記春錄12《信杏息理市論基淋礎(chǔ)》亂的內(nèi)率容信息秒論的輝基本臣問題--讀信息描與信狠道的紗度量無失院真信卷源編習(xí)碼定患理-滴-香挺農(nóng)第尺一定舉理信道峰編碼子定理貴--符香農(nóng)倡第二參定理限失歉真信優(yōu)源編疫碼定勺理-駛-香督農(nóng)第鴨三定編理13Sh課an攤no踏n信啄息論字的基柔本任猶務(wù)19涌48灣年s銳ha良nn新on誘發(fā)表節(jié)了“負(fù)通信絲式的數(shù)虛學(xué)理盒論”祥奠定捕了信射息論臺(tái)理論社基礎(chǔ)基本波任務(wù)喘是設(shè)章計(jì)有迷效而得可靠園的通財(cái)信系善統(tǒng)可靠勤是要?dú)w使信勢(shì)源發(fā)曠出的蔽消息郵經(jīng)過鵝傳輸丙后，替盡可遇能準(zhǔn)至確地嚼、不謠失真輕地再燭現(xiàn)在慶接收蛙端有效岸是用恐盡可它能短逐的時(shí)癥間和旺盡可寨能少脊的設(shè)沿備來映傳輸巧一定蠢量的帝消息14內(nèi)容論安排第一愈章援緒猛論智2學(xué)艦時(shí)第二膛章繳信食源和存熵綱8學(xué)執(zhí)時(shí)第三皇章然信們道及池其容鉛量尚6學(xué)簡(jiǎn)時(shí)第四撇章禁離薄散信土源的暮無失銷真編怕碼柴6學(xué)蛛時(shí)第五個(gè)章氣信秧道編蔥碼語(yǔ)4學(xué)兩時(shí)第六菠章得限酷失真靈信源幟編碼裳4仿學(xué)時(shí)復(fù)習(xí)誕2惜學(xué)時(shí)15第一愿章極緒臂論一、餐信息升的概釋念二、企信息宣論產(chǎn)招生背外景三、遮信息繞論的畫發(fā)展層簡(jiǎn)史四、給信息潔論的林應(yīng)用五、索信息忌論研境究的假內(nèi)容六、鳥參考敢書目16在人摘類的效歷史飽長(zhǎng)河錘中，懲信息銀傳輸她和傳靠播手嚼段經(jīng)密歷了慈五次嚴(yán)變革億：第一危次變擁革：撓語(yǔ)言顏的產(chǎn)皇生第二堤次變悲革：印文字短的產(chǎn)嫌生第三婦次變牙革：騰印刷孝術(shù)的嗽發(fā)明第四洞次變抱革：質(zhì)電報(bào)、電唇話的發(fā)逝明第五規(guī)次變腦革：禍計(jì)算進(jìn)機(jī)技君術(shù)與窮通信聲技術(shù)舒相結(jié)刻合，牲促進(jìn)艷了網(wǎng)胃絡(luò)的池發(fā)展穴。歷史念回顧焦:島信息告?zhèn)鬏敵撤绞接艿淖兣筮w17歷史咳回顧浸:竟信息邪傳輸疫方式裝的變夜遷我國(guó)史上古剛時(shí)期林的“鑰結(jié)繩皇記事訪”法泳，史遠(yuǎn)書上勻有很分多記這載。漢朝蛋鄭玄擺的《猛周易流注》螺中記池載：事“古醬者無糠文字膠，結(jié)體繩為任約，稠事大瓣，大慌結(jié)其攝繩，煤事小硬，小號(hào)結(jié)其橋繩。喘”18后來債，文諷字的厚出現(xiàn)疤解決星了這途一問蛙題。胖自從懶造紙接術(shù)和攻印刷煉術(shù)的擺發(fā)明魄，使除文字丑成為絨信息蠢記錄鉆、儲(chǔ)百存和座傳遞泡的有小效手僚段。歷史洽回顧切:嬸信息鏈傳輸委方式棋的變寇遷19特別幫是電逗報(bào)、丘電話恢和電輸視的艷發(fā)明爆，使原信息課傳送?？焖黉彙⒈汩_利，輩再次犁體現(xiàn)腹了信救息加捉工和孟傳輸姻的變?nèi)胃?。歷史襲回顧奴:沙信息航傳輸欺方式瀉的變持遷20電子也計(jì)算所機(jī)的歇迅速餃發(fā)展膀和廣鈔泛應(yīng)胞用，譽(yù)尤其桂是個(gè)霉人微脅型計(jì)現(xiàn)算機(jī)犬的普謀及，曬大大臉提高險(xiǎn)了人即們處飼理加翅工信揀息、揉存儲(chǔ)畢信息瓣及控示制管洋理信烈息的墾能力妖。歷史揮回顧健:市信息更傳輸階方式錘的變乘遷21近年煙來，快以計(jì)艱算機(jī)爺為主體的奇互聯(lián)灰網(wǎng)技銜術(shù)的緞興起和發(fā)飄展，斷以空杜前的皺威力推動(dòng)尿著人喬類經(jīng)渴濟(jì)和岡社會(huì)高速垃發(fā)展驗(yàn)，將劍人類柳社會(huì)推入從到高避度化胡的信掘息時(shí)代。歷史桿回顧叉:麥信息插傳輸野方式鄰的變污遷22信息是信扎息論后中最裹基本報(bào)、最什重要瞧的概垮念，著是一拜個(gè)既斤復(fù)雜焦又抽邊象的歸概念贈(zèng)。信息今概念賺十分丟廣泛鄙，由蘭于信女息科劫學(xué)比州起其掠他學(xué)勝科（茂如物漿理學(xué)酷、化圍學(xué)、獨(dú)數(shù)學(xué)例）還圣很年徒輕，蛋人類欲對(duì)信課息的憤認(rèn)識(shí)貌還很監(jiān)不夠顆。迄網(wǎng)今為監(jiān)止，親信息并沒睜有形愈成一視個(gè)很睜完整句的、泄系統(tǒng)丘的概買念。不同采的研錫究學(xué)武派對(duì)童信息狹的本軍質(zhì)及間其定塑義還僻沒有胃形成惡統(tǒng)一墊的意亭見和袋認(rèn)識(shí)甚。一、素信息溪的概盆念23通俗的信士息概寬念信息燃是一搜種消息。這是娃一種加最普愿遍的胸概念辛，是刻目前訊社會(huì)圣上最透流行涉的概尺念，喉這個(gè)嫁概念趴好像摧使人膨一聽倍就明爪白，眨但不紋準(zhǔn)確常。確頸切地竹說，翼這種絕概念?yuàn)^把消洞息認(rèn)帳為是載信息淘。信息消息，同拌一條侵消息駱有不愚同信渾息量秀。例如:某人懷收到拳一條窯消息包含耗許多醉原來酬不知交道的新內(nèi)容信落息量大包含桂許多還原來恥已知潔道的舊內(nèi)容信款息量小24廣義的信膨息概上念物質(zhì)總、能撐量和統(tǒng)信息媽是構(gòu)屆成客乞觀世酸界三蘋大要干素，寸信息炭是物質(zhì)及和能鴉量在空間題和時(shí)衡間中分阻布的不均德勻程址度。信息運(yùn)不是昏物質(zhì)，信并息是規(guī)事物愚的表刃征，遲是對(duì)物質(zhì)繳存在突狀態(tài)眉和運(yùn)酬動(dòng)形設(shè)式的一委般描綠述。信息愈存在溫于任認(rèn)何事幼物之蜘中，歪有物好質(zhì)的牙地方剩就有禁信息蔥，信閱息充脫滿物理質(zhì)世些界。信息晨本身框看不犧見、絨摸不滔著，伍它必須葬依附春于一克定的輩物質(zhì)快形式（如文字悔、聲傳波、面電磁若波等）龍。這碧種運(yùn)厭載信鼓息的認(rèn)物質(zhì)寶稱為智信息坐的載循體，秘一切斧物質(zhì)賴都有鋪可能閱成為語(yǔ)信息胸的載巖體。25概率信息傷的概題念概率膜信息她是由皆美國(guó)剃數(shù)學(xué)觀家香橡農(nóng)提慶出來史的，催故稱香農(nóng)份信息或狹義死信息。是角從不確烏定性(Un蔑ce株rt燥ai摸nt匪y)和概勵(lì)率測(cè)鼠度出米發(fā)定架義信畝息的劣。香農(nóng)抹從信淹源具書有隨術(shù)機(jī)不擴(kuò)確定納度出單發(fā)，湯為信瓣源推作出一同個(gè)與翻統(tǒng)計(jì)波力學(xué)率的熵友相似鄭的函幫數(shù)，恐稱為降信息扮熵。信息藏熵是蝴信源奸的信四息選課擇不種確定徑度的褲測(cè)量溜，但下它不泄等同合于不游確定愁度，蝦而是工為了描消除鵲一定援的不集確定矮度，療必須撤獲得刷的、原與此諒不確販定度稼相等左的信扁息量碑。26信息造的特前征信息禁雖無斬確切弊定義滑，但芝是卻巖具有恭兩個(gè)簡(jiǎn)明顯逢的特播征：率廣泛蛇性與裕抽象煩性。廣泛儀性客觀上世界闖充滿拔著信參息人類過離不勇開信惠息知識(shí)揉、書工本是購(gòu)有用胃信息主的積倆累抽象陽(yáng)性信息憤是組撿成客領(lǐng)觀世侄界并從促進(jìn)譽(yù)社會(huì)淋發(fā)展斷的最櫻基本忽的三月大要口素之胃一。蜓三大謀要素蓮是：復(fù)物質(zhì)椒、能閱量與你信息島。三烈要素跳中物還質(zhì)是麻基礎(chǔ)陶，是沙實(shí)體投。能齡量是島物質(zhì)尊運(yùn)動(dòng)側(cè)的形料式，犬E=劍mc2，物挺質(zhì)可鍛轉(zhuǎn)換柳成能攤量，和而能插量又役是改雅造客煮觀世伶界的剩主要辨動(dòng)力倆。27信息奏的重協(xié)要性槐質(zhì)存在脾的普墨遍性暖；有頭序性紋；相楚對(duì)性狀；可醋度量吧性；兩可擴(kuò)秘充性??；可黨存儲(chǔ)、傳羨輸與亞攜帶孔性；貼可壓就縮性染；可耍替代制性；名可擴(kuò)優(yōu)散性慶；可稱共享緞性；量時(shí)效甩性。信息休在信撤息化粘程度搏越來蠟越高監(jiān)的社扔會(huì)中跳將起米到越嚼來越夢(mèng)重要礎(chǔ)的作簽用，攀是比滑物質(zhì)笛和能蹲量更余為寶蛾貴的雨財(cái)富斃。28信息蛇：它碗依附覆于物旬質(zhì)和這能量濤，但溉又不棉同于咽物質(zhì)棚和能灘量。亡沒有若信息詞就不徹能更堅(jiān)好地貌利用挎物質(zhì)壤和能龜量，神人類轎利用倒信息座和知扭識(shí)改鉗造物乳質(zhì)，番創(chuàng)造伍新物嚷質(zhì)，姻提高沾能量憶利用隸效率睡，發(fā)運(yùn)現(xiàn)新販能量恨形式痕。信接息也集是客歸觀存筑在的賞，它歐是人聯(lián)類認(rèn)辜識(shí)、購(gòu)改造袖客觀晨世界根的主尺要?jiǎng)訚娏Γ渴侨顺鳖愓J(rèn)對(duì)識(shí)客吧觀世國(guó)界的增更高屑層次含。就己狹義翁而言咬，在杏通信促中對(duì)蝴信息嫌的表孟達(dá)分認(rèn)為三暗個(gè)層忽次：睜信號(hào)縱、消茫息、點(diǎn)信息蔥。信息壘的重哈要性簡(jiǎn)質(zhì)29信號(hào)經(jīng)：是閃信息侍的物洋理表賭達(dá)層日，是宰三個(gè)傍層次掛中最堆具體逢的層覽次。渾它是和一個(gè)抬物理扶量，擁是一魔個(gè)載漿荷信盤息的沫實(shí)體時(shí)，可康測(cè)量辭、可摧描述互、可撤顯示仆。消息欺：(餡或稱溉為符疾號(hào))剩是信雀息的僵數(shù)學(xué)狼表達(dá)易層，渴它雖牧不是仔一個(gè)短物理團(tuán)量，跨但是攔可以寄定量揮地加色以描莊述，搭它是硬具體籠物理聚信號(hào)恰的進(jìn)則一步開數(shù)學(xué)廊抽象顧，可那將具余體物慈理信顫號(hào)抽餡象為篇兩大妙類型碌：離散同(數(shù)獻(xiàn)字)儀消息膏，是子一組阻未知贈(zèng)量，憂可用撕隨機(jī)柏序列鞏來描鞏述：U=(腿U1…托Ul…刺UL)連續(xù)態(tài)(模脾擬)過消息徑，也捐是未歇知量材，它櫻可用咬隨機(jī)駕過程著來描都述：濫U(異t,及ω)信息瓶、消統(tǒng)息、頭信號(hào)30信息蔽：它胞是更術(shù)高層呆次哲完學(xué)上婦的抽琴象，跌是信南號(hào)與吧消息奇的更采高表肢達(dá)層秋次。纖三個(gè)介層次積中，宣信號(hào)釀最具殊體，僚信息謀最抽胖象。慶它們嗓三者在之間辜的關(guān)雷系是隱哲學(xué)逐上的經(jīng)內(nèi)涵障與外愉延的絡(luò)關(guān)系停。理解鵝：信手息可允以認(rèn)梢為是畢具體奶的物劉理信們號(hào)、患數(shù)學(xué)撞描述給的消商息的柳內(nèi)涵扒，即廈信號(hào)晃具體亂載荷部的內(nèi)順容、壟消息銀描述首的含狂義。鞋而信啄號(hào)則舞是抽君象信賓息在暮物理掠層表物達(dá)的綠外延消；消感息則險(xiǎn)是抽執(zhí)象信忠息在媽數(shù)學(xué)濫層表悼達(dá)的效外延轉(zhuǎn)。同道一信歇息，壞可以象采用辰不同刑的信鏈號(hào)形忌式(講比如恩文字漠、語(yǔ)士言、武圖象燦等)款來載尼荷；穗同一扯信息等，也獎(jiǎng)可以名采用木不同晉的數(shù)晶學(xué)表另達(dá)形礎(chǔ)式(蝕比如袍離散助或連憶續(xù))剪來定液量描懸述。牧同樣夢(mèng)，同底一信著號(hào)形磨式，黃比如決“0攜”與透“1倆”可琴以表榆達(dá)不澇同形娃式的鄰信息暢，比吩如無批與有掘、斷精與通揚(yáng)、低名與高鍋(電初平)憐等等旅。信息流、消酷息、溉信號(hào)31信號(hào)信息致、消糊息、貸信號(hào)消息信息信息錯(cuò)蘊(yùn)含左在消脊息中消息弱蘊(yùn)含祖在信偶號(hào)中信號(hào)疼中裝攔著消兔息消息啟中裝襪著信扭息32什么典是信屯息論它是闖四十召年代臘末期問，以侍客觀妻概率弦信息限為研戶究對(duì)值象，啦從通娘信的鄙信息槍傳輸慘問題殺中總階結(jié)和主開拓鞠出來膛的理猜論。百主要渣研究帶的問沒題醫(yī)：信源灶的描利述，鼓信息藝的定墾量度靜量、叫分析船與計(jì)漸算信道勢(shì)的描統(tǒng)述，脫信道托傳輸水的定挽量度雄量、翻分析稀與計(jì)挪算。信源友、信族道與續(xù)通信調(diào)系統(tǒng)沉之間緒的統(tǒng)華計(jì)匹也配，眉以及李通信等系統(tǒng)杏的優(yōu)檢化登—S乳ha切nn莫on進(jìn)的三狼個(gè)編善碼定袋理。信息廉論誕遼生五輛十多億年來北，至封今，挺仍然分是指考導(dǎo)通里信技牌術(shù)發(fā)吊展的擊理論尿基礎(chǔ)糖，是顛創(chuàng)新組通信撲體制陶的源淺泉丘。331.信息紋的如閃何度膠量？2.捆需駐要解介決的襖問題田：通信音系統(tǒng)哲中信尤息傳扎輸?shù)亩阈始?。信息顏傳輸蝦的準(zhǔn)血確性違問題門。噪聲鍛干擾早。頻率游特性布。本質(zhì)瞧為：晶信息奇?zhèn)鬏攨堑目深I(lǐng)靠性嗓與有方效性壤問題常。二.床信煙息論最產(chǎn)生它背景34信道信源信宿通信轟系統(tǒng)障模型35信源信道信宿編碼器譯碼器消息信號(hào)噪聲源干擾恢復(fù)鵝的消鐮息信號(hào)主+干乞擾通信奶系統(tǒng)邀模型36信源立：產(chǎn)生簡(jiǎn)消息才的源脈。消壁息可論以是卸文字擔(dān)、語(yǔ)遷言、煙圖像船等。編碼效器：將信創(chuàng)源發(fā)翼出的稼消息刪變換家成適午于信閃道傳斷送的激信號(hào)張的設(shè)標(biāo)備。揚(yáng)包含寄信源團(tuán)編碼滾器、閑糾錯(cuò)毀編碼陜器、緊調(diào)制鑒器。信道疑：把載第荷消白息的晴信號(hào)閃從發(fā)繡射端迷傳到惡接收鐮端的體媒質(zhì)積或通疲道。反狹義工的實(shí)吹際信浮道有挎電纜運(yùn)、波恒導(dǎo)、且光纖午、無櫻線電逃波傳島播空別間。通信語(yǔ)系統(tǒng)趕模型37干擾塑源：系統(tǒng)紛其他現(xiàn)各部騰分產(chǎn)戒生的督噪聲杠和干舅擾都硬等效上成信束道干涉擾，盡集中收作用滲于信腦道。譯碼靠器：編碼活的逆碎變換狐。它娘的作伏用是剖從受艘干擾誘的信射號(hào)中伶最大轎限度滔地提拘取出考有關(guān)哈信源懂傳出伐消息魔的信灑息。信宿鼓：信息伏傳送認(rèn)過程扛中的熱接收裁者，止即接追收消扁息的羊人或鏟物。通信傅系統(tǒng)礦模型38三.戴信息結(jié)論發(fā)芽展簡(jiǎn)草史電磁顧理論餐和電促子學(xué)或理論惜對(duì)通管信理觀論技順術(shù)發(fā)蔑展起邪重要呀的促車進(jìn)作呀用18嗽20蚊－1俘83豆0年貍，法藝?yán)谧戆l(fā)現(xiàn)圣電磁浴感應(yīng)莫爾耽斯1石83念2－唇18如35母建立肚電報(bào)央系統(tǒng)評(píng)。1雖87擴(kuò)6年膨Be譯ll昨發(fā)明巴電話18呈64社麥克狹斯韋詠預(yù)言辟電磁遙波存門在，紹18新88敗年赫?qǐng)@茲驗(yàn)陣證該搖理論18怠95拒年馬慎可尼眉發(fā)明緞了無濤線電祥通信微波億電子烤管導(dǎo)燈致微偉波通角信系最統(tǒng)，非微波贊雷達(dá)哀系統(tǒng)激光樣技術(shù)疲使通番信進(jìn)羞入光草通信胞時(shí)代39信息燒論發(fā)彈展簡(jiǎn)甲史18內(nèi)32始年莫飯爾斯執(zhí)電碼依對(duì)s沫h(huán)a系nn升on決編碼股理論坑的啟賠發(fā)18蛛85盟年凱鎮(zhèn)爾文軍研究炎了一歷條電斬纜的僑極限偶傳信漠速率19迎22雖年卡吩遜對(duì)義調(diào)幅處信號(hào)政的頻蓬譜結(jié)漢構(gòu)進(jìn)摸行研移究19耍24碑年奈講奎斯運(yùn)特證煎明了挖信號(hào)肅傳輸鞏速率爛和帶幫寬成夕正比19域28晨年H住ar周tl隙ey凍提出致信息混量定捆義為耀可能傅消息貴量的倚對(duì)數(shù)19舞39中年D駁ud胳le冷y發(fā)鉆明聲得碼器19旅40殘維納慌將隨慣機(jī)過蜘程和忙數(shù)理退統(tǒng)計(jì)然引入緒通信排與控漁制系搶統(tǒng)40信息哈論發(fā)燈展簡(jiǎn)鮮史19旦48壓年s舊ha壟nn從on沾信息樓論奠刑基19蹤蝶52匠年F背an暈o證斜明了握Fa劃no閣不等赤式，幟給出盒了s停ha歌nn崇on臣信道值編碼扒逆定載理的槐證明19申57病，W炊ol坐fo伶wi宿tz域，1距96料1職Fa捏no串，1生96返8G鐵al鬧la曬ge發(fā)r給找出信原道編歸碼定般理的搬簡(jiǎn)潔坑證明屋并描饅述了促碼率趨，碼惹長(zhǎng)和證錯(cuò)誤膝概率失的關(guān)殃系，染19練72騰年A您ri齒mo贏to隱和B甚la頁(yè)hu撓t發(fā)橋明了猾信道肝容量孩的迭立代算躲法19曲56先Mc田Mi岔ll獅an廈證明毒了K趟ra鵲ft內(nèi)不等插式。咽19地52顫年F秧an斤o碼藍(lán)，H峰uf塵fm筆an砌碼。撤19缺76粒R饑is潑sa火ne敞n算命術(shù)編在碼，晨19抗77雀，7固8歐Zi也v和姓Le晚mp晌el悼的L階Z算梨法41信息梳論發(fā)床展簡(jiǎn)礦史19光50才年漢收明碼厭，1臟96池0年鬼卷積地碼的總概率透譯碼追，V的it槐er晃bi肥譯碼滴，1練98朗2年輛Un久ge站rb由oe眨ck捕編碼義調(diào)制久技術(shù)晝，1估99長(zhǎng)3年引Tu蓄rb帥o編藏譯碼糞技術(shù)19港59劍年，糕Sh庸an考no慣n提語(yǔ)出率查失真絮函數(shù)果和率膛失真慚信源縮慧編碼膚定理19辭61哀年，秒Sh室an尸no塞n的右“雙孤路通間信信燭道”付開拓臭了網(wǎng)欠絡(luò)信毀息論款的研槐究，話目前蠅是非播?；畋S的畫研究復(fù)領(lǐng)域汽。42語(yǔ)音修信號(hào)券壓縮育（G姻.7迅11有,法GS躲M,較V糊oc遲od執(zhí)er濟(jì)）圖象客信號(hào)盆的壓拔縮（輕JP碧EG精,沃MP飯EG辜）計(jì)算稠機(jī)文添件壓破縮（伸co栽mp虛re治ss李,唉gz非ip冰）模擬撿話路羊中數(shù)墳據(jù)傳券輸速洪率的軍提高降低挑信息胡傳輸不所需初的功匙率四、表信息截論的補(bǔ)應(yīng)用43計(jì)算朝機(jī)網(wǎng)造中數(shù)序據(jù)傳都輸可汗靠性衛(wèi)的保泉證計(jì)算盟機(jī)中希的容豎錯(cuò)問排題圖像爪信號(hào)叮的復(fù)冠原與駐重建模式泄分類紗問題笨與樹林分類織器的懂設(shè)計(jì)其他拌（信蠶息經(jīng)鋼濟(jì)學(xué)緣瑞、醫(yī)嘴學(xué)、較生物橫學(xué)、峽管理從科學(xué)腐等）四、清信息柳論的扇應(yīng)用44五.流信息慎論的專研究盒內(nèi)容狹義泉信息續(xù)論（喬經(jīng)典庸信息態(tài)論）研究巴信息女測(cè)度豬，信畫道容踐量以詠及信婆源和惠信道滔編碼揮理論一般肺信息號(hào)論研究階信息嘗傳輸梨和處柱理問麻題，績(jī)除經(jīng)調(diào)典信圾息論攝外還缸包括蘆噪聲木理論稱，信夸號(hào)濾技波和叉預(yù)測(cè)挑，統(tǒng)綠計(jì)檢川測(cè)和度估值窄理論亮，調(diào)知制理木論，故信息輕處理騾理論室和保立密理站論廣義愚信息無論除上筒述內(nèi)到容外容，還稻包括訊自然槳和社斜會(huì)領(lǐng)乏域有村關(guān)信驅(qū)息的紹內(nèi)容中，如揉模式貫識(shí)別糕，計(jì)擁算機(jī)浪翻譯古，心才理學(xué)氧，遺宜傳學(xué)緣瑞，神獵經(jīng)生醒理學(xué)45狹義屈信息號(hào)論體老系結(jié)紗構(gòu)Sh少an貢no虎n信彩息論壓縮山理論有失恩真編憂碼無失我真編摔碼等長(zhǎng)辨編碼定理Sh翁an幼no贈(zèng)n19色48Mc濱Mi摔ll腎an19猛53變長(zhǎng)束編碼定理Sh顏an朗no動(dòng)n19峰48Mc守Mi鄉(xiāng)豐ll桑an19姓56Hu飄ff省ma渾n碼檔(1歲95通2)誦、F查an旁o碼算術(shù)計(jì)碼(雁19獨(dú)76帖,1股98威2)LZ主碼(適19好77嚴(yán),1勝97彼8)率失序真理賀論Sh瞞an靈no紋nGa晚ll車ag余erBe費(fèi)rg膀er壓縮赴編碼JP級(jí)EGMP導(dǎo)EG傳輸教理論信道預(yù)編碼望定理網(wǎng)絡(luò)錢信息釣理論糾錯(cuò)現(xiàn)碼編碼滅調(diào)制特理論網(wǎng)絡(luò)光最佳狡碼46信息珠——們用來京消除員接收寇者某者種認(rèn)菊識(shí)上妨不確淋定定性的手東西優(yōu)。信息懂論—晴—研孤究信驕息的腹本質(zhì)練、描哭述和脊度量暖方法丈以及俊傳輸倆和處火理的覺基本診原理匹的理庭論。信息干科學(xué)移——尤信息國(guó)科學(xué)富是研妹究信千息規(guī)硬律和肅指導(dǎo)愈信息腎技術(shù)多開發(fā)險(xiǎn)及應(yīng)更用的險(xiǎn)學(xué)問萌。信息壇技術(shù)個(gè)——?dú)膺\(yùn)用枕信息缺科學(xué)糧為經(jīng)趣濟(jì)和腐社會(huì)俊發(fā)展糟而共漂同協(xié)尼作組環(huán)成的晃各種限工具塵和規(guī)志則體另系。信息揪、材斃料、刺能源灰是現(xiàn)衛(wèi)代科候?qū)W的券三大落支柱蓄。有關(guān)弦概念47信息甘論的眾主要撓貢獻(xiàn)吩是：（1妖）把滋統(tǒng)計(jì)之信息廊定義筋為“丟用來讓消除粉信息男接收殖者某冒種認(rèn)返識(shí)上采的不紀(jì)確定心性的樓東西伴”，糊并給嶺出了守其度閥量公針式-牌-熵傅和互昏信息陶；（2砍）建驚立了禾一些錘重要獵的性央能界晶：信弓源輸棄出的眨最大偏可能側(cè)的信燭息量攏，滿翠足一敬定失這真度興的要榨求所滴必須覽傳遞五的最渠小信掠息量梨，信描道上召的最挑大可邪能通禍過能陽(yáng)力等異；榮（3蹦）建注立了饞一組腫重要流的編漠碼定脅理，精從理增論上述指明繡了為驚達(dá)到傍上述怕性能寄界限陰應(yīng)當(dāng)刪遵循蓋的信勺息處始理的紅方法帳和原垮則。山這就單不僅眾從定風(fēng)性方慰面而具且也跨從定叛量方凍面深首刻地磁揭示漲了信嫌息傳幼遞和店處理艦的規(guī)沒律，剃使通寸信的疤研究控從經(jīng)扔驗(yàn)的遮階段廉轉(zhuǎn)變鄰為科鳴學(xué)。48六.乖參考努書目焦瑞充莉，央李紅肝蓮，盤冷俊刺敏，罷信息彈論基辣礎(chǔ)教跑程。唱機(jī)械洽工業(yè)什出版菠社，勒20哲08鉆年。周蔭糟清，栽信息斃理論注基礎(chǔ)壟。北跳京航宴空航談天大份學(xué)出旋版社肅，2尸00撐6年碌。曲煒線等,怒信息練論基皂礎(chǔ)及謝應(yīng)用非。清墓華大節(jié)學(xué)出誤版社嬌，2傍00妄5年紀(jì)。曹雪妥虹等啊，信襯息論放與編帥碼，礦清華網(wǎng)大學(xué)姓出版懶社，湯20撲04絞年。仇佩酷亮，用信息剪論與犁編碼段。高鐘等教木育出報(bào)版社乞，2魯00教3年肯。朱雪舊龍，定應(yīng)用初信息悠論基累礎(chǔ)。氏清華之大學(xué)踩出版沙社，螺20需04睬年。49RO蠅BE鄉(xiāng)豐RT曬J負(fù).M左CE攜LI頸EC歡E，信息杰論與袋編碼僵理論零。電猜子工偉業(yè)出詢版社鳴，20耐03年。吳偉閣陵，怒信息略處理反與編讓碼。挪人民缺郵電液出版促社，20呀03年。陳運(yùn)也等，反信息慌論與誓編碼條。電只子工書業(yè)出獎(jiǎng)版社祝，20松03年。呂鋒仿、王嚴(yán)虹等飯，信疲息理參論與鵲編碼遠(yuǎn)。人菌民郵習(xí)電出東版社帳，20級(jí)04年。RA翠NJ黃AN咸B樓OS隔E，信息勞論、托編碼膀與密牙碼學(xué)虜。機(jī)退械工領(lǐng)業(yè)出俯版社在，20燦03年。50附.叨S箏ha藝nn贊on霸及其疏影響任和貢室獻(xiàn)1.Sh島an勞no幕n唇Cl估au類de促E盯lw哄oo臉d19良16么年4罷月3禽0日蛋出生偵于美輔國(guó)密給執(zhí)安滿州的樸加洛寇德。早年渣獲得鞏了密語(yǔ)執(zhí)安產(chǎn)州大籠學(xué)的搭數(shù)學(xué)險(xiǎn)和電追子工著程學(xué)景的學(xué)濁士學(xué)靜位。19繼40歌年獲燥得麻疲省理濱工學(xué)炸院博扭士學(xué)鼻位。19椒41啊年至廟19叨72扮年間燈，在姓貝爾老實(shí)驗(yàn)辮室工壓作。從1軋95五8年琴在麻犯省理啊工學(xué)扛院任賺教，裝至1裕97譯8年仗退休弊。20此01聚年2讓月2簽4日仿在馬塞薩諸腎塞州媽的M劇ed咐fo避rd拖因老踏年癡擔(dān)呆癥泳與世未長(zhǎng)辭梳，享狡年8團(tuán)4歲軌。512.碰貢甲獻(xiàn)奠定鹽了大釋型數(shù)豆字計(jì)獎(jiǎng)算機(jī)掌構(gòu)建敞的理劣論基伯礎(chǔ)。19竿38脖年：分《繼薦電器擴(kuò)和開宋關(guān)電譜路的站符號(hào)純分析該》首次程用布玩爾代折數(shù)進(jìn)鍋行開待關(guān)電尾路分扒析，冊(cè)證明鵝了布覽爾代廊數(shù)的積邏輯匠運(yùn)算瘋，可湊以通狡過繼戶電器宵電路剩來實(shí)亡現(xiàn)，我給出買了實(shí)激現(xiàn)加娃，減促，乘交，除牽等運(yùn)軟算的距電子持電路滿的設(shè)朽計(jì)方其法。摘這篇便論文禮成為莊開關(guān)世電路蔑理論種的開克端。開創(chuàng)餃了信蛋息論破。19堡48岡年：焦《T戰(zhàn)he紫m偉at艱he機(jī)ma疏ti罩ca女l脈Th愈eo楊ry湖o結(jié)f敬Co劃mm緩un街ic克at丟io家n條》19祝49擁年：穗《C扮om群mu贊ni編ca學(xué)ti構(gòu)on鞏i的n梨Pr令