信源編碼離散信源無失真編碼概述

第三章：信源編碼（一）

離散信源無失真編碼§3.1信源及其分類§3.2離散無記憶（簡單）信源的等長編碼§3.3離散無記憶（簡單）信源的不等長編碼§3.4最佳不等長編碼§3.5算術(shù)編碼和LZ編碼2023/7/221§3.1信源及其分類信源的概念

（直觀地理解，信源就是信息的來源。但是這里必須要注意兩點）：在一個固定的時刻，信源發(fā)出的是一個隨機變量。隨著時間的延續(xù)，信源發(fā)出的是一個隨機過程。（因此，一般的信源種類太多，其統(tǒng)計性質(zhì)太復(fù)雜。怎樣做工程實用的簡化？）2023/7/222§3.1信源及其分類離散信源信源每隔一個定長時間段就發(fā)出一個隨機變量；隨著時間的延續(xù)，信源發(fā)出的是隨機變量序列…U-2U-1U0U1U2…，其中Uk為第k個時間段發(fā)出的隨機變量；每個Uk都是一個離散型的隨機變量。離散無記憶信源離散無記憶信源是這樣的離散信源：隨機變量…、U-2、U-1、U0、U1、U2、…相互獨立。離散無記憶簡單信源離散無記憶簡單信源是這樣的離散無記憶信源：隨機變量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布。2023/7/223§蚊3彼.幸1信亞源章及悔其盟分逃類（互總掏結(jié)那：碎離瞇散難無鳥記攪憶銹簡石單磁信腰源侮就罷是咸時崖間垮離磚散蠶、饅事皂件原離浪散雞、掛各辭隨蠶機部變沉量潛獨何立院同謀分姻布暑的馬信庭源偷。噴課黑程尤學(xué)箱習(xí)編所幅面格對銳的爐信懸源批將觀主盡要害是形離蜜散修無挎記巨憶簽簡駛單奧信遼源枯）一直般魯?shù)呢i信想源連鴉續(xù)鐘信癥源墊：退有占時趟間摟連陣續(xù)軟的捆信指源抽，按也公有忍事爬件晚連供續(xù)遵的武信家源疏；有甘記選憶黃信信源鏈：疼信拆源伐在江不窯同并時伙刻業(yè)發(fā)喇出說的煙隨理機虜變漢量禿相謊互蠟依倦賴池；有介限超記吐憶零信敘源狀：枯在育有標限飾時似間打差懇內(nèi)隙的咽信武源門隨祝機覺變刊量跌相姜互牢依披賴艙；非疫簡蟻單傅信呀源遭：辨信杰源潮在牲不段同鋪時浮刻縱發(fā)恥出涉的融隨輪機趣變預(yù)量嚴具醬有吩不均同騰的菊概浸率孝分圖布裹。馬衫爾顆可起夫耍信層源猴：陳信巷源算隨谷機紫過豬程蹤蝶是砍馬疲爾役可定夫手過籠程佛。2伴0侮2鋤3健/家7夾/芬1公74§蚊3移.幣2離戰(zhàn)散漆無館記諷憶北（箏簡龜單響）僚信床源誦的壺等蘋長格編芽碼（嘉順撥序燙地柴敘周述雁以秧下認的貌概訂念劃）（1）腫設(shè)談有煙一主個桂離美散咱無側(cè)記初憶敗簡講單借信御源選，茶信厲源患發(fā)暮出姐的壓隨贊機首變答量筋序它列揭為靈：…U-助2U-乓1U0U1U2…。筐設(shè)簡信潛源懶隨求機獵變奮量U1的劑事培件溜有K個慰：{a1,a2,厘…獨,aK}，秒則L維壘信掉源惰隨帥機吃向洲量(U1U2…UL)的遠事時件慌有KL個撕：{贏(u1u2…uL)艘|其摔中圖每嗎個串分巖量ul跑曠遍{a1,a2,狗…懇,aK}鉗}。（2）曠設(shè)抖有西一隨個犁含D個口字湊母磁的培字漲母食表{b1,b2,僻…賠,bD}?？ㄐ韬栌谬X字給母不串脆來躬表笛示(U1U2…UL)的惱事凈件壯，還每陵一輛個錢事飛件只都崇要覆用偷一雞個芹字浴母砌串判來針表慚示道。這際種駕表坡示富方仔法畜稱裹為D元捐編互碼；每湯一慘個求事鍵件途所誰對膊應(yīng)鉗的相字瀉母展串貫稱補為阻一濫個碼腐字。2窮0跡2恥3少/芝7執(zhí)/餐1神75§區(qū)3體.墊2離壓散參無等記事憶弓（越簡盈單位）討信聾源澡的濾等幻玉長煙編營碼例：幸離稿散奸無棉記兇憶昂簡乳單丙信回源車發(fā)模出縱的印隨襯機冤變?nèi)炕笮蚺剂邢榻兀骸璘-綱2U-答1U0U1U2…。痕其堆中U1的注事峰件皮有3個拍：{晴,云,陰}。(U1U2)有9個繪事昆件{（辛晴艦晴榨）喬，有（徑晴銅云敬）奶，妨（雞晴柄陰截）脊，烘（夕云脊晴淺）洲，微（腐云丹云盆）黎，持（嶺云藝陰耀）痛，稿（糠陰訴晴?。┚d，賭（堂陰矮云菜）指，篩（聲陰落陰曠）}。用栽字匠母免表{揪0拾,場1層}對(U1U2)的恒事虛件月進槳行2元奴編均碼介如封下麻：（案晴殘晴果）→惠0吸0符0筒0，趣（兇晴挽云標）→跳0蓮0雨0難1，朵（賽晴捐陰沒）→攤0循0村1磚1，（覽云么晴哈）→誓0解1偉0檢0，筒（壯云銀云羽）→電0院1洪0承1，墳（圣云斷陰敬）→去0至1尊1真1，（個陰毯晴必）→刑1柱1客0樣0，遭（另陰飯云齒）→孔1桃1算0牙1，籃（猶陰衣陰饒）→弓1彎1養(yǎng)1煉1。2肯0盆2老3提/醒7誤/帥1怒76§吼3捷.昏2離足散憲無邀記茫憶尼（招簡絹單仔）扶信躁源逢的下等輕長鼻編呆碼（3）球如嗽果護限進定破碼刪字味的證長映度沸為N（素即迫每燭個絹碼笨字園都碰是花一旁個N維暗向殖量變）退，臥則藍稱裙此濾編甲碼與為等偉長釘編著碼，增能告夠念選遺擇屈的旱不穴同孤碼賠字乒的組個雨數(shù)請為DN。（4）浮如婦果迅限含定做碼尚字犯的委長班度坑為≤N（紐奉即均每道個怪碼菌字填都結(jié)是桿一逃個≤N維敗的沙向慰量堵）敞，覆則秧稱各此逝編震碼故為不跡等坦長彈編難碼，固能肢夠凍選棍擇公的夠不邪同拜碼說字更的販個六數(shù)貿(mào)為D1+D2+剃…欄+DN=D(DN-灑1績)本/灘(D-表1學(xué))。（幻玉注夏意掃：箱在樂不抖等渴長電編旅碼字中逃，險并陣不椒能蝕同始時摩使剩用D(DN-茄1娛)薦/鉆(D-嫩1帳)個帆不鮮同乘的府碼當字碗。奸一貼個驕長抵度辛為2的岔字覆母獄串乒究柱竟忌是診兩穿個葉長叨度襯為1的嘉碼齒字散相齒連尖，抬還鑰是拋一居個橫長少度綱為2的窮碼盯字欲？帳無柿法雜識孔別故。在臘等啊長抱編佛碼垂中獻不絹存姜在魯這壤樣厚的碑識涂別漁問頁題絨）2繁0乎2納3金/僚7卡/勵1拐77§代3撐.扶2離墓散經(jīng)無邊記療憶國（績簡播單譽）飼信峰源點的知等墨長燥編問碼（鴉本差節(jié)剩以社下亡將貧專同門懼討費論俯等框長嗚編落碼飽）（5）編并碼桶速進率R=Nl悶o念gD/L。（6）無慕錯堤編芬碼(U1U2…UL)的棋不期同貍事機件想用薄不穿同不的每碼迅字村來往表蛙示獅。街能葡夠遺實鮮現(xiàn)攤無充錯背編阿碼專的蓋充夾要請條岸件議是DN≥KL。惹（聞即蚊編益碼令速向率R=Nl緩o乘gD/L≥忍l秒o倦gK）（7）有對錯句編兇碼(U1U2…UL)的聯(lián)有嚇些寬不勢同落事順件韻用普相蚊同變的月碼核字州來里表椅示眾。（8）有石錯裕編絕碼且的誘譯萄碼芒方兆法豪與騎“模譯示碼厘錯丙誤織”剖概迎率當益使參用拌有費錯世編坑碼志時救，真必梢須諷給避出雅譯秧碼罩方舒法絨（設(shè)一屆個賓碼尼字迫究訂竟脅翻愛譯湊成拼哪鉤個菜事后件考）賓。爸“周譯并碼流錯弓誤篇”株的磁概盡率粘定廊義的為pe=P{住(U1U2…UL)泡=收(u1u2…uL)|塵(u1u2…uL)的哭碼私字劇在梢譯喬碼仙時忠并瘋不夜譯搶為(u1u2…uL)您}。2雅0況2館3牙/出7袍/使1鼻78§灣3時.圍2離籮散喉無筐記憂憶蒸（承簡暢單堡）柏信宮源違的殲等模長沖編殊碼（棋關(guān)營于影編殘碼壤速秀率挎的這說蜜明脆：編診碼敘速缸率扛本墻來布是子編農(nóng)碼梁設(shè)剩備寺的兆性混能的指澤標午。弓這掀就買是朽說固，逢首膜先它有猴了線編昨碼半設(shè)怖備紫的賄編嶄碼喊速懷率R0，匠然名后孕選膊擇N和L，謀使朋得稍實脈際泳的施編拳碼棋速他率Nl河o飲gD/L不羨能痕超授過愉編付碼驅(qū)設(shè)洗備善的劉編野碼欣速傲率R0：R觸=夏Nl晌o旋gD/L≤R0。當進編橫碼誓速椒率R比瘋較鞭高宗時診，潮可限以湖選站擇仿比曬較秧大愿的N，父因簡此阻可碧供澡選鉤擇蕉的例碼腐字嘆比膽較慰多岡，緣瑞因挽此聽更嗎容團易構(gòu)設(shè)劈燕計割出蘿能嘉夠剝快豈速珍識雞別久的紹碼盈，晚降兆低頌譯弟碼覺的控難央度誕。當什編緒碼顯速冬率R比慈較渣低懼時瞎，鳴意掌味豬著任使掙用衰低丘成賀本巴的好編廈碼秤設(shè)光備充。鴉此冶時話只忘能升選重擇共不亦大籠的N，憂因訓(xùn)此島更謎需請要燭編始碼以的葬技廈巧截。債）2坑0曉2患3墳/奇7爸/示1忠79§它3俯.花2離凈散攔無霞記皂憶列（躬簡路單避）形信濃源蛛的落等領(lǐng)長音編懂碼（9）在劍無解錯虧編級碼撐的橋前降提累下懲，下編質(zhì)碼見的丙最康低計代鏡價當R≥腰l噴o細gK時退，堤能鴉夠年實聰現(xiàn)型無廊錯曲編粗碼螞。當R<H(U1)時域，咸無答論炮怎查樣驚編嘗碼放都懷是兵有虜錯姑編失碼鹿。盒這霉是芹因筐為R<H(U1)融≤荒l算o沈gK。（吉如瘡果H(U1)更=泡l守o刺gK，無則兇以容上灘兩蔑種興情炎形基已檢經(jīng)晨概界括漿了績?nèi)〔啃嗲檎粜螝W。奶但兄如遙果H(U1)燭<棉l稿o陵gK，螞則釀還昏有葡一回種蹄情捏形們）當l僻o雁gK>R>H(U1)時萌，直雖團然盯無矩論劃怎址樣檔編彈碼總都弊是酷有巴錯束編贊碼者，吐但腰可題以既適夫當都地竄編乞碼旬和姨譯娃碼鍛使各譯貨碼藝錯耕誤科的亡概崇率pe任友意芬小江。杏這斃就安是俘所極謂制“印漸頁進朱無礦錯隆編固碼輩”禮。2尼0燈2造3卻/羊7耀/驅(qū)1勝71療0§盡3悶.芹2離并散已無嬸記斥憶境（醉簡殲單厚）壇信畏源擾的鼓等摩長兩編譽碼（1轎0）漸迅進裂無體錯妥編蠅碼（堵簡波單及地互說閱就輩是苗：遇當R>H(U1)時摸，仆可纏以廣適伯當獅地掛編碌碼釋和胡譯勁碼犯使輸?shù)弥茏g堅碼吐錯即誤傍的導(dǎo)概漲率pe任疫意羞小塞。禽嚴峽格族地萍說他就嶼是業(yè)：汗）設(shè)垂給從定艱了驗編憐碼劃設(shè)捆備派的菊編鈴碼顛速堪率R0，R0>H(U1)。吊則嚇對畜任濤意寒的ε>剛0，鵲總背存扭在譽一巖個L0，撲使莖得寇對撈任織意斥的L>L0，鉆都勢有釘對(U1U2…UL)的餐等脈長哪編桃碼累和區(qū)對先應(yīng)卡的矩譯勸碼束方虜法給，濃滿活足①實埋際剃的判編陸碼博速爬率R=Nl帝o肌gD/L≤R0，②譯測碼債錯森誤惑的襪概針率pe<ε。（1榨1）漸婆進冊無薦錯生編火碼型的鳳原川理大迫數(shù)連定絹律果。搖隨途著L的婦增貪加誕，(U1U2…UL)的砍所轉(zhuǎn)有設(shè)事膀件墳中進，倍某社些膊事脖件照所政占堡的虹比喇例秀越府來控越專小府（→捷0）候，躲其沿發(fā)誦生領(lǐng)的溝概裁率診卻飛越聯(lián)來朝越明大餓（→穩(wěn)1）禁。2敏0仔2它3像/峽7墳/雀1田71可1§從3好.美2離禮散材無謙記靜憶集（炊簡寺單躁）恥信少源軌的怪等六長略編姜碼（1模2）不壯能麻漸叫進吹無愚錯鋒的減編經(jīng)碼（請簡旗單形地滅說介就協(xié)是飾：截當R<H(U1)時乳，年無汽論率怎腹樣綱編宮碼演和蕉譯與碼吉都照不葵能閉使糟譯華碼疊錯音誤四的夸概歲率pe任服意斤小互。蔬嚴炕格具地通說制就導(dǎo)是紫：勝）設(shè)亡給羊定撤了揉編忙碼倍設(shè)朗備律的風(fēng)編逮碼由速壺率R0，R0<H(U1)。烏則索無市論烈怎棉樣冬編盒碼坊和劑譯治碼渠都齡不養(yǎng)能晶同藏時犬滿胞足①實簡際獅的撲編置碼緒速蜘率R≤R0，②譯年碼視錯化誤供的絹概德率pe任貨意假小喪。2深0曲2淚3浪/鎮(zhèn)7扒/跨1萬71債2§必3裝.梨2離慰散滴無異記宏憶礎(chǔ)（型簡沒單敞）物信冶源汽的噸等計長求編件碼設(shè)…U-燥2U-生1U0U1U2…是漂離江散位無訓(xùn)記滿憶行（揭簡尾單護）藏信碎源監(jiān)的劍輸葬出燦隨賤機撥變按量亡序梁列棵。朝設(shè)U1的幫概盡率漫分單布板為取Vl是Ul的達如庸下態(tài)函欄數(shù)冰：峰當Ul=ak時鮮，Vl=印l虧o疼ga(撒1悶/qk)。蠢則①隨奧機窗變燙量傲序趨列…V-拿2V-聽1V0V1V2…相巧互樹獨撲立椒，趙具柿有步相遼同劈燕的畫概勤率籃分忘布絲式；②2揮0尖2絞3潛/顆7瀉/居1功71綁3§奏3移.烏2離廣散慌無憲記走憶司（仗簡推單飛）朋信舒源既的糟等貓長畜編欺碼取IL是(V1V2…VL)的顫如考下抱函談數(shù)秧：則①IL最克終嘗是(U1U2…UL)的得函靠數(shù)棒；②③因唇此需有滔切址比豈雪拒夫軍不突等尾式圈：狗對袖任問意ε>罪