漢字與編碼相關(guān)31篇184版03

漢字與編碼主講人：李罡綜述漢字編碼談亂碼縱橫談關(guān)于編碼所謂編碼，是以固定的順序排列字符，并以此做為記錄、存貯、傳遞、交換的統(tǒng)一內(nèi)部特征，這個字符排列順序被稱為“編碼”。與計算機(jī)處理漢字相關(guān)的編碼主要有：機(jī)內(nèi)碼、交換碼、輸入碼（音碼與形碼）、輸出碼等。字庫的編碼是字庫組織的依據(jù)，也是文字處理的基礎(chǔ)。不同國家和地區(qū)有不同的編碼標(biāo)準(zhǔn)，和中文字庫有關(guān)的常見編碼有：單字節(jié)編碼、GB2312-80、BIG5編碼、ISO10646、Unicode編碼、GB13000.1-1993、GBK、GB18030-2000等單字節(jié)編碼(ASCII)美國的國家標(biāo)準(zhǔn)：ASCII（AmericanStandardCodeforInformationInterchange），進(jìn)一步成為世界性的編碼標(biāo)準(zhǔn)：ISO646（全名為7-bitcodedcharactersetforinformationinterchange）。時至今日，雖然一個字節(jié)(byte)的長度已經(jīng)從7位(bit)增加為8位，ASCII和ISO646仍然是電腦與網(wǎng)絡(luò)世界里重要的奠基標(biāo)準(zhǔn)。ASCII與ISO6467個bit可以提供128個編碼位置(0~127)分為二個部分：94個圖形字符和34個控制字符圖形字符包括：52個大小字英文字母、10個阿拉伯?dāng)?shù)字、9個標(biāo)點(diǎn)符號、6個括號及17個其它符號，編碼范圍從33到126。控制字符則包括10個傳輸控制字符、6個版面調(diào)整字符、4個設(shè)備控制字符、4個信息分隔字符和10個特殊控制字符，編碼為0~32及127。ASCII編碼

字符十進(jìn)制碼八進(jìn)制碼十六進(jìn)制碼…………0486030

…………9577139…………A6510141…………Z901325A…………a9714161…………z1221727A…………當(dāng)電腦或網(wǎng)絡(luò)設(shè)備收到一連串的字符信號時，通常會一邊接收一邊切分為字節(jié)（即每8位一切），并且立刻分辨剛收到的字節(jié)究竟是控制字符還是圖形字符。若是屬接收設(shè)備相關(guān)的控制字符時（例如傳輸控制編碼為7的BELL字符），電腦或網(wǎng)絡(luò)設(shè)備會截留該字符并立即做出對應(yīng)動作（例如BELL字符會驅(qū)使接收設(shè)備叫一聲），否則不予處理而傳送給后續(xù)設(shè)備。換言之，電腦和網(wǎng)絡(luò)設(shè)備會吃掉字符串里的特定控制字符。ASCII開始時采用7位編碼，高位(bit-8)用于在網(wǎng)絡(luò)傳輸中做奇偶校驗(yàn)。后來，為了表示一些常見的歐洲字符，對高位(bit-8)為1的128個碼位也進(jìn)行了擴(kuò)展編碼。8位字符集只能容納256個字符，比如Latin-1(ISO646)包括了英語、數(shù)字、常用標(biāo)點(diǎn)和常見的一些歐洲字符。但是它們無法很好地承擔(dān)在世界范圍內(nèi)進(jìn)行信息交換的重任，因?yàn)樗鼈儧]有足夠的空間來容納其他語言上萬的字符。后來，很多國家為了表示本國文字，使用2或多字節(jié)來編碼，如：日語(JIS)、漢語(GB、BIG5)、韓語(KS)、印度語(ISCII)等等。漢字國家標(biāo)準(zhǔn)1980年我國頒布了第一個漢字編碼字符集標(biāo)準(zhǔn)，即GB2312-80《信息交換用漢字編碼字符集基本集》。該標(biāo)準(zhǔn)共收了6763個漢字及常用符號，奠定了中文信息處理的基礎(chǔ)。GB2312-80全稱是GB2312-80《信息交換用漢字編碼字符集基本集》，1980年發(fā)布，是中文信息處理的國家標(biāo)準(zhǔn)，在大陸及海外使用簡體中文的地區(qū)（如新加坡等）是強(qiáng)制使用的唯一中文編碼。P-Windows3.2和蘋果OS就是以GB2312為基本漢字編碼，Windows95/98則以GBK為基本漢字編碼、但兼容支持GB2312。GB2312-80區(qū)位碼區(qū)碼：01－94位碼：01－9401區(qū)－15區(qū)：符號區(qū)16區(qū)－88區(qū)：漢字區(qū)區(qū)位碼－＞國標(biāo)碼

區(qū)碼＋160(0xA0)=國標(biāo)碼高位

位碼＋160(0xA0)=國標(biāo)碼低位GB2312-80的特點(diǎn)雙字節(jié)編碼范圍：A1A1~FEFEA1-A9：符號區(qū)，包含682個符號B0-F7：漢字區(qū)，包含6763個漢字GB碼共收錄6763個簡體漢字、682個符號，其中漢字部分：一級字3755，以拼音排序，二級字3008，以偏旁排序。該標(biāo)準(zhǔn)的制定和應(yīng)用為規(guī)范、推動中文信息化進(jìn)程起了很大作用。BIG5編碼是目前臺灣、香港地區(qū)普遍使用的一種繁體漢字的編碼標(biāo)準(zhǔn)，包括440個符號，一級漢字5401個、二級漢字7652個，共計13060個漢字。值得說明的是，并不是GB碼就是簡體、BIG5碼就是繁體。事實(shí)上，GB碼中也包括繁體字，BIG5碼中也包含簡體字。為了預(yù)防多字節(jié)字符編碼被電腦或網(wǎng)絡(luò)設(shè)備“吃掉”其中的某些字節(jié)，在編碼時就必須避開每個字節(jié)的0~32和127這34個控制碼(0~31叫做C0控制碼區(qū),128~159叫做C1控制碼區(qū))，這樣就會嚴(yán)重浪費(fèi)編碼空間。另外，由于廠商和組織眾多，缺乏共識，往往是你編你的碼，我編我的碼，其后果則是引發(fā)萬碼奔騰的亂象。為容納全世界各種語言的字符，ISO于1984年發(fā)起制定新的國際字符集編碼標(biāo)準(zhǔn)。新標(biāo)準(zhǔn)由工作小組ISO/IECJTC1/SC2/WG2(以下簡稱WG2)負(fù)責(zé)擬定，標(biāo)準(zhǔn)最后定名為“通用多八位字符集”“UniversalMultiple-OctetCodedCharacterSet”（簡稱UCS），其編號則定為ISO/IEC10646。ISO10646字符集的正規(guī)形式為32位，即4個字節(jié)，簡記為USC-4。4個字節(jié)分別代表編碼結(jié)構(gòu)中的組(group)、面(plane)、列(row)和格(cell)。WG2規(guī)定b32必須為0，且每個平面的最后二個編碼位置，即FFFE和FFFF，保留不用。所以ISO10646共有128*256=32768個面，每個面有256*256-2=65534個編碼位置，共計2,147,418,112個編碼位置。1993年國際標(biāo)準(zhǔn)化組織發(fā)布了ISO/IEC10646-1《信息技術(shù)通用多八位編碼字符集第一部分體系結(jié)構(gòu)與基本多文種平面》。我國等同采用此標(biāo)準(zhǔn)制定了GB13000.1-1993。該標(biāo)準(zhǔn)采用了全新的多文種編碼體系，收錄了中、日、韓20902個漢字，是編碼體系未來發(fā)展方向。ISO10646中第0組第0面稱為“基本多語言文字面”“BasicMulti-lingualPlane,BMP”。當(dāng)只使用BMP字符碼時，可以省略群八位和面八位，因而將字符碼由32位縮短為16位，稱為ISO10646字符碼的基本面形式（可簡稱為UCS-2)。ISO10646所有字面中，目前僅有第0、第1和第2字面真正收容編碼字符。UCS-2(BMP)(Unicode)(1)0000～007Fh：基本拉丁字母區(qū)。其中0000～001Fh為C0控制碼，0020h為空格（space），0021～007Eh為ASCII圖形字元，007Fh為控制碼DEL。事實(shí)上，這128個字元碼只要把前8個位元去掉就可變成習(xí)見的8位元形式的ASCII碼。(2)0080～00A0h：控制碼區(qū)。其中0080～009Fh為C1控制碼，00A0h為不中斷空格（no-breakspace）。(3)00A1～1FFFh：拼音文字區(qū)。收容除基本拉丁字母以外的各種拼音文字字元，包括歐洲各國語言、希臘文、斯拉夫語文、希伯來文、阿拉伯文、亞美尼亞文、印度各地方言、馬來文、泰文、寮文、柬普寨文、滿文、蒙文、藏文、印地安語文等。(4)2000～28FFh：符號區(qū)。收容各種符號，包括標(biāo)點(diǎn)符號、上下標(biāo)、錢幣符號、數(shù)字、箭頭、數(shù)學(xué)符號、工程符號、光學(xué)辨識符號、帶圈或帶括符的文數(shù)字、表格繪製符號、地理圖示、盲用點(diǎn)字、裝飾圖形等。(5)2E80～33FFh：中日韓符號區(qū)。收容康熙字典部首、中日韓輔助部首、注音符號、日本假名、韓文音符，中日韓的符號、標(biāo)點(diǎn)、帶圈或帶括符文數(shù)字、月份，以及日本的假名組合、單位、年號、月份、日期、時間等。(6)3400～4DFFh：中日韓認(rèn)同表意文字?jǐn)U充A區(qū)，總計收容6,582個中日韓漢字。(7)4E00～9FFFh：中日韓認(rèn)同表意文字區(qū)，總計收容20,902個中日韓漢字。(8)A000～A4FFh：彝族文字區(qū)，收容中國南方彝族文字和字根。(9)AC00～D7FFh：韓文拼音組合字區(qū)，收容以韓文音符拼成的文字。(10)D800～DFFFh：S區(qū)，專用於UTF-16，詳情後敘。(11)E000～F8FFh：專用字區(qū)，其內(nèi)容WG2不予規(guī)定，保留供使用者自行添加ISO10646未收容的字元。(12)F900～FAFFh：中日韓相容表意文字區(qū)，總計收容302個中日韓漢字。(13)FB00～FFFDh：文字表現(xiàn)形式區(qū)，收容組合拉丁文字、希伯來文、阿拉伯文、中日韓直式標(biāo)點(diǎn)、小符號、半形符號、全形符號等。WG2依語言特性把各種文字區(qū)分為表意文字和非表意文字兩類。WG2截至目前為止所收集、整理的非表意文字和符號部分，扣除已編入BMP者，其餘全部編入第1字面。而表意文字部分扣除已編入BMP者，其餘全部編入第二字面。第二字面(1)中日韓認(rèn)同表意文字?jǐn)U充B區(qū)：總計42,807個中日韓越漢字，編碼範(fàn)圍為0002-0100～0002-A836h。(2)CNS11643相容字元區(qū)：收容被認(rèn)同的CNS11643字元527個，編碼範(fàn)圍為0002-F800～0002-FA16h。Unicode與ISO制定10646的同時，以Universal,Unique和Uniform為主旨的Unicode組織也開始開發(fā)一個16位字符標(biāo)準(zhǔn)，為避免兩種16位編碼的競爭，1991年10月二組織達(dá)成協(xié)議，采用同一編碼字集。這就是今天的UCS-2(BMP，BasicMultilingualPlane，16bit)和Unicode，但它們?nèi)匀皇遣煌姆桨浮nicode編碼目前Unicode是采用16位編碼體系，其字符集內(nèi)容與ISO10646的BMP（BasicMultilingualPlane）相同。Unicode于1992年6月通過DIS（DrafInternationalStandard），版本V2.0于1996公布，內(nèi)容包含符號6811個，漢字20902個，韓文拼音11172個，造字區(qū)6400個，保留20249個，共計65534個。ISO10646的編碼空間足以容納古今人類使用過的所有文字和符號。但目前真正被使用的文字或符號，絕大多數(shù)都已經(jīng)編入BMP，它們的使用頻率可以超過99%。但是，在Unicode世界中，遇到必須使用ISO10646中第1、第2字面甚至更后方字面的字符時，怎么辦？Unicode協(xié)會提出的解決方式稱為UTF-16或代理法（surrogates）。UTF為“UCS（orUnicode）TransformationFormat”的縮寫。UTF-16意即把原為32位的ISO10646字符碼轉(zhuǎn)換為2個或多個16位的Unicode。目前的作法是組合兩個Unicode字符碼來代表一個ISO10646字符，所以又稱為代表法。兩個做為代表的Unicode，位於前方（左方）者稱為高半字元，限定只能選用D800～DBFFh當(dāng)中之一，位於後方（右方）者稱為低半字元，限制只可從DC00～DFFFh當(dāng)中選擇。高低半字元的編碼位置各為1,024＝4×256，因此UTF-16總計可提供（4×256）×（4×256）＝16×65536個編碼位置，亦即16個字面。對BMP而言，當(dāng)然無需使用UTF-16轉(zhuǎn)碼，所以UTF-16主要應(yīng)用於ISO10646的第1～第14字面（因?yàn)榈?5字面為專用字面，WG2不予編碼）。Unicode->UTF16將原來的32位元ISO10646字元碼，從右往左取出10個位元，前頭附加上特定的6個位元110111，即成為低半字元。接著往左取出6個位元，做為高半字元的最低6個位元，然後再往左取出4個位元（其值可顯示第0～第15字面），將其值減1，置於剛才那6個位元的左方，最後在最前方附加上特定的6個位元110110，即成為高半字元。由于Unicode編碼是16位編碼，因此它和很多只能使用US-ASCII編碼的應(yīng)用程序不兼容，因此產(chǎn)生了對Unicode進(jìn)行各種轉(zhuǎn)換的編碼，以滿足不同場合的需要。具體到產(chǎn)生亂碼的編碼形式，一般有兩種，即：UTF-7和UTF-8。UTF-7這是一種使用7位ASCII碼對Unicode碼進(jìn)行轉(zhuǎn)換的編碼。它的設(shè)計目的仍然是為了在只能傳遞7為編碼的郵件網(wǎng)關(guān)中傳遞信息。UTF-7對英語字母、數(shù)字和常見符號直接顯示，而對其他符號用修正的Base64編碼。符號+和-號控制編碼過程的開始和暫停。所以亂碼中如果夾有英文單詞，并且相伴有+號和-號，這就有可能是UTF-7編碼。UTF-8很多應(yīng)用程序不能直接處理Unicode或UCS-4/UCS-2中的16(32)位字符。如Unicode中含有的\x0、\等字符將不能直接用于文件名或C字符串等等。利用UTF-8轉(zhuǎn)碼規(guī)則可將一個Unicode或ISO10646字符碼轉(zhuǎn)換成1～4個字節(jié)的編碼。UTF-8的轉(zhuǎn)換規(guī)則若原始字元碼位於0000～007Fh（或0000-0000～0000-007Fh）的範(fàn)圍內(nèi)，則直接截取最右8個位元即可，轉(zhuǎn)換結(jié)果其實(shí)就是ASCII碼。若原始字元碼大於007Fh（或0000-007Fh），亦即超出ASCII範(fàn)圍時，就必須轉(zhuǎn)換成2～4個位元組。UTF-8規(guī)定，以轉(zhuǎn)換後第1位元組起頭連續(xù)設(shè)為“1”的標(biāo)記位元的數(shù)目表示轉(zhuǎn)換成幾個位元組：110表示轉(zhuǎn)換結(jié)果為2個位元組，1110表示3個位元組，而11110則表示4個位元組。至於跟隨在標(biāo)記位元之後設(shè)為0的位元，其在分隔標(biāo)記位元和字元碼位元。第2～第4位元組起頭兩個位元被設(shè)為10當(dāng)做識別，剩下的6個位元才做為字元碼位元使用。總計，2位元組UTF-8碼剩下11個字元碼位元，可用以轉(zhuǎn)換0080～07FFh的原始字元碼。3位元組剩下16個字元碼位元，可用以轉(zhuǎn)換0800～FFFFh的原始字元碼。而4位元組則剩下21個字元碼位元，可用來轉(zhuǎn)換0001-0000～001F-FFFh（即ISO10646第1～第31字面）的原始字元碼。請注意，雖然4個位元組的UTF-8編碼可包容1～3個位元組的碼，3個位元組的編碼可包容1～2個位元組的碼，以及2個位元組的編碼可包容1個位元組的碼，但是UTF-8規(guī)定轉(zhuǎn)碼時必須選擇最短者。換言之，ASCCI區(qū)只能轉(zhuǎn)換成單一位元，0080～07FFh的原始字元碼只能轉(zhuǎn)換成2個位元組長度，依此類推。GBK編碼GBK編碼是中國大陸制訂的、等同于UCS的新的中文編碼擴(kuò)展國家標(biāo)準(zhǔn)。GBK工作小組于1995年12月完成GBK規(guī)范。該編碼標(biāo)準(zhǔn)兼容GB2312，共收錄漢字21003個、符號883個，并提供1894個造字碼位，簡、繁體字融于一庫。Windows95/98簡體中文版的字庫表層編碼就采用的是GBK，通過GBK與UCS之間一一對應(yīng)的碼表與底層字庫聯(lián)系GBK編碼英文名：ChineseInternalCodeSpecification中文名：漢字內(nèi)碼擴(kuò)展規(guī)范1.0版雙字節(jié)編碼，GB2312-80的擴(kuò)充，在碼位上和GB2312-80兼容范圍：8140~FEFE（剔除xx7F）共23940個碼位包含21003個漢字，包含了ISO/IEC10646-1中的全部中日韓漢字GB18030-2000信息產(chǎn)業(yè)部和原國家質(zhì)量技術(shù)監(jiān)督局于2000年3月17日聯(lián)合發(fā)布了GB18030-2000《信息技術(shù)信息交換用漢字編碼字符集基本集的擴(kuò)充》。該方案與GB2312信息處理交換碼所對應(yīng)的事實(shí)上的內(nèi)碼標(biāo)準(zhǔn)兼容，在字匯上支持GB13000.1的全部中、日、韓(CJK)統(tǒng)一漢字字符和全部CJK擴(kuò)充A的字符，并且確定了編碼體系和27484個漢字，兼容性、擴(kuò)展性、前瞻性兼?zhèn)洹Ｔ摌?biāo)準(zhǔn)作為國家強(qiáng)制性標(biāo)準(zhǔn)自發(fā)布之日起實(shí)施，過渡期到2001年8月31日止。GB18030是國家標(biāo)準(zhǔn)，在技術(shù)上是GBK的超集，并與其兼容，因此，GBK將結(jié)束其歷史使命。GB18030-2000英文名：ChineseInternalCodeSpecification中文名：信息技術(shù)信息交換用漢字編碼字符集基本集的擴(kuò)充（2000-03-17發(fā)布和實(shí)施）單字節(jié)、雙字節(jié)、四字節(jié)編碼向下與國家標(biāo)準(zhǔn)GB2312信息處理交換碼所對應(yīng)的事實(shí)上的內(nèi)碼標(biāo)準(zhǔn)兼容。在字匯上支持GB13000.1的全部中、日、韓（CJK）統(tǒng)一漢字字符和全部CJK統(tǒng)一漢字?jǐn)U充A的字符。收錄的字符雙字節(jié)部分收錄內(nèi)容主要包括GB13000.1全部CJK漢字20902個、有關(guān)標(biāo)點(diǎn)符號、表意文字描述符13個、增補(bǔ)的漢字和部首/構(gòu)件80個、雙字節(jié)編碼的歐元符號等。四字節(jié)部分收錄了上述雙字節(jié)字符之外的，包括CJK統(tǒng)一漢字?jǐn)U充A在內(nèi)的GB13000.1中的全部字符。GB18030編碼空間約為160萬碼位，目前已編碼的字符約2.6萬。隨著我國漢字整理和編碼研究工作的不斷深入，以及國際標(biāo)準(zhǔn)ISO/IEC10646的不斷發(fā)展，GB18030所收錄的字符將在新版本中增加。GB18030在體系結(jié)構(gòu)上延續(xù)GB2311-1990《信息處理七位和八位編碼字符集代碼擴(kuò)充技術(shù)》體系，采用單/雙/四字節(jié)混合編碼。該標(biāo)準(zhǔn)與現(xiàn)有的絕大多數(shù)操作系統(tǒng)、中文平臺在計算機(jī)內(nèi)碼一級兼容，能夠支持現(xiàn)有的應(yīng)用系統(tǒng)，在字匯上與GB13000.1-1993《信息技術(shù)通用多八位編碼字符集（UCS）第一部分：體系結(jié)構(gòu)與基本多文種平面》兼容，從而為中文信息在國際互聯(lián)網(wǎng)上的傳輸與交換提供了保障。該標(biāo)準(zhǔn)同時收錄了臧文、蒙文、維吾爾文等主要的少數(shù)民族文字，為推進(jìn)少數(shù)民族的信息化奠定了堅實(shí)的基礎(chǔ)。碼位范圍分配圖字節(jié)數(shù)碼位空間碼位數(shù)目單字節(jié)0x00~0x80129雙字節(jié)第一字節(jié)第二字節(jié)239400x81~0xFE0x40~0x7E0x80~0xFE四字節(jié)第一字節(jié)第二字節(jié)第三字節(jié)第四字節(jié)15876000x81~0xFE0x30~0x390x81~0xFE0x30~0x39碼位總體結(jié)構(gòu)圖漢字國家標(biāo)準(zhǔn)的歷史發(fā)展總結(jié)GB2312-80GB13000.1-1993(ISO10646-1)GBKGB18030-2000亂碼雜談ROT13ANSIUUENCODEMIME/BASE64Quoted-PrintableROT13VYbirlbh![a..m]->[n..z];[n..z]->[a..m]“abcdefghijklm”“nopqrstuvwxyz”ANSIANSI(AmericanNationalStandardsInstitute)規(guī)定了一組控制字符和鍵盤的擴(kuò)充規(guī)則很多BBS的WWW版本在文本轉(zhuǎn)換的時候沒有解釋ANSI的效果，而是把控制符號01Bh解釋成為*號，這就形成了閱讀BBS文章的特殊亂碼效果。比如：*[1m(高亮度字)、*[1;5;33m(高亮度黃色閃爍字)、*[1;31;44(高亮度藍(lán)底紅色字)等等UUENCODEUUENCODE的UU指用于Unix之間傳送二進(jìn)制文件，就是UnixtoUnix。因?yàn)閁UENCODE使用了一些字符在一些郵件網(wǎng)關(guān)（特別是那些轉(zhuǎn)換ASCII和EBCDIC碼的網(wǎng)關(guān)）中造成傳輸障礙，（還有一些軟件不能對所有UUENCODE的算法進(jìn)行正確解碼而導(dǎo)致郵件的閱讀困難），因此MIME被設(shè)計用于替代UUENCODE，但是結(jié)果是這些協(xié)議共存。MIME/BASE64MIME/BASE64的算法很簡單，它將字符流順序放入一個24位的緩沖區(qū)，缺字符的地方補(bǔ)零。然后將緩沖區(qū)截斷成為4個部分，高位在先，每個部分6位，用下面的64個字符重新表示：“ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz+/”。如果輸入只有一個或兩個字節(jié)，那么輸出將用等號“=”補(bǔ)足。這可以隔斷附加的信息造成編碼的混亂。這就是BASE64。UEsDBBQAAgAIAEapPiS/mrkHoQEAAEECAAAMAAAAYWNhZDd+dWUudHh0dVFRb5swGHyPlP9Q5Iet

TUICzCUJASTiFuIQhwbHRJnUqmRsndqmVQO0CsK/fXbRVvVh+AV9vrvv7txunYiPV8rAW3n33w5B

R9FAN3ld34Axr9OHIjtkt7wC3bmKHD+zznjteTGvjBnVFGCdxz265XW7dfI+ZVFyRjegO3hix8nl

fGcdjeLqy/rGTp0Sj+Jp8Djho9oIWRSX0IYIwwmWbF4RHKYK0ByCaI9u4u3HukYZIvE32+fZyz7LQuoted-Printable=A1=B0=C2=D2=C2=EB=B4=F3=C8=AB=A1=B1=A3=AC=D7=F7=D5=DFbluesea=A3=AC=CB=AE=C4=BE=C7=E5=BB=AABBS=B3=C9=D4=B1=A1=A3=BB=B6=D3=AD=D4=DABBS=D6=D0=D7=AA=D4=D8=A3=AC=B0=EF=D6=FA=BC=C6=CB=E3=BB=FA=B3=F5=D1=A7=D5=DF=BD=E2=BE=F6=CA=B9=D3=C3=C8=ED=BC=FE=B9=FD=B3=CC=D