字符集與編碼

WelcometoHUAWEITechnologiespresentation

字符集與編碼2013年5月目錄?字符集與編碼方法?Java中字符的表示與處理?JavaWeb編程中文亂碼解決方法Log4j寫(xiě)日志中文亂碼SecureCRT顯示中文亂碼字符集與編碼字符集(CharacterSet)?字符編碼（CharacterEncoding）字符集字符編碼對(duì)應(yīng)語(yǔ)言ASCIIASCII英語(yǔ)ISO8859-1ISO8859-1拉丁字母GB2132GB簡(jiǎn)體中文GBKGBK簡(jiǎn)體中文GB18030GB18030簡(jiǎn)體中文Big5Big5繁體中文UnicodeUTF-8多國(guó)語(yǔ)言ASCII碼ASCII ASCII使用7個(gè)比特（bit）進(jìn)行字符編碼，最多可以表示2＾7（128）個(gè)字符，這些字符包括了大小寫(xiě)英文字母、阿拉伯?dāng)?shù)字、標(biāo)點(diǎn)符號(hào)、控制字符和其他符號(hào)。

每個(gè)字符用一個(gè)字節(jié)表示，每個(gè)字節(jié)的最高位為0。

例如：字符“A”在用ASCII碼中用2進(jìn)制的“01000001”表示，換算成10進(jìn)制為“65”。ISO8859-1ISO8859-1 ISO8859-1，又稱Latin-1，是在ASCII的基礎(chǔ)上，使用8比特編碼，新增了一些字符。新增的字符主要用來(lái)支持部分歐洲國(guó)家所使用的語(yǔ)言，例如：德語(yǔ)、葡萄牙語(yǔ)和西班牙語(yǔ)等。也就是說(shuō)，ISO8859-1兼容ASCII。GB21321981年,開(kāi)始使用國(guó)家標(biāo)準(zhǔn)《信息交換用漢字編碼字符集－基本集》，簡(jiǎn)稱GB2312。GB2312使用雙字節(jié)編碼，一共包含了7445個(gè)字符，包括了6763個(gè)常用的漢字。對(duì)漢字分成了兩級(jí)，一級(jí)為常用字，有3755個(gè)字符，按照拼音排序，二級(jí)為次常用字，包括3008個(gè)字符，按照部首排序。GB2312主要應(yīng)用在中國(guó)大陸和新加坡，幾乎所有的中文系統(tǒng)和國(guó)際化的軟件都支持GB2312，同時(shí)GB2312兼容ASCII。在GB2312的基礎(chǔ)上又進(jìn)行了擴(kuò)充。在1995年，推出了《漢字內(nèi)碼擴(kuò)展規(guī)范》，簡(jiǎn)稱GBK。GB18030-2000編碼標(biāo)準(zhǔn)是由信息產(chǎn)業(yè)部和國(guó)家質(zhì)量技術(shù)監(jiān)督局在2000年聯(lián)合發(fā)布的，GB18030編碼標(biāo)準(zhǔn)是在原來(lái)的GB2312和GBK編碼標(biāo)準(zhǔn)的基礎(chǔ)上進(jìn)行擴(kuò)充，增加了一些新的字符，特別是一些少數(shù)民族使用的字符。它的主要目的是為了解決一些生、偏、難字的問(wèn)題。Unicode1991年Unicode把世界上幾十種文字整合在一個(gè)字符集中，Unicode中的每個(gè)字符都有一個(gè)唯一的數(shù)字進(jìn)行表示。Unicode是由Unicode組織進(jìn)行相關(guān)標(biāo)準(zhǔn)的制訂與推廣。UTF是Unicode/UCSTransformationFormat（統(tǒng)一字符集/統(tǒng)一字符編碼轉(zhuǎn)換格式）的縮寫(xiě)，UTF就是Unicode的一種字符編碼（轉(zhuǎn)換）方法。Unicode組織推薦使用的是UTF-8和UTF-16，UTF-8是一種變長(zhǎng)的編碼方式，也是當(dāng)前Unicode最常用的一種字符編碼（轉(zhuǎn)換）方法。UTF-8編碼方式：CodepageUnicode不兼容中文的GB2312、GBK和Big5等字符集，也不兼容其他國(guó)家的字符集，為了能順利的實(shí)現(xiàn)Unicode和其他字符集之間的轉(zhuǎn)換，需要使用codepage技術(shù)。codepage是各種字符集和Unicode之間的映射表。codepage字符集936簡(jiǎn)體中文GBK950繁體中文Big565001UTF-8932日文JAVA字符Java中的字符主要通過(guò)char、byte和String這3種類型進(jìn)行表示。?Char表示的是1個(gè)Unicode字符，byte是字節(jié)，String是字符串，它是多個(gè)char類型字符的序列。字符串在網(wǎng)絡(luò)傳輸或者存儲(chǔ)前需要轉(zhuǎn)換成byte數(shù)組。從網(wǎng)絡(luò)接收或從存儲(chǔ)設(shè)備讀取內(nèi)容的一般是byte數(shù)組。JAVAWEB中文亂碼調(diào)用JSP頁(yè)面顯示亂碼通過(guò)瀏覽器調(diào)用JSP頁(yè)面，在瀏覽器中所有的中文內(nèi)容出現(xiàn)亂碼。原因是JSP保存文件默認(rèn)使用ISO8859-1編碼，該字符集不支持中文。首先確認(rèn)本JSP在編輯器中保存文件內(nèi)容時(shí)，使用的是UTF-8的編碼格式，然后在JSP頁(yè)面的開(kāi)始，添加<%@

charset=UTF-8，pageEncoding="UTF-8"%>就可以解決這個(gè)中文亂碼問(wèn)題。演示程序index.jspJAVAWEB中文亂碼調(diào)用Servlet頁(yè)面顯示亂碼通過(guò)瀏覽器調(diào)用Servlet，Servlet在瀏覽器中顯示的內(nèi)容出現(xiàn)亂碼。在Servlet使用response對(duì)輸出內(nèi)容之前，先執(zhí)行response.setContentType("text/html;charset=utf-8")，設(shè)定輸出的內(nèi)容的編碼為UTF-8。演示程序servlet01.javaJAVAWEB中文亂碼POST表單傳遞參數(shù)亂碼通過(guò)JSP頁(yè)面、HTML頁(yè)面或者Servlet中的表單元素提交參數(shù)給對(duì)應(yīng)的JSP頁(yè)面或者Servlet，而JSP頁(yè)面或者Servlet接收的中文參數(shù)值亂碼。解決辦法1：在接收POST提交的參數(shù)之前，使用request.setCharacterEncoding(“UTF-8”)設(shè)定接收參數(shù)的內(nèi)容使用UTF-8編碼。解決方法2:使用過(guò)濾器技術(shù)，在接收參數(shù)之前，設(shè)定傳遞的參數(shù)內(nèi)容的編碼是UTF-8。演示程序index.jsp、servlet01.javaLog4j中文亂碼Log4j寫(xiě)日志文件，文件中的中文出現(xiàn)亂碼.log4j通過(guò)QuietWriter寫(xiě)日志，QuietWriterextendsFilterWriter，F(xiàn)ilterWriterextendsWriter，而Writer寫(xiě)入的是字符流，對(duì)字符集比較敏感。英文系統(tǒng)一般默認(rèn)latin-1字符集，只能處理半角，通過(guò)encoding指定字符集后，能夠正確輸出指定字符集的字符流。log4j.appender.A1=org.apache.log4j.RollingFileAppender

log4j.appender.A1.Encoding=UT