JSPServlet 中的漢字編碼問(wèn)題(轉(zhuǎn))

1、每個(gè)國(guó)家(或區(qū)域都規(guī)定了計(jì)算機(jī)信息交換用的字符編碼集,如美國(guó)的擴(kuò)展 ASCII碼, 中國(guó)的 GB2312-80,日本的 JIS 等,作為該國(guó)家/區(qū)域內(nèi)信息處理的基礎(chǔ),有著統(tǒng)一編碼的重要作用。字符編碼集按長(zhǎng)度分為 SBCS(單字節(jié)字符集,DBCS(雙字節(jié)字符集兩大類。早期的軟件(尤其是操作系統(tǒng),為了解決本地字符信息的計(jì)算機(jī)處理,出現(xiàn)了各種本地化版本(L10N,為了區(qū)分,引進(jìn)了 LANG, Codepage 等概念。但是由于各個(gè)本地字符集代碼范圍重疊,相互間信息交換困難;軟件各個(gè)本地化版本獨(dú)立維護(hù)成本較高。因此有必要將本地化工作中的共性抽取出來(lái),作一致處理,將特別的本地化處理內(nèi)容降低到最少。這也就

2、是所謂的國(guó)際化(I18N。各種語(yǔ)言信息被進(jìn)一步規(guī)范為 Locale 信息。處理的底層字符集變成了幾乎包含了所有字形的 Unicode。現(xiàn)在大部分具有國(guó)際化特征的軟件核心字符處理都是以 Unicode 為基礎(chǔ)的,在軟件運(yùn)行時(shí)根據(jù)當(dāng)時(shí)的 Locale/Lang/Codepage 設(shè)置確定相應(yīng)的本地字符編碼設(shè)置,并依此處理本地字符。在處理過(guò)程中需要實(shí)現(xiàn) Unicode 和本地字符集的相互轉(zhuǎn)換,甚或以 Unicode 為中間的兩個(gè)不同本地字符集的相互轉(zhuǎn)換。這種方式在網(wǎng)絡(luò)環(huán)境下被進(jìn)一步延伸,任何網(wǎng)絡(luò)兩端的字符信息也需要根據(jù)字符集的設(shè)置轉(zhuǎn)換成可接受的內(nèi)容。Java 語(yǔ)言內(nèi)部是用 Unicode 表示字符的

3、,遵守 Unicode V2.0。Java 程序無(wú)論是從/往文件系統(tǒng)以字符流讀/寫文件,還是往 URL 連接寫 HTML 信息,或從 URL 連接讀取參數(shù)值,都會(huì)有字符編碼的轉(zhuǎn)換。這樣做雖然增加了編程的復(fù)雜度,容易引起混淆,但卻是符合國(guó)際化的思想的。從理論上來(lái)說(shuō),這些根據(jù)字符集設(shè)置而進(jìn)行的字符轉(zhuǎn)換不應(yīng)該產(chǎn)生太多問(wèn)題。而事實(shí)是由于應(yīng)用程序的實(shí)際運(yùn)行環(huán)境不同,Unicode 和各個(gè)本地字符集的補(bǔ)充、完善,以及系統(tǒng)或應(yīng)用程序?qū)崿F(xiàn)的不規(guī)范,轉(zhuǎn)碼時(shí)出現(xiàn)的問(wèn)題時(shí)時(shí)困擾著程序員和用戶。2. GB2312-80,GBK,GB18030-2000 漢字字符集及 Encoding其實(shí)解決 JAVA 程序中的漢字編

4、碼問(wèn)題的方法往往很簡(jiǎn)單,但理解其背后的原因,定位問(wèn)題,還需要了解現(xiàn)有的漢字編碼和編碼轉(zhuǎn)換。GB2312-80 是在國(guó)內(nèi)計(jì)算機(jī)漢字信息技術(shù)發(fā)展初始階段制定的,其中包含了大部分常用的一、二級(jí)漢字,和 9 區(qū)的符號(hào)。該字符集是幾乎所有的中文系統(tǒng)和國(guó)際化的軟件都支持的中文字符集,這也是最基本的中文字符集。其編碼范圍是高位0xa1-0xfe,低位也是0xa1-0xfe;漢字從 0xb0a1 開(kāi)始,結(jié)束于 0xf7fe;GBK 是 GB2312-80 的擴(kuò)展,是向上兼容的。它包含了 20902 個(gè)漢字,其編碼范圍是0x8140-0xfefe,剔除高位 0x80 的字位。其所有字符都可以一對(duì)一映射到 Uni

5、code 2.0,也就是說(shuō) JAVA 實(shí)際上提供了 GBK 字符集的支持。這是現(xiàn)階段 Windows 和其它一些中文操作系統(tǒng)的缺省字符集,但并不是所有的國(guó)際化軟件都支持該字符集,感覺(jué)是他們并不完全知道GBK 是怎么回事。值得注意的是它不是國(guó)家標(biāo)準(zhǔn),而只是規(guī)范。隨著 GB18030-2000國(guó)標(biāo)的發(fā)布,它將在不久的將來(lái)完成它的歷史使命。GB18030-2000(GBK2K 在 GBK 的基礎(chǔ)上進(jìn)一步擴(kuò)展了漢字,增加了藏、蒙等少數(shù)民族的字形。GBK2K 從根本上解決了字位不夠,字形不足的問(wèn)題。它有幾個(gè)特點(diǎn),它并沒(méi)有確定所有的字形,只是規(guī)定了編碼范圍,留待以后擴(kuò)充。編碼是變長(zhǎng)的,其二字節(jié)部分與 GB

6、K 兼容;四字節(jié)部分是擴(kuò)充的字形、字位,其編碼范圍是首字節(jié) 0x81-0xfe、二字節(jié)0x30-0x39、三字節(jié) 0x81-0xfe、四字節(jié)0x30-0x39。它的推廣是分階段的,首先要求實(shí)現(xiàn)的是能夠完全映射到 Unicode 3.0 標(biāo)準(zhǔn)的所有字形。它是國(guó)家標(biāo)準(zhǔn),是強(qiáng)制性的?，F(xiàn)在還沒(méi)有任何一個(gè)操作系統(tǒng)或軟件實(shí)現(xiàn)了 GBK2K 的支持,這是現(xiàn)階段和將來(lái)漢化的工作內(nèi)容。Unicode 的介紹.就免了吧。JAVA 支持的encoding中與中文編程相關(guān)的有:(有幾個(gè)在JDK文檔中未列出 ASCII 7-bit, 同 ascii7ISO8859-1 8-bit, 同 8859_1,ISO-8859-

7、1,ISO_8859-1,latin1.GB2312-80 同gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB.GBK (注意大小寫,同MS936UTF8 UTF-8GB18030 (現(xiàn)在只有IBM JDK1.3.?有支持, 同Cp1392,1392JAVA 語(yǔ)言采用Unicode處理字符. 但從另一個(gè)角度來(lái)說(shuō),在java程序中也可以采用非Unicode的轉(zhuǎn)碼,重要的是保證程序入口和出口的漢字信息不失真。如完全采用ISO-8859-1來(lái)處理漢字也能達(dá)到正確的結(jié)果。網(wǎng)絡(luò)上流行的許多解

8、決方法,都屬于這種類型。為了不致引起混淆,本文不對(duì)這種方法作討論。3. 中文轉(zhuǎn)碼時(shí)'?'、亂碼的由來(lái)兩個(gè)方向轉(zhuǎn)換都有可能得到錯(cuò)誤的結(jié)果:Unicode->Byte, 如果目標(biāo)代碼集不存在對(duì)應(yīng)的代碼,則得到的結(jié)果是0x3f.如:"u00d6u00ecu00e9u0046u00bbu00f9".getBytes("GBK" 的結(jié)果是 "?ìéF?ù", Hex 值是3fa8aca8a6463fa8b4.仔細(xì)看一下上面的結(jié)果,你會(huì)發(fā)現(xiàn)u00ec被轉(zhuǎn)換為0xa8ac, u00e9被轉(zhuǎn)換為xa

9、8a6. 它的實(shí)際有效位變長(zhǎng)了!這是因?yàn)镚B2312符號(hào)區(qū)中的一些符號(hào)被映射到一些公共的符號(hào)編碼,由于這些符號(hào)出現(xiàn)在ISO-8859-1或其它一些SBCS字符集中,故它們?cè)赨nicode中編碼比較靠前,有一些其有效位只有8位,和漢字的編碼重疊(其實(shí)這種映射只是編碼的映射,在顯示時(shí)仔細(xì)不是一樣的。Unicode 中的符號(hào)是單字節(jié)寬,漢字中的符號(hào)是雙字節(jié)寬 . 在Unicodeu00a0-u00ff 之間這樣的符號(hào)有20個(gè)。了解這個(gè)特征非常重要!由此就不難理解為什么JAVA編程中,漢字編碼的錯(cuò)誤結(jié)果中常常會(huì)出現(xiàn)一些亂碼(其實(shí)是符號(hào)字符, 而不全是'?'字符, 就比如上面的例子。By

10、te->Unicode, 如果Byte標(biāo)識(shí)的字符在源代碼集不存在,則得到的結(jié)果是0xfffd. 如:Byte ba = (byte0x81,(byte0x40,(byte0xb0,(byte0xa1; new String(ba,"gb2312"結(jié)果是"?啊", hex 值是"ufffdu554a". 0x8140 是GBK字符,按GB2312轉(zhuǎn)換表沒(méi)有對(duì)應(yīng)的值,取ufffd. (請(qǐng)注意:在顯示該uniCode時(shí),因?yàn)闆](méi)有對(duì)應(yīng)的本地字符,所以也適用上一種情況,顯示為一個(gè)"?".實(shí)際編程中,JSP/Servle

11、t 程序得到錯(cuò)誤的漢字信息,往往是這兩個(gè)過(guò)程的疊加,有時(shí)甚至是兩個(gè)過(guò)程疊加后反復(fù)作用的結(jié)果.4. JSP/Servlet 漢字編碼問(wèn)題及在 WAS 中的解決辦法4.1 常見(jiàn)的 encoding 問(wèn)題的現(xiàn)象網(wǎng)上常出現(xiàn)的 JSP/Servlet encoding 問(wèn)題一般都表現(xiàn)在 browser 或應(yīng)用程序端,如:瀏覽器中看到的 Jsp/Servlet 頁(yè)面中的漢字怎么都成了? ?瀏覽器中看到的 Servlet 頁(yè)面中的漢字怎么都成了亂碼?JAVA 應(yīng)用程序界面中的漢字怎么都成了方塊?Jsp/Servlet 頁(yè)面無(wú)法顯示 GBK 漢字。JSP 頁(yè)面中內(nèi)嵌在<%.%>,<%=.%&

12、gt;等Tag包含的 JAVA code 中的中文成了亂碼,但頁(yè)面的其它漢字是對(duì)的。Jsp/Servlet 不能接收 form 提交的漢字。JSP/Servlet 數(shù)據(jù)庫(kù)讀寫無(wú)法獲得正確的內(nèi)容。隱藏在這些問(wèn)題后面的是各種錯(cuò)誤的字符轉(zhuǎn)換和處理(除第3個(gè)外,是因?yàn)?Java font 設(shè)置錯(cuò)誤引起的。解決類似的字符 encoding 問(wèn)題,需要了解 Jsp/Servlet 的運(yùn)行過(guò)程,檢查可能出現(xiàn)問(wèn)題的各個(gè)點(diǎn)。4.2 JSP/Servlet web 編程時(shí)的 encoding 問(wèn)題運(yùn)行于Java 應(yīng)用服務(wù)器的 JSP/Servlet 為 Browser 提供 HTML 內(nèi)容,其過(guò)程如下圖所示:其中

13、有字符編碼轉(zhuǎn)換的地方有:JSP 編譯。Java 應(yīng)用服務(wù)器將根據(jù) JVM 的 file.encoding 值讀取 JSP 源文件,編譯生成JAVA 源文件,再根據(jù) file.encoding 值寫回文件系統(tǒng)。如果當(dāng)前系統(tǒng)語(yǔ)言支持 GBK,那么這時(shí)候不會(huì)出現(xiàn) encoding 問(wèn)題。如果是英文的系統(tǒng),如 LANG 是 en_US 的 Linux, AIX 或Solaris,則要將 JVM 的 file.encoding 值置成 GBK 。系統(tǒng)語(yǔ)言如果是 GB2312,則根據(jù)需要,確定要不要設(shè)置 file.encoding,將 file.encoding 設(shè)為 GBK 可以解決潛在的 GBK 字符

14、亂碼問(wèn)題Java 需要被編譯為 .class 才能在 JVM 中執(zhí)行,這個(gè)過(guò)程存在與a.同樣的 file.encoding 問(wèn)題。從這里開(kāi)始 servlet 和 jsp 的運(yùn)行就類似了,只不過(guò) Servlet 的編譯不是自動(dòng)進(jìn)行的。對(duì)于JSP程序, 對(duì)產(chǎn)生的JAVA 中間文件的編譯是自動(dòng)進(jìn)行的(在程序中直接調(diào)用sun.tools.javac.Main類. 因此如果在這一步出現(xiàn)問(wèn)題的話, 也要檢查encoding和OS的語(yǔ)言環(huán)境,或者將內(nèi)嵌在JSP JAVA Code 中的靜態(tài)漢字轉(zhuǎn)為 Unicode, 要么靜態(tài)文本輸出不要放在 JAVA code 中。對(duì)于Servlet, javac 編譯時(shí)手

15、工指定-encoding 參數(shù)就可以了。Servlet 需要將 HTML 頁(yè)面內(nèi)容轉(zhuǎn)換為 browser 可接受的 encoding 內(nèi)容發(fā)送出去。依賴于各JAVA App Server 的實(shí)現(xiàn)方式,有的將查詢Browser 的accept-charset 和accept-language 參數(shù)或以其它猜的方式確定 encoding 值,有的則不管。因此采用固定encoding 也許是最好的解決方法。對(duì)于中文網(wǎng)頁(yè),可在JSP 或Servlet 中設(shè)置contentType="text/html; charset=GB2312"如果頁(yè)面中有GBK字符,則設(shè)置為contentT

16、ype="text/html; charset=GBK",由于IE 和 Netscape對(duì)GBK的支持程度不一樣,作這種設(shè)置時(shí)需要測(cè)試一下。因?yàn)?6位 JAVA char在網(wǎng)絡(luò)傳送時(shí)高8位會(huì)被丟棄,也為了確保Servlet頁(yè)面中的漢字(包括內(nèi)嵌的和servlet運(yùn)行過(guò)程中得到的是期望的內(nèi)碼,可以用PrintWriter out=res.getWriter( 取代ServletOutputStream out=res.getOutputStream(. PrinterWriter 將根據(jù)contentType中指定的charset作轉(zhuǎn)換 (ContentType需在此之前指定

17、!; 也可以用OutputStreamWriter封裝 ServletOutputStream 類并用write(String輸出漢字字符串。對(duì)于 JSP,JAVA Application Server 應(yīng)當(dāng)能夠確保在這個(gè)階段將嵌入的漢字正確傳送出去。這是解釋 URL 字符 encoding 問(wèn)題。如果通過(guò) get/post 方式從 browser 返回的參數(shù)值中包含漢字信息, servlet 將無(wú)法得到正確的值。SUN的 J2SDK 中,HttpUtils.parseName 在解析參數(shù)時(shí)根本沒(méi)有考慮 browser 的語(yǔ)言設(shè)置,而是將得到的值按 byte 方式解析。這是網(wǎng)上討論得最多的 e

18、ncoding 問(wèn)題。因?yàn)檫@是設(shè)計(jì)缺陷,只能以 bin 方式重新解析得到的字符串;或者以 hack HttpUtils 類的方式解決。參考文章 2 均有介紹,不過(guò)最好將其中的中文encoding GB2312、 CP1381 都改為 GBK,否則遇到 GBK 漢字時(shí),還是會(huì)有問(wèn)題。Servlet API 2.3 提供一個(gè)新的函數(shù) HttpServeletRequest.setCharacterEncoding 用于在調(diào)用 request.getParameter(“param_name” 前指定應(yīng)用程序希望的 encoding,這將有助于徹底解決這個(gè)問(wèn)題。4.3 IBM Websphere A

19、pplication Server 中的解決方法WebSphere Application Server 對(duì)標(biāo)準(zhǔn)的 Servlet API 2.x 作了擴(kuò)展,提供較好的多語(yǔ)言支持。運(yùn)行在中文的操作系統(tǒng)中,可以不作任何設(shè)置就可以很好地處理漢字。下面的說(shuō)明只是對(duì)WAS是運(yùn)行在英文的系統(tǒng)中,或者需要有GBK支持時(shí)有效。上述c,d情況,WAS 都要查詢 Browser 的語(yǔ)言設(shè)置,在缺省狀況下, zh, zh-cn 等均被映射為 JAVA encoding CP1381(注意: CP1381 只是等同于 GB2312 的一個(gè) codepage,沒(méi)有 GBK 支持。這樣做我想是因?yàn)闊o(wú)法確認(rèn) Browse

20、r 運(yùn)行的操作系統(tǒng)是支持GB2312, 還是 GBK,所以取其小。但是實(shí)際的應(yīng)用系統(tǒng)還是要求頁(yè)面中出現(xiàn) GBK 漢字,最著名的是朱總理名字中的“镕"(rong2 ,0xe946,u9555,所以有時(shí)還是需要將 Encoding/Charset 指定為 GBK。當(dāng)然 WAS 中變更缺省的 encoding 沒(méi)有上面說(shuō)的那么麻煩,針對(duì) a,b,參考文章 5,在Application Server 的命令行參數(shù)中指定 -Dfile.encoding=GBK 即可;針對(duì) d,在Application Server 的命令行參數(shù)中指定-Ddefault.client.encoding=GBK。

21、如果指定了-Ddefault.client.encoding=GBK,那么c情況下可以不再指定charset。上面列出的問(wèn)題中還有一個(gè)關(guān)于Tag<%.%>,<%=.%>中的 JAVA 代碼里包含的靜態(tài)文本未能正確顯示的問(wèn)題,在WAS中的解決方法是除了設(shè)置正確的file.encoding, 還需要以相同方法設(shè)置-Duser.language=zh -Duser.region=CN。這與JAVA locale的設(shè)置有關(guān)。4.4 數(shù)據(jù)庫(kù)讀寫時(shí)的 encoding 問(wèn)題JSP/Servlet 編程中經(jīng)常出現(xiàn) encoding 問(wèn)題的另一個(gè)地方是讀寫數(shù)據(jù)庫(kù)中的數(shù)據(jù)。流行的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)都支持?jǐn)?shù)據(jù)庫(kù) encoding,也就是說(shuō)在創(chuàng)建數(shù)據(jù)庫(kù)時(shí)可以指定它自己的字符集設(shè)置,數(shù)據(jù)庫(kù)的數(shù)據(jù)以指定的編碼形式存儲(chǔ)。當(dāng)應(yīng)用程序訪問(wèn)數(shù)據(jù)時(shí),在入口和出口處都會(huì)有 encoding 轉(zhuǎn)換。對(duì)于中文數(shù)據(jù),數(shù)據(jù)庫(kù)字符編碼的設(shè)置應(yīng)當(dāng)保證數(shù)據(jù)的完整性. GB2312,GBK,UTF-8 等都是可選的數(shù)據(jù)庫(kù)