字符编码

本文的最初版本发表于水木清华站（SMTH）的（Internet）讨论区。作者蓝海（bluesea）为水木清华病毒讨论区的现任板主。本篇是唯一在正式出版物上刊登的版本。本文不是计算机用户的入门指南,需要读者对最基本的计算机知识有一定的了解。 这是当时一篇很老的文章，但是现在的人读起来，仍然是受益匪浅。字符编码，永远是作为一个程序员应该考虑的问题，特别是一个跨国家，跨地区的程序员，UTF并不是都是王道。放在这里，仅供大家阅读。 教育网用户移步至http://epub.cnki.net/grid2008/detail.aspx?QueryID=4&CurRec=1，使用IP登陆后下载。 以下是对其原文的摘录： 乱码的产生既然是信息编码和解码不能够统的结果因此,解决乱码的过程就是找到和编码相统一的解码方法,并对计算机软件不能全自动进行适当解码的信息进行重新的处理和解码使得所恢复的信息达到可被理解和交换的目的。由于信息编码的种类繁多,信息交换中的具体形式和特殊情况非常复杂,因此乱码问题的解决并没有一个特定的方法,通常需要对相关的知识有一定的了解,然后通过肉眼对乱码的表现形式进行观察,对乱码的性质做出初步的判定后,才能找到相应的解码方法进行试验。 本文讨论的这些有关乱码的内容,基本上都是取材于BBS中很多初学者经常遇到并提出询问的问题,对它们进行了分类与整理,针对E-mail和WWW中经常出现的、初学者不易理解的特殊标记、乱码等现象,以乱码的的形成原因和识别手段为主线,涉及汉字乱码、ANSI、UUENCODE、MIME/BASE64、QUOYED-PRINTABLE、ROT13、HTML，文件格式、 [1]数据加密等方面的内容,为大家比较全面地介绍一下各种乱码的产生原因、判断依据和解决方法。可以说,常见的乱码有这样一些规律（1）和汉字或其他国家的文字有关（2）经常发生在E-mail,Usenet,www的阅读中(3)和传送二进制文件有关(4)和信息的加密解 密有关。 而乱码产生的原因正如前面所说的,和软件的版本,即软件能自动识别和使用的解码协议有密切的关系。本文的写作主要针对DOS/windows操作系统的用户,为在乱码发生的时候对不能识别的信息进行还原和理解提供一些帮助。至于如何避免乱码的产生,内容则更繁杂,本文对于软件或网络开发过程中遇到的类似问题并不涉及。

编码系列1：编码那点事—-历史进化 编码系列2：字符编码详解 part1 编码系列3：字符编码详解 part2

转自http://polaris.blog.51cto.com/1146394/377468 编码系列1：编码那点事—-历史进化 编码系列2：字符编码详解 part1 编码系列3：字符编码详解 part2 每一个程序员都不可避免的遇到字符编码的问题，特别是做Web开发的程序员，“乱码问题”一直是让人头疼的问题，也许您已经很少遇到“乱码”问题，然而，对解决乱码的方法的内在原理，您是否明白？本人作为一个程序员，在字符编码方面同样遇到不少问题，而且一直对各种编码懵懵懂懂、不清不楚；在工作中也曾经遇到一个很烦人的编码问题。这两天在网上收集了大量编码方面的资料，对字符编码算是理解的比较清楚了。下面把我认为比较重要的知识点记录下来，一方面方便以后复习；另一方面也希望给跟我一样懵懵懂懂的人一个参考。不对或不妥之处，请批评指正。

这几天在做网站，遇到了编码的问题，于是网上查查有关计算机编码的问题，作为一个学计算机的，得学学啊。。。 我搜素到的 编码那点事—-历史进化 编码系列1：编码那点事—-历史进化 编码系列2：字符编码详解 part1 编码系列3：字符编码详解 part2 很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。 再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为"计算机"。 开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。 他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上00x10， 终端就换行，遇上0x07， 终端就向人们嘟嘟叫，例如遇上0x1b， 打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0x20以下的字节状态称为"控制码"。 他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI 的"Ascii"编码（American Standard Code for Information Interchange，美国信息互换标准代码）。 当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。 后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128到255这一页的字符集被称"扩展字符集"。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！ 等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉，规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的 字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。 中国人民看到这样很不错，于是就把这种汉字方案叫做 “GB2312”。GB2312 是对 ASCII 的中文扩展。 后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK 包括了 GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。 后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK 扩成了GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。 中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 “DBCS”（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处 理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣 们都要每天念下面这个咒语数百遍： “一个汉字算两个英文字符！一个汉字算两个英文字符……” 因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和台湾这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字，就必须装上一个"汉字系统"，专门用来处理汉字的显示、输入的问题，但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么"倚天汉字系统"才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？ 真是计算机的巴比伦塔命题啊！ 正在这时，大天使加百列及时出现了——一个叫 ISO（国际标准化组织）的国际组织决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！他们打算叫它"Universal Multiple-Octet Coded Character Set"，简称 UCS, 俗称 “UNICODE”。 UNICODE 开始制订时，计算机的存储器容量极大地发展了，空间再也不成为问题了。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于ascii里的那些“半角”字符，UNICODE 包持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于"半角"英文符号只需要用到低8位，所以其高 8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。...