今天把Windows上的文件传到Linux上,通过cat打开后,出现乱码,如下图
出现乱码的原因是由于两个操作系统对中文的压缩方式不同,Linux下使用的是utf8,而Windows使用的是.gbbk,因此Windows下正常显示的文件再Linux中打开出现乱码。
解决方法一:
在Linux终端输入: iconv -f gbk -t utf8 PythonStudy.txt > Python.txt.utf8
在当前目录下就生成了一个.utf8格式的文件,打开该文件,正常显示,如下图
解决方法二:
切换至root用户,用vim打开vimrc文件
vim /etc/vimrc
在文件的末尾加入以下内容:
set fileencodings=utf-8,gb2312,gbk,gb18030
set termencoding=utf-8
set fileformats=unix
set encoding=prc
保存退出,再使用vim打开就可以识别gb2312的中文文件
但是使用cat等打开仍然乱码
解决方法三:
用记事本打开文件,点击另存为,在下方的编码方式中选择utf-8方式
那么多种编码格式,有些理不清,那就再来看看字符编码方式的发展历程吧
字符编码发展史
1、最开始,计算机由8个晶体管表示状态,可表示的范围为0 - 256,称其为“字节”
2、计算机诞生于美国,他们把编号从0开始的32种状态分别规定了特殊的用途,称为“控制码”,如00×10, 换行;把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示,一直编到了第127号,这样就能用不同的字节来存储英语的文字了。大家把这套方案叫做Ascii编码
3、计算机迅速的发展,世界各地开始使用计算机,但是很多国家不是用的英文,他们的字母很多是ASCII码中没有的,因此用127后面的空位来表示这些新的字母,符号等,从128到255这一页的字符集被称”扩展字符集”
4、中国人得到计算机时,已经没有可以利用的字节状态来表示汉字,于是中国人毫不客气的把127后面的奇异符号直接取消,并规定:一个小于127的字符的意义与原来相同,但两个大于127的字符连在一起时,就表示一个汉字,前面的一个字节(他称之为高字节)从0xA1用到 0xF7,后面一个字节(低字节)从0xA1到0xFE,这样我们就可以组合出大约7000多个简体汉字了。在这些编码里,我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了,连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码,这就是常说的”全角”字符,而原来在127号以下的那些就叫”半角”字符了。
中国人民把这种汉字方案叫做 “GB2312″。GB2312 是对 ASCII 的中文扩展。
5、中国的汉字太多了,还是有很多人的名字没办法打出来,于是干脆不再要求低字节一定是127号之后的内码,只要第一个字节是大于127就固定表示这是一个汉字的开始,不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准,GBK 包括了 GB2312 的所有内容,同时又增加了近20000个新的汉字(包括繁体字)和符号
6、少数名族也开始用电脑了,于是再扩展,又加了几千个新的少数民族的字,GBK 扩成了GB18030
7、各个国家都像中国这样搞出一套自己的编码标准,结果互相之间谁也不懂谁的编码,谁也不支持别人的编码。这时候,ISO(国际标准化组织)开始着手解决这个问题。他们的方法很简单:废了所有的地区性编码方案,重新搞一个包括了地球上所有文化、所有字母和符号的编码!即UNICODE。UNICODE 包持其原编码不变,只是将其长度由原来的8位扩展为16位,而其他文化和语言的字符则全部重新统一编码。
8、由于”半角”英文符号只需要用到低8位,所以其高 8位永远是0,因此这种大气的方案在保存英文文本时会多浪费一倍的空间。为了解决这个问题,UTF-8出现了,这是一种针对Unicode的可变长度字符编码。UTF-8的编码规则很简单,只有二条:
a、对于单字节的符号,字节的第一位设为0,后面7位为这个符号的unicode码。因此对于英语字母,UTF-8编码和ASCII码是相同的;
b、对于n字节的符号(n>1),第一个字节的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10。剩下的没有提及的二进制位,全部为这个符号的unicode码。
因此大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作,utf-8被普遍使用
参考:
blog.chinaunix.net/uid-27177626-id-3496705.html
blog.csdn.net/wwwdongzi/article/details/17002839