- ASCII(American Standard Code For Information Interchange,美国信息交换标准代码)
7bit表示一个字符,共计可以表示128种字符
- ISO-8859-1
8个bit表示一个字符,即用一个字节来表示一个字符,共计可以表示256个字符
- GB2312(国家标准)
使用2个字节表示一个汉字,可以表示常见的中文汉字
GBK(国标的一种扩展,是对GB2312的延伸,可以表示生僻字)
GB18030 (最完整的汉字的表示形式)
Big5 针对繁体中文的表示形式(台湾的编码形式)
Unicode 统一采用两个字节表示一个字符(2^16),统一全球的所有字符,是一种编码方式,是一种概念或者标准不是具体的存储方式
新的问题是文件存储的容量问题!!!,导致文件的膨胀,比如纯英文的文件存储会扩大2倍
- UTF-8 Unicode Translation Format Unicode转换格式,是Unicode编码标准的存储方式,是Unicode的一种实现方式之一
变长的字节表示形式,不同字符使用的存储格式不同的,通常会用3个字节表示一个中文,最多使用4个字节表示一个字符,既然是Unicode的标准实现之一,为什么会使用4个字节???
注意的是unicode一个中文字符占2个字节,而UTF-8一个中文字符占3个字节)。从unicode到utf-8并不是直接的对应,而是要过一些算法和规则来转换。
BOM(Byte Order Mark),LE、BE就是BOM的体现,是Windows遗留的问题
- UTF16-LE(little ending)、UTF16-BE(big ending)
在文件的开始处,使用
Zero Width No-Break Space 0宽度不存在的字符,0xFEFF 表示BE(FF>FE),0xFFFE表示LE(FE<FF),这个字符是不可见的
package com.compass.code;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.RandomAccessFile;
import java.nio.ByteBuffer;
import java.nio.CharBuffer;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.channels.FileChannel.MapMode;
import java.nio.charset.Charset;
import java.nio.charset.CharsetDecoder;
import java.nio.charset.CharsetEncoder;
/**
* 編解碼
*/
public class DecodeAndEncode {
public static void main(String[] args) throws Exception {
RandomAccessFile inputRandomAccessFile=new RandomAccessFile("inputf.txt","r");
RandomAccessFile outputRandomAccessFile=new RandomAccessFile("outputf.txt","rw");
long length=new File("inputf.txt").length();
FileChannel inputChannel=inputRandomAccessFile.getChannel();
FileChannel outputChannel=outputRandomAccessFile.getChannel();
MappedByteBuffer inputData=inputChannel.map(MapMode.READ_ONLY,0,length);//UTF:AC CC DD
Charset charSet= Charset.forName("utf-8");
CharsetDecoder charsetDecoder = charSet.newDecoder();
CharsetEncoder charsetEncoder = charSet.newEncoder();
//解碼
CharBuffer charBuffer=charsetDecoder.decode(inputData);//你
//編碼
ByteBuffer outputData=charsetEncoder.encode(charBuffer);
// 解碼后的字節和初始字節不一致情況
// ByteBuffer outputData= Charset.forName("gbk").encode(charBuffer);//->BC AB FE
outputChannel.write(outputData);
inputRandomAccessFile.close();
outputRandomAccessFile.close();
}
}
如果编解码使用的字典不一致就会导致乱码,但是针对GB2312的编码,采用GBK解码的话数据是一致的因为向下兼容