问题来源：从GitHub上下载了一个小项目，但打开之后，发现部分文件中文乱码。如何解决？
最笨的方法是用记事本打开，然后另存为UTF-8格式。但文件较多就不合适了，需要批量转换。用代码实现单文件转换也比较简单不用解释：
public static void gbk2Utf8(String fileName) {
BufferedReader reader = null;
BufferedWriter writer = null;
try {
StringBuffer sb = new StringBuffer();
reader = new BufferedReader(new InputStreamReader(new FileInputStream(fileName), "GBK"));
String str;
while ((str = reader.readLine()) != null) {
sb.append(str).append("\r\n");
}
writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(fileName), "UTF-8"));
writer.write(sb.toString());
} catch (IOException e) {
e.printStackTrace();
} finally {
if (reader != null) {
try {
reader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (writer != null) {
try {
writer.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
如果是很多文件的话，可以通过遍历目录先获取每个文件
/**
* 递归获取指定目录下所有指定类型文件
*
* @param strPath
* 文件夹地址
* @param suffix
* 文件名后缀
* @return
*/
public static List<File> getFileList(String strPath, String suffix) {
List<File> filelist = new ArrayList<File>();
File dir = new File(strPath);
File[] files = dir.listFiles(); // 该文件目录下文件全部放入数组
if (files != null) {
for (int i = 0; i < files.length; i++) {
String fileName = files[i].getName();
if (files[i].isDirectory()) { // 如果是文件夹就递归调用
getFileList(files[i].getAbsolutePath(), suffix);
} else if (fileName.endsWith(suffix)) {
filelist.add(files[i]);
}
}
}
return filelist;
}
剩下的就是写个主函数去调用，就在这时发现一个大坑，下载的项目中有些是GBK编码、有些是UTF8编码。所以要先判断下文件编码格式，再进行转换，否则可能将正常文件转码为乱码。
那么，问题来了，如何判断文件编码格式呢？
网上有很多不是很严谨的方式，最后我选择了一种相对靠谱的方式来判断，但需要引入第三方依赖jchardet：
<dependency>
<groupId>net.sourceforge.jchardet</groupId>
<artifactId>jchardet</artifactId>
<version>1.0</version>
</dependency>
然后，写个判断文件编码的方法：
// 是否找到匹配字符集
private static boolean isFind = false;
// 如果完全匹配某个字符集检测算法, 则该属性保存该字符集的名称. 否则(如二进制文件)其值就为默认值 null
private static String encoding = null;
/**
* 获取文件的编码
*
* @param file
* @return 文件编码，若无，则返回null
* @throws IOException
*/
private static String guessFileCharset(File file) throws IOException {
nsDetector det = new nsDetector();
det.Init(new nsICharsetDetectionObserver() {
public void Notify(String charset) {
isFind = true;
encoding = charset;
}
});
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(file));
byte[] buf = new byte[1024];
int len;
boolean done = false;
boolean isAscii = true;
while ((len = bis.read(buf, 0, buf.length)) != -1) {
if (isAscii) {
isAscii = det.isAscii(buf, len);
} else if (!done) {
done = det.DoIt(buf, len, false);
}
}
det.DataEnd();
if (isAscii) {
encoding = "ASCII";
isFind = true;
} else if (!isFind) {
String prob[] = det.getProbableCharsets();
if (prob.length > 0) {
encoding = prob[0]; // 在没有发现情况下，则取第一个可能的编码
}
}
return encoding;
}
最后是主函数
public static void main(String[] args) {
List<File> files = getFileList("具体的文件路径", ".java");
for (File file : files) {
String charset = null;
try {
charset = guessFileCharset(file.getAbsoluteFile());
} catch (IOException e) {
System.err.println("获取文件编码发生异常！");
}
System.out.println(file.getName() + "[" + charset + "]");
if ("GB2312".equals(charset)) {
gbk2Utf8(file.getAbsolutePath());
}
}
}
本来是去GitHub上寻找答案的，结果又遇到一堆问题。不过这是好事，通过不断发现问题并解决问题，可以提高自己洞察问题和解决问题的能力。
