如何从文件获取CSV字符集或CSVFormat？（基于Apache Commons CSV）

核心思路 #

Apache Commons CSV确实没有内置的格式自动检测功能，你需要通过字符集兼容性验证+格式规则匹配的组合方式来判断，核心逻辑是：先尝试用某一种字符集+格式解析，验证解析结果是否合理，若失败则切换到另一种组合。

具体实现方案 #

1. 优先尝试UTF-8 + Default格式解析 #

Default格式遵循RFC4180规范，UTF-8是通用字符集，先尝试这种组合：

• 读取文件的前若干行（比如前10行），避免读取整个文件浪费资源
• 用CSVFormat.DEFAULT.withCharset(StandardCharsets.UTF_8)构建解析器
• 检查解析是否成功：无解析异常、列数符合预期、无明显乱码

2. 失败则降级尝试windows-1252 + Excel格式 #

如果UTF-8解析出现异常（比如未闭合的引号、乱码），则切换到Excel格式：

• 用CSVFormat.EXCEL.withCharset(Charset.forName("windows-1252"))构建解析器
• 同样验证解析结果的合理性

代码示例 #

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.nio.charset.Charset;
import java.nio.charset.StandardCharsets;
import java.util.List;

public class CSVFormatDetector {
    // 尝试读取的样本行数
    private static final int SAMPLE_ROWS = 10;

    public static CSVFormat detectFormat(String filePath) throws Exception {
        // 先尝试UTF-8 + Default格式
        try (InputStreamReader reader = new InputStreamReader(new FileInputStream(filePath), StandardCharsets.UTF_8);
             CSVParser parser = CSVFormat.DEFAULT.parse(reader)) {
            List<CSVRecord> records = parser.stream().limit(SAMPLE_ROWS).toList();
            // 验证：至少有一行，且列数合理（可根据业务调整判断逻辑）
            if (!records.isEmpty() && records.get(0).size() > 1) {
                return CSVFormat.DEFAULT.withCharset(StandardCharsets.UTF_8);
            }
        } catch (Exception e) {
            // UTF-8解析失败，尝试windows-1252 + Excel格式
            try (InputStreamReader reader = new InputStreamReader(new FileInputStream(filePath), Charset.forName("windows-1252"));
                 CSVParser parser = CSVFormat.EXCEL.parse(reader)) {
                List<CSVRecord> records = parser.stream().limit(SAMPLE_ROWS).toList();
                if (!records.isEmpty() && records.get(0).size() > 1) {
                    return CSVFormat.EXCEL.withCharset(Charset.forName("windows-1252"));
                }
            }
        }
        throw new IllegalArgumentException("无法识别的CSV格式或字符集");
    }
}

3. 辅助优化：检查UTF-8 BOM #

部分UTF-8文件会带有BOM（字节序列EF BB BF），可以先读取文件开头的3字节判断：

private static boolean hasUTF8BOM(String filePath) throws Exception {
    try (FileInputStream fis = new FileInputStream(filePath)) {
        byte[] bom = new byte[3];
        if (fis.read(bom) == 3) {
            return bom[0] == (byte) 0xEF && bom[1] == (byte) 0xBB && bom[2] == (byte) 0xBF;
        }
        return false;
    }
}

如果检测到BOM，直接使用UTF-8 + Default格式，无需尝试其他组合。

注意事项 #

• 验证逻辑需要结合你的业务场景调整：比如如果你的CSV固定有N列，可以直接判断解析后的列数是否等于N
• 若文件极小（不足10行），可以读取全部内容验证
• 极端情况下可能存在两种格式都能解析的情况，这时候需要额外的业务规则（比如表头关键字）辅助判断

内容的提问来源于stack exchange，提问作者zn43