如何提升String.split方法性能？100GB大CSV按^分割场景下的优化问题

你当前所有方案的最大性能浪费是：全量拆分1000个字段，但你只需要用到120个，完全不需要解析整行所有分隔符，也不需要生成不需要的字段对象。针对单字符分隔符^的场景，手写定向提取逻辑的性能会远高于通用拆分工具。

可落地的优化方案 #

1. 优先定向提取所需字段，避免全量拆分 #

提前把你需要的120个字段的索引按从小到大排序，遍历行的时候只计数字段位置，匹配到需要的索引才提取内容，超过最大需要的索引后直接终止解析，不用处理后面的冗余内容。

2. 用单字符匹配替代正则/通用拆分工具 #

^是固定单字符分隔符，不需要用到正则解析能力，直接用JDK内置的indexOf原生方法或者手动遍历char数组匹配分隔符，性能最高。

示例实现代码 #

// 提前定义你需要的字段索引，必须按从小到大排序好
private static final int[] REQUIRED_FIELD_INDEXES = {1,3,6,12,.../* 共120个需要的字段索引 */};
private static final char SEPARATOR = '^';

public static String[] extractRequiredFields(String line) {
    String[] result = new String[REQUIRED_FIELD_INDEXES.length];
    int currentFieldIdx = 0;
    int fieldStartPos = 0;
    int resultFillPos = 0;
    int maxRequiredIdx = REQUIRED_FIELD_INDEXES[REQUIRED_FIELD_INDEXES.length - 1];

    while (true) {
        int separatorPos = line.indexOf(SEPARATOR, fieldStartPos);
        // 匹配到行尾，处理最后一个字段
        if (separatorPos == -1) {
            if (currentFieldIdx == REQUIRED_FIELD_INDEXES[resultFillPos]) {
                result[resultFillPos] = line.substring(fieldStartPos);
            }
            break;
        }
        // 命中需要的字段，提取内容
        if (currentFieldIdx == REQUIRED_FIELD_INDEXES[resultFillPos]) {
            result[resultFillPos] = line.substring(fieldStartPos, separatorPos);
            resultFillPos++;
            // 所有需要的字段都提取完成，直接终止解析
            if (resultFillPos >= REQUIRED_FIELD_INDEXES.length) {
                break;
            }
        }
        currentFieldIdx++;
        fieldStartPos = separatorPos + 1;
        // 已经超过最大需要的字段索引，终止解析
        if (currentFieldIdx > maxRequiredIdx) {
            break;
        }
    }
    return result;
}

预期性能提升 #

这个方案相比你当前用的StringTokenizer方案，性能至少提升2~4倍：

• 不需要遍历整行所有字符，只需要解析到你需要的最后一个字段位置就停止
• 不需要生成1000个无用的字符串对象，也不需要创建长度为1000的数组，大幅减少内存拷贝和GC开销
• 用原生indexOf方法匹配分隔符，比通用拆分工具的额外开销低很多

额外优化建议 #

如果你的业务允许，可以进一步提升性能：

• 如果需要的字段不需要保留为String类型，可以直接操作char数组/byte数组处理，避免String对象创建开销
• 调大文件读取的缓冲区大小，减少IO等待时间（如果当前IO占用比例不低的话）
• 如果使用Java 9+，且文件内容都是单字节字符，可以直接操作String底层的byte数组，进一步降低内存开销

内容的提问来源于stack exchange，提问作者membersound