TreeSet忽略大小写调用removeAll失效问题求助

可能的原因1：实际赋值的TreeSet未使用指定的大小写不敏感比较器 #

你定义静态变量时，明确用String.CASE_INSENSITIVE_ORDER创建了大小写不敏感的TreeSet，但如果CSVFileUtil.readCSVToTreeSet方法内部是用无参构造创建TreeSet（默认使用自然排序，区分大小写），那么赋值后COMMON_ENGLISH_WORDS和NON_ENGLISH_WORDS的比较器会被替换成默认实现。此时：

• removeAll方法依赖contains判断元素是否存在，默认TreeSet的contains是区分大小写的
• 即使文件里有大小写不同的相同单词，也会被判定为不同元素，导致无法移除

验证方式：在赋值后打印两个集合的比较器：

System.out.println(ToolsConstants.COMMON_ENGLISH_WORDS.comparator());
System.out.println(ToolsConstants.NON_ENGLISH_WORDS.comparator());

若输出null，说明集合使用了默认排序，问题根源就在这里。

可能的原因2：文件中的单词存在不可见字符或格式差异 #

大数据量文件中容易出现肉眼难以察觉的字符串差异：

• 单词前后包含空格、制表符、换行符
• 存在全角/半角字符区别（比如全角空格）
• 单词混入特殊控制字符

这些差异会让"看起来相同"的单词成为不同字符串，小数据量测试时没有这类问题，因此能正常执行移除逻辑。

验证方式：随机选取几个本该被移除的单词，打印其长度和字符编码：

String targetWord = "疑似重复的单词";
System.out.println("长度：" + targetWord.length());
for (char c : targetWord.toCharArray()) {
    System.out.println("字符：" + c + "，编码：" + (int)c);
}

对比两个集合中对应单词的输出结果，即可发现差异。

对应解决方案 #

针对原因1：确保TreeSet使用指定比较器 #

修改CSVFileUtil.readCSVToTreeSet方法，让它支持传入比较器参数：

// 修改后的readCSVToTreeSet方法
public static TreeSet<String> readCSVToTreeSet(String filePath, Comparator<String> comparator) {
    TreeSet<String> set = new TreeSet<>(comparator);
    // 读取CSV文件并添加元素的逻辑
    return set;
}

// 调用时传入大小写不敏感比较器
ToolsConstants.COMMON_ENGLISH_WORDS = CSVFileUtil.readCSVToTreeSet(ToolsConstants.COMMON_ENGLISH_WORDS_FILE, String.CASE_INSENSITIVE_ORDER);
ToolsConstants.NON_ENGLISH_WORDS = CSVFileUtil.readCSVToTreeSet(ToolsConstants.NON_ENGLISH_WORDS_FILE, String.CASE_INSENSITIVE_ORDER);

针对原因2：读取时清洗单词格式 #

在读取文件的逻辑中，对每个单词做标准化处理：

// 读取单词时添加清洗步骤
String rawWord = "从文件读取的原始单词";
String cleanedWord = rawWord.trim() // 去除首尾空白
                           .replaceAll("\\s+", "") // 移除所有空白字符
                           .strip(); // 移除Unicode空白字符（Java 11+）
set.add(cleanedWord);

内容的提问来源于stack exchange，提问作者Sun