Java添加数据去重时程序随数据量增大变慢，求优化方案

你的代码逻辑本身没有错误，但性能瓶颈出在words.contains(word)这个操作上：

• 如果words是ArrayList，contains方法会遍历整个列表查找元素，时间复杂度为O(n)。
• 当单词数据集持续增长时，整个循环的总时间复杂度会变成O(n²)，数据量越大，程序运行速度下降越显著。

优化方案 #

方案1：用HashSet实现快速去重检查 #

HashSet的contains和add操作时间复杂度都是O(1)，可以用它来记录已存在的单词，避免低效的列表遍历：

Set<String> existingWords = new HashSet<>();
for (String word : rawWords) {
    // HashSet的add方法会自动判断元素是否存在，返回true表示是新元素
    if (existingWords.add(word)) {
        words.add(word);
        wordsToExport.add(word);
    }
}

方案2：用LinkedHashSet同时保留顺序+去重 #

如果需要保留原始单词列表中首次出现的顺序，可以使用LinkedHashSet——它既继承了HashSet的高效性，又能维护元素的插入顺序，代码更简洁：

// 直接用LinkedHashSet完成去重并保留顺序
Set<String> uniqueWords = new LinkedHashSet<>(rawWords);
// 转换为你需要的列表格式
words.addAll(uniqueWords);
wordsToExport.addAll(uniqueWords);

这两种方案都能将整体时间复杂度降至O(n)，随着数据量增长，性能优势会非常明显。

内容的提问来源于stack exchange，提问作者Deny Hilhamsyah