如何基于属性值过滤Stream重复元素，避免中间ArrayList？

你的现有代码能实现去重，但中间转ArrayList是多余的操作。下面提供两种更直接的Stream到Stream的过滤方案，避免不必要的集合转换：

方案1：简化现有实现，去掉多余的ArrayList #

TreeSet本身可以直接生成Stream，不需要先转成ArrayList，直接修改collectingAndThen的转换函数即可：

private Function<Stream<Person>, Stream<Person>> filterDuplicates() {
    return stream -> stream
        .collect(Collectors.collectingAndThen(
            Collectors.toCollection(() -> new TreeSet<>(Comparator.comparingLong(Person::getId))),
            TreeSet::stream
        ));
}

这个版本保留了TreeSet的排序特性（按ID升序），同时省去了ArrayList的内存开销和转换步骤。

方案2：用有状态Predicate直接过滤（串行流专用） #

如果不需要排序，且Stream是串行的，可以用一个记录已出现ID的HashSet配合filter实现边遍历边去重，完全避免collect操作：

private Function<Stream<Person>, Stream<Person>> filterDuplicates() {
    return stream -> {
        Set<Long> seenIds = new HashSet<>();
        return stream.filter(person -> seenIds.add(person.getId()));
    };
}

原理是HashSet.add()会返回布尔值：元素不存在时添加并返回true，存在则返回false，因此filter只会保留每个ID第一次出现的Person对象。

关键注意点 #

• 并行流场景：不要用方案2，因为HashSet不是线程安全的，并行执行会导致重复元素未过滤或并发异常。这种情况下方案1更可靠，Collectors.toCollection是线程安全的收集器。
• 排序需求：如果需要保留元素按ID排序的特性，方案1更合适；如果不需要排序，方案2在串行流下性能更优。

内容的提问来源于stack exchange，提问作者j3d