Java静态变量值无法更新，Spark JavaRDD重复获取旧最小值求助

这个问题我太熟悉了，踩过类似的坑！核心问题出在两个地方：静态变量的状态残留，以及错误地用foreach来做聚合计算，导致第二次获取最小值时拿到的还是旧值。

为什么会出现这个问题？ #

1. 静态变量的状态没有重置：你定义的min和pt_min是静态变量，第一次调用getMin后，min被设置成了1.0，pt_min变成了"1"。第二次调用getMin时，这两个变量没有重新初始化，仍然保留着之前的值。此时过滤后的RDD里已经没有"1"了，但所有剩余元素的数值都比1.0大，所以getMin里的判断逻辑不会更新pt_min，自然返回的还是旧值。
2. 用foreach做聚合是错误的：Spark的foreach是行动算子，主要用来执行副作用（比如打印），不是用来做聚合计算的。虽然在local模式下它可能碰巧工作，但在分布式集群中，foreach是在各个Executor节点上执行的，每个节点都会有自己的变量副本，修改根本不会同步回Driver端，完全无法正确获取全局最小值。

修复后的代码 #

我们需要彻底抛弃静态变量，改用Spark原生的聚合算子来实现最小值计算，这样不管是local模式还是分布式集群都能正确工作：

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.log4j.Level;
import org.apache.log4j.Logger;
import java.util.Optional;

public class Main {
    public static void main(String[] a) {
        // 关闭日志输出
        Logger.getLogger("org").setLevel(Level.OFF);
        Logger.getLogger("akka").setLevel(Level.OFF);
        
        String inputFile = "/home/k/Desktop/exemple/test";
        SparkConf conf = new SparkConf().setAppName("test").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);
        
        JavaRDD<String> input = sc.textFile(inputFile);
        
        // 打印初始数据
        input.foreach(System.out::println);
        
        // 获取第一个最小值
        Optional<String> firstMinOpt = getMin(input);
        if (firstMinOpt.isPresent()) {
            String firstMin = firstMinOpt.get();
            System.out.println("********** " + firstMin);
            
            // 过滤掉第一个最小值
            input = input.filter(x -> !x.equals(firstMin));
            
            // 打印过滤后的数据
            input.foreach(System.out::println);
            
            // 获取第二个最小值
            Optional<String> secondMinOpt = getMin(input);
            secondMinOpt.ifPresent(min -> System.out.println("********** " + min));
        } else {
            System.out.println("初始RDD为空！");
        }
        
        // 关闭SparkContext
        sc.stop();
    }

    /**
     * 安全获取RDD中的最小值对应的字符串
     * @param input 存储数值字符串的RDD
     * @return 最小值的Optional包装，避免空RDD抛出异常
     */
    private static Optional<String> getMin(JavaRDD<String> input) {
        return input.reduceOption((s1, s2) -> {
            double d1 = Double.parseDouble(s1);
            double d2 = Double.parseDouble(s2);
            return d1 < d2 ? s1 : s2;
        });
    }
}

关键改动说明 #

1. 移除静态变量：改用局部变量和Optional来存储最小值，彻底避免状态残留的问题。
2. 用reduceOption替代foreach：reduceOption是Spark专门的聚合算子，会全局遍历RDD元素，两两比较后返回最小值，同时支持空RDD的安全处理（返回空的Optional）。
3. 增加资源清理：添加sc.stop()关闭SparkContext，这是Spark应用的良好编程习惯。

运行结果 #

修改后运行代码，会得到符合预期的输出：

12
7
1
2
9
********** 1
12
7
2
9
********** 2

内容的提问来源于stack exchange，提问作者user9467051