Java Spark调用foreach遍历DataFrame时出现空指针异常怎么解决

你遇到的空指针异常核心原因是违反了Spark的分布式编程模型：

• foreach等算子内部的代码会被序列化后分发到各个Executor节点执行，你在Driver端初始化的SparkSession实例不会被同步到Executor节点，Executor侧拿到的SparkSession是null，你在call方法里调用spark.createDataFrame的时候就会触发空指针，报错栈里的NullPointerException指向SparkSession.sessionState也完全印证了这个点。
• 另外你想在foreach内部往本地集合（比如ArrayList）加数据的逻辑也不成立：每个Executor只会把自己分区的数据加到对应节点的本地集合里，Driver端永远拿不到完整的处理结果。

根据你的需求（基于原DataFrame生成规模更大的新DataFrame），推荐优先用flatMap算子实现，该算子天然支持一条输入生成多条输出，完全符合你的场景：

// 先定义你新生成数据对应的Bean类，比如叫NewRentBean
Dataset<NewRentBean> newDataset = obtencionRents.flatMap(new FlatMapFunction<Row, NewRentBean>() {
    @Override
    public Iterator<NewRentBean> call(Row row) throws Exception {
        List<NewRentBean> outputList = new ArrayList<>();
        // 此处写你的业务逻辑，基于当前输入row生成任意多条NewRentBean，加入outputList
        return outputList.iterator();
    }
}, Encoders.bean(NewRentBean.class));

// 直接转成DataFrame即可
Dataset<Row> newDataFrame = newDataset.toDF();

如果你的数据量极小，确实需要把所有数据拉到Driver端本地处理，可以用collect方法先把全量数据收集到Driver，再遍历处理：

// 全量数据收集到Driver侧的List
List<Row> allRowList = obtencionRents.collectAsList();
List<NewRentBean> allResultList = new ArrayList<>();

//  Driver端本地遍历，不会有序列化问题，可以正常使用SparkSession
for (Row row : allRowList) {
    // 写你的生成逻辑，把结果加入allResultList
}

// 生成新的DataFrame
Dataset<Row> newDataFrame = spark.createDataFrame(allResultList, NewRentBean.class);

• 任何RDD/DataFrame的算子（map、foreach、flatMap等）内部都不能直接使用Driver侧初始化的SparkSession、SparkContext，也不能直接操作Driver侧的本地集合。
• 大数据量场景下严禁使用collect拉取全量数据，会导致Driver内存溢出，必须用Spark自带的分布式转换算子实现逻辑。

内容的提问来源于stack exchange，提问作者Rarm