You need to enable JavaScript to run this app. Spark处理Kafka数据时foreach中SparkSession空指针及maxResultSize报错问题
优惠活动
大模型
产品
解决方案
定价
更多

Spark处理Kafka数据时foreach中SparkSession空指针及maxResultSize报错问题

问题根因

1. collectAsList报错原因

collectAsList会将所有Executor上的该批次数据全部拉回Driver节点,当单批次数据量超过spark.driver.maxResultSize默认配置(通常1GB)时就会触发该报错。

2. foreach算子空指针原因

Dataset的foreach是分布式算子,内部逻辑会被分发到各个Executor节点执行:

  • SparkSession是Driver端的对象,无法被序列化传输到Executor,Executor上拿到的是未初始化的空引用,调用createDataFrame时自然抛空指针
  • 你定义的全局spans列表在每个Executor上都会有独立的副本,根本无法跨节点统一攒数,计数逻辑完全失效。

解决方案

核心逻辑调整

所有攒数、写入逻辑全部放到Driver端执行的foreachBatch函数体内,不要在foreachBatch内部调用分布式算子执行攒数逻辑:

  1. 先分布式解析Kafka消息为Span对象,再将当前批次的解析结果拉回Driver
  2. 限制单批次拉取的Kafka消息量,避免collect时超过Driver内存阈值
  3. Driver端统一攒数,达到阈值后批量写入S3

具体优化点

  • 给Kafka读取配置增加maxOffsetsPerTrigger参数,限制每个批次最多拉取的消息数,避免单批次数据量过大
  • 适当调大spark.driver.maxResultSize参数,比如设置为2g,适配单批次拉取的最大数据量
  • 调整计数判断条件为>=100000,避免单次加入数据超过阈值时无法触发写入
  • 解析逻辑用map算子分布式完成,提升处理效率

修正后代码示例

// 全局攒数列表,仅在Driver端操作
private static List<Span> spans = Collections.synchronizedList(new ArrayList<>());

public static void main(String[] args) throws Exception {
    SparkSession spark = generateSparkSession();
    registerUdf4AddPartition(spark);
    Dataset<Row> dataset = spark.readStream().format("kafka")
            .option("kafka.bootstrap.servers", args[0])
            .option("kafka.group.id", args[1])
            .option("subscribe", args[2])
            .option("kafka.security.protocol", SecurityProtocol.SASL_PLAINTEXT.name)
            // 新增:限制每个批次最多拉取2万条,避免单批次数据过大
            .option("maxOffsetsPerTrigger", 20000)
            .load();

    DataStreamWriter<Row> console = dataset.toDF().writeStream()
            // 可以根据需要调整触发间隔
            .trigger(Trigger.ProcessingTime(10, TimeUnit.SECONDS))
            .foreachBatch((rawDataset, time) -> {
                // 1. 分布式解析kafka value为Span对象
                Dataset<Span> spanDataset = rawDataset
                        .selectExpr("CAST(value AS STRING)")
                        .map((MapFunction<Row, List<Span>>) row -> 
                                new CsvToBeanBuilder(new StringReader(row.getString(0)))
                                        .withType(Span.class).build().parse(),
                                Encoders.javaSerialization(List.class))
                        .flatMap((FlatMapFunction<List<Span>, Span>) List::iterator, Encoders.bean(Span.class));

                // 2. 仅将当前批次的解析结果拉回Driver,此时单批次最多2万条,不会超过maxResultSize
                List<Span> batchSpans = spanDataset.collectAsList();

                // 3. Driver端统一攒数+判断写入
                synchronized (spans) {
                    spans.addAll(batchSpans);
                    if (spans.size() >= 100000) {
                        // 取前10万条写入,剩余的留到下一批
                        List<Span> writeSpans = spans.subList(0, 100000);
                        Dataset<Row> spanDataSet = spark.createDataFrame(writeSpans, Span.class);
                        Dataset<Row> finalResult = addCustomizedTimeByUdf(spanDataSet);

                        String path = "s3a://fwk-dataplatform-np/datalake/log/FWK/ART2/test/leftAndRight";
                        finalResult.repartition(1).write()
                                .partitionBy("year","month","day","hour")
                                .format("csv")
                                .mode("append")
                                .save(path);
                        // 移除已写入的10万条
                        spans = spans.subList(100000, spans.size());
                    }
                }
            });
    StreamingQuery start = console.start();
    start.awaitTermination();
}

额外注意事项

  • 如果你的Spark集群部署了多Driver副本或者开启了Driver高可用,全局静态变量的攒数方式会失效,此时建议改用状态编程(mapGroupsWithState/flatMapGroupsWithState)来实现跨批次的计数攒数
  • 写入S3时建议增加重试机制,避免S3写入抖动导致数据丢失
  • 可以配合开启Spark Streaming的checkpoint机制,保证故障恢复时不丢数据

内容的提问来源于stack exchange,提问作者Gentle Chen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 09:51:03