Spark处理Kafka数据时foreach中SparkSession空指针及maxResultSize报错问题
问题根因
1. collectAsList报错原因
collectAsList会将所有Executor上的该批次数据全部拉回Driver节点,当单批次数据量超过spark.driver.maxResultSize默认配置(通常1GB)时就会触发该报错。
2. foreach算子空指针原因
Dataset的foreach是分布式算子,内部逻辑会被分发到各个Executor节点执行:
- SparkSession是Driver端的对象,无法被序列化传输到Executor,Executor上拿到的是未初始化的空引用,调用
createDataFrame时自然抛空指针 - 你定义的全局
spans列表在每个Executor上都会有独立的副本,根本无法跨节点统一攒数,计数逻辑完全失效。
解决方案
核心逻辑调整
所有攒数、写入逻辑全部放到Driver端执行的foreachBatch函数体内,不要在foreachBatch内部调用分布式算子执行攒数逻辑:
- 先分布式解析Kafka消息为Span对象,再将当前批次的解析结果拉回Driver
- 限制单批次拉取的Kafka消息量,避免collect时超过Driver内存阈值
- Driver端统一攒数,达到阈值后批量写入S3
具体优化点
- 给Kafka读取配置增加
maxOffsetsPerTrigger参数,限制每个批次最多拉取的消息数,避免单批次数据量过大 - 适当调大
spark.driver.maxResultSize参数,比如设置为2g,适配单批次拉取的最大数据量 - 调整计数判断条件为
>=100000,避免单次加入数据超过阈值时无法触发写入 - 解析逻辑用map算子分布式完成,提升处理效率
修正后代码示例
// 全局攒数列表,仅在Driver端操作 private static List<Span> spans = Collections.synchronizedList(new ArrayList<>()); public static void main(String[] args) throws Exception { SparkSession spark = generateSparkSession(); registerUdf4AddPartition(spark); Dataset<Row> dataset = spark.readStream().format("kafka") .option("kafka.bootstrap.servers", args[0]) .option("kafka.group.id", args[1]) .option("subscribe", args[2]) .option("kafka.security.protocol", SecurityProtocol.SASL_PLAINTEXT.name) // 新增:限制每个批次最多拉取2万条,避免单批次数据过大 .option("maxOffsetsPerTrigger", 20000) .load(); DataStreamWriter<Row> console = dataset.toDF().writeStream() // 可以根据需要调整触发间隔 .trigger(Trigger.ProcessingTime(10, TimeUnit.SECONDS)) .foreachBatch((rawDataset, time) -> { // 1. 分布式解析kafka value为Span对象 Dataset<Span> spanDataset = rawDataset .selectExpr("CAST(value AS STRING)") .map((MapFunction<Row, List<Span>>) row -> new CsvToBeanBuilder(new StringReader(row.getString(0))) .withType(Span.class).build().parse(), Encoders.javaSerialization(List.class)) .flatMap((FlatMapFunction<List<Span>, Span>) List::iterator, Encoders.bean(Span.class)); // 2. 仅将当前批次的解析结果拉回Driver,此时单批次最多2万条,不会超过maxResultSize List<Span> batchSpans = spanDataset.collectAsList(); // 3. Driver端统一攒数+判断写入 synchronized (spans) { spans.addAll(batchSpans); if (spans.size() >= 100000) { // 取前10万条写入,剩余的留到下一批 List<Span> writeSpans = spans.subList(0, 100000); Dataset<Row> spanDataSet = spark.createDataFrame(writeSpans, Span.class); Dataset<Row> finalResult = addCustomizedTimeByUdf(spanDataSet); String path = "s3a://fwk-dataplatform-np/datalake/log/FWK/ART2/test/leftAndRight"; finalResult.repartition(1).write() .partitionBy("year","month","day","hour") .format("csv") .mode("append") .save(path); // 移除已写入的10万条 spans = spans.subList(100000, spans.size()); } } }); StreamingQuery start = console.start(); start.awaitTermination(); }
额外注意事项
- 如果你的Spark集群部署了多Driver副本或者开启了Driver高可用,全局静态变量的攒数方式会失效,此时建议改用状态编程(mapGroupsWithState/flatMapGroupsWithState)来实现跨批次的计数攒数
- 写入S3时建议增加重试机制,避免S3写入抖动导致数据丢失
- 可以配合开启Spark Streaming的checkpoint机制,保证故障恢复时不丢数据
内容的提问来源于stack exchange,提问作者Gentle Chen
相关产品推荐
相关产品推荐

