无法将Kafka来源的Spark Streaming数据写入本地CSV文件

1. 先确认数据是否真的到了Spark这边 #

在写入CSV的代码前，加个简单的打印验证：

stream.foreachRDD(rdd => {
    println(s"当前批次收到 ${rdd.count()} 条数据")
    rdd.take(5).foreach(println) // 打印前5条看看内容
})

如果这里没输出数据，说明Kafka消费者根本没接到数据，得先排查Kafka配置：

• 核对bootstrap.servers和Producer的地址是否一致
• 检查group.id是不是和其他消费者重复，导致分区被占用
• 把auto.offset.reset设为earliest，避免错过历史数据

2. 检查Spark Streaming的输出配置 #

如果用的是流式写入writeStream，注意两个关键配置：

• 必须设置checkpointLocation，否则任务无法持久化状态，大概率不会输出文件：

  .option("checkpointLocation", "/绝对路径/checkpoint")
  

• 输出模式要匹配数据逻辑：
  • Append模式：只输出新增数据，适合无聚合的原始数据
  • Complete模式：需要有聚合操作（比如count、sum）才会输出
  • Update模式：只输出有更新的数据
• 可以显式设置触发间隔，避免数据一直攒在内存里：

  .trigger(Trigger.ProcessingTime("5 seconds"))
  

3. 本地文件路径的坑 #

• 一定要用绝对路径写data文件夹，比如/home/xxx/project/data，相对路径可能会写到Spark的工作目录（比如target/classes）里，不是你预期的文件夹
• 检查文件夹权限：运行Spark的用户有没有写入权限，Linux/macOS可以临时用chmod 777 data测试
• 如果是集群模式运行Spark，本地路径只会写到Driver节点的磁盘上，其他Worker节点的文件你在本地看不到，这种情况建议用HDFS或者共享存储

4. 手动写入文件的错误写法 #

如果是用foreachRDD+FileWriter手动写文件，容易因为Spark的分布式特性出问题：

• 每个分区会单独写文件，可能分散在不同节点
• 多个分区同时写同一个文件会导致覆盖
  正确的做法是用Spark官方的CSV写入API：

stream.writeStream
  .format("csv")
  .option("path", "/绝对路径/data")
  .option("checkpointLocation", "/绝对路径/checkpoint")
  .option("header", "true") // 可选，写入表头
  .outputMode("append")
  .start()
  .awaitTermination()

5. 查看Spark日志找线索 #

即使控制台没报错，Driver日志里可能有警告，比如No data to write、权限不足、路径不存在这类提示，日志一般在logs文件夹或者控制台输出里。

内容的提问来源于stack exchange，提问作者Ankit Chakraborty