Spark2.3.0使用Structured Streaming消费Kafka数据无法写入JSON到HDFS求助

核心错误1：路径协议配置错误 #

你当前填写的路径前缀file:/node1:8020/是本地文件系统协议，而8020是HDFS服务的默认通信端口，HDFS路径的正确协议头为hdfs://。错误的协议会让Spark尝试写入本地文件系统中名为node1:8020的目录，而非HDFS集群，自然无法在HDFS对应路径下看到生成的文件。

核心错误2：输出路径与检查点路径冲突 #

你将业务数据输出路径path和检查点元数据存储路径checkpointLocation设置为了同一个目录，Spark会自动管理检查点目录的专属文件结构，和业务输出文件产生冲突，导致无法正常生成输出文件。

其他需要排查的配置点 #

• 权限验证：确认启动spark-shell的用户对目标HDFS路径拥有读写权限，可通过命令hdfs dfs -ls /test查看权限，测试环境可临时执行hdfs dfs -chmod 777 /test赋权，生产环境请配置最小可用权限。
• 触发间隔配置：如果流数据量极小，Spark默认微批策略可能延迟生成文件，可以显式添加触发配置控制输出频率。

修正后的代码示例 #

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.streaming.Trigger

val df = spark.readStream.format("kafka")
  .option("kafka.bootstrap.servers", "IP:9092")
  .option("subscribe", "test")
  .load()

df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .writeStream
  .queryName("test")
  .outputMode("append")
  .format("json")
  .option("path","hdfs://node1:8020/test/output/")
  .option("checkpointLocation", "hdfs://node1:8020/test/checkpoint/")
  .trigger(Trigger.ProcessingTime("10 seconds"))
  .start()
  .awaitTermination()

内容的提问来源于stack exchange，提问作者Coder